Premier opus du groupe originaire du New Jersey, "Crazy Rhythms" est un album post-punk acclamé pour son originalité, sa nervosité rythmique, et son approche minimaliste mais intense du rock. C’est un disque fondamental dans l’émergence de l’indie rock américain.

Malgré un succès commercial mitigé à sa sortie, il est devenu culte, notamment chez des groupes comme R.E.M. ou Sonic Youth. Il représente une transition entre le punk des années 70 et l’indie/college rock des années 80.