A canção “Only the Good Die Young” gerou uma grande polêmica com a Igreja Católica. Devido à sua letra, que fala sobre um garoto tentando convencer uma garota a perder a virgindade, muitas estações de rádio e lojas de discos, principalmente nos Estados Unidos, se recusaram a tocá-la e a vendê-la. A proibição, ironicamente, acabou por aumentar o sucesso da música. O solo de saxofone que se tornou uma marca registrada da canção foi tocado por Richie Cannata, um dos membros da banda de Billy Joel. A inspiração para o título, que significa “só os bons morrem jovens”, veio de um ditado popular que o cantor ouviu na infância.