El campanar de l’església és el primer que es veu just arribar a Torregrossa. La llegenda popular diu que el nom del poble deriva d’una antiga torre que es va desmuntar o derruir per construir algunes cases. El membre del Centre de Recerques del Pla d’Urgell Mascançà, Josep Maria Cabau, explica que avui dia no queda cap rastre de la torre.
Uns blocs que corresponen a l’època romana però que poc tenen a veure amb l’origen del nom de la població. I és que la primera referència que es coneix de Torregrossa data del segle XI.
Almunia volia dir explotació agrícola o fortificació de senyors feudals. Sigui com sigui, aquest nom coexistia a la zona amb el de turris, que es feia servir en referència a petites fortificacions. Finalment aquesta segona nomenclatura és la que va agafar força per conèixer el poble com a turris grossa.