Secondo la tradizione all’interno della Chiesa era sepolto il corpo di S.Elpidio, eremita originario della Cappadocia. 

Nell’anno 969 d.C. le spoglie furono cedute da Alberico, Vescovo di Rieti, ai vescovi di Metz, Teodorico, e di Treviri, Erchemperto, giunti in Italia al seguito dell’imperatore Ottone I in cerca di reliquie di Santi. Il corpo del martire sarebbe stato prelevato il 16 settembre di quell’anno dallo stesso vescovo di Metz. Nel 1153 e nel 1182 la pieve di S.Elpidio appare tra quelle menzionate nelle Bolle papali che i pontefici Anastasio IV e Lucio inviarono ai vescovi della Diocesi di Rieti per determinarne i confini. Alla Chiesa di S.Elpidio spettava la cura d’anime di tutti i sei piccoli centri che facevano capo all’Università di Torre di Taglio. Distrutta dal terremoto del 1915, fu completamente riedificata. Appena fuori dal paese si trova il Santuario di S.Maria di Pestroce, importante meta di un devoto culto popolare, la cui esistenza è documentata sin dal 1398.