Dès l'an 1000, existait en ce lieu un oratoire consacré à une Vierge de l'Assomption. L'église fut complètement détruite en 1562 par les protestants. Après la peste de 1653, un second sanctuaire fut construit sur le rocher pour honorer le vœu des échevins de Penne-d'Agenais. La statue de Notre-Dame fut épargnée de la destruction pendant la Révolution. Au XIXe siècle, fut entreprise la construction d'un nouveau sanctuaire, d'après les plans de M. Bouillet, architecte à Marmande, dont l'archevêque de Bordeaux, Mgr Lecot posa la première pierre le 14 mai 1897. Cet édifice de style romano-byzantin qui domine la vallée du Lot ne fut achevé qu'en 1948 et consacré sous le titre de « Cœur immaculé de Marie refuge des pécheurs » le 11 septembre 1949 par l'évêque d'Agen Mgr Rodié. D'importants pèlerinages à la Vierge se déroulent en ce lieu.