Perché au bord d'un éperon rocheux, le Château de Taillefer avait un emplacement stratégique. La construction daterait probablement du XIIIème siècle, mais par manque d'archives sur son passé, des mythes et légendes ont forgé son histoire. Aujourd'hui subsistent les vestiges d'un logis et de deux bâtisses secondaires, avec, encore bien visibles, une grande cheminée, une porte et des alcôves voûtées, un pan de mur d'une chapelle et un épais mur-bouclier. Le site offre un magnifique panorama sur la vallée de la Dordogne avec Gintrac en contrebas et, au loin, le Château de Castelnau-Bretenoux et les Tours de Saint-Laurent. Les lieux sont propices à la randonnée avec des sentiers typiques des Causses du Lot, entre chênes et murs de pierres sèches. Le GR652 y passe, et il est possible de rejoindre les villages de Carennac, Loubressac, Floirac ou encore le Gouffre de Padirac.