Les premiers habitants du Domaine de Gayfié étaient les celtes. Le sarcophage d’une princesse celte posé sous le marronnier de la cour centrale en est un vestige. Les Romains ont plus tard établi un oppidum profitant d’un positionnement stratégique du Domaine, entouré de falaises sur les Causses et surplombant la vallée du Lot. Au Moyen-Âge, Waifré, duc d’Aquitaine, a donné son nom au Domaine devenu Gayfié en langue d’Oil. Une exploitation de truffes noires dont les bâtiments forment encore la cour centrale aujourd’hui était géré par une famille de Cajarc ; le fils héritier y avait fait un élevage de chevaux. Enfin, le club de football de l’AS Saint Etienne a voulu y établir un grand centre sportif dans les années 60 mais ce projet a finalement été abandonné.