Vers 1270, Monseigneur Bernard de Combret, évêque d’Albi, fait construire un château fortifié. C’est la résidence de campagne des évêques. En 1490, Louis 1er d’Amboise, évêque d’Albi passe commande d’un statuaire pour l’autel de la nouvelle chapelle du château épiscopal de Combefa. Cet ensemble de 20 sculptures polychromes « unique au monde » superpose trois épisodes de la vie du Christ : Crucifixion, Déploration, Mise au tombeau. Au début du 18ème s., les évêques délaissent le vieux château de Combéfa et préfèrent le luxe et le confort du Petit Lude à Albi. De plus ils le laissent à l’abandon tout comme les statues. Heureusement les habitants de Monestiés ont pu, avec l’accord de l’Abbé Choiseul, en 1774 prendre les statues grâce à 14 charrettes tirées par des bœufs pour les mettre à l’abri dans la Chapelle St Jacques de Monestiés. Plus tard, sous l’impulsion du Cardinal de Bernis, le château est dépouillé de ses pierres qui serviront pour les nombreux bâtiments et monuments dont les quais de Choiseul à Albi.