Le château se dresse à l’extrémité d’un plateau rocheux formant un éperon grâce à la présence d’une faille naturelle. Dominant le pays dit des quatre rivières, il fut le siège d’une importante baronnie issue de l’aristocratie carolingienne quercynoise - la famille des Castelnau de Bretenoux - déjà en possession d’une résidence fortifiée dans les environs au 11e siècle. Au cours des 14e et 15e siècle, le château adopte sa configuration définitive. La famille de Clermont-Lodève qui a hérité de la baronnie en 1530, entreprend d’importants travaux d’embellissement de l’austère château au milieu du 17e siècle. Ce château est l’un des plus beaux exemples de l’architecture militaire du Moyen Age.