
A partir du XIème siècle, la baronnie de Montredon commence à se diviser en fiefs, Castelfranc en fait partie puisque contrôlant la vallée du Lézert, mais possèdant également une belle vue vers la plaine du Castrais. Cette assise sur un piton rocheux va favoriser l’emplacement du château, visiblement construit soit par les vicomtes de Lautrec au XIIème siècle, soit par Simon de Montfort lors de son acquisition de la baronnie en 1209.
Quoi qu’il en soit, ce château médiéval s’appuyait sur un rocher naturel de 15m de haut et de 100m de circonférence qui lui servait de donjon, il était également composé de quatre pièces principales, ceinturé de courtines et avec une tour à chaque extrémité. Il ne reste quasiment rien de ce premier château. Castelfranc commence à prendre de l’importance lorsque les vicomtes de Lautrec vont préférer y résider au XIVème siècle, plutôt que le château de Montredon, moins facile à vivre. On peut prendre l’exemple d’Amaury II de Lautrec qui va installer sa résidence à Castelfranc durant la première moitié du XIVème siècle ou aussi Pierre V de Lautrec qui va rédiger son testament au sein du château en 1402. En 1473, Gui Ier d’Arpajon, baron de Montredon, donne en fief, aux écuyers de Martrin, le château de Castelfranc et qui, d’alliances en mariages, va passer aux mains des de Nautonier dès 1513.
Un fameux personnage va résider à Castelfranc de le fin du XVIème siècle jusqu’au début du XVIIème siècle, c’est Guillaume le Nautonier. Astronome, mathématicien, intellectuel, pasteur de Montredon, géographe du roi en 1607 et seigneur de Castelfranc, Guillaume possède une riche histoire dans le Montredonnais et même à travers l’Europe. Il meurt au château en 1620. Durant les études de Guillaume, l’assemblée de Castres fait placer, en 1577, quatre soldats fixes en garnison au château pour prévenir des éventuels pillages par les différents camps. Son fils, Gedeon de Nautonier, décide de soutenir la révolte huguenote menée par le duc de Rohan qui échoue finalement. De plus, le prince de Condé prépare, en 1628, le siège de Réalmont et il préfère éviter toute aide protestante venue des alentours, Castelfranc présente alors un réel danger. C’est donc la même année que le prince de Condé envoie le marquis de Ragny détruire le château. Philippe Ier de Nautonier tente de reconstruire le château, mais se voit obliger de stopper les travaux à cause d’un arrêt du Parlement de Toulouse daté de 1654, les réaménagements qui avaient été faits sont rasés.
C’est en 1835 que le marquis Auguste Paulin de Solages décide de racheter l’édifice pour y construire le château actuel de style troubadour, en vogue à l’époque. C’est à la même période qu’il fait construire sa fabrique de jardin, le belvédère de Castelfranc. Pour agrémenter sa nouvelle batisse, il fait venir des antiquités de Toulouse, Cordes tel que des colonnes, chapiteaux, bas-reliefs… Il fait également appel à l’architecte Auguste Virebent pour certaines oeuvres.
Aujourd’hui, le château est une propriété privée et ne se visite pas.

Le château après la destruction du rocher primitif
Sources :
- BOUSQUET, Fernand, Montredon (Tarn) : Essai d’histoire d’une commune de France, Albi, Imprimerie Coopérative du Sud-Ouest, 1926, 410 p.
- CARRADE, Francis, « Castelfranc, château de Montredon-Labessonnié », 1993.
- DANTIN, Isabelle, Étude archéologique du château de Castelfranc, 1998.