Cette place forte servira à défendre la
vallée du Cérou, voie de passage
naturelle en bordure de l'impénétrable
forêt de Grésigne.
De 1550 à 1625, durant les guerres de
religion, Milhars sera partagé entre deux
zones d'influence:
- Celle de Cordes, tenue par les Papistes
- Celle de Saint-Antonin sous influence
des Huguenots (protestants).
On connaît pendant cette période une
alternance de combats, de démolitions,
de pillages et de reconstructions. En
1574, on considère que Milhars est ruiné.
La Paix ne reviendra qu' en 1625.
Durant deux siècles de 1450 à 1683, la
famille CAZILLAC sera propriétaire du
château avec les titres successifs de
Seigneur, de Baron, puis de Marquis de
Milhars.