Planté sur un pic rocheux surmontant la Cure, le château de Chastellux a toujours eu un rôle défensif, sa position dominante est un élément déterminant de sa sauvegarde, ainsi protégé des attaques il permettait de constituer une place stratégique importante.
Située aux confins de la Bourgogne et du Nivernais, la forteresse accueille les armées venues défendre cette Porte de la Bourgogne, alors Duché autonome et souvent opposé à la France.
Le château actuel installé sur l’emplacement d’une fortification romaine a beaucoup évolué au cours des âges. Le château s’est transformé à chaque grande époque de l’histoire de France afin de s’adapter aux nouvelles techniques militaires et bénéficier de l’apport culturel et de la connaissance qui a rayonné à travers toute l’Europe. Il est toujours resté dans la famille depuis sa construction il y a près 1000 ans.
Du camp romain il ne reste que les fondations, chaque génération de la famille a apporté ses améliorations et ses agrandissements au château, cependant quatre grandes périodes de constructions se dégagent : XIIIème, XVème, XVIIème, et XIX ème siècle. Toutes ses époques : Moyen-Age, Renaissance, Siècle des Lumières et Industrialisation se retrouvent néanmoins d’une manière harmonieuse et cet assemblage architectural est un résumé de l’histoire de France.
La seigneurie de Chastellux est érigée en comté en 1621 par Louis XIII et englobe du même coup la vicomté d’Avallon, la baronnie de Quarré (les tombes).
L’intérieur du château subit de lourds dégâts à la Révolution, toutes les armes anciennes du Moyen Age sont volées en 1792. Le 5 août 1793 des révolutionnaires venus d’Avallon vandalisent le château : les archives sont saisies, les meubles sont brûlés, l’intérieur est saccagé.
Sous la Restauration, César-Laurent de Chastellux entreprend de remettre en état le domaine. La vie reprend alors lentement son cours normal.
Le château connaît un nouvel épisode tragique le 30 mai 1975 : un incendie se déclare dans un conduit de cheminée et met le feu à la toiture et aux greniers. La tour d’Amboise en porte encore la trace comme en témoigne l’absence de toit. L’actuel propriétaire continue les restaurations entamées par ses prédécesseurs dans le respect des techniques anciennes et se charge de préserver le caractère authentique du château tout en étant ancré et tourné vers le troisième millénaire.