Depuis dix siècles, le château de Chastellux n’a cessé d’être agrandi, embelli et restauré par les générations successives qui en sont toujours restées propriétaires. La famille de Chastellux prend son origine dans la famille de Montréal, puissante maison bourguignonne proche de la mouvance ducale ayant son fief aux confins de la Bourgogne et de la Champagne.
Guy, le frère cadet d’Anséric IV de Montréal, se détache du fief de Montréal au début du XIIIème siècle et crée sa propre lignée sur la seigneurie à Beauvoir. Les seigneurs de Beauvoir deviennent possesseurs de fiefs importants tels que les seigneuries de Chastellux et de Bazoches, et la vicomté d’Avallon. Les seigneurs de Beauvoir installent au début du XIVème siècle à Chastellux leur résidence principale sans jamais en changer depuis lors , et la famille va prendre comme patronyme Chastellux, fief de leur résidence, et délaisser celui de Beauvoir.
L’indépendance de la seigneurie de Chastellux va prendre fin en 1321 avec l’hommage rendu au Duc de Bourgogne et la reconnaissance de suzeraineté ducale. Les seigneurs de Chastellux vont alors toujours être aux côtés du Duc de Bourgogne, et notamment lors de la guerre de Cent Ans.