Depuis dix siècles, le château de Chastellux n’a cessé d’être agrandi, embelli et restauré par les générations successives qui en sont toujours restées propriétaires. La famille de Chastellux prend son origine dans la famille de Montréal, puissante maison bourguignonne proche du duc de Bourgogne, ayant son fief aux confins de la Bourgogne et de la Champagne.
Guy, le frère cadet d’Anséric IV de Montréal, se détache du fief de Montréal au début du XIIIe siècle et crée sa propre lignée sur la seigneurie de Beauvoir. Les seigneurs de Beauvoir deviennent possesseurs de fiefs importants tels que les seigneuries de Chastellux et de Bazoches, et la vicomté d’Avallon. Ils s’installent au début du XIVe siècle à Chastellux et en font leur résidence principale sans jamais en changer depuis lors. La famille va alors prendre comme patronyme Chastellux, fief de leur résidence, et délaisser celui de Beauvoir.
L’indépendance de la seigneurie de Chastellux va prendre fin en 1321 avec l’hommage rendu au duc de Bourgogne et la reconnaissance de suzeraineté ducale. Les seigneurs de Chastellux vont alors toujours être aux côtés du duc de Bourgogne, et notamment lors de la guerre de Cent Ans.
À la fin du XVe siècle, lorsque le duché de Bourgogne disparaît, la famille de Chastellux prête alors allégeance au roi de France.