Le château a été construit au 12ème siècle et partiellement détruit au cours de la guerre de Cent Ans.Il a été reconstruit au 15ème siècle par Jean 1er de Brosse,seigneur de Boussac,Maréchal de France et compagnon de Jeanne d'Arc. On y voit la salle des gardes,qui abrita de 1660 à 1882 la célèbre série de tapisseries de La Dame à la Licorne,aujourd'hui exposées au musée national du Moyen Age.On voit également au premier étage,la chambre de Georges Sand,qui résida un temps au château et y écrivit un de ses romans.