La ville est connue surtout pour les bâtiments de l'époque médiévale, dont cinq châteaux en ruines mais grandioses. Elle contient les cinq châteaux situés sur un éperon rocheux, en ruines et touchants. Le château baronnial construit au 11ème siècle quand les évêques de Poitiers étaient seigneurs de Chauvigny. Le château a subit beaucoup d'agressions, notamment pendant l'époque de la Révolution à laquelle il a été transformé en carrière de pierres. Le château d'Harcourt est celui en meilleur état de conservation. Il a été construit du 13ème au 15ème siècle il appartenait à l'origine aux vicomtes de Chatellerault. Il possède encore de puissants remparts, et une entrée dépourvue de pont-levis mais dotée d'une herse et d'un assommoir. Il y a aussi son enceinte de 39 mètres sur 29 mètres, son donjon fait de deux tours accolées, sa tour Sud avec sa vaste salle médiévale et sa cave voûtée qui servit jadis de prison. La collégiale Saint Pierre est de style Roman surmontée d'un clocher carré, elle fut bâtie au 11ème siècle. Son chevet est remarquable par l'harmonieux équilibre de l'abside et des absidioles. L'intérieur contient de splendides chapiteaux historiés. L'église Notre Dame est située dans la ville basse, elle possède à la croisée du transept d'intéressants chapiteaux et dans le croisillon Sud une fresque du 14ème siècle représentant le Portement de Croix. Le Christ est aidé par une multitude de religieux et de civils. Le donjon de Gouzon est un des vestiges du château acquis à la fin du 13ème siècle par la famille de Gouzon, puis acheté vers 1335 par Fort d'Aux, évêque de Poitiers. A l'origine le donjon carré était soutenu par des contreforts rectangulaires qui furent par la suite surmontés de contreforts arrondis.
Monuments Historiques et Préhistoriques.Le Fouineur.
Le Fouineur.