C'est au 11ème siècle que les Comtes de Turenne auraient permis à une famille de s'établir sur cet éperon rocheux de 200 mètres de long et de 40 mètres de large,haut de 30 mètres,surplombant un méandre de la Maronne,affluent de la Dordogne.La valeur défensive d'un tel emplacement est surement à l'origine de cette décision.Merle devint citadelle frontière entre les comtés de Toulouse et d'Auvergne,et le Duché d'Aquitaine quand celui ci devint Anglais,suite au mariage d'Aliénor d'Aquitaine avec Henri II Plantagenêt.Le site se compose de sept tours et maisons fortes,réparties sur deux terrasses,qui forment trois ensembles de bâtiments.C'est un véritable village,dont la construction s'est étalée jusqu'au 14ème siècle.Les tours furent progressivement abandonnées à partir du 17ème siècle.
