Bâti en 1489, il devient la demeure principale des seigneurs de Caumont jusqu'en 1535 en lieu et place du château médiéval de Castelnaud. Il est surtout connu pour avoir été la demeure de la chanteuse et meneuse de revue Joséphine Baker, qui l'achète en 1947.
