Le château médiéval du Pizou, détruit en 1566 par les troupes protestantes de Clermont de Piles, occupait ce lieu. Ancienne demeure de la famille Rauzan, elle fut vendue en 1603 avec une partie de la seigneurie qui en dépendait au maître verrier François de Belhade et passa en 1610 entre les mains de Jean d'Aulède, seigneur de la Lande. Selon Dominique Audrerie, les commanditaires de l'actuelle chartreuse pourraient être, au début du 18e siècle, Théophile Daulède, écuyer, et sa femme Madeleine de Gournaud, ou leur fils Jean, marié vers 1735. L'édifice a vraisemblablement été construit sur les fondations de l'ancienne place forte.
Le plan cadastral napoléonien de 1844 montre encore un ensemble quadrangulaire à cour fermée et des douves au nord et à l'est alimentées par le ruisseau du Marchand, aussi appelé ruisseau de la Forêt à la fin du 19e siècle. Le domaine, situé sur la plaine alluviale graveleuse fertile, était associé à une petite exploitation viticole. Il fut ensuite la propriété des familles Chaussade de Jolimont et Arquier (ou Auquier) du 19e siècle jusqu'au début du 20e siècle, selon D. Audrerie. Le plan cadastral de 1989 figure un ensemble de cinq bâtiments, dont deux à l'est ont disparu.