Le lieu est mentionné dès le 16e siècle comme maison noble de Cazalet.
Le 16 février 1738, François de Sarran de Durfort, comte de Boissières, vend à Joseph de Bacalan le domaine composé d'une "maison, grange, vignes et autres dépendances" pour 55 000 livres.
Issu d'une des grandes familles de la noblesse bordelaise et déjà avocat au Parlement en 1723, il est promu jurat de la ville entre 1740 et 1745. À cette occasion, il assiste aux cérémonies de l'érection de la statue de Louis XV sur la place royale et fréquente sans doute les architectes de la place bordelaise.
Au sommet de sa carrière, il est probable qu'il procédât à l'édification de la maison de campagne actuelle dans les années 1740. L'architecte est inconnu, mais le style employé -bien que dépouillé- correspond à ce qui se fait à Bordeaux à cette époque (porte à gorge et bourrelet, clés saillantes). Le portail sur rue est légèrement décalé par rapport à l'axe de symétrie de la façade et à la porte centrale : ce désaxement est habilement rattrapé par le biaisé des piliers du portail. Comme le suppose François-Georges Pariset, l'architecte André Portier pourrait en être l'auteur. Ce dernier aurait construit pour le Président Leberthon l'hôtel rue du Mirail à Bordeaux (achevé en 1747), précisément en face de l'hôtel loué par Joseph de Bacalan à cette époque.
Il poursuit ses investissements dans la vigne en achetant des domaines viticoles à Ludon et à Macau, notamment en 1751 celui de Lorétan (sur l'île de Macau), qu'il dote de tous les instruments vinaires et qu'il fait restaurer.
À sa mort en 1772, le bien reste dans la famille Bacalan malgré les aléas des saisies révolutionnaires. En 1794, le domaine de Ludon compte une soixantaine d'hectares dont 35 en vigne.
En 1854, le domaine est vendu par l'héritière Françoise de Bacalan à Eugène-Louis Simonet de Bordeaux. La production de vin reste stable (15 tonneaux en 1850 et 1868) puis disparaît des ouvrages de Cocks et Féret en 1893. Les bâtiments viti-vinicoles ont été par la suite remaniés comme l'indiquent les baies murées de l'ancien cuvier (façade sur cour).
Le château de Bacalan est protégé au titre des Monuments historiques depuis juillet 1994.