Le château de La Houssaye-en-Brie a très vraissemblablement été construit à la fin de l'époque féodale, vers la fin du 13ème siècle. De cette époque, il ne reste que 2 tours d'angle. Le donjon serait du 15ème siècle.
Décentré à l'angle Sud-Est et entouré par de larges douves, le château paraît isolé depuis la suppression des dépendances qui l'entouraient. Sa façade arrière est de l'époque renaissance alors que la façade principale ouvrant sur la cour d'honneur se rattache davantage à l'époque Henri IV ou Louis XIII.
Un parc d'environ 60 hectares entoure le château. C'est dans ce parc que repose Gabriel Irach, la première femme du Maréchal Augereau.
Entre 1522 et 1988, soit environ 470 ans, le château aura connu pas moins de 23 propriétaires, dont seulement 10 par succession. Délaissé par ses propriétaires successifs, ce n'est qu'à partir de 1781, avec le Baron Gigault de Crisenoy, qu'il prit réellement vie. Il resta dans la famille jusqu'en 1801, date à laquelle le Maréchal Augereau, Duc de Castiglione, en fit l'acquisition. L'Empereur Napoléon y passa plusieurs nuits.
En 1817, à la mort du Maréchal Augereau, sa femme Adelaïde de Chavange vend le château à M. Becker, agent du Roi du Danemark, qui le vend à son tour à son gendre Félix de Mimont. Le château reste dans la famille jusqu'en 1920. A cette date, il est acheté par une société forestière et reste à l'abandon. Revendu en 1926 à M. Kirsch Catani pour en faire un immense lotissement, le projet ne peut aboutir et le château continue à se délabrer. Il est racheté en 1939 par M. Bellanger qui passe 30 ans à le restaurer de ses mains avec l'aide de sa femme.
Monsieur BAUDOIN en fait l'acquisition en 1988. Avec le Conseil Municipal de l'époque, il prend le parti de le sortir de son isolement. Après plusieurs transactions, les murs séparant la place du village du parc du château, sont abattus. La place est agrandie, l'église et le château mis en valeur. Ce dernier est classé par les Monuments Historiques en 2000.
