Omstreeks 1300 wordt in Oostkerke een versterkte bakstenen woontoren opgetrokken. Eind van de 14de eeuw was er een “Nederhof” en een “Opperhof”, beide omringd door walgrachten. Baron van der Elst laat in 1938 een vervallen kasteel verbouwen. De wallen werden opnieuw uitgegraven, de stenen toegangsbrug hersteld en verbouwing van de westelijke vleugel door een sierlijk gebouw in renaissancestijl. Tevens werden de vroegere grondvesten van de ringmuur en donjons opgehoogd en dienen als versiering en wandelpad in de tuin, aangelegd door de Nederlandse tuinarchitecte Mien Ruys.