Mitte des vierzehnten Jahrhunderts baut Heinrich van Mierlaer, Propst des Utrechter Domes, eine Befestigung als Ersatz des ursprünglichen Hofes, das 1322 vom Grafen Willem III van Holland niedergebrannt wurde. Anfang des siebzehnten Jahrhunderts, nach dem Tod vom Dompropst Hennin de Bossu, war das Haus einige Zeit leer und herunter gekommen. 1635 verkaufte die Domkirche Haus Doorn an den Kanuniker Junker Reynier van Golsteyn, der es für 5.517 Gulden, 6 Fünfcentstücke und 8 Pfennige restaurierte.

Nach der Zeichnung von Jan de Beijer aus 1750 lässt sich erahnen, dass der Domprobst Frederik Willem van Diest,  der 1701 Besitzer wird, das Schloss umbauen ließ. An der Ostseite ist unter anderem die Mauer im Innenhof niedriger gebaut und von den Türmen ist der Südwestliche erhöht und der Nordwestliche geschliffen.

1762 erbt Herman Frederik Richard Lijnslager Haus Doorn und passt es der Mode der Zeit an. Der mittelalterliche Anblick bleibt zum grössten Teil bestehen. 1792 wird Wendela Eleonora ten Hove die neue Besitzerin und sie baut das Haus eingreifend um. Seit 1800 hat das Haus seinen heutigen Anblick, ein neoklassisches Landhaus mit geputzten Giebel, wobei nur noch der Turm an der Südwestecke und der Graben an das ursprüngliche Schloss erinnert.

Über die Innenausstattung ist weniger bekannt. Das Meiste ist bei den Umbauten 1762 und namentlich 1796 verschwunden. Unter dem Fussboden im Gobelinzimmer sind Goldlederstücke gefunden worden, Dekoration die in der Verkaufakte 1762 erwähnt wird.