In het midden van de veertiende eeuw laat Heinrich van Mierlaer, proost van de Utrechtse dom, een versterkt kasteel bouwen ter vervanging van een oorspronkelijke hof, die in 1322 was platgebrand door graaf Willem III van Holland. In het begin van de zeventiende eeuw, na de dood van domproost Hennin de Bossu, staat het Huis enige tijd leeg en raakt in verval. In 1635 verkoopt het domkapittel Huis Doorn aan kanunnik jonkheer Reynier van Golsteyn, die het laat restaureren voor een bedrag van 5.517 guldens, 6 stuivers en 8 penningen.

Een tekening van Jan de Beijer uit 1750 doet vermoeden, dat domproost Frederik Willem van Diest die in 1701 eigenaar wordt, het kasteel weer heeft laten verbouwen. Aan de oostzijde is onder andere de muur van de binnenplaats verlaagd en van de torens is de zuidwestelijke verhoogd en de noordwestelijke gesloopt.

In 1762 erft Herman Frederik Richard Lijnslager Huis Doorn en laat het volgens de mode van die tijd aanpassen. Het middeleeuwse uiterlijk blijft echter goeddeels in tact. In 1792 wordt Wendela Eleonora ten Hove de nieuwe eigenaar en zij laat het Huis opnieuw ingrijpend verbouwen. Sinds 1800 heeft het Huis zijn huidige uiterlijk; een neoclassicistisch landhuis met grotendeels gepleisterde gevels, waarbij alleen nog de toren op de zuidwesthoek en de omgrachting doen denken aan het oorspronkelijke kasteel.

Over het interieur bestaat heel wat minder duidelijkheid. De meeste sporen zijn bij de verbouwingen van 1762 en met name 1796 verdwenen. Onder de vloer van de gobelinkamer zijn stukken goudleer gevonden, een decoratie waarvan ook de verkoopakte van 1762 melding maakt.