Het landgoed heeft een lange geschiedenis. Als in de 9e eeuw wordt een Hof te Doorn in de schriftelijke bronnen vermeld als 'Villa Thorhem'. Deze hof was in beheer van de Utrechtse Domproost. Hij was ervoor verantwoordelijk dat de geestelijken, verbonden aan het bisdom Utrecht van voldoende voedsel werden voorzien. Elke jaar moest de hof te Doorn op 1 april en 1 oktober voldoende voedsel aanleveren voor één maand.
Eeuwenlang bleef de hof te Doorn in handen van de Utrechtse domproost. De hof werd uitgebouwd tot een waar versterkt huis in de vorm van een robuust vierkant kasteel met torens op de hoeken.
In 1635 verkocht het Domkapittel van Utrecht Huis Doorn aan de kanunnik jhr. Reynier van Golsteyn. Hij moest er voor veel geld reparaties aan laten verrichten, want kasteel en landgoed waren erg in verval geraakt. Door verkoop ging het kasteel hierna nog enkele malen in andere handen over.
Een belangrijke fase beleefde het kasteel aan het einde van de 18e eeuw. In 1796 werd het middeleeuwse kasteel in opdracht van Wendela Eleonora ten Hove verbouwd tot een classicistisch landhuis. Dit is het Huis Doorn zoals dat nog steeds op het landgoed staat.
In de 19e en 20e eeuw ondergingen met name tuin en parkbos grote veranderingen.
De tussen 1810 en 1830 aangelegde Engelse landschapstuin werd in opdracht van mevrouw Van Heemstra in 1919 aangepast. Onder invloed van tuinarchitect Hugo Poortman kregen formele tuinelementen zoals bloemperken een plaats. De aanleg van Poortman is vandaag de dag nog in contouren aanwezig.
Het park was voor Wilhelm II van doorslaggevende betekenis bij de aankoop van het huis. Het bood bewegingsvrijheid en de ex-keizer kon er zijn conditie op peil houden. Hij leidde er de onderhoudswerkzaamheden.
In 1920 liet Wilhelm een verkleinde kopie van de rozentuin in Potsdam, de Auguste-Viktoria Garten aanleggen. Nadat deze in verval was geraakt, werd vanaf 1996 de reconstructie ter hand genomen. Zij dient nog altijd als rustpunt in het park en is een lust voor het oog.