Het middeleeuwse kasteel Amerongen stamde uit 1286. In 1427 werd hij grotendeels verwoest en weer opgebouwd. In de zestiende eeuw kwam de familie Van Reede er wonen. De Van Reede's waren nauw bevriend met stadhouder Willem III. Dat kan heel goed een reden zijn geweest voor de Fransen om het kasteel bij hun strooptocht van 1672 vol te stoppen met takkenbossen en in brand te steken. Het kan ook zijn dat de weigering van Van Reede om het vereiste losgeld, de 'brandschat', te betalen, een belangrijke rol speelde. In ieder geval brandde kasteel Amerongen tot de grond toe af. Slechts één hoektoren stond nog overeind.
De herbouw kwam vooral neer op de schouders van Margaretha Turnor, de vrouw van Godard Adriaan van Reede. In vele brieven aan haar vaak in het buitenland verblijvende echtgenoot, beschrijft ze haar wederwaardigheden in deze periode. Het kasteel werd onder haar leiding een bijna vierkant gebouw, dat niet toevallig veel weg heeft van Paleis Soestdijk, het jachtslot van Godards grote voorbeeld, Willem III. Opvallend is de dubbele brug over de slotgracht. Het onderste niveau geeft toegang tot de werkvertrekken als de keuken en voorraadkamers, de bovenste brug leidt naar de ontvangsthal met de monumentale trap. Boven hangen nog steeds portretten van roemruchte eigenaren van het kasteel.