Op een strategische plek aan de Eem liet in 1347 de plaatsvervanger van de Utrechtse bisschop een kasteel bouwen. Dat was geen overbodige luxe. Eemland lag tussen de territoria van de Hollandse graven en de Gelderse hertogen in. Die beide landsheren lieten regelmatig een begerig oog vallen op het bisschoppelijk bezit. Om zich te kunnen verweren, moest de bisschop overgaan op verdedigingsmaatregelen, zoals de bouw van kastelen.
De bisschop van Utrecht was namelijk niet alleen de geestelijk leidsman van onder anderen de Utrechters, ook was hij door de Duitse keizer benoemd tot bestuurder van een eigen territorium, het Sticht genaamd. Het Nedersticht kwam ruwweg overeen met de provincie Utrecht. Daarnaast was hij de hoogste autoriteit in het Oversticht, dat een groot deel van Noord-Nederland besloeg. Als territoriaal heerser kwam hij in conflict met zijn buren. Om zijn gebied te beschermen, bouwden de bisschop en zijn belangrijke ambtenaren, zoals de schouten van de stad Amersfoort, kastelen. Amersfoort had van de bisschop in 1259 stadsrecht gekregen en de schout van de stad, Wouter van Amersfoort, bouwde ten oosten van Amersfoort het kasteel Stoutenburg. Dat vormde niet alleen een verdedigingsbasis, maar drukte ook zijn nieuw verworven status uit. Ook in Woudenberg en aan de Eem werden kastelen gebouwd.
De strijd met de buren was daarmee niet beëindigd. Zo kwamen de bisschop en de Hollandse graaf in botsing over de ontginningen in het Gooi. Zowel vanuit Utrecht als vanuit Holland werden de woeste gronden hier in cultuur gebracht. Veel van deze gronden waren beschikbaar gekomen door het dalen van het waterpeil en het ontginnen van terrein dat vroeger onder de zeespiegel lag. Het was onduidelijk wie eigenaar was van deze nieuwe, drooggevallen grond. De achtergrens van de ontginningen lag niet vast en een soort race wie het meeste terrein in bezit kon nemen, ontstond. Dat leidde zelfs tot veldslagen, zoals in 1481 bij Eemnes. Toen werd een grens (een rading) afgesproken, die nog steeds in de naam Hollandse Rading te herkennen is. Grenspalen werden in het land geplaatst.
Ook met het naburige Gelre kwam het tot een conflict. In 1528 ging de bestuurlijke macht over van de bisschop van Utrecht naar de nieuwe landsheer, Karel V. Deze werd heer van Utrecht en het Oversticht en wilde zijn invloed verder naar het oosten uitbreiden ten koste van Gelre. Dat liet dit niet zo maar gebeuren. Een oorlog was het gevolg. In 1543 werd Amersfoort belegerd door de Gelderse veldheer Maarten van Rossum. De stad moest zich uiteindelijk overgeven. Ook de omgeving van de stad had onder het oorlogsgeweld te lijden. Zo werden diverse kloosters in Soest verwoest. Uiteindelijk moest Gelre het hoofd buigen. Toen was de militaire dreiging vanuit oost en west voor Eemland na eeuwen verdwenen. De kastelen verloren hun militaire functie. Ter Eem werd afgebroken en Stoutenburg werd verbouwd tot buitenplaats.
