Om het territorium van Utrecht te beschermen bouwde men kastelen. De bisschop beschikte aan zijn grenzen over een aantal grote burchten, de zogenaamde sleutels van het Sticht. In de Vechtstreek was onder meer Abcoude zo'n burcht die de Hollanders op afstand moest houden. Er ontstonden namelijk telkens conflicten met de graven van Holland.
De Utrechtse bisschop was in die situatie terechtgekomen toen de Duitse keizers steeds meer gebruik gingen maken van bisschoppen om hun uitgestrekte territorium te besturen. Daarmee werden de bisschoppen ook wereldlijk heerser. Dat proces was al begonnen in de negende eeuw. Het voordeel van een bisschop was, dat hij niet zoals een 'gewone' graaf streefde naar een eigen bestuursdynastie. Officieel had een geestelijke tenslotte geen kinderen...
Niet iedereen accepteerde het gezag van de bisschop. Toen na de invallen van de Noormannen de rust weerkeerde, bleek dat de graven van Holland de afwezigheid van de bisschop hadden aangegrepen om hun macht uit te breiden. Met steun van de keizer werd in 1064 het graafschap Holland opnieuw aan de Utrechtse bisschop toegewezen. Al gauw echter wisten de graven baas in eigen huis te worden. Bovendien kreeg de bisschop weinig steun van de keizer en daarom kon hij aan deze situatie geen einde maken. Sterker nog, de Hollandse graven begonnen begerige blikken te werpen op het Utrechtse grondgebied.
Dat had niet alleen met politieke macht te maken, maar ook met economie. Veel landbouwgrond was ontworsteld aan het veen maar wateroverlast bleef een gevaar. Daarom probeerde iedereen zijn polders te beschermen, maar soms ging dat ten koste van de buren. Het overtollige water kwam in de aangrenzende gebieden terecht. Om zich daar tegen te beschermen, wierpen de graven van Holland verschillende dammen op. Die op hun beurt veroorzaakten grote wateroverlast in het westen van het Sticht Utrecht. Strijd was het gevolg, waarbij beide partijen probeerden strategische punten in handen te krijgen en te houden.
De situatie werd nog gecompliceerder door het optreden van ministerialen. Dit waren dienstlieden van de bisschop, die hij vaak inzette voor het bestuur van Utrecht. Ook had de bisschop ministerialen ingeschakeld als projectontwikkelaars bij de grote ontginningen. Sommige families zoals de Van Amstels en de Van Abcoudes waren daar zeer rijk mee geworden. Ze probeerden zich te ontworstelen aan de macht van de bisschop door een eigen verdeel- en heerspolitiek toe te passen. Ze lieten hun nieuwe macht graag zien door de bouw van kastelen, zoals in Abcoude en langs de Vecht. Het bezit van een eigen militair steunpunt maakte dat ze zich onafhankelijker konden opstellen. Door zich dan weer met de een, dan met de andere partij te verbinden, speelden ze de bisschop en de graaf tegen elkaar uit.
Niet alleen met hun wettige heer voerden de ministerialen strijd, ook onderling hadden ze ruzie. Zo verwoestte Gijsbrecht van Amstel in 1274 het kasteel van Abcoude. Als zo'n familie te machtig dreigde te worden, trad de landsheer op. Zo nam Floris V, de graaf van Holland, veel territorium van de Van Amstels in. Dat zette kwaad bloed. Het kan een van de redenen geweest zijn dat Gijsbrecht betrokken raakte bij de moord op Floris V in 1296.
