Invallende troepen staken in 1204 het kasteel in Ouderkerk van de edelman Van Aemstel in brand. Een bende Kennemers was op een strafexpeditie rovend en plunderend de Amstel op komen varen. Dijken werden doorgestoken. Boeren brachten in allerijl hun vee naar hoger gelegen plekken. In Ouderkerk is van het kasteel van Gijsbrecht niets meer terug te vinden. Het was een imposant huis met een toren, dat op een kunstmatig heuveltje stond. Het vuur was zo hevig dat ook de appelbomen bij het kasteel verbrandden.
De woede van de Kennemers was voortgekomen uit een machtsstrijd. Wie zou de in 1203 overleden Dirk VII, graaf van Holland, opvolgen? Zijn weduwe zag liever haar dochter Ada op de troon dan de broer van haar man. Omdat het om een zwaardleen ging (alleen mannen konden het leen erven) moest Ada, nog voor de begrafenis van haar vader, halsoverkop trouwen met Lodewijk van Loon. Maar de Kennemers zinde het niet dat een Van Loon graaf van Holland zou worden. De belaagde Van Loon moest ijlings vluchten en Gijsbrecht II van Aemstel wist hem veilig naar Utrecht te brengen. Daarop besloten de Kennemers om Van Aemstel een lesje te leren.
Dat het geslacht Van Aemstel het in deze streek voor het zeggen had, was te danken aan de bisschop van Utrecht. Even terug in de tijd: in de tiende eeuw had de Duitse koning Otto I deze veenwildernis aan de kerk van Utrecht geschonken. Dus oefende de bisschop van Utrecht hier het geestelijke en wereldlijke gezag uit. De eerste parochiekerk verrees op een hoge oeverwal waar de rivieren Amstel en Bullewijk samenstromen. Hier was het bij hoog water betrekkelijk veilig. Dat was van belang, omdat een stormvloed zich tot bij Ouderkerk kon laten voelen. De Amstel stond destijds in open verbinding met het IJ en het water dat zou uitgroeien tot de Zuiderzee.
De nederzetting rond het kerkje ontwikkelde zich tot het bestuurlijke hart van Amstelland dat - vertaald naar de huidige tijd - zich globaal uitstrekte tot Amsterdam, Amstelveen, Ouder-Amstel, Diemen en Waverveen. De oudst gevonden oorkonde met de naam Amestelle dateert uit 1105. Daarin wordt Wolfger van Aemstel genoemd als een getuige. Rond 1105 had de bisschop van Utrecht deze Wolfger aangesteld tot schout van Amestelle. Zijn opvolger - en vermoedelijk zijn zoon - Egbert van Aemstel, wist te bereiken dat zijn rentmeesterschap van Amestelle erfelijk werd. En zo volgde Gijsbrecht I van Aemstel zijn vader op in 1169. Gijsbrecht II was de eerste uit het geslacht van de Van Aemstels die tot ridder werd geslagen. Hij oefende het gezag uit over Amstelland, Diemen en de Vechtstreek en was vanaf 1200 een van de belangrijkste steunpilaren van de bisschop. Deze Gijsbrecht wekte in 1204 de woede van de Kennemers op.
Een volgende Gijsbrecht, nummer IV, joeg zowel de bisschop van Utrecht als graaf Floris V van Holland tegen zich in het harnas. Deze eigenwijze Van Aemstel werd gevangen genomen en voor een aantal jaren veilig opgeborgen in het verre Zeeland. Uiteindelijk (in 1285) verzoenden Gijsbrecht IV en Floris V zich met elkaar. Gijsbrecht was voortaan leenman van Holland (en had minder met de bisschop te maken). Maar hij moest bezittingen afstaan en hij was de graaf een zware boete schuldig. Van Aemstels macht stelde niet veel meer voor. Zodra hij de graaf een hak kon zetten, greep Gijsbrecht die kans. In een internationaal conflict koos Floris V partij voor Frankrijk in plaats van voor Engeland. Dus polste de Engelse koning Hollandse edelen, onder wie Van Aemstel, om Floris gevangen te nemen. Dat lukte in 1296 bij Utrecht. De opzet was om de gevangene naar Engeland te ontvoeren, maar na een tussenstop in Muiden stootten de ontvoerders op verzet van samengestroomde boeren. In de chaos bij deze schermutseling verloor Floris V het leven. De ontvoeringsopzet viel daarmee in duigen en Gijsbrecht, een van de belangrijkste samenzweerders, zocht een veilig heenkomen in Brabant. Dat luidde het einde in van de bemoeienis van het geslacht Van Aemstel met Amstelland. In 1317 kwam de hele streek definitief in handen van de graven van Holland.
Het hart van het vroegere gebied van de Van Aemstels, Ouderkerk (Ouder-Amstel), werd langzaam maar zeker qua importantie links en rechts gepasseerd. De bewoners aan de westelijke oever van de Amstel gingen in de dertiende eeuw als Nieuwer-Amstel - het huidige Amstelveen - een eigen weg. In het gebied van Nieuwer-Amstel ontwikkelde een kleine nederzetting bij de dam tussen de Amstel en het IJ zich tot een plaats van allure. Amsterdam verwierf na 1300 zelfs stadsrechten. Hoe ouder de gemeente is, des te meer andreaskruisen in het wapen staan. Ouder-Amstel telt er vijf, Nieuwer-Amstel (Amstelveen) heeft er vier, Amsterdam drie. Tekenend voor de schuivende machtsverhoudingen was dat het stadsbestuur van Amsterdam in 1529 van de adel de ambachtsheerlijkheid van Nieuwer-Amstel wist te kopen, waarmee de stad het er voor het zeggen kreeg. Amsterdam verwierf pas in 1731 de ambachtsheerlijkheid van Diemen.
