In 1252 sloten de Van Woerdens en de Van Amstels een verbond tegen hun wettige heer, de Utrechtse bisschop. De Van Abcoudes besloten de bisschop te helpen en oorlog was het gevolg. Hendrik van Vianden, de bisschop, wist zijn tegenstanders te verslaan en om een herhaling te voorkomen bouwde hij bij Vreeland het gelijknamige kasteel. Dit rechthoekige kasteel, met op iedere hoek een flinke ronde toren, werd in de jaren vlak voor 1260 gebouwd. De naam geeft al aan wat de bedoeling van het kasteel was: vrede en rust brengen in de Vechtstreek. Rond het kasteel ontstond een dorpje, dat in 1265 van de bisschop stadsrechten kreeg. Het groeide nooit uit tot een echte grote nederzetting.
Een paar jaar later werd het echter weer onrustig en wist Gijsbrecht van Amstel de stad Utrecht te veroveren. Hij verdreef de bisschop uit de stad. Al wist deze Utrecht weer in handen te krijgen, hij had daarbij zoveel schulden gemaakt, dat hij Vreeland moest verpanden aan zijn tegenstander.
Gijsbrecht stelde toen een tol in bij Vreeland, waardoor hij alle langskomende scheepvaart tot betaling kon dwingen. Uiteindelijk was het de graaf van Holland die in 1280 Vreeland op Gijsbrecht van Amstel heroverde. Het steeds weer verpand worden en daarmee in handen komen van een andere heer bleef een rode draad in de geschiedenis van kasteel Vreeland. Eind vijftiende eeuw nam kasteel Abcoude de rol over van grenspost tussen Holland en Utrecht en verloor Vreeland zijn betekenis.