In 1170 had bisschop Godfried van Rhenen langs de Hollandse IJssel een kasteel gebouwd, dat 'sterke berg', Mons fortis, gedoopt werd. Het kasteel trok ambachtslieden en boeren aan en zo ontstond er een nederzetting. In 1329 gaf de burggraaf van Montfoort, de hoogste bestuurder, deze nederzetting stadsrechten. Dat hield in dat de burgers hun gebied mochten ommuren. In de stadsmuren kwamen op regelmatige afstand verdedigingstorens te staan. Dat kwam goed uit, want de machtshonger van de heren van Montfoort leidde tot gewapende conflicten, onder andere met de bisschop van Utrecht, die de stad in 1387 belegerde.