In de tiende eeuw al wordt gesproken over een Friezenwijk, gebouwd op een oude stroomrug in het veengebied, maar als er in 1373 sluizen in de Vaartse Rijn worden gebouwd, wordt het dorpje daarnaartoe verplaatst. Die eerste sluizen zijn van hout. Het initiatief van de bouw werd genomen door de Utrechtse gilden, die zo de handel op hun stad wilden verbeteren. De sluizen werden verdedigd door een blokhuis, dat niet voor niets 'Gildenborg' werd genoemd. Twee jaar later verwierf Utrecht de rechten op Vreeswijk, om zo de controle over deze levensader te verkrijgen.
De sluis werd telkens vernieuwd en uitgebouwd. In 1482, tijdens de Stichtse burgeroorlog, werden de sluizen vernietigd en ook Gildenborg werd door de vijand afgebroken. Na herbouw door Karel V in 1529 werd enkele decennia later een derde sluishoofd aangelegd. De sluis bestond vanaf toen uit twee kolken, wat het mogelijk maakte ook met hogere waterstanden te schutten en bovendien de dichtslibbing tegen ging. In 1815 stortte de sluis in en moest geheel worden vernieuwd.
Vanaf 1822 werd driftig gebouwd en twee jaar later kon de nieuwe sluis in gebruik worden genomen. Die sluis ligt er nog steeds, al gaat inmiddels de meeste scheepvaart via het Merwedekanaal en de Prinses Julianasluizen, even ten oosten van Vreeswijk. In het dorp waren diverse winkels om de schippers te bevoorraden, inclusief een aantal kroegen. In 1915 werd ook een schippersinternaat geopend.