De eerste dragers waren er vermoedelijk al in de dertiende eeuw. Rond 1250 was er namelijk een dam gelegd in de Schie, waardoor de schepen uit en naar Delft daar niet verder konden varen. Het gevolg was dat goederen over de dam van het ene schip naar het andere moesten worden gedragen. Zeker weten doen we het echter niet, aangezien pas in 1316 melding wordt gemaakt van dragers in Schiedam. Die dragers organiseerden zich later in een gilde. De oprichtingsdatum moet voor 1465 zijn geweest, toen schreef een stadsklerk over het Sint Anthonisgilde ofwel zakkendragersgilde.
Toen Schiedam in de zeventiende eeuw een jeneverstad werd, droeg het gilde nog hoofdzakelijk nog graan en kolen die in grote hoeveelheden nodig waren voor de branderijen. Het zakkendragershuis, waar het gilde samenkwam, werd gebouwd in 1725 op de plaats van een oude branderij. Op de benedenverdieping was de zogenaamde 'smakruimte' alwaar zich de 'smakbak' bevindt. Daarnaast was de wachtruimte waar de mannen bij slecht weer konden wachten tot er een schip binnenkwam.
Op de eerste verdieping was de zogenaamde 'gildekamer', waar de voorlui hun administratie deden. De gildekamer was afsluitbaar met een zware deur en er was ook een heuse 'gildekist', een zware geldkist met ijzeren beslag, vastgeschroefd aan de muur. Hierin bewaarde het gilde haar geld, kasboeken en andere kostbaarheden.
Als een schip gelost moest worden, luidde de gildemeester en later de commissaris de klok van het zakkendragershuisje. Hij keerde dan ook een zandloper om, die precies zeven minuten liep. Als die zeven minuten verstreken waren, ging de deur van het zakkendragershuisje dicht. Wie op tijd binnen was, kon meedingen naar het werk. En werk betekende dat je die dag weer geld verdiende. De zakkendragers woonden dan ook allemaal in de buurt en letten goed op het luiden van de klok. De voorman bepaalde hoeveel man nodig waren voor het werk. Meedingen ging door dobbelstenen te gooien. Om het zo eerlijk mogelijk te laten gebeuren, zonder ‘handigheidjes’, ging het werpen in een trechter met een bak eronder. Smakken heette dat gooien van de dobbelstenen. De dragers die de hoogste ogen gooiden mochten aan het werk. De gereedschappen lagen al klaar in het zakkendragershuis. In 1939 stopte het Anthonisgilde. Door de teloorgang van de jeneverindustrie en de modernisering was er te weinig werk voor de overgebleven zeven leden. Het huis was al in 1931 door het armlastige gilde verkocht aan de gemeente. De vrijwilligers van het Anthonisgilde houden het ambacht van zakkendrager thans in ere. Met demonstraties en rondleidingen bieden zij een kijkje in het leven van achttiende-eeuwse havenarbeiders. Zij zijn het enige gilde in Europa dat dit ambacht nog uitoefent.
