Vermoedelijk rond 1276 werd het Sint Jacobsgasthuis gesticht door Aleida van Holland. In het gasthuis konden arme zieken en bejaarden vanaf 40 jaar oud terecht– in die tijd was je met je veertigste al bejaard! Ondanks de begunstiging door Aleida kampte de stichting al snel met geldtekorten. De schepenen van Schiedam vaardigden daarom in 1286 een acte uit die bepaalde, dat van iedereen die binnen de jurisdictie van Schiedam overleed ‘het beste cleet’ ten goede kwam van het gasthuis. Er werden twee mannen aangesteld om toe te zien op het invorderen van het beste kleed.
In de middeleeuwen was het gasthuis in verschillende gebouwen gevestigd, om na 1532 te verhuizen naar de uiteindelijke plek aan de Hoogstraat, waar nu het Stedelijk Museum staat. Een tekening uit 1560 laat zien dat het gasthuis toen een vergelijkbare structuur had als het museum nu: een kapel in het midden met aan weerszijden een vleugel en enkele huisjes.
Het is echter niet dat oorspronkelijke gasthuis dat we nu kunnen zien. Aan het einde van de achttiende eeuw werd het oude gasthuis gesloopt, om plaats te maken voor een nieuw gebouw naar een ontwerp van de van oorsprong Italiaanse architect Jan Giudici (1746-1819). De stijl veranderde volledig: het nieuwe gebouw dat in 1790 klaar was, is ontworpen in de neoclassicistische stijl die destijds in de mode was. Het vloerenplan is symmetrisch en de kapel waar museumbezoekers nu binnenkomen, heeft een classicistische façade met een fronton en kolossale zuilen. In de vleugel links woonden de mannen en rechts de vrouwen. Bejaarde echtparen werden zo gescheiden, ze konden elkaar alleen nog ontmoeten in de kapel. In 1912 werden echter, na kritiek van buitenaf, enkele kamers voor gehuwden ingericht.
In 1934 hield het gebouw op bejaardenhuis te zijn. De bewoners verhuisden naar een nieuw, comfortabeler Sint Jacobs Gasthuis aan de Burgemeester Knappertlaan. Het oude gebouw had vervolgens een aantal jaren geen bestemming, totdat in 1940 het Stedelijk Museum Schiedam van de Sint-Joris Doelen naar het vroegere gasthuis verhuisde.
