De Grote of Sint Janskerk is een van de oudste gebouwen van de stad. In december 1262 kreeg Aleida van Holland toestemming van bisschop Hendrik van Utrecht, om een kerk te bouwen. Dat oorspronkelijke kerkje stond op de plek van het huidige hoogkoor en het voorste gedeelte van het middenschip. Toen het belang van Schiedam toenam, kwam er behoefte aan een groter, prestigieuzer gebouw. Aan de bouw van de huidige gotische kerk is begonnen in 1335 en de bouw werd voltooid in 1425. Drie jaar later was er al een restauratie nodig, want bij de grote Schiedamse stadsbrand van 1428 werd de kerk deels vernield. Bij het herstel werd de kerk ook uitgebreid, onder andere met een noorderzijbeuk, de huidige waag. Ter nagedachtenis aan Liduina van Schiedam, werd in 1434 de Liduinakapel tegen de zuidmuur van het huidige middenschip aangebouwd. Daarna is de kerk ook nog vele malen veranderd en gerestaureerd.
De voorlopig laatste restauratie werd afgerond in 2003. In zijn huidige verschijning is de kerk een driebeukige hallenkerk.
De Sint Janskerk was van oorsprong een rijk aangeklede, katholieke kerk, maar ten tijde van de beeldenstorm is veel vernield. In de kerk staat nu een kunstwerk van de Schiedamse kunstenaar Sjef Henderickx. Het bestaat uit bijna duizend brokstukken van middeleeuwse altaren die stuk zijn geslagen tijdens de beeldenstorm. De brokstukken zijn onder de vloer van de kerk gevonden tijdens een restauratie in 1947. Het kunstwerk bestaat uit een grote schaal waaruit brokstukken oprijzen die tenslotte de vorm van een lam aannemen.