Het ontstaan van de Sint-Jan is tot op de dag van vandaag in nevelen gehuld. Wat we wel weten, is dat al in de elfde en twaalfde eeuw om het veengebied rondom de huidige stad Gouda gevochten wordt. De graven van Holland en de bisschoppen van Utrecht willen allebei graag aanspraak maken op het grondgebied. Gouda ligt namelijk aan een kruispunt van rivieren, de Gouwe en de IJssel, waardoor het een strategische plek is om bijvoorbeeld handel te drijven. Het gebied waar nu Gouda ligt, wint dus snel aan betekenis en daarom wordt de grond al vroeg ontgonnen.
Vrijwel elke nederzetting in de Middeleeuwen heeft een kerk. Zo ook de nederzetting in de polder Bloemendaal die ligt aan de noordkant van de huidige binnenstad van Gouda. Het is tot op de dag van vandaag onduidelijk waar deze kerk gelegen heeft en of de kerk er sowieso geweest is. Toch lijkt het erop dat er ooit een kerk in de polder heeft gestaan. De stadsgeschiedschrijver Walvis stelt bijvoorbeeld dat er in de zeventiende eeuw processies naar deze kerk gehouden worden. Vermoedelijk is deze kerk in de polder de vroegste voorloper van de huidige Sint-Janskerk.
De heren van der Goude, de vroegst bekende machthebbers van Gouda, vestigen zich in de twaalfde eeuw langs de Gouwe. Rondom hun hofstede ontstaat een nederzetting waar boeren en horigen wonen die hun opbrengst aan de heren verkopen. Deze nederzetting wordt in de loop van de tijd steeds belangrijker. In 1272 krijgt Gouda daarom stadsrechten van graaf Floris V. De nederzetting aan de Gouwe telt dan ongeveer duizend inwoners.
In de Middeleeuwen heeft een hofcomplex, zoals dat van de heren van der Goude, een kapel. Deze hofkapel van de heren van der Goude is een verre voorganger van de huidige Sint-Jan. Er zijn twee manieren waarop we dat kunnen weten. De eerste is dat de kapel in het midden van het hofcomplex ligt, dat op en om de plaats van de huidige Sint-Jan heeft gelegen. De andere manier heeft te maken met het zogenaamde patronaatsrecht, het recht om een pastoor te benoemen zonder tussenkomst van een geestelijke, zoals de bisschop. Dat patronaatsrecht is tot in de zestiende eeuw in handen geweest van de graven van Holland. Vermoedelijk is het daarvoor van de heren van der Goude geweest. Deze heren hebben zich waarschijnlijk in de loop van de Middeleeuwen verbonden aan de graven van Holland, bijvoorbeeld door een gearrangeerd huwelijk, en zo is het patronaatsrecht overgegaan op de graven van Holland. In 1278 wordt de hofkapel een parochiekerk, wat betekent dat het de kerk wordt van alle mensen die in en om Gouda wonen.
We weten erg weinig over hoe de kerk eruit gezien heeft. Wel is bekend dat de kapel bakstenen delen gehad moet hebben. In het metselwerk in het koor is tijdens een restauratie een ‘Goudse mop’ gevonden, een steen uit klei gebakken die rond 1200 opnieuw ontdekt werd als bouwmateriaal. Rondom Gouda is veel klei aanwezig geweest die geschikt was voor het bakken van deze steen. Aan de hand van de ligging van oude grachten weten we wel hoe groot de kapel is geweest, namelijk dertig meter lang en veertien meter breed, geheel omringd door een gracht. Al met al begint de geschiedenis van de Sint-Jan klein, maar wordt door de eeuwen heen steeds groter.