In deze Canon zijn al een aantal grafkapellen de revue gepasseerd, bijvoorbeeld de Cool-, Van Beverningh en Van der Dussenkapel. Dat zijn echter niet de enige graven die zich in de kerk bevinden, sterker nog, eigenlijk is de hele vloer van de Sint-Jan een begraafplaats. Overal zijn er grafzerken zichtbaar die iets zeggen over degene die er begraven ligt. De mooiste graven bevinden zich aan de – vanaf het Moreauorgel gezien – rechterkant van de kerk. In deze zerken zijn allerlei figuren afgebeeld. Graven van priesters zijn bijvoorbeeld herkenbaar aan een miskelk met een hostie. Sommige zerken zijn van voor de stadsbrand van 1552.
Het begraven in de kerk is een heel oude traditie. We weten niet precies wanneer men hiermee begint, maar in de Middeleeuwen zijn er al graven in de kerk. Een uitbreiding van de kerk betekent over het algemeen ook een uitbreiding van het aantal graven. Er is een document uit 1465 dat een bevestiging van een afspraak vormt tussen het stadsbestuur en de kerk over de betaling van de grafrechten. In 1482 verleent het stadsbestuur het recht op begraven ‘ten eeuwige dage’ aan de Sint-Jan. Het begraven in de kerk is een van de belangrijkste en meest constante inkomstenbronnen van de kerk in de loop van de eeuwen.
Over het algemeen geldt voor de ligging van de graven: hoe dichter bij het koor, hoe aanzienlijker. Vooraanstaande families bezitten soms een grafkelder onder het koor. In de kooromgang liggen veelal kinderen begraven, onder andere omdat de ruimte voor graven daar kleiner is. Alle graven zijn opgetekend in het zogenaamde ‘grafboek’.
De graven in de kerk brengen naast inkomsten, ook problemen met zich mee. Zo gebeurt het met enige regelmaat dat een zerk flink verzakt, waardoor de vloer ongelijk wordt en mensen kunnen struikelen en vallen. Het kerkbestuur neemt wel maatregelen hiertegen. Zo verhaalt men de kosten van een verzakte zerk op de eigenaar en is het verplicht om een overledene in een eikenhouten kist te begraven. Deze houtsoort verteert namelijk langzaam en zodoende is het risico dat de grond plotseling inklinkt kleiner.
Het begraven in de kerk heeft ook negatieve gevolgen voor de luchtkwaliteit en de hygiëne. Zo klaagt een kerkmeester aan het einde van de achttiende eeuw over een onaangename lucht in de Sint-Jan. Hij stelt daarom voor om de kerk van tijd tot tijd te luchten. Het is ook niet zonder gevaar om mensen die bijvoorbeeld aan de pest overleden zijn in de kerk te begraven. Door de Verlichting wordt men zich steeds meer bewust van het belang van hygiëne. Het is dan ook niet verwonderlijk dat in 1795 het begraven in de kerk verboden wordt. De uitvoering van deze verordening is echter heel complex. Veel grafeigenaren moeten immers een nieuw graf toegewezen krijgen. Daar komt bij dat de aanhangers van verschillende religieuze stromingen, katholieken en protestanten bijvoorbeeld, niet altijd een begraafplaats willen delen. Uiteindelijk wordt pas zevenendertig jaar na het verbod, in 1832, het laatste graf in de Sint-Jan gesloten. Tot op de dag van vandaag liggen er overblijfselen van mensen onder de vloer van de kerk, al zijn de meeste graven geruimd.
