Over de losse klokkentoren die hoorde bij de rond 1200 gebouwde St Michaëlkerk of St Pancratiuskerk gaat een mooi verhaal. Volgens overlevering heeft de Engelse Koning Edward IV in 1465 een nacht opgesloten gezeten in de kerker van deze toren. Hij ontvluchtte zijn land tijdens conflicten om de macht in Engeland om hulp te zoeken bij zijn neef in Frankrijk. Op doorreis verbleef hij in de herberg de Hollandsche Tuyn maar hij gedroeg zich niet geheel als koning. Met te veel drank op heeft de Schout hem in de kerker onder de toren opgesloten. Helaas is zowel de kerk als de toren verwoest tijdens het beleg van Leiden en is het de vraag of dit mooie verhaal ook waar is.
Al in 1600 waren er plannen voor de herbouw, die in 1620 goedgekeurd werden. De nieuwe kerk werd ongeveer op de bestaande funderingen gebouwd, waardoor we globaal de plattegrond van de oude kerk nog in de huidige tijd kunnen zien. Alleen het koor en de losse klokkentoren werden niet herbouwd.
De nieuwe kerk werd voorzien van twee grote hoge vensters in de west- en oostgevel die voor een mooie lichtinval zorgden. Voor het plaatsen van het Mitterreither-orgel in 1781 werd het venster aan de westkant dichtgemetseld. Onder invloed van de neo-gotische stijl werd geprobeerd de kerk meer gelijkenis te geven met de nog bestaande Middeleeuwse dorpskerken. Daarom werd een poging gedaan toch het koor terug te brengen, is de dakruiter verplaatst en is in 1846 een nieuwe toren gebouwd. Voor de stabiliteit werd deze toren verbonden met de kerkgevel. Nog steeds kunnen we in de kerk zien dat de meest westelijke kolommen scheef zijn komen te staan door het gewicht van de toren.
In 1965 werd de toren weer afgebroken en bij oplevering van de restauratie vijf jaar later werd ook de dakruiter weer zo goed mogelijk naar de oorspronkelijke plek gebracht.
