Bij de sloop van de roemruchte burcht van Vollenhove kwam uit de onderste laag van zijn fundamenten een steen met ingehouwen kruis voor de dag. Het betreft mogelijk een wijsteen waarmee de bisschop van Utrecht dit bouwdeel van zijn kasteel had ingezegend. De pastoor van Vollenhove, L.B. Mulder, nam de bijzondere vondst onder zijn hoede…
Dwangburcht
In 1165 versterkte de toenmalige bisschop van Utrecht, Godfried van Rhenen, zijn kampement in de streek Fulnaho tot een burcht. Van hieruit was de kerkvorst beter in staat zijn machtsgebied in dit deel van het Oversticht te verdedigen. Zijn gezag hier werd vooral uitgedaagd vanuit Friesland door de Stellingwervers. Dit "Huys te Vollenho", zoals het in de middeleeuwen werd genoemd, kreeg in de 16de eeuw de naam het Oldehuis toen aan de andere kant van de stad een tweede kasteel, de Toutenburg, verrees.
Kastelein
De leiding van de burcht was in handen van de kastelein (kasteelbewaarder). Voor de verdediging kon hij beschikken over borgmannen. Dit waren beroepsmilitairen (ridders) die door een speciaal leengoed, "borgleen", verplicht waren de burcht tegen vijanden te beschermen. De borgmannen zullen aanvankelijk op het burchtterrein hebben gewoond. Ook andere leenman-ridders, en daarnaast horigen (Sint Maartenslieden uit de omgeving van Giethoorn) en "gewone" onderdanen van de bisschop-landsheer konden door de kastelein in geval van nood worden opgetrommeld; de horigen vooral voor de uitvoering van werkzaamheden aan de burcht.
Bebouwing
In de loop van de tijd werd de burcht verschillende malen aangepast en uitgebreid. Vermoed wordt dat de versterking in eerste aanleg bestond uit een robuuste woontoren, een zogenoemde donjon. In de toren hield de kerkvorst zijn persoonlijk verblijf en had hij zijn werkvertrekken met de mogelijkheid gasten, dienaren en onderdanen te ontvangen. Het is denkbaar dat dit Huys pas na een aanval door de Stellingwervers in 1309, waarbij het hun lukte een belegeringstoren tegen de donjon aan te rijden, beter verdedigbaar is gemaakt door het graven van een ringgracht, en het burchtterrein daarbinnen te omgeven met een muur en fors poortgebouw, met ijzeren deuren als beveiligde toegang.
Residentiekasteel
Toen het militaire gevaar vanuit het noorden was geweken, kreeg het kasteel meer het karakter van woonkasteel. Hieraan werd vorm gegeven tijdens de regering (1433-1455) van bisschop Rudolf van Diepholt met de bouw van het imposante "drostenhuis", met ontvangst- en representatieve ruimtes voor bijeenkomsten als rechtszittingen en vergaderingen en met particuliere vertrekken. Na het vertrek van de bisschop-landsheren namen de stadhouders bij tijd en wijle hun intrek op het slot. Honderden oorkonden en brieven die nu in archieven worden bewaard zijn op het landsheerlijk huis door de secretaris van de bisschop-landsheer, drost of stadhouders opgesteld en door hen gezegeld of ondertekend. De Opstand maakte daar een einde aan. Vanaf dat moment was het de exclusieve ambtswoning van de drost.
Voorburcht
Het ouderwetse kasteel was voor nieuwe belegeringstechnieken en wapentuig niet meer veilig genoeg. Om die reden werd de burcht omstreeks 1500 uitgebreid met een voorburcht met een wal ervoor. De voorburcht heeft niet zo lang bestaan. Niet door het geweld van de Opstand ging het bouwwerk ten onder, maar de zee bleek een verwoestender kracht. Op het terrein van de voorburcht en de burcht zelf bevonden zich allerlei bijgebouwen voor ondersteunende functies, zoals stalgebouwen, een bakhuis, een bottelelarij en dergelijke.
Het Fort
Vanaf 1811 raakte het kasteel zijn functie als residentie van de
drost kwijt en werd het terrein ingericht tot gevangenis. De donjon
werd als geld verslindende sta-in-de-weg in 1820/21 gesloopt. Op
verzoek van het stadsbestuur droeg de provincie het burchtterrein
in 1822 over aan de gemeente Stad Vollenhove. Om de slotgracht te
kunnen inrichten als haven liet men het jaar daarop ter hoogte van
de poort een verbindingsgeul graven met de zee. De slotgracht werd
verbreed en verdiept. Vestiging van een katoenweverij en -spinnerij
in de resterende gebouwen die niet bij de gevangenis in gebruik
waren had weinig succes. Alles werd uiteindelijk in 1854/55
gesloopt en de noordelijke helft van het terrein in 1889 afgegraven
om meer ruimte te bieden aan de vissersvloot. De overgebleven grond
werd in 1859 verkocht aan enkele vissers van het ontruimde
Zuiderzee-eiland Schokland. Zij bouwden hun huisjes op dit
mini-eiland. Door afbraak van deze huisjes in 1955 kwam aan de
bewoning van het Fort een einde.
De wijsteen kwam door een schenking van pastoor H. Hegeman in het
bezit van de rooms-katholieke parochie. Ze werd daar als curiosum
bewaard, totdat ze in 1953 in de nieuwe Sint-Nicolaaskerk werd
ingemetseld in de muur, rechts van het koor. Het verhaal van de
steen wordt op een koperen plaat eronder beschreven. De eeuwenoude
steen is het enige bewaard gebleven bouwfragment van het
Oldehuis.