In de 11de/12de eeuw was er sprake van een groot kasteel of borg, gelegen op een trapeziumvormige hoogte achter het huidige Schild. Het was een strategische plaats bij een doorwaadbare plek in het stroomdal van de Regge. Deze Borg was de woonplaats van de graven van Goor en aanvankelijk ook die van de latere Borgmannen. De Graven van Goor zijn mogelijk voortgekomen uit de Oversten of Oudsten van de stammen der Tubanten en Saksen.
Leenmannen van de bisschop van Utrecht
Veel aanwijzingen over het geslacht "de Graven van Goor" zijn niet bekend, daar protocollen (aktes) over civiele zaken tot aan de 13de eeuw niet werden bewaard. Wat we wel weten, is dat in het jaar 1021 bisschop Adelbolt van Utrecht een lijst van goederen heeft opgesteld van de zeven belangrijkste leenmannen van de kerk, onder wie de graaf van Goor. Hoewel de graven van Goor leenmannen van de bisschop waren, was hun betrekking tot hun leenheer min of meer onafhankelijk, allodiaal genoemd. Uit een akte van bisschop Bernulphus komen we meer te weten, want daarin blijkt dat in het jaar 1026 graaf Adolf van Goor "zijn hof, gebouwen, horige lieden, landerijen, weiden en bossen" aan het bisdom (Sint Maarten) van Utrecht heeft geschonken. In die akte wordt ook geschreven: "Tuente nuncipatum, id est Gore" (Twente genaamd, dat is Goor). Deze zinsnede heeft tot veel discussies geleid en in geschriften aanleiding gegeven tot de vraag: Was het graafschap Goor in die tijd wel of niet met het graafschap Twente te vereenzelvigen?
Slag bij Ane in 1227
De Graven van Goor bekleedden een hoge functie binnen de bisschoppelijke hiërarchie, namelijk vaandeldrager (militair hoofdaanvoerder) en advocatus (een hoge kerkelijke functie). Als hoofdaanvoerder of "signifer" heeft graaf Rudolf van Goor in 1227 het bisschoppelijk leger geleid in de strijd tegen de opstandige Drentse boeren onder leiding van de heer van Coeverden. Het is hem en zijn ruim 600 geharnaste ridders slecht bekomen. In de beroemde slag bij Ane werd het hele bisschoppelijk leger, met inbegrip van de bisschop, in de pan gehakt.
Ondergang graven van Goor
De graven gingen veelal hun eigen gang en waren belust op eigen gewin. Zo plunderden en verwoestten graaf Goderfriedus en zijn neef Hendrik van Saesvelt adellijke hoven en boerderijen. Daarop greep bisschop Otto III met behulp van zijn neef graaf Willem II van Holland in en trok met een groot leger naar Goor. Zo kwam aan het grafelijk geslacht en het graafschap Goor in 1248 een roemloos eind. In het jaar 1948 is dit historisch feit nog aanleiding geweest voor een spetterend "bevrijdingsfeest" in de stad Goor.
Uiteindelijke verwoesting kasteel de Borg
De Borg "Het Huys to Gore" diende nog vele jaren als bisschoppelijke residentie. Dat was aanleiding tot het verlenen van stadsrechten aan Goor (1263). Van hieruit verleende de bisschop van Utrecht in 1325 ook stadsrechten aan Enschede. In 1348 verwoestte Gijsbrecht van Bronckhorst het kasteel volledig, waarna het niet meer opgebouwd werd. Bij een grondradaronderzoek in 2010 is gebleken dat er op 3 tot 3,5 m diepte nog resten van dit belangrijke kasteel aanwezig zijn.
