Een veilige woontoren
Rond 1425 stond er een huis op de plek van kasteel Frisselstein. Misschien was dat huis een donjon. Dat was een stenen woontoren die je kon verdedigen. Zo'n toren werd gebouwd door een belangrijke familie. Ze waren er veilig. Een belangrijke man was Godefridus van Erp. Hij maakte van de donjon een kasteel. Dat kreeg zijn naam: Frissenstein. Dat betekent stein (=kasteel) van Frissen (=Godefridus), later Frisselstein.
Ridders op het kasteel
Godefridus van Erp kwam uit een belangrijke familie in Erp, Veghel en Sint-Oedenrode. Hij was geboren op kasteeltje Middegaal. Maar Godefridus was geen ridder. Zijn nakomeling Walraven wél. Walraven was een echte ridder. Zelfs op zijn graftombe in de Sint-Lambertuskerk kon je het zien. Hij stond daarop levensgroot afgebeeld. Als ridder met zijn harnas aan.
Heren van Veghel en Erp
Ridder Walraven III van Erp werd in 1566 'heer van Veghel en Erp'. Dat betekende dat hij recht mocht spreken over inwoners van Veghel en Erp. Hij mocht bijvoorbeeld ook op wild jagen in de gemeenten Veghel en Erp. Hij had een duiventoren op het kasteel. Een duiventoren was een teken van aanzien. Alleen belangrijke families mochten duiven houden.
De wacht houden
Frisselstein lag op een belangrijke plek. Het bewaakte een belangrijke verkeersbrug over de Aa. Ook was het onderdeel van de verdedigingslinie de stad rond Den Bosch. Het was een wachtpost. Soms waren de bewakers echte soldaten en soms waren het dappere boeren uit Veghel en Erp.
Werd er echt gevochten?
In 1587 wilden de geuzen kasteel Frisselstein verbranden. Walraven kon hen tegenhouden. Maar niet door te vechten als ridder. Nee, hij betaalde veel geld. Dat noemde je 'brandschat'. De geuzen lieten het kasteel toen met rust. Niemand hoefde te vechten.
Waarom werd Frisselstein afgebroken?
In 1728 kocht Gerardus de Jong het kasteel. Hij maakte er een buitenverblijf van. Rond 1790 woonde er geen belangrijke familie meer. Er woonden enkele arme mensen in het kasteel. Zij konden het kasteel niet goed onderhouden. Als het hard waaide, renden de bewoners naar buiten. Ze waren bang dat het kasteel zou instorten. In 1810 werd het kasteel afgebroken.