Als Grave in 1674 is heroverd op de Fransen komen er twee kunstenaars naar de stad. Ze maken er in 1675 en 1676 uitgebreid tekeningen. Ze zijn ook in Velp geweest waar ze kasteel Bronckhorst hebben getekend. Veel van wat zij maakten is er nog en zo hebben we voor het eerst een betrouwbaar beeld van de Sint-Elisabeth en omgeving en van het Graafse kasteel in het bijzonder.
Het kasteel van Grave is gebouwd na de verwoesting van het kasteel van Cuijk. De bouw valt samen met de stichting van Grave. We horen er voor het eerst van rond 1350. De heren van Cuijk wonen er zelf. Als Grave in handen komt van de hertogen van Gelre en hun opvolgers wordt het niet langer permanent bewoond door de eigenaren, behalve door hertog Arnoud, die nergens anders terecht kan.
In het begin van de zestiende eeuw bestaat het kasteel uit een min of meer vierkant grondplan met muren en muurtorens en een gracht eromheen. Binnen die muren staan losse gebouwen, waaronder een kapel die is toegewijd aan Sint-Joris. Er is een groot voorplein met stallen. Via een brug ga je naar het kasteel. Op het voorplein behandelt de Hoge Vierschaar alle strafzaken. Vanaf 1515 tot ca. 1540, ten tijde van Floris van Egmond en zijn zoon Maximiliaan, wordt er grootscheeps gerestaureerd en verbouwd aan het kasteel. Er komt een nieuw gebouw op het voorplein in de vorm van een F. Dit is het nu nog bestaande Arsenaal. Alleen heeft het nu, na de bouw van een extra vleugel in 1905, de vorm van een F met een naar links verdubbelde bovenste poot. In 1541 wordt er een plattegrond van het kasteel getekend door de beroemde bouwmeester Alessandro Pasqualini. Tot voor kort werd gedacht dat hij ook de architect was van de verbouwingen, maar dat blijkt niet te kloppen. De plattegrond laat zien wat er op dat moment aan gebouwen is.
Het kasteel overleeft de belegeringen van 1586 (Parma) en 1602 (Maurits), maar in 1674 is het goed raak: het kasteel wordt voor een belangrijk deel verwoest. De kunstenaars Josua de Grave en Valentijn Klotz maken er veel tekeningen van, net als van de kerk met directe omgeving en van de Markt. In het kader van de vernieuwing van de vesting wordt het kasteel enkele jaren later tot in de grond afgebroken. Alleen de voorpoort blijft staan. Later verdwijnt ook die. Op het grondplan van het kasteel komt een grote berg aarde, een zogenaamde kat; een berg die als kogelvanger dient, met binnen in die berg kazematten. De kat en de kazematten zijn er nog.
Klein Kasteel
Grave heeft ook een klein kasteel gehad, de Brillenborch, aan de Maas, ter hoogte van het huidige Noorderblok. Vanaf 1491 is eraan gebouwd. Het speelt een rol bij de aanval van Sander Turck in 1568 en wanneer de Spanjaarden uit de stad worden verjaagd in 1577. In 1586 heeft het zwaar te lijden als Parma van die kant aanvalt, daarna raakt het in verval. In 1602 bestaat het al niet meer.