In 1528 gaf Karel V opdracht om de stad Utrecht te versterken tegen dreigende aanvallen uit Gelderland. De stadsmuren werden gemoderniseerd met bolwerken. In 1529 begon Karel V met de bouw van kasteel Vredenburg. Deze burcht had niet alleen tot doel om de stad te versterken, maar ook om het gezag van de keizer te handhaven. Het was een dwangburcht, waar een garnizoen werd gelegerd. Dat kon eventuele onrust onder de bevolking neerslaan.
Kasteel Vredenburg werd gebouwd naar ontwerp van de architect Rombout Keldermans op de plaats van het klooster van de Sint Jansheren op het 'Catharijneveld'. De Vredenburg was in 1532 klaar.
In 1556 volgde Filips II zijn vader Karel op als heer der Nederlanden. Hij legerde Spaanse soldaten in de Vredenburg. Dit zorgde voor veel onrust onder de bevolking. Zeker toen de politiek van Filips op bestuurlijk en religieus gebied steeds minder draagvlak kreeg in de Nederlanden. De stadhouder van Filips, Willem van Oranje, keerde zich zelfs tegen zijn vorst en dat was het begin van een gewapende opstand. Die strijd leidde op 8 november 1576 tot de Pacificatie van Gent, die ook door Utrecht werd ondertekend. Dit verbond had onder meer tot doel, de Spaanse soldaten uit de Nederlanden te verdrijven. Als reactie richtte de Spaanse commandant van de Vredenburg zijn kanonnen op de stad. De Utrechtse burgervendels omsingelden de burcht om te voorkomen dat de Spaanse soldaten de stad in zouden trekken. Op 21 december deden de Spaanse soldaten toch een uitval, maar zij werden teruggedreven. Vanaf het kasteel werd de stad beschoten. Kasteel Oudaen werd geraakt, het Elisabethsgasthuis werd zwaar beschadigd en een toren van de Mariakerk stortte in. De burgers bleven het kasteel belegeren en uiteindelijk raakten de voorraden in Vredenburg op. Dat dwong de Spanjaarden tot onderhandelingen. Op 11 februari 1577 verliet het Spaanse garnizoen het kasteel. De Vredenburg bleef intact achter, inclusief kanonnen en munitie. Volgens de overlevering zou het kasteel gesloopt zijn onder leiding van Trijn van Leemput. Tot in de twintigste eeuw waren resten van de Vredenburg nog zichtbaar.
