Op 5 april 1851 had de publieke aanbesteding plaats van een grote verbouwing. Op 11 juni 1853 werd het nieuwe gebouw betrokken dan tot 1983 zou blijven bestaan. Een grote rol bij alle veranderingen had dr. J.M. van Stipriaan Luïscius die van 1824 tot november 1859 geneesheer was.
Van 1 november 1859 tot november 1862 was dr. A. de Boer Vervoorn geneesheer. Hij zorgde voor ondersteuning van patiënten die in de maatschappij teruggekeerd waren. Er was een conflict met de directeur, die opvolger was van de binnenvader-concierge.
Van 26 juni 1863 tot 20 juli 1869 was dr. J.N. Ramaer geneesheer-directeur. Hij maakte het mogelijk dat patiënten tuinarbeid deden en richtte een boekbinderij op.
Van 9 juli 1869 tot 1 juni 1888 was dr. A. van der Swalme geneesheer-directeur. Hij maakte in 1862 voor het eerst een jaarverslag.
Van 1 oktober 1928 tot 30 april 1954 was dr. Beijermans geneesheer-directeur. Onder zijn leiding werd in 1930 begonnen met verbouwing en uitbreiding van het binnengesticht. In 1932 werden 387 patiënten verpleegd. Ook werd de buitenafdeling uitgebreid en de zorg voor ex-patiënten had zijn aandacht.
