Tot ongeveer 1850 zijn de gestichten in Veenhuizen van de Maatschappij van Weldadigheid. Er wonen kolonisten, arme mensen die een moeilijk leven hebben gehad. Ze kunnen het zware werk niet aan en worden snel ziek.
Gesticht in geldproblemen
Omdat er steeds meer mensen naar Veenhuizen komen, wordt het te duur om ze te verzorgen. Daardoor komt de Maatschappij van Weldadigheid rond 1850 in geldproblemen. Als het geld op is, vertrekt de Maatschappij uit Veenhuizen. De regering neemt de gestichten over.
Rijkswerkinrichting
De regering heeft een ander plan met de drie gestichten van Veenhuizen. Ze noemen het vanaf 1886 'Rijkswerkinrichting'. Er komen geen armen en kinderen zonder ouders meer naar Veenhuizen. In plaats daarvan wordt het een gevangenis voor mensen die iets gedaan hebben wat niet mag. Zij worden door de rechter naar Veenhuizen gestuurd.
Nieuwe gevangenissen
In 1900 worden er twee nieuwe gevangenissen gebouwd: Esserheem en Norgerhaven. Van de oude, vierkante gestichten worden er twee afgebroken. Er blijft er één staan, dat wordt de werkplaats.
Ook het dorp Veenhuizen groeit. Om de gevangenissen heen worden huizen gebouwd voor de mensen die er werken. Rond 1900 wordt er een ziekenhuis gebouwd. Verder komen er een hotel en een dorpshuis.
Bijzondere namen
De huizen en gebouwen in Veenhuizen krijgen bijzondere namen. Je kunt aan die namen zien voor wie het huis gebouwd is. Het huis van de schoolmeester heet 'Kennis is macht'. In´Flink en Vlug´ woont de gymleraar. Langs het water staan de grootste en de mooiste huizen, voor de directeuren.
Gevangenisdorp
Veenhuizen blijft lang een afgesloten gebied. Niemand mag er zomaar in of uit. Je mag er alleen wonen als je in de gevangenis werkt.
In 1984 verandert dat. Nu mag iedereen Veenhuizen in en uit, behalve de gevangenen natuurlijk. Die zitten er nog steeds. Op dit moment zijn er vijf gevangenissen in het dorp. Daar verblijven honderden gevangenen.
