De Duitse bezetter had overal in Europa grote kampen ingericht om politieke gevangenen en Joden op te sluiten. Bij Amersfoort werd in 1941 ook een kamp ingericht, een Polizeiliches Durchgangslager aan de Appelweg. Aanvankelijk werd het kamp, een gewezen Nederlands legerkamp, door de Wehrmacht beheerd. Later werd een groep Duitsers hier gelegerd, die werd getraind om een strafkamp te leiden. In augustus 1941 arriveerden de eerste 195 gevangenen uit een opgeheven kamp bij Schoorl. Daar waren ze nog redelijk netjes opgevangen, maar hier in Amersfoort werden ze direct fysiek gemolesteerd en sadistisch behandeld. Het kamp Amersfoort zou daar berucht om worden: er was weinig toezicht en de bewakers konden hun gang gaan.
Er werden gedurende de oorlog in Kamp Amersfoort tussen de 35.000 en 40.000 mensen gevangen gehouden. De meeste gevangenen waren mannen, maar er werden ook vrouwen en kinderen vastgehouden. Onder de kampbevolking waren eveneens gijzelaars en geallieerde krijgsgevangenen. Vooral de Russische krijgsgevangenen hadden het zwaar te verduren. Velen van hen werden ter dood gebracht. In het kamp vonden veel (schijn)processen plaats. De doodvonnissen of represaille-executies zijn bij het kamp of op nabijgelegen plaatsen uitgevoerd. Meer dan 22.500 gevangenen werden afgevoerd via Kamp Westerbork naar concentratiekampen in Duitsland, ruim 11.000 kwamen vrij.
Voor de opsluiting van gestrafte gevangenen werd een bunkercomplex gebouwd. Het kamp was omgeven door prikkeldraad en bij de poort was een straf- en verzamelplaats. Die plek werd De Rozentuin genoemd, een naam die de Duitsers uit Dachau hadden meegenomen. Voor de gevangenen werden vijf barakken ingericht. Minimaal drie keer per dag werd appel gehouden en moesten de gevangenen zinloze exercities uitvoeren, waarbij mensen mishandeld en getreiterd werden.
In 1943 werd het kamp korte tijd gesloten om te worden verbouwd en uitgebreid. Steeds meer gevangenen werden naar Amersfoort gestuurd. Die moesten allemaal aan het werk gezet worden. In de omgeving werden bedrijven benaderd om dwangarbeiders op te nemen. In de loop van de tijd bleek de aanwezigheid van het Rode Kruis een remmende invloed te hebben oph et aantal mishandelingen van de gevangenen. Wel nam het aantal executies toe. De enige troost was dat de voedselvoorziening verbeterde, waardoor het gevaar van de hongerdood op de achtergrond verdween. In april 1945 nam het Rode Kruis het kamp over.
