Tussen 1680 en 1780 werd rond en in Amersfoort door enkele kooplieden veel geld verdiend in de tabakshandel. De Amersfoortse bankier Benjamin Cohen kocht in 1777 het gebied Busaert in Hamersveld en liet er tabaksvelden aanleggen. Cohen bleek succesvol. Dat succes werd voor heel Amersfoort zichtbaar, toen hij in 1780 het pand Zuidsingel 38 liet verbouwen tot het 'Huis met de Paarse Ruitjes'.
Zijn zoon Abraham liet een even indrukwekkend pand aan de Westsingel 43 bouwen, dat van 1816 tot 1974 stadhuis van Amersfoort was. Benjamin Cohen was afkomstig uit een Amsterdamse Joodse familie, die zich al langer met de tabakshandel bezighield. Zijn grootvader was een van de stichters van de synagoge in Amersfoort. Benjamin zelf kocht veel land rondom Amersfoort voor de tabak, maar hield zich ook bezig met graan, zilver, diamanten en de internationale geldhandel. Benjamin was bevriend met de Oranjes en bood stadhouder Willem V onderdak in zijn Amsterdamse woonhuis. Al woonde Benjamin de tweede helft van zijn leven in Amsterdam, hij bleef betrokken bij Amersfoort.