De buitenplaats Cromwijck was in 1637 gebouwd op de plek waar toen al een tegelbakkerij gevestigd was. Het huis was een van de projecten van Johan Huydecoper en werd bewoond door de familie Rotgans. Dat de buitenplaats als steenbakkerij bleef functioneren, blijkt wel uit de lofdichten die in de zeventiende eeuw werden gemaakt op de kwaliteit van de stenen die er vandaan kwamen. Veel stenen die in Amsterdam werden verwerkt, waren uit de Vechtstreek afkomstig. In de middeleeuwen was dat anders geweest, toen importeerde Holland vooral stenen uit Friesland.
In het rampjaar 1672 moest het huis een bezoek van de Franse soldaten doorstaan, wat resulteerde in de totale verwoesting. Gelukkig werd het daarna weer opgebouwd en bood onder meer onderdak aan Lucas Rotgans, een beroemde dichter, en de familie Bastert, die kunstenaars voortbracht. Op achttiende-eeuwse tekeningen van het buiten zijn nog goed de grote stapels te drogen liggende stenen zichtbaar. Ook behoorde een aantal arbeiderswoningen bij de buitenplaats. In het begin van de twintigste eeuw was er op Cromwijk een kapok- en parfumfabriekje gevestigd.