Tot in de twaalfde eeuw woonden vrijwel alle Utrechters in houten huizen. Dat was in die tijd het enige betaalbare bouwmateriaal. Natuursteen was voor de meeste mensen veel te duur, omdat het van ver weg moest worden ingevoerd. Alleen bijzondere gebouwen als kerken, kloosters en grote markthallen werden van zand- of tufsteen gebouwd. Een paar schatrijke particulieren hadden ook een natuurstenen huis, zoals het huis Groot Lichtenberg aan de Oudegracht.
Met het heruitvinden van de baksteen aan het eind van de twaalfde eeuw, werd het mogelijk om tegen een meer betaalbare prijs een stenen huis te bouwen. De benodigde grondstof, klei, was rond de stad voldoende aanwezig. De stenen werden in eenvoudige veldovens gebakken. Omdat de baksteen in het begin nog relatief duur was, konden aanvankelijk alleen de rijkste inwoners van de stad zich een bakstenen huis permitteren. Dat lieten ze ook graag zien. Met hun drie bouwlagen en een zolderverdieping met kap staken ze boven de andere huizen uit. Extra indruk maakten de kantelen die ze op de muren lieten zetten. Vanwege die kantelen worden ze ook wel stadskastelen genoemd.
Hun kasteelachtig uiterlijk had alles te maken status. In het begin van de dertiende eeuw ontstond de ridderschap. Om bij de ridderschap te horen moest men behalve een adellijke familie, ook beschikken over een wapenrusting en verdedigbare woning. Vaak bouwden de adellijke geslachten woontorens buiten de stad, maar ook hun huis in Utrecht moest een ridderlijke uitstraling hebben. Naast de dikke muren en kantelen, waren ze ook heel groot: soms wel 11 meter breed, 30 meter lang en 25 meter hoog. Binnenin hadden ze vaak een grote representatieve zaal voor ontvangsten. Zo had het huis Oudaen, dat nog steeds aan de Oudegracht te vinden is, op de begane grond een zaal van maar liefst 7 meter hoog, 9 meter breed en 22,5 meter diep.
Aan het eind van de dertiende eeuw stonden er enkele tientallen 'stadskastelen' in het centrum van de stad, vooral aan de Oudegracht. Enkele voorbeelden zijn Oudaen, Fresenburg, Drakenburg en Rodenburg. Later kreeg het hoofdhuis een kleiner zijhuis.
Hoewel er in de vroege veertiende eeuw nog wel een enkel stadskasteel werd gebouwd, waren het vanaf 1300 vooral iets kleinere bakstenen huizen die langs de gracht verrezen. Deze huizen met een afmeting van zo'n 7 bij 20 meter, waren van kooplieden en hadden dan ook veel meer opslagruimte. Ze waren echter minder representatief dan de stadskastelen.
