Op de hoek van de Maliebaan en de Biltstraat was rond 1637 herberg Het Boompje gebouwd. De herberg bezat een 'playsiertuyn' en lag op loopafstand van de stad. Op mooie zomerdagen konden de Utrechtse burgers zich hier vermaken.
In de vroege negentiende eeuw kocht de Utrechtse cementfabrikant U.W.T. Cazius het pand en verbouwde het tot een buitenhuis in Empire-stijl. Het had in deze tijd één verdieping met een verhoogde middenpartij. Op het bijbehorende terrein lagen het koetshuis en nog een gebouwtje met de bibliotheek en de badkamer. Er waren ook een vijver en een grote moestuin.
In 1879 kocht jonkheer B.Ph. de Beaufort het buitenhuis. Hij liet een extra verdieping opbouwen. Enkele jaren later werd aan het zuidelijke deel van het huis uitgebreid tot een apart woonhuis.
De Oorsprong werd in 1938 in gebruik genomen als bejaardenhuis. In 1972 werd het eigendom van de Universiteit Utrecht.