Het Koninklijk Nederland Meteorologische Instituut (KNMI) werd bij koninklijk besluit van Koning Willem III op 31 januari 1854 officieel opgericht, dit op initiatief van prof. C.H.D. Buys Ballot. De hoofdactiviteit van het KNMI was het geven van weerwaarschuwingen met het oog op veiligheid. Buys Ballot, de eerste hoofddirecteur, koos als locatie de sterrenwacht Sonnenborgh in Utrecht. Die werd echter te klein. In 1893 bood G.H.L. baron van Boetzelaer de buitenplaats Het Klooster, gelegen in De Bilt, te koop aan. Die plek werd geschikt bevonden door het KNMI. Er was geen hoge bebouwing in de buurt, iets wat de waarnemingen ongunstig zou kunnen beïnvloeden. Het rijk kocht het landhuis met ongeveer 10 hectare grond. Op de rest van de buitenplaats ontstond het Kloosterpark, het eerste villapark in de kern De Bilt. Er werden aan de bouw van de villa's voorwaarden verbonden. De huizen moesten platte daken hebben en mochten niet hoger worden dan zeven meter.
Het rijk liet aan het buitenhuis verbouwingen uitvoeren en trof voorzieningen om huis en terrein geschikt te maken voor het KNMI. Rijksbouwmeester Daniël Knuttel maakte een bouwplan. Aan de rechterzijde werd een 15 meter hoge observatietoren gebouwd. Daar bovenop kwam nog een zeventien meter hoge beukenhouten opbouw die, om dwarrelwinden te voorkomen, zo open mogelijk gemaakt werd. In 1897 verhuisde het KNMI naar de nieuwe locatie. Nadien hebben er nog diverse uitbreidingen en verbouwingen plaatsgevonden. Zo ontwierp rijksbouwmeester G. Friedhof in de jaren vijftig van de vorige eeuw twee nieuwe vleugels en een nieuwe observatietoren.
Naast het hoofdgebouw werden tussen 1893 en 1897 enkele bijgebouwen gerealiseerd, waaronder twee magnetische paviljoens. Een van die paviljoens werd in 1902 door brand verwoest. In 1910 werden het seismisch paviljoen gebouwd en twee dienstwoningen en in 1916 werd de directeurswoning gebouwd.