Zijdebalen werd gebouwd door de Amsterdamse zijdehandelaar Jacob van Mollem. Hij richtte in 1681 een zijderederij op aan de westzijde van de Vecht, bij de Westerstroom. Een waterrad in de Westerstroom leverde energie op voor zijn fabriek.
Bij de fabriek bouwde Jacob van Mollem huis met een centrale koepelzaal over twee verdiepingen. Het huis stond evenwijdig aan de Vecht. Vanuit de koepelzaal was de tuin te zien. David van Mollem, de zoon van Jacob, liet deze tuin uitbreiden tot een rijke baroktuin.
De tuin had een lange middenas, die naar een Sterrenbos voerde. Aan weerszijden hiervan lagen het Labyrint en het Theater. Er waren vijvers, een 'speelhuis', een schelpen- en mineralengrot en een loofgang.
In 1697 en 1717 bezocht tsaar Peter Utrecht. In 1717 was hij vergezeld van zijn echtgenote, Catharina. Hij bezocht Zijdebalen en de zijdefabriek van David van Mollem. Het kostte hem bijna zijn leven omdat hij wilde uitproberen hoe sterk de waterkracht was die de molen van de fabriek aandreef.
Aan het einde van de achttiende eeuw maakte de zijdefabriek steeds minder winst. In 1816 werd de fabriek gesloten. In 1819 werd de inboedel geveild. In het testament van David van Mollem was bepaald, dat wanneer Zijdebalen niet meer in de familie kon blijven, de buitenplaats afgebroken moest worden. Buitenplaats en tuin werden daarom gesloopt en het terrein werd verkocht.