Anders dan de naam doet vermoeden ligt de piramide op Woudenbergs grondgebied. Bij de bouw in 1804 is hij bekroond met een houten obelisk van 13 meter. In de piramide werd een document in een loden koker geplaatst. De Marmont stelde bij zijn vertrek 3 militairen aan om de piramide te bewaken en te onderhouden.
Het verval begon echter al spoedig.
Generaal De Marmont
Auguste Frédéric Louis Viesse de Marmont, hertog van Ragusa, was generaal in dienst van Napoleon. Hij heeft verschillende veldslagen meegemaakt, onder andere de tocht naar Egypte in 1798. In 1804 werd hij met zijn troepen (18.000 man) gelegerd op de heide bij Zeist. In 1811 waren er nog 122 soldaten (grenadiers) bij de Woudenbergers ingekwartierd. Om zijn goed geoefende soldaten, wat te doen te geven liet hij hen in 27 dagen een 36 meter hoge piramide bouwen, geïnspireerd door de piramide van Gizeh die hij had gezien. Graag had hij deze de Marmontberg willen noemen.
Lodewijk Napoleon besliste anders. Na de Drie-keizerslag of Slag bij Austerlitz in Tsjechië in 1805 noemde hij de piramide ter ere van deze veldslag de Pyramide van Austerlitz. Tegelijkertijd herbenoemde hij de nabij het legerkamp gelegen handelsnederzetting Bois-en-ville Austerlitz.
