Philips van Rijningen was de eerste die in 1240 opdracht kreeg van de Monniken van Oostbroek om het gebied van het Westerwoud te ontginnen.
Philips' zoon, Elias van Rijningen, had de lagere rechtsmacht in Woudenberg. Rond deze periode doet deze, nu als Heer van Woudenberg, een schenking aan ene Laurens te Zeist bestaande uit een deel van het Westerwoud.
Hij trouwde met Agnese van den Berghe en zij kregen in elk geval 1 zoon, Johan. Na Elias' dood ging de rechtsmacht op hem over. Deze Johan komen we in 1299 tegen als knaap, huwde later met Willemette, dochter van Jan van Diest, bisschop van Utrecht, terwijl hij in 1313 ridder is en eigenaar van 'dat huus te Woudenberch'. Hiermee wordt het eerste kasteel van Woudenberg bedoeld, ook wel Woudenberg I, De Steen of 't Schilt genaamd.
In de Oudheidkamer bevindt zich een 18e eeuws gedenkglas met de inscriptie Vivat lang leeft de Heer en Vrouw van Woudenberg. Daar tegenover drie gekroonde wapens, gehouden door een staande Leeuw en Griffioen. Een herdenking aan J.H. graaf van Rechteren (1709 - 1783) en zijn echtgenote M.M. Pijnssen van der Aa (1714 - 1758).
