De naam zou 'ruime laar' of 'grote bosweide' kunnen betekenen.
Het kasteel stond tweeëneenhalve km ten zuidoosten van Woudenberg, zoals in bronnen vermeld, in het Westerwoud. Naar men aanneemt op de plaats van de boerderij Groot-Ringelpoel.
Het landgoed was een laag gebied, maar strekte zich ook uit tot op de Utrechtse Heuvelrug. Een deel van de heide daar behoorde tot het landgoed Rumelaar.
Nog altijd is het Woudenbergse deel dat ten zuiden van de A12 ligt oorspronkelijk de heide van Rumelaar. Daardoor is deze grens met de Utrechtse Heuvelrug van historische waarde.
Het oudste gedeelte van Rumelaar is nu gelegen in Maarsbergen (gemeente Utrechtse Heuvelrug). Op zeker moment zijn er boerderijen afgesplitst, zoals Woudenbergs Rumelaar en Ringelpoel.
De naam Rumelaar wordt voor het eerst vermeld in 1242, hoewel het gebied waarschijnlijk al veel eerder bewoond geweest is. In 1311 komt Rumelaar in beeld doordat ene Borre van Amerongen met zijn leger een overval heeft gepleegd op Rumelaar, waarbij Jan en Riquin van Rumelaer worden gedood. In de veertiende eeuw wordt er dus heel wat op losgeknokt in het Woudenbergse. Bisschop Guy van Avesnes doet daarna een rechterlijke uitspraak waarbij Borre en zijn kornuiten een 'zoengeld' van 150 ponden moeten betalen.
In 1370 is er voor het eerst sprake van de hofstede Rumelaar. In dat jaar wordt een regeling getroffen voor de afwatering van het goed van Gijsbrecht van Abcoude. Het 'goet te Rumelaer' is dan eigendom van Jan van Culemborg.
In 1377 is het weer eigendom van ene Willem van Rumelaer. Na een aantal verervingen verkoopt Sweder van Rumelaer het goed in 1453 aan Henric Valkenaer.
Verval
Onder deze familie Valkenaer raakte het kasteel in verval. De resten zijn gebruikt om een boerderij te bouwen. Henric's nazaten verkochten het landgoed in 1666 aan Bastiaan de Ridder ten behoeve van het Juffrouwenconvent van het Vrouwenklooster te De Bilt. Sinds de Reformatie bestond het klooster niet meer, maar de goederen werden beheerd door de Ridderschap van Utrecht.
Rond 1795 gaat het weer over in particulier eigendom en komt tenslotte in de negentiende eeuw in bezit van de familie De Beaufort.
Ridderhofstad
Hoewel er al geen sprake meer was van een kasteel wordt Rumelaar nog wel genoemd in de 17e-eeuwse lijst van Ridderhofsteden. Het goed kan teruggevonden worden op de kadasterkaart van 1832 en zelfs nog op recente topografische kaarten. Daarop kan een deel van een vierkante slotgracht herkend worden, iets ten noorden van de huidige boerderij Groot-Ringelpoel.