Hoewel we bij Huizen in de eerste plaats aan een vissersdorp denken, is de landbouw tot ver in de achttiende eeuw het voornaamste bestaansmiddel geweest. Huizer boeren lieten hun vee op de meent grazen en teelden rogge en boekweit op de Huizer Eng. Deze boeren waren zogenaamde Erfgooiers, die van oudsher de gebruiksrechten op de Gooise gronden hadden.
De vroegste aanwijzing voor een vergadering van de Erfgooiers stamt uit 1326. Door zich te verenigen wilden ze hun alleenrecht op de gemeenschappelijke gronden veiligstellen. Dit recht werd in 1404 door de landsheer vastgelegd in een zogenaamde schaarbrief. Een ‘schaar’ is een stuk land dat groot genoeg is om een volwassen koe van voedsel te voorzien. Er zouden die eeuw nog twee schaarbrieven volgen. Alleen mannelijke Gooiers, met Gooise ouders en woonachtig in het Gooi, konden aan de schaarbrieven rechten ontlenen. Scharende Erfgooiers mochten vee op de meent laten grazen. Niet-scharende Erfgooiers hadden geen vee, maar konden gebruik maken van andere rechten, zoals turf steken of zand winnen.
Gedurende de negentiende eeuw werden landbouw en veeteelt steeds minder rendabel. De komst van welgestelde stedelingen naar het Gooi creëerde bovendien grote vraag naar de Erfgooiersgronden om woningen op te bouwen. De boerenbelangen kwamen onder druk te staan. Een oplossing werd gevonden in de Erfgooierswet van 1912, waarmee de nieuwe Vereniging van Stad en Lande werd opgericht als eigenaar van de gemene gronden.
Ondertussen liep het aantal scharende Erfgooiers snel terug. Stukken heide en bos werden in 1932 verkocht aan het toen opgerichte Goois Natuurreservaat (GNR). Alle Erfgooiers ontvingen een deel van de opbrengst. Door het verdwijnen van het boerenbedrijf werd opheffing na de Tweede Wereldoorlog onvermijdelijk. Grond werd, behalve aan het GNR, ook verkocht aan het Rijk en aan gemeenten, waarna de opheffingsbijeenkomst van 28 april 1979 een einde maakte aan dit bijzondere middeleeuwse samenwerkingsverband.