Het landschap van Holten is vooral gevormd tijdens de laatste twee ijstijden. Dat was ongeveer 200.000 jaar tot 130.000 jaar geleden tijdens het Saale tijdperk. In de op één na laatste ijstijd schoven gletsjers vanuit het noorden over de noordelijke helft van Nederland. Het ijs stuwde hele aardlagen op. Daarbij werden grote hoeveelheden grond en rotsblokken opzij gedrukt. Hierdoor ontstond onder meer de Sallandse Heuvelrug. De Holterberg is een deel hiervan. Door het warmer worden van het klimaat smolt het ijs. Het smeltwater sleet aan beide kanten van de Holterberg diepe geulen uit, zogenaamde slenken. Een prachtig voorbeeld hiervan is het "Niemandal" op deze berg.
Stoffering van het landschap
Tijdens de laatste ijstijd bereikte het ijs Nederland niet, maar er heerste wel een poolklimaat. De ondergrond was permanent bevroren. In de 100 eeuwen daarna zorgden wind, water, planten en dieren voor een verdere stoffering van het landschap. Het water, afkomstig van smeltend ijs en neerslag, nam zanddeeltjes mee. Deze werden afgezet op de plaats waar de snelheid van het water afnam. Daardoor raakten grote delen van Nederland en ook het gebied rondom Holten bedekt met een dikke laag zand. Bodemdeskundigen noemen dit dekzand. Door het stijgen van de temperatuur verschenen op deze dekzandlagen grote loofbossen en grasvlakten. Dit alles vond plaats in het Weichsel-tijdperk (110.000-9.000 v.Chr.). In de omgeving van het Vletgoor zijn voorwerpen als pijlpunten van vuursteen gevonden die duiden op de aanwezigheid van Neanderthalers in deze periode.
Cultuurlandschap
Heel vroeger moet de Holterberg een groot woud zijn geweest, waarin jagers op zoek gingen naar wild om in hun levensbehoeften te voorzien. Toen de mens overschakelde van de jacht op de landbouw werd het bos met bijl en vuur te lijf gegaan. Door kaalslag en begrazing door schapen ontstonden uitgestrekte heidevelden. Aaneengesloten droge gebieden waren in Salland schaars en juist deze gronden had men nodig om te wonen en akkerbouwgewassen te telen. Voor de omgeving van Holten waren de zandruggen erg belangrijk voor bewoning en bebouwing door deze eerste boeren. Zij bemestten vanaf de Middeleeuwen hun akkers met een mengsel van dierlijke mest en plaggen die op de heide werden gestoken, de zogenaamde plaggenbemesting. De akkergronden of enken werden zo geleidelijk opgehoogd met een dik pakket "zwarte" grond. Na het verdwijnen van deze vorm van landbouw in de 19de eeuw ging men vanaf 1880 over tot de aanplant van (dennen)bossen op de heidevelden. Het grootste gedeelte van de Holterberg en omgeving is sindsdien weer bedekt met bos. Enkele overgebleven velden zijn in de 20ste eeuw aangewezen als natuurgebieden om daarmee het cultuurlandschap te behouden. Op de Holterberg zijn zelfs heidevelden ten behoeve van de korhoenders weer hersteld.
