In 1279 is voor het eerst in een geschreven bron een vermelding van de locatie IJsselstein gevonden. Die bron is een akte van 7 november waarin Gijsbrecht van Amstel het gebied beschrijft waarvan hij, zijn vader en voorvaderen de heren waren. In de dertiende eeuw is door de Van Amstels een kasteel gebouwd.
Het gebied van deze Van Amstels omvat in 1279, met inbegrip van de vroegere rechten van de abdij van Werden, in grote trekken het latere Land van IJsselstein: Benschop, Noord-Polsbroek en IJsselstein. Het grootste deel van de rechten en goederen in dit gebied van Lek-en-IJssel had Gijsbrechts vader, Aernout van Amstel, al in leen van de bisschop van Utrecht en enkele Utrechtse kapittels.
De Van Amstels zijn van oorsprong (begin twaalfde eeuw) ministerialen van de bisschop van Utrecht, hun stamslot stond in Ouderkerk aan de Amstel. Zij hebben een adellijke status verworven en zijn erin geslaagd om, strijdend soms met, soms tegen de graven van Holland, in het grensgebied tussen Holland en het Sticht een machtspositie op te bouwen, onder andere in het gebied van de latere heerlijkheid IJsselstein. Als eerste uit het geslacht Van Amstel voert Gijsbrecht (ca 1260-1343) de naam Van IJsselstein. Het familiewapen van de Van Amstels is nu nog het stadswapen van IJsselstein.
In 1308 huwt Gijsbrechts zoon Arnoud I van IJsselstein (heer van IJsselstein van 1343-1363) met Maria, de dochter van de Utrechtse bisschop Guy van Henegouwen/Avesnes. Arnoud I van IJsselstein had geen mannelijke nakomelingen. Zijn dochter Guyote, vrouwe van IJsselstein, huwde in 1330 met Jan van Egmond. Na het overlijden van Arnoud in 1363 komt er een einde aan de heerschappij van de Van Amstels in IJsselstein, en krijgt met Jan I van Egmond als heer van IJsselstein de dynastie Van Egmond de heerschappij over IJsselstein c.a. in handen.