Vaak behoorden de copers tot de groep ministerialen, dienstlieden van de bisschop. Zij hadden het geld en de vaardigheden om zulke grote werkzaamheden te organiseren. Een van die machtige ministerialenfamilies was Van Amstel.
De Van Amstels waren op diverse plaatsen in Utrecht en Holland betrokken bij ontginningen. Vaak verkregen ze de lokale rechtsmacht en bij die positie hoorde ook een versterkt huis. Zo'n kasteel werd vaak gebouwd door de lokale heer en dan opgedragen aan zijn leenheer, bijvoorbeeld de bisschop van Utrecht.
Ministerialen hadden echter de neiging om met hun verworven rijkdom en macht te streven naar een meer onafhankelijke positie. Daarbij kwam het bezit van een eigen kasteel goed van pas. Dat was niet alleen een statussymbool, maar maakte het de bisschop ook een stuk lastiger hen tot de orde te roepen. Hij moest namelijk nu een legertje sturen om serieuze druk te kunnen uitoefenen.
IJsselstein dankt zijn naam aan de bouw van zo'n kasteel, het 'stein' aan de IJssel. De naam duikt voor het eerst in 1279 in de bronnen op, toen een Gijsbrecht van Amstel door de Utrechtse bisschop met het slot werd beleend.