Doordat de Martensen eeuwenlang in hetzelfde huis bleven wonen en de meeste kinderen ongehuwd bleven, raakte hun bezit nauwelijks verspreid. In het huis aan het Janskerkhof en later op de Velhorst bevonden zich grote aantallen schilderijen, meubels, serviesgoed, prenten, tekeningen en documenten. Daaronder vielen een gesloten portretreeks vanaf de uit Antwerpen vertrokken voorvader Hans Martens en stukken gemaakt door Joachim Wttewael, de grootvader van Aletta Pater.
Generatie op generatie werd het erfgoed doorgegeven. In de twintigste eeuw kwam de zorg ervoor te liggen bij de vijf kinderen van jhr. Jan Hendrik Jacob Constantijn Martens van Sevenhoven. Traditiegetrouw huwde er slechts een zoon, Jan Louis Anne, die predikant in Utrecht werd. De jongste zoon, Jacob Constantijn, woonde met zijn twee zussen op de Velhorst en de derde zoon, Anthony Hendrik, was rijksarchivaris in Arnhem. Toen het huwelijk van hun oudste broer kinderloos bleef, zagen Jacob Constantijn en Anthony Hendrik geen reproductieve taak voor zichzelf, maar gingen op zoek naar goede bestemming van het erfgoed. Anthony Hendrik ordende het familiearchief en schonk het aan het Utrechtse gemeentearchief (nu Het Utrechts Archief). De jongste bracht de inventaris bij musea onder: het Stedelijk Museum Zutphen, het Rijksmuseum, het Haagse Gemeentemuseum en vooral het Centraal Museum Utrecht.