In het geslacht Van der Merwede was het gebruikelijk de eerstgeboren zoon Daniel te noemen. Met de naam Van der Merwede wordt aangegeven dat de leden van dit geslacht het gebied bij de Merwede als hun bezit zagen. Zelf noemden zij dit het Heer Danielsambacht. Dit lag tussen Wijnhaven, Steegoversloot, Riedijkshaven en de Merwede.
De Huizen te Merwede
Nabij de Nieuwkerk bevond zich een verdedigbare woontoren, die destijds mogelijk Ammen- of Rode toren werd genoemd. Deze werd als gevangenis gebruikt en was mogelijk de residentie van de 'amman' of schout van het ambacht. Hier zouden tevens de heren Van der Merwede hebben gewoond.
Het ambacht van de Nieuwkerk waarop de Ammentoren stond, werd in 1303 binnen Dordrecht getrokken. Met heer Daniel was de stad overeengekomen dat hij het gebied zou verlaten.
Rond deze tijd werd ook het eerste Huis te Merwede gebouwd. Dit was een rechthoekig, bakstenen gebouw van ruim 600 vierkante meter groot. Het had twee ronde torens en werd, mogelijk vanwege verzakking, al vrij snel weer afgebroken.
Op de fundamenten (en met dezelfde stenen) werd vervolgens het tweede Huis te Merwede gebouwd (flink ruimer met z'n bijna 1200 vierkante meter). Dit was in 1335 voltooid.
Het tweede Huis te Merwede had aan de noordzijde twee vierkante torens. Van de grootste, de woontoren, is nog een deel zichtbaar. Dit vormt overigens slechts een fractie van het originele gebouw. Naast de iets kleinere noordoosttoren lag de ophaalbrug. Daarachter moet een keuken met waterput zijn geweest. In de zuidoosthoek van het complex bevond zich een ronde toren die dateerde uit de tijd van het eerste Huis te Merwede.
De Van der Merwedes
De enige generatie die het eerste Huis te Merwede heeft bewoond, is die van Daniel IV van der Merwede. Zijn zoon Daniel V zag toe op de bouw van het tweede Huis, dat in 1335 klaar was. In zijn functie van baanderheer - aanvoerder van een eigen strijdmacht ten dienste van de graaf - sneuvelde hij in 1345 in Friesland.
Daniel VI was in de eerste plaats ridder en vocht in 1351 aan de zijde van graaf Willem V van Holland in de slag bij Zwartewaal. Hij begeleidde de graaf in diens strijd tegen de bisschop van Utrecht. Hij vocht met de Franse koning Jan tegen de Engelsen. Hij ging op kruistocht en vocht tegen de Turken. Kortom, een ware ridder zoals we die kennen uit spannende ridderverhalen. Vermoedelijk overleed hij rond 1388.
Het meest opwindende dat opvolger Daniel VII meemaakte, was zijn deelname in 1396 aan de strijd tegen de Friezen. Zijn belangrijkste zorg was verder waarschijnlijk het oprukkende water; tussen 1393 en 1395 was hij dijkgraaf van de Grote Waard, waar ook toen al forse overstromingen plaatshadden.
Laatste bewoonster van het Huis te Merwede was Daniel VII's dochter Margriet.
Na het beleg van Dordrecht in 1418 door hertog Jan van Brabant, echtgenoot van gravin Jacoba van Beieren, wordt het verlaten Huis te Merwede grotendeels afgebroken door Dordtenaren die het als steengroeve voor de stadsmuur gebruiken. Wanneer bovendien in 1421 de Sint-Elisabethsvloed de Grote Waard overspoelt, blijft de ruïne van het eens zo prominente Huis te Merwede nog vele eeuwen lang in het water staan.