Ondanks zijn eenvoudige komaf – hij groeide op in de handel in lompen en oud ijzer van zijn vader in het Achterom – werd Johannes Rutten dankzij zijn talent al jong leerling van kunstschilder Abraham van Strij sr. (1753-1826). Toen deze overleed, kwam hij in de leer bij George Adam Schmidt (1791-1844), die faam genoot als schilder van interieurs.
Rutten richtte zich op het schilderen van kerkinterieurs. Al op zijn twintigste trad hij toe als werkend lid van Teekengenootschap Pictura. Hiernaast was hij ook lid van toneelgezelschap Thalia, waarin hij de betere kringen uit het Dordtse culturele leven van die tijd trof.
In 1833 werd hij tekenleraar aan de Stads Bouwkundige Tekenschool voor bouwkundig en technisch onderwijs, waar de bekende Dordtse stadsarchitect G.N. Itz (1799-1869) directeur van was. Van Itz kunnen we nog steeds de Damiatebrug, de Lange IJzerenbrug, het verbouwde stadhuis, het Dordrechts Museum en vele andere werken in de stad aantreffen.
Het ging inmiddels goed met Johannes. Hij vestigde zich aan de Voorstraat en in 1837 won hij een belangrijke ereprijs van de Groningse Academie Minerva voor zijn doek Kerkgezicht van binnen. Hij kreeg vanuit zijn werk ook steeds meer oog voor de architectuur van huizen, bruggen, poorten en wat dies meer zij in de stad.
De samenwerking met Itz speelde in dit verband vooral na 1847 een steeds grotere rol in het werk van Rutten. Er waren grootse sloopplannen. Het was dus zaak om de tot afbraak gedoemde stadsgezichten voor de vergetelheid te behoeden. Veel van zijn werk uit die tijd maakte hij in opdracht van Itz. Daarbij verloor Rutten nooit details als gevels, uithangborden, muurankers, en dergelijke uit het oog. In deze tijd bouwde hij een oeuvre op bestaande uit tal van tekeningen en aquarellen.
Hun voorliefde voor het oude Dordrecht werd gedeeld door de jongere Simon van Gijn (1836-1922), de verwoede verzamelaar aan wie Dordrecht het museum Huis van Gijn te danken heeft. Rutten had hem de beginselen van het tekenen bijgebracht. Simon streed met Itz en Rutten voor het behoud van het in hun ogen zo mooie oude Dordrecht. Dit was echter in de eerste helft van de negentiende eeuw verwaarloosd en ook hadden veel oudere gebouwen inmiddels hun functie verloren. Poorten en andere verdedigingswerken werden meer en meer als sta-in-de-weg ervaren in een wereld waarin moderne technieken andere eisen begonnen te stellen aan de inrichting van de maatschappij.
Het is aan mensen als Rutten, Itz en Van Gijn te danken dat we nog zoveel beeld hebben van het Dordrecht dat in de tweede helft van de negentiende eeuw onherroepelijk tegen de vlakte ging. Van Gijn verzamelde afbeeldingen, waarmee hij vanaf 1868 de Atlas Dordracum Illustratum begon. Hierin zou het werk van Rutten een toonaangevende plek krijgen.
Op latere leeftijd kreeg Rutten in toenemende mate problemen met zijn zicht en moest hij zich terugtrekken uit zijn kunstenaarschap. Hij overleed op 6 oktober 1884 en werd op de Algemene Begraafplaats begraven.
