Isak Jensen er født i Gudhjem i en af byens mange fiskerfamilier. At blive fisker er formentlig
også den mulighed, tilværelsen umiddelbart byder ham.
Mange af byens unge mennesker har haft Fæstningen Christiansø isom en anden mulighed. Isaks
storesøster havde giftet sig med en soldat på Fæstningen og fået bopæl på øen. Hun får også plads
til Isak i den lille bolig i kasernelængen, så han flytter ind hos hende og hendes mand og barn, da
han er 14 år. Her optræder han første gang i kirkebogen, da han bliver konfirmeret i 1827. Det
fremgår, at han har boet der siden nytår. Præsten tildeler ham bedømmelsen "taalelig god" i
kundskaber og i opførsel "meget god". Aabenbart har han ikke brilleret i undervisningen. Han bor
der stadig, da søsteren i 1831 får en datter mere og kort tid efter bliver enke. Isak er blevet
ansat som soldat ved fæstningen, så det har været ganske praktisk for både ham og søsteren. I kraft
af barndommens oplæring i Gudhjem skaffer han lidt ekstra indtægter og mad på bordet ved at drive
fiskeri ved siden af soldatergerningen.
Folketællingen 1834 fortæller, at han er 22 år gammel, er ugift soldat og fisker. Han bor i
"Kasernelængen nr. 11 på vestre side ovenpå" hos sin søster Anna Kirstine Jensen, der er enke og
almisselem, og hendes to piger på 4 og 9 år.
Snart gifter han sig med Cicilie fra en anden soldaterfamilie i kasernelængen, der venter hans
barn. De overtager boligen, som de beholder resten af deres tid på fæstningen. Isaks søster bor
her ikke mere i 1840. Ved folketællingen i 1845 har Isak tilføjet efternavnet Holm. Det er hans
kone Cicilies pigenavn, som hun har fra sin stedfader, Christen Holm.
I 1852 grundlægger missionæren Ryding en baptistmeninghed på Christiansø. Af folketællingen fra
1855 fremgår, at Isak er konverteret senere end Cicilie, da det kun er hende, der benævnes
"Baptist". Isak og børnene er "Lutheranere". Ved fæstningens nedlæggelse samme år flytter familien
til Rønne, hvor de indgår i baptistmenigheden, og Isak får arbejde på Nordre Støberi. Stående lidt
i skyggen af sin karismatiske hustru, Mor Isak, fik han blandt baptisterne betegnelsen "en tavs
mand". Hans fortjeneste i baptistsamfundet har åbenbart især været at blive far til den navnkundige
menighedsforstander i Rønne, Peter Andersen Holm.