Som barn i en fattig udbyggerfamilie i Vestermarie har Hans ikke haft meget andet end sin gode
arbejdskraft at bygge på. Han ernærer sig de første år som tjenestedreng. Her får han som 19-årig
ansættelse i Nylars. Året efter er han tilbage i Vestermarie, men i 1833, da han er 25 år, vender
han tilbage til Nylars, hvor han kommer til at leve en stor del af sit voksne liv.
Da han er 27 år, gifter han sig med Ellen Margrethe, der er gravid i 5. måned. De slår sig ned i
Nylars, hvor det lykkes dem at få et hus med en lille jordlod på 23. selvejergrund.
En nærliggende hypotese baseret på oplysningerne i folketællingen fra 1840 kunne være, at Hans har
opnået økonomisk og praktisk adgang til huset gennem en form for aftale eller blot forståelse med
beboeren af huset på 24. selvejergrund, Hans Andersen. Det var en mand på 75, hvis betydeligt yngre
kone døde i 1834 og lod ham alene med deres to børn. Høj har påtaget sig at tage vare på børnene,
da faderen døde. Hans Andersen dør i 1837, og i 1840 figurerer de to plejebørn i folketællingen
sammen med Hans og Ellens tre børn.
Hans dyrker sin jordlod og tager ved siden af forefaldende arbejde som daglejer. I 1850 er han i
folketællingen benævnt hesteslagter.
Den store omvæltning i deres tilfværelse har formentlig været deltagelsen i de gudelige
forsamlinger, som på den tid vandt frem, ikke mindst på Bornholm. En vigtig begivenhed i
baptisternes historie var den voksendåb, der den 12. maj 1848 fandt sted ved Sose strand, hvor 7
personer blev døbt. To af dem var Hans Hansen Høj og hans kone Ellen. Tilknytningen til
baptistmenigheden i Rønne førte til datteren Hansandrinas kontakt og ægteskabelige forening med
den gren af bevægelsen, der havde sit udspring i menighedsdannelsen på Christiansø.
Af kirkebøgerne og folketællingerne for Nylarsker sogn fremgår, at Hans og Ellen (Elne?) Margrethe
levede i sognet fra deres ægteskab i 1835 og mindst til1850. De flyttede derefter til Aaker sogn,
hvor Hans erhvervede et lille landsted. Det overtog senere svigersønnen Ole Jensen Holm. I 1870 og
1880 bor Hans Hansen Høj og hans kone Ellen Margrethe på aftægt hos datteren Hansandrine og
svigersønnen.
Efter 1880 flytter de til Olsker, hvor de bor de sidste år af deres liv. Måske har det haft en
forbindelse med, at datteren, Hansandrina, dør i 1886.