Som den tredje blandt de levende sønner har der ikke budt sig en mulighed for, at Jacob kunne blive
gårdejer i Povlsker. I stedet blev det til et lidt uroligt familiemønster, som vi ser videreført af
hans søn. Formentlig er Jacob blevet oplært i landbruget, men han forsøger sig som møller i
Povlsker. Deraf opstår slægtsnavnet Møller, som hans børn blev tildelt ved dåben efter den praksis,
der i denne periode ofte blev brugt ved valg af det efternavn, som skulle bæres af slægten.
Familien var kendetegnet ved solide bønder i Povlsker, Bodilsker og Pedersker, så møllerhvervet var
måske ikke hans drøm. Landbrugsejendomme var vanskelige at erhverve i hans hjemby. Mellem 1845 og
1849 flytter Jacob med sin familie fra Povlsker til Ibsker. Her benævnes han i kirkebogen
"Parcellist på Nørremark" og "Avlsbruger" og ved hans død "Husmand i Aarsdale". Man kan ikke på det
grundlag kalde ham flakker, men i forhold til anernes adfærd måske lidt rastløs.
Under de formentlig trange kår opfostrede Jacob og Mette Kirstine en børneflok på 11, hvoraf en
enkelt, Jacob, døde som toårig. De havde også den sorg, at Jens Peder kun blev 22 år. I biografien
for Mette Kirstine er følgerne af de trange kår uddybet.