Da Olufs kone døde, begyndte han at komme sammen med Anna Kristine Jensen, der var født i Holmstrup i 1876. De flyttede tilbage til Svendborg og fik i 1901 sønnen Svend. Sigvald blev født den 31. januar 1906.
På billedet til venstre, der må være taget i 1907 eller -08, sidder han på skødet af sin mor, Anna Kristine. Til venstre ses hans storebror Svend, bagved hans far Oluf og hans halvbror Karl. Billedet kan her ses i
større format
På dette tidspunkt boede familien på adressen Høje Bøgevej 32 i Svendborg, men flyttede senere til Porthusvej.
I en periode havde Oluf en sejljolle, som han sejlede med på Svendborg Sund. Sigvald har fortalt, hvordan han som lille dreng lå oppe under fordækket under sejladserne.
