明治3年5月半ば、新領地へ移る。佐幕であった南部藩から処罰として二戸（にのへ）、三戸（さんのへ）、北の三郡を割き、これを旧会津藩に与えたもので、斗南（となみ）藩と名付けられた。

200余名の同行者と共に、アメリカ製蒸気船で北進する。外輪船であるから速力が遅い。船酔いによって死人のようになり、周囲の笑いを買う。6月を半ば過ぎたころ、ようやく陸奥湾を経て目的地である野辺地（のへじ）港に到着した。

呉服屋の一室から海中寺という寺に移り、4、5家族同居する。ここに滞在中、兄太一郎は永住・開拓の決意を固め、母方の親族の娘と結婚し、支庁勤めに出る。会津墓参に廻って合流が遅れた父は、ますます寡黙となる。もっぱら付近の川辺に釣り糸を垂れ、その姿は木像のごとく枯れ、石像のごとく動かない。

9月、野辺地から田名部（たなぶ）へ移る。往来に道もない海辺の波打ち際を、駄馬2頭にわずかな荷を積んで進む。野菊が咲き乱れ、ハマナスの見事な赤い実が見渡す限り広がる。崖の上から落ちる水が、強い浜風に吹き上げられて陽に輝く。

斗南藩は、たちまち糧米に窮した。藩士を養うどころではない。3万石は名ばかりで、7千石がやっとの惨状だ。そこで、兄太一郎が使者となり、箱館（函館）のデンマーク領事から糧米を購入することにした。ところが、仲介者である貿易商人が藩からの支払金を持ち逃げしてしまう。デンマーク領事は藩を相手取り、賠償を請求した。藩に迷惑が及ぶことを怖れた太一郎が、自分の仕業であると主張した。太一郎は捕われ、東京へ護送されてしまう。太一郎の義侠によって、藩政府は莫大な賠償を免れる。また、司法当局も太一郎の心情に痛く同情し、情状酌量の上、禁固刑に処した。以後、7年の間、気の毒な新婚の兄嫁は留守を守ることになる。

1日大人玄米3合、小児2合と銭200文（後の2銭）。藩政府から支給される、たったこれだけですべての用を弁じなければならない。当初間借りしていた人々も、家賃の支払いに窮し、掘立小屋を建て連ね、開墾を始めることになった。

働き手を失った五郎少年一家は、春まで空き家を借用した。陸奥の冬は、会津と比較にならない。陸奥湾からの北風が部屋を吹き抜ける。骨ばかりの障子に米俵を縄で縛りつけ、戸障子の代用としている。炉辺にいても氷点下15度にまで下がるから、炊いた粥さえ石のように凍ってしまう。融かしながら啜らねばならない。移住して最初に訪れた冬の生活は次のようなものであった。

用水は二丁ばかり離れたる田名部川より汲むほかなし。冬期は川面に井戸のごとく氷の穴を掘りて汲みあげ、父上、兄嫁、余と三人かわるがわる手桶を背負えるも途中にて氷となり溶かすに苦労せり。玄米を近所の家の臼にて軽く搗きたるに大豆、馬鈴薯などを加え薄き粥を作る。白き飯、白粥など思いもよらず。馬鈴薯など欠乏すれば、海岸に流れつきたる昆布、若布（わかめ）などあつめて干し、これを棒にて叩き木屑のごとく細片となして、これを粥に炊く。方言にてオシメと称し、これにて飢餓をしのぐ由なり。色茶褐色にて臭気あり、はなはだ不味なり。菜は山野の雑草を用いたるも冬期は塩豆のみなり。父上腐心して大豆を崩し、豆腐を作らんと試みたるも、ついにできず、砂糖、醤油などまったくなし。〈第一部、63ページ〉

餓死・凍死を免れるのが精一杯だったのである。