会津藩が平穏であったのは、柴少年の10歳を迎える年までである。慶応4年（1868）2月、帰藩した後、登城を憚って城下に謹慎していた藩主松平容保から藩士に対して、次のような布告があった。

>此度不容易形勢に相成候は畢竟自分不行届よりして此に至候儀別て面皮を失候次第に候。一統も嘸々（さぞさぞ）残念に思候事と察入候、就ても直様（すぐさま）於江戸表回復致度儀に候得共、公辺御都合も有之一先（ひとまず）帰国致候処、今般討会（とうかい）之命諸藩へ相下候由に候間、今にも人数可相進も難計此上は兵備を第一と致候外無之候間、一致一和に相成り、諸事疑立等不致、何とかして国辱を雪呉候様、此段頼入候也。〈同、17ページ〉

あれほど京都守護職の重責を奉じて治安維持に腐心してきたのに、掌を返したように討会（会津討伐）とは何事かと、藩士中切歯扼腕しない者はない。柴少年、子供心にも悲憤やるかたなく、木刀を持って手当たり次第に立ち木を打ち回り、小枝を叩き折った。
「薩摩の芋武士（いもざむらい）奴（め）！　来たれ！」「目にものみせてくれん！」と、満面涙に濡らしながら木刀を振り回したが、心は収まらない。この日から会津の様子が一変し、父母兄弟姉妹いずれも言葉少なになり、眼光のみ炯炯として唇を噛むばかりとなった。
10歳となり、ようやく藩校日新館に入学したものの、夏近くになると、敵軍の発する砲声が遠雷のように轟き始める。ここで散華潰滅を覚悟し、藩では守備隊を結成した。

　青竜隊――36歳より49歳（国境守護）
　
　白虎隊――16歳より17歳（予備）
　
　朱雀隊――18歳より35歳（実戦）
　
　玄武隊――50歳以上（城内守護）

飯盛山で壮絶な死を遂げた白虎隊は、まだ幼な顔の残る少年ばかりであった。
17人が自刃した中で、ただ一人蘇生した飯沼貞雄『白虎隊顚末記』によると、敵の捕虜になったら、上は殿様に面目が立たず、下は先祖に対して申し訳ないと言って自刃した由。このあたりの精神性が、第二次世界大戦の敗戦まで兵士はおろか、一般国民にまで浸透していたことは周知のとおりである。

会津防衛軍としては、上の四隊だけでは心もとない。農民からも募兵すると、20歳から40歳の壮丁2700名が志願したばかりでなく、代官、支配役等の役人まで380名が加わり、山伏修験者、猟夫、僧侶に至るまでそれぞれ部隊を編成し、それこそ会津藩民の総力を結集して難局に当ることになった。

8月21日、城下から離れた別荘に留守番として住む大叔父の未亡人が柴家を訪れる。付近の山々は松茸、初茸、栗の実の盛りであるから、泊まりがけで取りにおいで、と五郎を誘いに来たのだった。

母は直ちに賛成し、学校も既に閉鎖され、男子はすべて城中にあるから、叔母様と一緒に行けと言う。久しぶりに上等な洋服を着せ、小刀を帯に差し挟み、手拭や懐紙などを取りそろえ、竹籠を渡して五郎を急き立てる。城下は騒然とし、子供の遊び興ずることもなくなった。邸内では、久しく笑い声が絶えている。そこへ栗拾いなどという楽しげな話であるから、五郎は幼心についうかうかと出てしまった。

これが、祖母・母・姉妹との永遠の別れになろうとは、知る由もなかったのである。