中学校教師の安月給で妹の学資を見るのは、想像以上にたいへんなことで、いくら生活をきりつめても足りなく、この時代は人として最低の生活を送っていたようだ。
しかし、絵を描くことだけは続けていて、頼まれて描いた絵の謝礼が臨時に入ることもあった。
妹が女子大を卒業を卒業すると、大正6年4月、かねて婚約中の赤堀富美子と結婚し一男一女を得るが不幸にして二人とも夭折する。
新設の八幡中学校へ赴任。
ここで一男二女が生まれ、また二人の妹を引き取り、相変わらず苦難の生活だったが、絵を描くことは止めず弟子への指導も熱心で生涯に渡る深い師弟愛が結ばれることになる。
いかなる困窮生活の中でも絵を描くことを続けられたのは、描くことへのすさまじいばかりの執着心が彼の生きる力になりえたのだろう。