古関は、明治42（1909）年、福島市大町の呉服屋「喜多三」の長男として誕生。父親が音楽好きだったので、この頃まだ珍しかった蓄音機で音楽に触れる機会に恵まれました。福島県師範附属小学校（現：福島大学附属小学校）で音楽の素養を大きく伸ばすと、10歳で卓上ピアノを使って作曲に着手。クラスメイトが詩を持って作曲を依頼してくるほどの才能を発揮していました。

18歳でペンネーム「裕而」を持ち、常にハーモニカを携えながら作曲に情熱を注いだ青春時代。福島商業学校（現：福島商業高校）卒業する頃、念願叶って日本有数のハーモニカバンド「福島ハーモニカ・ソサエティ」に入団。昭和3（1928）年には、仙台中央放送局記念番組の出演も果たしています。また、卒業後は、母方の伯父が頭取を務める川俣銀行に勤務。文通で愛を育んだ内山金子と結婚したのは21歳の時でした。そしてこの年、コロムビア専属作曲家として上京します。