Pepperと体で覚える音楽用語
【背景】
音楽に関する知識の学習として、音楽ドリルが広く使用されている。しかし、音楽学習において、紙面上だけでは情報が不足してしまう。特に音楽用語は種類も多く、用語と意味を覚えるのは困難である。音楽ドリルでの学習において、なかなか覚えることができず、学習を楽しめずに断念してしまう学習者もいる。
学習において、体を動かすなどの付加情報和、学習した内容を人に教えることで、学習内容の定着が促進されることが知られている。
【目的】
上記の学習に関する知見を利用し、音楽用語を体を使ってより楽しく覚え、さらに学習内容を他者に教えることで学習内容の定着を促進するアプリケーションを作成する。本プロジェクトでは対話形式で学習が進められるほか、ダイナミックなジェスチャーを行うことが可能であることから、ヒューマノイドロボットPepperを使用する。
音楽用語には速度に関する用語、強弱に関する用語、発想に関する用語があるが、本プロジェクトでは強弱に関する用語の学習に絞って実装を行う。
【概要】
本アプリケーションは、学習者がPepperから学ぶ、学習者がPepperに学習した内容を教える、という２段階構成となっている。以下で各段階での流れを説明する。
・学習者がPepperから学ぶ
- Pepperが音楽用語を、音楽用語の意味にあったジェスチャーと一緒に教える
- 学習者がPepperの動きを真似する
- 学習者のジェスチャーができているか、Pepper認識、判定する
・学習者がPepperに学習した内容を教える
- Pepperが音楽用語の意味を学習者に教えてもらうよう促す
- 学習者がPepperにジェスチャーを使って音楽用語の意味を教える
- Pepperが学習者のジェスチャーを認識、判定する
【手法】
学習者のジェスチャー認識には、NAOmarkというランドマークを使用する。NAOmarkを学習者の両手先、胸の３か所に装着し、Pepper視点のカメラ画像内における座標を取得する。その座標から3点間の距離を計算し、位置関係を判定する。
本アプリケーションでは、「crescendo（だんだん大きく）」「decrescendo（だんだん小さく）」のジェスチャー認識を実装した。この２つの音楽用語のジェスチャーは、「小さくのポーズ」「大きくのポーズ」の２つから構成される。「小さくのポーズ」は、胸と左手先、胸と右手先のNAOmarkの距離が閾値以下になれば、ジェスチャーができていると認識する。反対に「大きくのポーズ」は、胸と左手先、胸と右手先のNAOmarkの距離が閾値以上になれば、ジェスチャーができていると認識する。
【実験】
アプリケーションの実行の様子は下記ビデオを参照。大学生１人にアプリケーションを使用してもらい、インタビュー調査による評価をおこなった。
デモ映像「学習者がPepperから学ぶ」「学習者がPepperに学習した内容を教える」
【評価】
アプリケーション使用後のインタビュー調査において、本アプリケーションによって音楽用語の学習が楽しく行えたかということについて、学んで教えるというコンセプトの実装についての２点質問を行った。前者については、体を動かすことによって机に向かって行う暗記勉強から脱却し、楽しんで学習を行えるという肯定的な意見であった。後者については、Pepperに教えているというより、教わっている感覚が否めないという意見があった。しかしこれは学習する音楽用語のレパートリーを増やすことによって解決できるという意見もあった。
【まとめ】
本アプリケーションは、音楽用語を体を使って楽しく覚えること、他者に教えることで学習内容の定着を促進することの２点をコンセプトに実装を行った。前者については、体を使って学習を行うことで学習を楽しめる可能性が示唆された。後者については、本アプリケーションでは効果が検証されなかった。今後の課題として、学習する音楽用語のレパートリーの多様化が求められる。
本アプリケーションの今後の展望として、体を使って学習を行うことで、運動促進や高齢者の認知症予防、また音楽分野以外の学習など、応用が考えられる。
【最後に】
卒業研究配属から２か月間かけて、プロジェクトのテーマ決めから実装、結果考察まで自分で行うというものはなかなかの至難であった。本プロジェクトを通して研究に対する姿勢、取り組み方を学ぶことができた。