パソコン、スマホ、タブレットの普及により、これらの機器を利用した学習が身近なものになっています。このような領域は教育工学という研究分野のひとつです。私たちの研究グループは、ICT（情報通信技術）を利用した学習支援システム（eラーニングシステム）の研究開発を行っています。

モーションキャプチャー技術の活用

モーションキャプチャーというのは、人間の体の動きを計測する機器のことです。スポーツの分野では昔から利用されていますが、とても高額な特別な機器をつける必要がありました。私たちは、eラーニングの普及には、特別な機器ではなく、安価なものを利用することが不可欠だと考えています。近年、安価なモーションキャプチャー機器が普及しており、Microsoft Kinectはそのひとつです。Kinectはもともとゲーム用の機器で、数万円で購入できます。あくまでゲーム用ですので、精度については高価な機器にはかないませんが、それでも実用性は十分です。

ドラム演奏動作を真似て学ぶ

私たちは、Kinectでドラムを対象とした学習支援に着目しました。楽器演奏というのは、譜面を覚えるだけではなく、楽器を思ったとおりに操作するスキルが必要です。ドラム演奏の場合は、リズム感が重要とされますが、スティックなどで叩いて音を鳴らす場所は複数存在し、両手、両足を動かすことになります。つまり、リズムよくドラムを演奏するためには、適切な動かし方（演奏動作）が必要になるわけです。しかし、ドラム演奏の譜面にはどの腕で叩くべきかといったことは書いてありません。ミュージシャンによって、ドラムの叩き方は異なってきます。

正解のない動きに対してどのように学習支援につなげていくのか？　この課題に対して私たちは、「真似て学ぶ」という考え方に着目し、お手本となる特定の演奏を真似させることで、演奏動作を学ばせる方法を取り入れました。では、お手本の教材の動きに似ているか似ていないかをコンピュータで把握させるにはどうすればよいでしょうか。そこでKinectの登場です。私たちは、ドラム演奏における演奏者の左右の手・腕の動きをKinectで検出し、各関節の3次元的な位置関係から、手首・肘・肩の関節の開き具合を数値化し、それをお手本の教材と比較できるようにしました。写真はお手本の骨格と演奏者の骨格を重ね合わせています。

類似度を可視化する

eラーニングシステムとしてうまく機能するためには、どこがどう良いのか（悪いのか）を教えてもらう必要があります。Kinectから得られる関節の動きを数値化するだけでは、それを演奏のスキルに反映させることは困難です。また、両腕の手首・肘・肩の計6箇所から3次元（x,y,z）の数値が得られるため、全部で18箇所の数値を比較する必要があります。さらに、ドラム演奏は楽曲を対象としたものなので、譜面上のリズムパターンによって、得意・不得意なところは異なります。私たちは、これらを直感的に捉えられるように、類似度の度合いを4段階のレベルで簡略化することにしました。そして、どのリズムパターンに対して得意・不得意なのかがわかるように、比較結果を譜面上の色で表現することにしました。

さらなる学びのサポートへ

現在は、加速度センサーなども小型化し、安価に手軽に利用できるようになりました。モーションキャプチャーやセンサーを利用することで、eラーニングで学べる対象は、従来の座学的なものではなく、スポーツや音楽、芸術の世界へ広がる可能性があります。私たちは、支援対象を広げていきながら、スキル（技能）とそれを学ぶ仕組みの研究を続けています。

この記事を書いた人

越智洋司, 井口信和
越智洋司
近畿大学理工学部講師。博士（工学）。動画像処理を活用した教育用センシング技術と教育システムの研究開発に従事。

井口信和
近畿大学理工学部教授・近畿大学総合情報基盤センター長を兼務。博士（工学）。情報ネットワーク応用、教育システム開発に関する研究に従事。