メロディの「形」を描いて演奏するシステムを作りたい！
Comment from academist staff
遺伝的アルゴリズムで簡単にメロディを生成し、音楽の楽しみ方を広げたい
miho otsuka
コンピュータの助けを借りれば誰もが演奏者になれる？
みなさん、音楽は好きですか？ 普段、どんな風に音楽を楽しんでいますか？ 音楽には大きく分けて聴く側と演奏する側がありますが、多くの方々にとっては聴いて楽しむことが中心なのではないでしょうか？ 私は、それがすごくもったいないことだと感じています。自分なりのメロディを自分なりの方法で奏でたり、誰かと合奏を楽しむことができたら、音楽の楽しみ方はもっと広がると思うのです。
そうはいっても自分で演奏するためには、楽器を弾く練習をしたり音楽の専門知識を学んだりと、大変な道のりが待っていると思う方も多いかもしれません。でも、別の方法も考えられます。現代にはコンピュータという優れものがあります。
私は、コンピュータの助けを借りることで、専門知識や技能がなくても演奏することができるシステムの開発を目指しています。だれでもできる簡単な操作で、もっと気軽に「演奏もどき」を楽しむ人が増えたらいいなと考え、研究を進めています。
メロディの「形」を描いて音を奏でる
このWebサイト上の動画で、いま私たちが作っているシステムをご覧になれます。横軸が時刻、縦軸が音の高さ（ドレミ）を表しています。画面上にマウスや指を使って演奏したいメロディの「おおまかな形」（旋律概形）を描くと、その旋律概形に沿ったメロディを即座に作って演奏してくれます。
このシステムの特徴は、旋律概形に基づく、という点にあります。私たちは、専門知識をもたない普通の人にも、「こんなメロディを演奏したい」というおおまかなアイデアがあるのではないかと思っています。たとえば「最初のメロディは中ぐらいの音から高い音になって、そこから音が下がる」とか「2つ目のメロディはすごく高い音から始まる」というぐらいのものです。そのアイデアを表現する簡単な方法が、お絵かき感覚で旋律概形を描いてもらうことだと考えました。
もっともらしいメロディの生成
では、こういったシステムを作るうえで難しいところはどこでしょうか。まず、ユーザーが旋律概形を描いたら即座にメロディを作らないといけません。しかも、音楽的に不自然なメロディであってもいけません。つまり、ユーザーの指示と音楽的な妥当性の両方を守るもっともらしいメロディを、瞬時につくる必要があります。
現在私たちは、もっともらしいメロディの生成に「遺伝的アルゴリズム」を使っています。遺伝的アルゴリズムは、適合度と呼ばれる数値ができるだけ高くなるデータをみつける手段です。メロディ生成の場合、適合度はメロディの「音楽的なよさ」を意味します。この適合度というものを確率の考え方を使って定式化しています。たとえば、「ド」の音の次に「ド」がもう一度くる確率は何%で、「レ」がくる確率は何%なのか。それらの確率は音の長さや伴奏のコード進行などでどう変化するのか。こういった統計情報をメロディのデータベースから算出し、それをもとに、生成するメロディの音楽的な妥当性を評価しています。
音楽の新しい楽しみ方を社会に提供したい
いまはまだ研究段階なので、一般の方にはまったく知られていないシステムですが、これからどんどん、より多くの方々に使ってもらえる形にしていきたいと思っています。その方法のひとつに、スマートフォン版やタブレット版を作って簡単な操作でダウンロード、インストールできるようにすることがあります。開発したシステムを社会に出して、いろいろな人のなかに眠っている演奏意欲・創作意欲を刺激していき、みんなが生き生きしながら音楽を楽しむ社会を作りたいです。
また、社会に出して使ってもらうことの別のメリットとして、フィードバックをいただけるという点もあります。ユーザーの声を活かし、さらなる研究の進展にもつなげたいと考えています。
Why we need your support
メロディ生成自体にも改善点はありますが、実用化の一歩手前ぐらいのところまではきていると思っています。少しでも早くみなさまに使っていただき、音楽の楽しみ方を広げると同時に、ユーザーの方々からご意見をフィードバックしていただいて、さらなる改善のための基礎データにしたいと考えています。そのためにも、スマートフォン版（さしあたってAndroidを想定）のシステムを作成し、公開したいのですが、スマートフォン版を作るにはある程度プログラムを作りなおす必要があります。しかし、それを私たちだけで行うのは、プログラミングのノウハウの点でも人的資源の点でも現実的ではありません。
そこで、Androidプログラミングのノウハウを持つプログラマーを雇用し、これまで私たちが培ってきたシステムをAndroid上で動くようにしたいと思っています。みなさま、ご支援のほど、よろしくお願い申し上げます。
また、将来的にもうひとつやってみたいのが、ネットワーク通信による合奏（アンサンブル演奏）への対応です。自分と友人がそれぞれスマートフォンなどを持って、それぞれで旋律概形を描くことで合奏できたら、すごく楽しいと思います。 演奏が上手な友人がいれば、その人には普通の楽器を弾いてもらってもよいかもしれません。これまで、演奏の上手な人と下手な人が一緒に合奏するなんてほとんどありませんでした（必ず、下手な人が萎縮してしまいますから）。演奏の上手な人はコンピュータの手助けなしで、下手な人はコンピュータに手助けをしてもらうことで、対等な立場で合奏できれば、新しいコミュニケーションにつながると思います。コンピュータの手助けを受けながら楽器演奏や音楽創作を楽しむ人を増やすことで、新しい生きがいやコミュニケーションをつくっていきたいと考えています。
Profile
北原鉄朗
Project timeline
| Date | Plans |
|---|---|
| 2019年3月 | クラウドファンディング挑戦 |
| 2019年4月頃 |
Android版の開発開始
|
| 2019年11月頃 |
試作版の公開
|
| 2020年3月頃 | ユーザーからのフィードバックを論文の形にまとめて投稿 |
| 2020年8月頃 | ユーザーからのフィードバックに基づいた修正版の公開 |
Pledge Rewards
研究の詳細な進捗などをレポートにまとめてお送りします。応援よろしくお願いいたします！
研究進捗レポート（PDF版）
6 supporters are supporting with this reward. （No quantity limit）
Android用の試作版アプリやPC用アプリを公開するWebサイトにお名前を掲載いたします。
Webサイトにお名前掲載 / 研究進捗レポート（PDF版）
7 supporters are supporting with this reward. （No quantity limit）
サイエンスカフェにご招待いたします。日時は未定ですが、場所は東京都内を予定しています。当日は本プロジェクトの進行状況の報告のほか、私がこれまで行ってきた自動作曲や作曲支援の研究についてお話しさせていただきます。
サイエンスカフェ参加権 / Webサイトにお名前掲載 / 研究進捗レポート（PDF版）
3 supporters are supporting with this reward. （No quantity limit）
本アプリの試作版の公開に先立って、優先的に試作版をお使いいただけます。
アプリの優先使用権 / サイエンスカフェ参加権 / Webサイトにお名前掲載 / 研究進捗レポート（PDF版）
0 supporters are supporting with this reward. （No quantity limit）
本研究成果を発表する際の謝辞にお名前を掲載させていただきます。 ※研究成果をまとめられるよう努力いたしますが、論文の掲載に至らない可能性もございますこと、ご承知おきいただけますと幸いです。
論文謝辞にお名前掲載 / アプリの優先使用権 / サイエンスカフェ参加権 / Webサイトにお名前掲載 / 研究進捗レポート（PDF版）
0 supporters are supporting with this reward. （No quantity limit）
本アプリの使い方に関する講習会やメロディ生成の原理に関する講演会などをご指定の場所で行います。ただし、遠方の場合は交通費についてご相談させていただく場合があります。
出張講演会 / 論文謝辞にお名前掲載 / アプリの優先使用権 / サイエンスカフェ参加権 / Webサイトにお名前掲載 / 研究進捗レポート（PDF版）
0 supporters are supporting with this reward. （No quantity limit）
SSL encryption communication is used in this Web site, and the informations filled out are safely transmitted.
研究進捗レポート（PDF版）
6
supporters
back
（No quantity limit）
Webサイトにお名前掲載 and others
7
supporters
back
（No quantity limit）
サイエンスカフェ参加権 and others
3
supporters
back
（No quantity limit）
アプリの優先使用権 and others
0
supporters
back
（No quantity limit）
論文謝辞にお名前掲載 and others
0
supporters
back
（No quantity limit）
出張講演会 and others
0
supporters
back
（No quantity limit）
