Developing a program that automatically generates "mishearing"
Reached the funding target!
おかげさまで目標額を達成することができました。
温かい支援と拡散のご協力及び応援のお言葉、誠にありがとうございました。
20万円はacademistの中では少額な部類ですが、一学生が手にする金額としては決して少なくないと思っています。
皆様にご支援していただけたことの意味をしっかりと認識し、よく考えて活用させていただきます。
また目標達成以降も追加で支援していただき大変ありがたいです。
追加でご支援いただいた分についてもサーバや追加の被験者実験のための資金として有効に使わせていただきます。
これでようやくスタート地点に立つことができました。
二重の意味で「面白い」研究成果を出せるよう邁進いたします。
引き続きどうぞよろしくお願いいたします。
Comment from academist staff
「空耳っておもしろい！」というワクワクから生まれた研究開発
miho otsuka
日本で古くから受け入れられてきたユーモア「空耳」がおもしろい
「大塚愛『さくらんぼ』を野球選手名で歌ってみた」という替え歌動画をyoutubeで目撃したことが、私が空耳に興味をもったきっかけでした。大変笑いました。関連動画を見て、また笑いました。このような空耳替え歌の動画を見続けているうちに、なんでただの単語の羅列がこんなにも笑えるのだろう、と別の意味でも「おもしろく」感じるようになりました。
空耳とは、ある言葉が別の言葉に聞こえる現象のことです。たとえば、英語の”I surrender”が日本語の「愛されんだあ」に聞こえる、野球選手の名前の並びがJ-POPの歌詞に聞こえる、といったものがあります。私は現在、後者の空耳、つまり「種類が限定された単語による空耳」の自動生成プログラムを開発しています（例：国名だけで「地上の星」歌ってみた（空耳自動生成））。使える単語の種類が限られている状況で、それをうまく並べて元の文章に発音を近づける、ということをやります。
私が空耳自動生成プログラムを作りたい理由は2つあります。ひとつは空耳とは何かを理解するためです。空耳の知覚原理に関する研究は進んできているものの、どういった文章が空耳になりうるのか、そしてどんな空耳がおもしろいのかといったことはよくわかっていません。何かを理解する方法のひとつに、「作ってみる」というものがあります。コンピュータを自作することを通じてコンピュータに対する理解が深まるように、空耳を作ってみることで、空耳に対する理解が深まると考えました。
もうひとつの理由は、シンプルに空耳がおもしろい（笑える）からです。昔から人を楽しませることが好きでした。自分が開発したプログラムで自分も人も笑わせることができたら、こんなに嬉しいことはないと思いました。特に、日本は世界有数の空耳大国です。掛詞のような発音の類似性を利用したユーモアに、1300年前の万葉集の時代から親しんできた日本人にとって、空耳もまた受け入れやすいユーモアのひとつだったのだと考えられます。であれば、日本人がである私が、世界に先駆けて空耳自動生成の研究をすることには意味があると思いました。
空耳の知覚原理と、自動生成の方法
空耳に関する先行研究は、その知覚原理に関するものと、自動生成に関するものに分けられます。まず知覚原理については「曖昧な音を聞いたときに既知の単語を使って脳が予測しているのではないか」と考えられており、fMRIを使って脳活動を調べる研究からそれを示唆する成果が最近（2018年6月）に発表されました。しかし、どういった文章が空耳になりやすいのか、空耳になぜおかしみを感じるのか、など解明されていない点はまだ残されています。
空耳の自動生成に関する研究は、海外よりも日本で多く行われています。その多くは英語を日本語に置き換える研究であり、英語音声を日本語音声認識ソフトウェアに入力する方法や、2言語間のIPA発音記号の近さを利用する方法が検討されています。日本語を日本語で置き換える研究はほとんどされていません。近いものに、音素の近さに基づく駄洒落生成や音程を考慮した替え歌生成の研究がありますが、20音節程度以上の「比較的長い日本語文を音素の近い限定された単語の並びに置き換える研究」は、私が調査した範囲ではありませんでした。
長い日本語文を少ない単語数で置き換えること
本研究で扱う「限定された単語による空耳自動生成」は、今まで注目されていなかっただけで作ること自体は簡単なのかというと、そうでもありません。先行研究との大きな設定の違いは、使える単語の種類が極端に少ないことです。先行研究の設定では一般的な日本語辞書に含まれる語彙（約60万語）のすべてが使えたのに対し、本研究では100~1000語程度の単語しか使えません。少ない単語数で精度の高い空耳文を生成する方法を考える必要があります。また、替え歌などへの応用ができるように、もとの日本語文が長くてもうまく変換できるようにする必要があります。このため「長い日本語の元文をどう区切って単語で置き換えればよいか」という問題がでてきます。
これらを解決するには何らかの最適化手法を適用するのが良いと考えられます。ただし、現実的な計算時間で終えるためにどのようなアルゴリズムを用いるか、最適化のパラメータに何を用いるかということは、探索的に調査していく必要があります。
空耳の精度やおもしろさに影響する評価指標を見出したい
本研究では、複数の評価指標に基づくある評価値を設定し、その評価値が最大化するような空耳単語列の並びを出力する最適化アルゴリズムを開発します。パラメータとなる評価指標の候補は無数に考えられますが、まずは文字列の近さと文節一致度、を指標とします。文字列の近さは、編集距離（ある文字列を別の文字列に編集するために必要な操作回数）で定量化します。文節一致度は、より正確にいえば、元文の文節の切れ目と、空耳文の単語の切れ目が一致しているかどうかの評価指標です。これらの指標の線形和から求められる評価値を、動的計画法を用いて最適化します。
この手法に基づき開発したプロトタイププログラムの出力例を示します（下図）。大塚愛『さくらんぼ』の歌詞を入力として、日本のプロ野球選手の苗字または名前だけの空耳文を生成しました。「あの向 こうに」が「アオイ コウジ」となっているように、文字列の近さと文節一致度の両方を考慮することで、必要に応じて単語の途中でも区切りつつ、発音の近い文章を生成できていることがわかります。
今後は、プログラムから出力された空耳文を、人に主観評価してもらうことで、空耳の精度を評価します。また評価指標の重み係数を変えながら複数種類の空耳文を生成し、精度を比較することで、どのような評価指標が重要であるかを検証します。得られた結果に基づき、より精度の高い空耳文を生成できるようにプログラムを改良します。これらの研究プロセスを通じて、限定された単語による空耳文自動生成プログラムを開発するとともに、空耳の精度の高さやおもしろさに影響を与える評価指標を明らかにします。
Why we need your support
クラウドファンディングに挑戦することを決めた理由は大きく2つあります。ひとつ目は研究費の獲得です。これまでは無料のライブラリを使いながら空耳自動生成の基本的な機能を実現することができました。今後は、本プログラムを外部サーバに設置してWebアプリ化し、多くの人に使ってもらえる環境を構築したいと考えています。このためのサーバレンタル代や、より詳しいデータ収集のための被験者実験費用、成果報告のための学会費用、研究サイクル効率化のための開発外注費などのために、ご支援いただいた研究費を使用させていただきたく思っています。
2つ目は学術クラウドファンディング自体をやってみることに興味があったからです。まず、研究者としての自立性を高めるため学生のうちに自分自身で研究費を得る経験をしておきたいという思いがありました。加えて、クラウドファンディングのような、個人を、組織ではない多数の個人が支えるというコミュニケーション形態は今後の主流になっていくと考えており、専門課程でコミュニケーションに関する研究を行っているひとりの人間として、そうしたコミュニケーションに身を投じた際の心の動きを当事者として感じられる機会に強い興味がありました。
本研究の最終目標は、空耳自動生成プログラムの開発を通じてユーモアについての理解を深めつつ、世界の笑顔の総量を0.1％増やすことです。空耳は日本人が古来から親しんできた文化である一方で、空耳をおもしろく感じるセンスは全世界で共通です。本研究の自動生成における基本的な枠組みはあらゆる言語に適用可能であるため、本研究を発展させていくことで、クールジャパンのように日本発で世界に認められる文化のひとつを創造できる可能性もまったくのゼロではありません。
また、本チャレンジを通じて、研究者が自由研究的に、身近なワクワクに従った研究をやる土壌をつくりたいと思っています。学術クラウドファンディングは私が所属する大阪大学では前例がなかったため、多くの先生方にお願いしてなんとか実現までたどり着くことができました。私の事例をきっかけに、クラウドファンディングが広まり、私の身近な人が自由に研究を楽しめるようになれば、それは環境の活性化になり、私自身にとっても居心地のいい空間が形成されることにつながると期待できます。そんな居心地の良い研究空間を作り上げるための第一歩としてクラウドファンディングが広まればいいなと思っています。
Profile
島谷二郎
Project timeline
| Date | Plans |
|---|---|
| 2018年12月 | クラウドファンディング挑戦 |
| 2019年2月 | Webアプリページ公開、被験者実験 |
| 2019年8月 | 情報処理学会HCI研究会にて成果発表（予定） |
Pledge Rewards
空耳研究の詳細な進捗などをレポートにまとめてお送りします。応援よろしくお願いいたします！
研究報告レポート（PDF版）
27 supporters are supporting with this reward. （No quantity limit）
オリジナルデザインのクリアファイルをお送りいたします。"みみ”つながりということで、マツコ会議にも出演し最近注目のVTuber「みみたろう」さん( @mimitaro_vt )とコラボさせていただきました。イラストはみみたろうさんの生みの親であるアルティメット・ハイさん( @bigmaumau )に書いていただきました。
オリジナルクリアファイル / 研究報告レポート（PDF版）
19 supporters are supporting with this reward. （No quantity limit）
Webサイトにサポーターとしてお名前を掲載いたします。応援よろしくお願いいたします！
Webサイトにお名前掲載 / オリジナルクリアファイル / 研究報告レポート（PDF版）
19 supporters are supporting with this reward. （No quantity limit）
サイエンスカフェにご招待いたします。日時は2019年5月18日、場所は大阪を予定しています。当日は空耳研究と専門課程でやっているコミュニケーションロボット研究についてお話させていただきますので、ご参加をお待ちしています！ ※当日ご参加いただけない場合には、後日資料を共有させていただきます。
サイエンスカフェ参加権 / Webサイトにお名前掲載 / オリジナルクリアファイル / 研究報告レポート（PDF版）
8 supporters are supporting with this reward. （No quantity limit）
2019年8月の情報処理学会HCI研究会にて本研究に関する発表をする際、謝辞にお名前を掲載させていただきます。また、発表資料（電子版）を送付いたします。お力をお貸しください。応援よろしくお願いいたします！ ※学会発表が叶わなかった場合、その後の学会発表資料の謝辞にお名前を掲載いたします。
学会発表資料の謝辞にお名前掲載 / サイエンスカフェ参加権 / Webサイトにお名前掲載 / オリジナルクリアファイル / 研究報告レポート（PDF版）
0 supporters are supporting with this reward. （No quantity limit）
SSL encryption communication is used in this Web site, and the informations filled out are safely transmitted.
研究報告レポート（PDF版）
27
supporters
back
（No quantity limit）
オリジナルクリアファイル and others
19
supporters
back
（No quantity limit）
Webサイトにお名前掲載 and others
19
supporters
back
（No quantity limit）
サイエンスカフェ参加権 and others
8
supporters
back
（No quantity limit）
学会発表資料の謝辞にお名前掲載 and others
0
supporters
back
（No quantity limit）
academist Prize 3rd adopted
