Developing a program that automatically generates "mishearing"

【研究進捗レポート】
ご無沙汰しております。

遅くなりましたが、研究進捗レポートを書きました。
博士論文の執筆などに時間をとられてしまい、完成が遅くなりました。申し訳ありません！
特にトラブルがなければ明日、アカデミスト経由で送付させていただきますので、お読みいただけると幸いです！

リターンはこれで終了ですが、
Webアプリの改良や溜まっているデータの解析などやりたいことがいろいろあるので、進捗ができたら何らかの形でアウトプットしたく思っています。
（添付画像は今つくることを試みている「物理学者名で歌ってみた」のワンシーンです）

改めてご支援ありがとうございました。
引き続きどうぞよろしくお願いいたします。

【その他、諸注意など】
- ページを開くときの読み込みに長いときで数十秒かかります。気長にお待ち下さい。
- サーバーはとりあえず最小スペックのものを借りたので、アクセスの集中などがあると落ちるかもしれません。利用状況など見つつ、必要に応じてサーバーを強化していく予定です。
- バグやインターフェースの不備などいろいろあると思います。順次、修正やアップデートを行っていこうと思いますので、なにかあれば気軽にお知らせください。

【お礼】
サーバーレンタル費およびドメイン契約料のためにクラウドファンディング支援金を用いています。ご支援いただき誠にありがとうございます。

以上です。
研究報告レポートもこれから書いていきます。
ただ、今から少なくとも9月終わりまでは専門研究のタスクに追われる予定なので、その中で暇を見つけて書く、という感じにさせてください。あまり遅くならないようにはしますが、ある程度気長に待っていただけると大変ありがたいです。すみません。
引き続き、どうぞよろしくお願いいたします。

【Webアプリの公開】

お待たせいたしました。
空耳自動生成のWebアプリを下記リンクにて公開しました。
https://soramimic.com

【利用環境】
PCまたはスマホで使えます。
ブラウザはWindowsのChrome、MacのChromeとSafari、iphoneのSafariでの動作を確認しました。

【使い方】
テキストボックスに文章を入力して、Convertボタンをクリックすればとりあえず変換できます。
パラメータ調節や自作の単語リストを使うこともできます。細かい使い方については追々、解説のページを作っていこうと思います。

【取得情報】
研究開発に役立てるため下記の利用情報を取得しています。
- アクセス日時やページ滞在時間などアクセスの基本的な情報(Google Analyticsを使用)
- 空耳作成時の入力文の文字数、使用した単語リストの種類、パラメータ

なお、プライバシーに配慮して入力文そのものや生成した空耳文は取得しないようにしています。
このあたりの情報についても解説ページに含める予定ですが、早急に知りたい方は聞いていただければ個別に回答します。

【リターン作業状況について】

Webアプリ公開と研究報告書のリターンについて進捗が遅れており、申し訳ありません。Webアプリについてはサーバやドメイン契約は完了しており、今はプロトタイプ版(画像)を動かしながらバグ出しをしている段階です。おそらく８月中には公開できます。

研究報告書は、Webアプリ公開が一段落してから、作業に取り掛かろうと思っています。こちらもお待たせしていてすみません。内容については今のところ、ガチガチの研究報告と言うよりは、この２年間でやってきたことを全体的にさらう読み物的な感じにしたく思っています。もし重点的に解説してほしい部分などあれば可能な範囲で取り入れたく思いますので、気軽にコメントいただければと思います。

引き続きどうぞよろしくお願いいたします。

【国際会議に参加してきました】

2019年7月26日-31日にかけてアメリカで行われた国際会議 (Human Computer Interaction International 2019; HCII2019)で、空耳自動生成研究について、ポスター発表してきました。

日本にしか(おそらく)存在しない「〇〇で歌ってみたシリーズ」について、海外の人でも面白いと感じてくれるのかを検証することがモチベーションの一つだったのですが、下記の英語版デモ動画を作って見せたところ、海外の人に対してもそこそこ笑いが取れることが分かりました。

Singing "Let it go" with Disney character names
https://youtu.be/JbMIrMm3L0s

あくまで印象ですが、複数単語を一単語で言い切るとき(例えば"don't let them in"を"Tremaine"だけで言い換えるなど)に笑われる確率が高かったです。日本の野球選手替え歌でもフルネームで一気に歌い切ると面白かったりしますが、それに近い感覚が外国の人にもあるのかもしれないということを思いました。

また中国の方から、中国語版空耳動画の存在を教えてもらうなど、空耳の各文化での位置づけについて生の情報収集ができたことも非常に有意義でした。

今回の経験を糧に、引き続き研究を進めて行きたく思います。
今後ともどうぞよろしくお願いいたします。

※写真が傾いてしまったのでアップロードし直しました（2019/8/2）。

ご無沙汰しております。

5月に行ったサイエンスカフェの報告記事がacademist journalに掲載されましたのでお知らせいたします。
https://academist-cf.com/journal/?p=11287

また現在、「野球選手名で歌ってみたシリーズ」の作詞コンクールに自動生成プログラムで参加しています。
https://twitter.com/89_uta?lang=ja

予選の結果が今日の18:00に発表とのことです。
自動生成が人間と比べてどのくらいの順位なのか、もし興味があれば上記のツイッターアカウントを覗いてみてください。(全然健闘しなくてがっかりさせる結果になるかもしれませんが、そのときはすみません)

Webページについては上述のコンクールが落ち着いたら公開したく思っています。
引き続きどうぞよろしくお願いいたします。

【空耳を自動生成する研究の応用先】

「空耳を自動生成する研究が何の役に立つのか？」という質問を何度か受けたので、僕なりに答えてみます。
研究を始めた動機自体は面白そうだからなのですが、自己満足だけじゃない理由や意義を説明できることも大事だと思うので考えたことを述べてみます。「将来的にはありえるかも」くらいのスタンスで聞いてもらえたら嬉しいです。

1．空耳作詞支援
Youtubeなどの動画投稿サイトで「野球選手の名前だけで歌ってみた」と検索すると、野球選手名だけで歌われていないJPOPはないのではないかと思うくらいたくさんの動画が表示されます。また100万回以上再生された動画も複数存在します。
すなわち、空耳替え歌を作って、あるいは視聴して、娯楽として楽しんでいる方がそれなりの人数存在しているということです。
そうした空耳替え歌に関わる人々にとって直接的に需要のあるシステムかと思います。
＃現状はあくまで音の近い単語を選ぶことに特化したプログラムで、それだけで面白い空耳ができるわけではないので、支援、という位置づけになるかと思います。

2．暗記学習支援
語呂合わせのように、覚えるべき単語を、発音の近いよく知った歌詞や文章に関連付けて覚えることで、記憶の定着率を高められると期待しています。
新学期にクラスメートの名前で替え歌を作って、全員覚えるといった応用も楽しそうです。

3．誤聴の起きやすさの制御
空耳しやすい、つまり聞き間違いしやすい文章を作れるということは、逆に言えば、聞き間違いしにくい文章を作れる技術にもなりえます。こうした技術は、第二言語の学習者や聴覚の衰えた人など、頻繁な誤聴がコミュニケーションの敷居となっている人が参加しやすい対話を実現するために、役立つ可能性があります。

とりあえず3つ挙げてみました。
他にもあると思います。少し大きな話になりますが、「ユーモア」を機械が自動生成できるようになることで、人工知能がユーモアを交えた会話をできるようになり、今よりもっと人と仲良くなれるロボット(ドラえもん？)が実現されるといったことにも、ゆくゆくはつながるかもしれません。

以上です。
疑問点や間違いの指摘、その他のアイデアなど何かあればいつでも連絡ください。

【研究計画の進捗状況について】

2月に実施予定としていたWebアプリ公開と被験者実験について報告させてください。

・Webアプリ公開
申し訳ないのですが、4月以降に延期とさせてください。ソースコード自体はほぼ書けているのですが、サーバレンタル代を研究費で支払うために、クラウドファンディングの終了及び大学の事務的な体制が整うのを待つ必要があるためです。今しばらくお待ちいただけますと幸いです。

・被験者実験
予備的な調査として、プログラムが自動生成した空耳替え歌や人が作成した空耳替え歌の面白さ・発音類似度を被験者に評価してもらう実験を行っています。固い結果を出すことにはこだわらず、刺激呈示や評価指標をいろいろ変えて試してみることで、空耳の面白さを評価するためのよい方法について検討を深めたく思っています。この予備実験の感触をもとに、4月以降の本実験の計画を練る予定です。

引き続きどうぞよろしくお願いいたします