Closed 研究の最適化へ向けた人工研究者の実現を目指す

11月から現在までの活動報告まとめ

みなさま、いつもご支援してくださってありがとうございます。

5/24 に academist 主催のイベントが開かれます ( https://cic-academist0524.peatix.com/ )。それに先駆けて研究に関わる 11 月以降の活動についてのこれまでの活動報告を投稿するように academist 側から連絡がありましたので、こちらに報告を投稿いたします。既にこちらの活動報告で何度か報告している内容と重複する点がありますが、どうぞよろしくお願いいたします。

---------------------------------------------------------------------------------------------------------------------------------------

9月に NeurIPS という国際会議に論文が採択されたので、9月、10月、11月はその準備をしていました。11月段階では原稿は提出していましたので、コードの整備や発表用のポスターの作成や渡航費用を賄うための準備などをしていました。また、世界的に有名な機械学習研究者である Sanjeev Arora が日本に来ていたので、その講義を聴きに行ったり、日本の機械学習のワークショップである第25回情報論的学習理論ワークショップ（IBIS2022）に参加して発表しました。また、11 月には 10 月半ばから始めたメタサイエンス系podcastのエピソードを 4 つ公開しました。

そして 11/26 - 12/6 は国際会議に参加するためにアメリカのニューオーリンズに渡航していました。NeurIPS では人との繋がりを作るのが最優先だと考え行動しました。学会では本会議で 1 本の論文の発表とワークショップで 3 本の論文の発表をしました。12月には研究の自動化関連のプロジェクトに年始から参加することが決定した他、NeurIPS で出会った Mila の人との共同研究も開始し、人間の記憶についての共同研究も始まりました。

2022 年末に報告したように、2023年は研究自動化のサーベイ論文を書き上げることを目標にしていたので、1月からサーベイに取り掛かりました。また、長く NeurIPS の準備のために時間を使っていたので近年の動向のキャッチアップをしました。渡航費用補填先にNeurIPS について報告する関係上、NeurIPS の論文を改めて読み込み、会議の様子についてまとめていました。その他、学問バー Kisi というところで自分の経験について話したり、多くの新規の研究者の方とミーティングをしました。

2月からは研究の自動化プロジェクトが本格的にはじまったので、そちらにも多くのリソースを割くようになりました。また、研究の自動化に関わっている多くの方にも出会い議論することができました。その他、機械学習の最先端の論文を紹介するサービス「ステート・オブ・AI ガイド」で記事の執筆を開始し、強化学習のアルゴリズムについての記事を投稿しました。1月から準備していた人工知能学会主催セミナーでNeurIPS 参加報告会も行い、NeurIPS 2022 の全体観の話と、「言語と強化学習」に関する話をしてきました。その他、4月に分散型科学についてのイベントである [DeSci.Tokyo](http://DeSci.Tokyo) を開催することを決定し、その準備に動き始めました。
3月には Japan AI Alignment Conference 2023 という AI Alignment に関するワークショップに参加し、少しだけ発表しました。これは NeurIPS で知り合った人がやっている Conjecture という alignment のスタートアップと日本の ARAYA という会社が合同で開催したワークショップです。OpenAI の人なども参加する豪華な会でした。その翌日から、3/13 - 3/16 の期間で言語処理学会 2023 へ参加してきました。ここでも研究の自動化に興味を持ちそうな発表をいくつか見たり少し議論できたりと有意義な時間になりました。そしてその二日後に Mitsubachi Scholarship という研究ピッチイベントに審査員として参加しました。そして、サービス終了と共に最後となる「ステート・オブ・AI ガイド」での記事執筆も行いました。

4月の前半は 4/16 に開催する DeSci.Tokyo の準備のためにかなり多くの時間を使っていました。また、自分自身も ETH Global Tokyo というハッカソンに参加し、研究に関連するサービスのモックをメンバーと一緒に作りました。4/30 には TEDxUTokyo というイベントに参加して自分の独立研究者としての生き方について話してきました。また、NeurIPS で出会ったフランスの INRIA というところで研究している方が日本に来ていたのでキャッチアップしたり、企業さんと言語モデル関連について新しく一つ共同研究をすることが決まりました。その他、以前から一緒に共同研究をしている方々と進めていた研究についての追加実験などをしました。DeSci.Tokyo に関しては、それに向けた思いを note にもまとめています ( https://note.com/shiro_takagi/n/nb6c672325726 ) 。

--------------------------------------------------------------------------------------------------------------------------------------

以下に、11月以降に始まったものについてまとめます

【研究プロジェクト】

- 研究の自動化についてのプロジェクト
- 言語と強化学習についてのプロジェクト no.1
- 記憶についてのプロジェクト
- 言語モデルについてのプロジェクト
- 言語と強化学習についてのプロジェクト no.2

この他、「位相的データ解析についてのプロジェクト」と「分布外汎化についてのプロジェクト」を11月以前からお手伝いしており、現在もう一つ新しく言語と強化学習についてのプロジェクトが始まる予定です。

【発表】

- IBIS 2022 で 1 本の論文発表
- NeurIPS 2022 本会議で 1 本の論文発表
- NeurIPS 2022 Workshop で 3 本の論文発表

【サイドプロジェクト】

- AI Alignment Workshop で短い研究紹介
- 人工知能学会主催イベントでサーベイ・報告の発表
- ステート・オブ・AI ガイドで2本の記事執筆
- DeSci.Tokyo Conference 2023 の運営
- TEDxUTokyo で独立研究について発表
- Mitsubachi Scholarship で審査員
- 科学系 podcast metascientia で 23本のエピソードを投稿
- 学問バー Kisi で独立研究についてお話

----------------------------------------------------------------------------------------------------------------------------------------

書いてみると色々と実りのあった期間であったことを実感していました。ここには書いていないような多くの出会いや機会もあり、それらも大きな財産になりました。

一方で、私が現在最も力を入れて取り組みたいのは、研究自動化のレビュー及びパースペクティブ論文の執筆です。先月もご報告しましたが、嬉しい誤算もあり想定以上にリソースが分散してしまったため、こちらは当初思い描いていたようには進捗していませんでした。5月に入ってようやく時間が確保できるようになったので、どんどん執筆を進められています。ただ、もっと時間をかけて良いものを作っていきたいので、今以上に出来るだけこちらの作業に時間を使えるようにするつもりです。執筆中の Latex ファイルについては GitHub で公開していますので、進捗状況はこちらをご確認ください。

[https://github.com/t46/research-automation-white-paper](https://github.com/t46/research-automation-white-paper)

ちょうど先日誕生日を迎え、最後の20代が始まりました。悔いの残らないよう、全力で生きていきたいと思います。