Closed クイズ×認知科学：早押しクイズに潜む人の知性を実験的に検証したい

計算機シミュレーションというアプローチ【前座】これまでの我々の研究例

いつも我々の研究をサポートしてくださり、誠にありがとうございます。
心より感謝申し上げます。

さて、ちょっとご報告したい分析結果が出たので、ここにご報告します。

といってもその前に、まずは事前知識の共有のようなお話をさせてください。

認知科学におけるアプローチ手法には、実験の他に、「計算機シミュレーション」という理論的なものもあります。

「実験室あるいはオンラインで、課題を行ってもらう」というやり方が困難な場合に威力を発揮します。
「『〇〇な状況・条件』における人のふるまいを検証したいけれど、実験室実験で〇〇を実現するのは難しい。じゃあ、〇〇という状況をコンピュータ上で仮想的に作り出して、実行してみよう」
といった発想です。

===================
以下、我々の研究で具体例を申し上げます。元ネタはこちらの論文です:
Shirasuna, M., & Honda, H. (2023). Can individual subjective confidence in training questions predict group performance in test questions? PLOS ONE. 18(3): e0280984. https://doi.org/10.1371/journal.pone.0280984

大まかな概要のみを申し上げると、

実世界では、複数人で判断を行う(多数決など)場面が往々にしてあります。
その際、一見すると、目の前の問題に対して高い自信(確信度)を持つ人を集めれば、集団としてはよいパフォーマンスを出せそうな気がします。
しかし、実世界は不確実性が高いものです。今ある問題にはうまく対処できたとしても、将来出くわす、現時点では未知の問題にもうまく対処できるとは限りません
(「自信がある!」と思い込んでいて実は判断が誤っていた、という「自信過剰」と呼ばれる現象も知られています)。

我々は、
「『現在取り組んでいる問題』での個人の確信度は、『未知の(将来出くわす)問題』での集団のパフォーマンスを保証するの?」
という点を検証しようと思いました。

しかし、一度に何人もの参加者を実験室に呼ぶのは困難です。たとえ呼べたとしても、その人たちでたくさんの課題を(多数決で)解かせるのも難しいものです。

そこで我々は、
「まず個人で実験を行い(行動データを取得) → そのデータを用いて集団のパフォーマンスを検証する(計算機シミュレーションの実施)」
というアプローチを取りました。

具体的には、
・「確信度の高い人ばかりを集めた集団」と、「確信度の高い人も低い人も混ざった集団」を仮想的にたくさん生成する
・そのうえで、実験に用いた課題の一部を「現在の問題」、残りの一部を「未知の問題」と見なして、各集団のパフォーマンスを比較する
といったシミュレーションを行いました。

結果として、
▽「確信度の高い人ばかりを集めた集団」は、確かにパフォーマンスは高かったものの、未知の問題でパフォーマンスが大きく悪化する傾向にあった
▽ 一方、「確信度の高い人も低い人も混ざった集団」では、そのような悪化の傾向は見られなかった
という形となりました(サムネイルの図も参照)。

実験室実験での検証は困難でしたが、計算機シミュレーションという手法を駆使することによって、
「高い確信度をもって高いパフォーマンスを見せる集団であっても、その将来のパフォーマンスは決して保証されているわけではない」
ということを示せたと考えております。

※ 上記論文および参考資料(2022年12月の国内学会でのポスター)は、サポーター限定用の資料ページで公開しています
===================

このように、「『こういう状況だったらどうだろう?』と仮定して、コンピュータ上でパフォーマンスを検証する」といった計算機シミュレーションの手法は、認知科学において広く用いられます

(上記では「行動データ(実験)から→シミュレーション(理論)」の流れでしたが、「まずシミュレーションをして(理論)→その後で実際の人の行動を確認する(実験)」というアプローチもあります)。

さて、ここまでは【前座】でした
(論文の内容は理解しなくて大丈夫です。上記太字部分だけでも頭に入れていただければOKです)。

ここで僕は、
「早押しクイズを計算機シミュレーションで回してみたらどうなるだろう?」
と考えました。

「問題文を最後まで聞く、あるいは豊富な知識を持つことが、果たして有効なのだろうか」
「回答者のプレースタイルによって、パフォーマンスに違いは出るだろうか」

このような点を理論的に検証したいと考えたためです。

早押しクイズをどうすればシミュレーションできる?
シミュレーションの結果は?

…これらについて、【本題】の記事でご紹介します。

## きょうのもんだい ######

Q. PC上などで保険料や資産運用の見積もる際にもこの言葉がよく使われる、システムのふるまいを、それとほぼ同じ法則に支配される他のシステムや計算によって模擬的に再現することを何というでしょう
A. シミュレーション

【ひとこと】「シミュレーション(simulation)」の語源は、ラテン語の「similis (似ている)」であるとされます(英語の「similar」もおそらく同じです)。直接的な実験・観測が難しい場合に、「こういう状況だったらどうだろう?」と仮定して実行(計算)してみる、というようなものです。
昨今は、年齢や収入などを入力して保険料などを見積もるようなシミュレーションツールも増えている印象です(僕はこのあたりの一般教養がありません…)。

Q. 英語では「オーバーフィッティング」などと呼ばれる、統計や機械学習で、手元の学習データはうまく説明できるものの、未知のテストデータをうまく説明できないような状態のことを何と呼ぶでしょう
A. 過学習 (過剰適合)

【ひとこと】上記で紹介した論文に置き換えれば、目の前の問題には高い自信をもって対処できても、それはたまたまその問題にだけ対処できただけかもしれません。(少数の問題に対して)確信度の高い人を集めてしまうと、「能力はないのにたまたまうまく行った勢」を拾ってしまう可能性が高い、ともいえます
(機械学習に詳しい方ならお気づきかもしれませんが、同論文のシミュレーションは「交差検証法(cross validation)」から着想を得たものです。機械学習とのアナロジーで、確信度高集団の将来のパフォーマンスが落ち込むのは、確信度高集団がまさに現在の問題に「過学習」したためだ、と見ることもできます)。