人文・社会科学の「よりよい研究評価」とは – 欧州の事例から課題を析出する

「質の評価」から「質のモニタリング」へ

日本の研究環境は、運営費交付金などに代表される一般大学資金から、科学研究費補助金（科研費）やプロジェクト／プログラム型資金のような競争的研究資金（直接政府資金とも言います）へとそのファンディング構造を大きく変化させてきました。

このファンディング構造の変化は研究環境、雇用体系、キャリアパス、研究環境の安定性、そのほかに大きな影響を与えてきました 。そのなかで、研究の評価を巡るプロセスやシステム自体も次第に変化してきました。つまり、同分野の研究者らによる内容の吟味（ピアレビュー）のプロセスを中心とした研究内容評価に加えて、研究プロセスの評価や社会的・経済的・文化的なインパクトまでをも評価の視野に入れるような評価システムへの拡大です。Hemlin and Rasmussenは、このような現在までに生じてきた評価システムの全体的な変化を「質の管理（quality control）」から「質のモニタリング（quality monitoring）」への変化と表現しています。

より「効果的」な研究評価はどのようなものであるのかは依然として課題とされており、世界的にみてもさまざまな試行錯誤がなされています 。今回の論文では、先進的な試みがなされている欧州の各国の事例をレビューすることで、これからの人文・社会科学の研究評価を考えるうえでの論点を明らかにしました。以下では、とくに重要な点に絞ってご紹介したいと思います。

研究評価を巡る欧米諸国の試行錯誤

欧米では、日本に先立ってさまざまな研究評価の試みがなされてきました。EUでは研究の資金の提供対象を先端的な「知識」とすることで、人文・社会科学を含めたより広い知識生産へのファンディングを可能にしています。またHAL-SHSという学位論文や各種発表スライドなどの登録が出来るデータベースを構築し、各分野の情報発信の努力などを可視化する試みがなされているフランスの例などもあります。

そのほかにも、計量書誌学的なアプローチによって人文学分野の評価を試みるスイスの事例や、大学や研究のレーティングについてのパイロット研究を行なったドイツの事例などもあります。これらの試みは多くの批判に晒されつつも、研究評価を考えるうえでの重要な知見を積みかさねつつあります。

ライデンマニフェストという重要な指針

ジョージア工科大学のDiana Hicks博士らが中心となってまとめたライデンマニュフェスト（The Leiden Manifesto）は、とりわけ重要な議論です。ライデンマニュフェストでは、研究評価の際の科学計量・計量書誌学的なデータの活用に関して、以下の10原則が提示されています。

1. 定量的評価は、専門家による定性的評価の支援に用いるべきである
2. 機関、グループまたは研究者の研究目的に照らして業績を測定せよ
3. 優れた地域的研究を保護せよ
4. データ収集と分析のプロセスをオープン、透明、かつ単純に保て
5. 被評価者がデータと分析過程を確認できるようにすべきである
6. 分野により発表と引用の慣行は異なることに留意せよ
7. 個々の研究者の評定は、そのポートフォリオの定性的判断に基づくべきである
8. 不適切な具体性や誤った精緻性を避けよ
9. 評定と指標のシステム全体への効果を認識せよ
10. 指標を定期的に吟味し、改善せよ

ライデンマニュフェストの紹介動画（英語） from Diana Hicks博士 on Vimeo.

これらの原則は、人文・社会科学をめぐる研究評価システムにもある程度当てはまるものです。以下では、このマニフェストに加えて人文・社会科学の評価について考えるうえで注意すべき点について補足的に見ていきたいと思います。

アウトプット文化の多様性

まず、分野ごとの出版形態や業績評価を巡る多様性に目を向けておく必要があります。Williams and Galleronは、民法、法制史、歴史学、文学におけるアウトプット媒体の割合を比較しました。その結果によると、民法の分野においては学術誌掲載論文がもっとも一般的な出版媒体である一方で、文学分野などでは学術誌掲載論文のアウトプット比率が相対的に低いだけでなく、図書や研究図書掲載論文の割合が相対的に高いことがわかりました。また学会誌以外の雑誌等に記載される論評の取り扱いが分野によって異なるなど、分野に応じてそもそも各アウトプット媒体に対する評価に大きな違いがあることも明らかになっています。

このような出版形態の違いは、学術研究において重要な行為となる引用における分野間の違いをもたらします。Hammarfeltは1995年～2005年における人文・社会科学分野の引用文献を媒体ごとに分類しました。その分類結果によれば、宗教学分野では引用文献の88％が書籍あるいは編著本であるのに対し、社会学では72％、歴史学では66％、言語学では49％とその割合は減っていきます。そして、その減少に応じて学術雑誌掲載論文からの引用の割合が増えることが示されています。

出版言語の多様性

次に、出版する言語、また引用文献の言語もまた、分野や国の特性によって大きく異なることにも注意が必要です。ここではCristianが論じたおもしろい事例をひとつだけ紹介したいと思います。ドイツのポルトガル研究者は、その成果を、ドイツ語で書くべきなのでしょうか？ ポルトガル語で書くべきなのでしょうか? それとも英語で書くべきなのでしょうか？ 果たして、どの言語で書いたとしても、いずれかの言語使用層の読者が抜けていくという避けがたい問題と直面することになります。

研究分野ごとの文化の違いに目を向ける

ここまでに見たような、学術的成果のあり方を巡る多様性をどのように考えることができるでしょうか。そもそも各分野で共有されているデータの分析や解釈の作法、また研究のオリジナリティの理解、あるいは論文の査読における妥当性水準などは、それぞれの分野における歴史的経緯の中で形成されてきた「認識論的文化（epistemic culture）」（Cetina 1999） に依拠するものであることに注意が必要です。

人文学、歴史学、社会科学という3つの分類でそれぞれの研究のオリジナリティに関する評価項目を調べたGuetzkowの研究は示唆的です。上の図によれば、人文学・歴史学分野では研究アプローチ（分析の枠組み・視点など）が強調される一方で、社会科学分野では方法論がより強調されることがわかります。こうした文化の違いにも目を向ける必要があるでしょう。

「出版ポイント」というノルウェーの試み

ノルウェーとオランダで行われつつある少しおもしろい試行錯誤はこれからの具体的な評価制度を考えるうえで参考になります。

ノルウェーモデルの事例は、分野ごとそれぞれに出版物ポイントを決めて評価システムに導入しようとするものです。ノルウェーにおけるこの試行的評価は、

1. （人文・社会科学分野を含めた）全分野のピアレビュー学術文献に関する適切かつ構造化されたデータベースの構築
2. 機関レベルで比較可能で分野ごとの出版文化に応じた重みづけがなされた『出版ポイント』の規定（各分野のアカデミーなどがそのポイント対象などを検討する）
3. 出版ポイントによるパフォーマンスベースのファンディングモデル

という3つの要素をその基盤としています。

ここで、ひとつの特徴となる2.の点についてもう少し説明します。この「出版ポイント」は、ハイインパクトな出版物（レベル2出版物）とそれ以外のもの（レベル1出版物）に分類し、論文、ブックチャプター、専門書等の各出版物にポイントの重みづけを行うというものです。たとえば、ハイインパクトジャーナルに掲載された論文は3ポイント、著名出版社から出版された研究書のブックチャプターなら1ポイント、著名出版社から出版された専門書であれば8ポイントといった形でポイントを計算する試みです。

この際、出版ポイントの判断は各分野の定性的な判断に委ねられることが想定されています。この試みや議論では、WoSやSCOPUSなどの人文・社会科学分野の引用文献のカバーに限界のあるデータベースに依拠した機械的な計量書誌的評価に比べれば人文学分野における出版行動や評価文化をある程度反映できます（無論、それでもそもそもの指標デザインや透明性などの問題などさまざまな問題が残りますが……）。

研究者と社会の交流を評価するオランダの試み

最後に、オランダにおけるSocial Impact Assessment Methods for research and funding instruments through the study of Productive Interactions between science and society（SIAMPI） の試みについて紹介します。この試みは、研究活動の持つ社会・経済・文化的なインパクトを理解し、評価するうえでとても示唆的です。

SIAMPIでは、ヘルスケア、ICT、ナノサイエンス、人文・社会科学の4分野を事例として研究プログラムの実施期間中に生まれたネットワークを分析しつつ、研究者間あるいは研究者と社会的アクター間の相互作用・コミュニケーション・共同を「生産的な相互作用（productive interaction）」 として捉えて評価していくことが提唱されています。

ここで言う「生産的な相互作用」の評価とは、学術界に留まらない、産業界、行政、NPO、市民などの多様なアクター間の「知識交換」ネットワークを積極的に評価する試みです。言い換えるならば、新しい「知識交換」のネットワークの拡大そのものを中期的なインパクト（あるいは知識生産にいたる中間生成物）として位置づけて評価することによって、評価の対象を研究そのものから相互作用のプロセスにシフトさせる試みだと言えます。研究活動に関与するステークホルダーの数の増大、「知識交換」のプロセスが研究者のモチベーションを効果的に高める効果、評価者の側もまた挑戦すべきより大きなテーマに向き合う効果、更には「ネットワークの失敗」による知識生産やインパクト創出をめぐる機会損失の減少が期待されています。

日本における好例

この視点を現在の日本の状況に素朴に当てはめて考えてみると、たとえば東日本大震災後に民俗学や歴史学などの分野が、被災地域の住民や行政と関わり合いながら果たしてきた歴史資料の回収・修復・保存 、無形文化財に関わる調査・保護運動などは、この生産的相互作用の視点からより積極的な研究評価の対象となるものと考えられます。

また、佐藤哲らを中心として提唱・実践されているレジデント型研究者とそのネットワーク拡大などもまた日本国内における「生産的相互作用」の例としてあげることができるでしょう。またこの視点の深化は、人文・社会科学分野が持つ価値をより積極的に評価するシステムの構築にも将来的につながる可能性があります。

「よりよい研究評価」を求めて

今回紹介したような新しい試みが出てきていることは、今後の社会における人文・社会科学の位置づけと学知のありかたを再考し、また発信する機会にもなります。インパクトの議論にせよ、生産的相互作用をめぐる議論にせよ、人文・社会科学が今後の社会のなかでどのような役割と責任を果たすことを想像するのか、またその想像をどのように社会に共有していくのかが本質的に問われていることです。

研究者側も含めた議論の振興と共に、研究評価をめぐる構造的課題に関する議論がさらに活発化し、「よりよい研究評価とは何か」というより本質的な問いの議論が深められていくことを期待してやみません。

参考文献

• 標葉隆馬「人文・社会科学を巡る研究評価の現在と課題」『年報 科学・技術・社会』 26, 2017,１-39．
• Ochsner Michael et al. (eds) Research Assessment in the Humanities: Towards Criteria and Procedures, Springer, 2015.
• 標葉隆馬.「『インパクト』を評価する‐科学技術政策・研究評価」『科学技術に関する調査プロジェクト調査報告書－冷戦後の科学技術政策の変容』国立国会図書館, 2017, pp.39-53.