ピアレビューソーセージグラインダーの旅

最新情報：今週、Arsのスタッフが全国から集まり、年次総会「テクニコン」を開催します。タイピングよりも会話に重点を置く予定なので、フロントページが寂しくなるのを覚悟して、Arsの過去の記事をいくつか再掲載します。この記事は2010年11月3日に掲載したもので、私たちの仲間（Arsianではなく、科学者）と、よく話題になる「ピアレビュー」の2つの基本的な機能に焦点を当てています。

ピアレビューは科学研究の柱の一つであるとよく言われます。しかし、ピアレビューが実際には十分に機能していないこともよく知られており、私のような人間が数年ごとにピアレビューの代替案について記事を書き始めることがあります。これはそういった愚痴ではありません。むしろ、あまり知られていない点に焦点を当てたいと思います。ピアレビューには実際には2つの役割があります。新しい科学的成果に対する最低限の精査を行うことと、資金提供機関のゲートキーパーとして機能することです。

ここで私がしたいのは、これら2つの職務における査読の違い、そしてそれぞれの長所と短所について概説することです。これは査読を批判するものではありませんし、そうあるべきでもありません。私はここ数年、論文出版と助成金申請の両方でかなりの成功を収めてきました。しかし、査読は科学研究の価値を判断する際に、科学研究資金のゲートキーパーとして機能するよりも、はるかに効果的に機能するという考えについて、検討してみる価値があると思います。

科学的成果の査読

ある研究者が、科学界を揺るがすであろう輝かしい新研究を発表したとしましょう。しかし、その研究は公表されるまで誰の役にも立ちません。公表には、論文の準備、適切な科学誌の選定、そして投稿という一連のプロセスが含まれます。著者は論文の作成に膨大な時間を費やし、一文一文が議論や論争の的となります。

論文が提出され、全くの駄作でもなければ明らかに素晴らしいわけでもない限り、査読者に送られます。そしてここで、まず問題が発生する可能性が出てきます。それは、どの査読者を選ぶべきかということです。著者と編集者の両方がこの決定に関与しますが、必ずしも正しい判断ができるとは限りません。査読者が必要な知識を持っていないにも関わらず、理由は不明ですが、それでも査読を行うことに決める場合もあります。査読が甘すぎる、あるいはあまりにも敵対的すぎるというのは、決して変わることのない永遠の問題です。

それから、査読プロセスそのものについてです。査読者はどのような点について判断を下すのでしょうか？簡単なのは、ジャーナルへの適切性です。量子光学の研究をgeophysical lettersに投稿してはいけません。この段階では、査読者の仕事はエッジケース（著者自身でさえどのジャーナルが最適か判断に迷うようなケース）を判断することだと言えるでしょう。

もう一つの明白な判断基準は、方法の妥当性です。この場合、使用された方法はノイズと信号を区別できるでしょうか？その判断を下すのに十分なほど、方法は十分に説明されているでしょうか？そして、結果自体も重要です。結果は実際に説明通りでしょうか？著者の結論を裏付けているでしょうか？

最後の点は問題です。なぜなら、結果には複数の解釈が可能であり、それらは互いに排他的なものから、単に異なる効果の重み付けに過ぎないものまで、多岐にわたるからです。通常、著者は重要と思われる解釈を一つ一つ検討しようとします。思慮深く、著者の意見に同意できない査読者は、結論を修正すると思われる他の要因を考慮するよう研究者に求めるかもしれません。一方、より積極的な査読者は、論文を即座に却下するよう勧告するでしょう。

そして、査読において最も議論を呼ぶ側面があります。ジャーナルはしばしば査読者に対し、ある科学的結果がそのジャーナルにとって十分に重要であるかどうかを判断するよう求めます。それは新しいか？ 十分に素晴らしいか？ 時には新しいものではないと判断するのは簡単ですが、重要性は完全に主観的であり、予測不可能です。多くの場合、この主観性は、同じ論文に対して正反対の査読が寄せられることに例証されます。査読者が、著者、編集者、あるいは乱数発生器よりも優れた水晶玉を持っているわけではないことは明らかです。

科学論文の場合、唯一悲惨な却下となるのは、査読者が方法論が適切ではないと判断した場合です。そうなると、研究者はおそらく白紙に戻ってやり直さなければなりません。しかし、それ以外の場合、却下されてもそれほど悲惨な結果にはなりません。著者は正当な批判に対処し、査読者がなぜ論文をそこまで誤解したのかを解明しようと努め、別のジャーナルなどに再投稿するだけです。結果が全くのデタラメでない限り、ほとんどの場合、この方法は成功し、著者はついに貴重な論文を出版することができます。後に非常に重要な研究として認められる研究でさえ（最初のグラフェン論文が思い浮かびます）、しばしばこのプロセスを経ます。

要約すると、科学研究成果の査読には、方法を比較的よく検証できるという大きな利点があるものの、それ以外の点ではむしろ弱いと言えるでしょう。幸いなことに、方法の検証は最も重要な 機能です。査読者が間違えることは誰もが認識しており、著者は修正した原稿を再提出することができます。時間の損失は問題です。執筆と査読の両方に時間がかかりますが、それは私たちが払う代償です。さらに重要なのは、論文が却下されても、活発な研究の進行が著しく遅れるわけではないということです。

研究助成金のピアレビュー

研究資金を獲得するプロセスも同様です。科学的な問いと、その答えに至るための道筋（複数可）を明確に定義した助成金申請書の作成には、膨大な労力がかかります。資金管理者は通常、自ら決定を下すのではなく、申請書を審査にかけ、審査員のコメントや著者からの回答を踏まえて決定を下します。

類似点はそこまでです。査読者は提案された方法を評価するよう求められますが、著者自身もその方法論が説明通りに機能するかどうかをまだ知らないため、どれほど客観的になれるでしょうか？著者が全くの無能で、自分が使いたい分野では機能しないことが分かっている方法を提案している場合を除き、査読者は結果を知ることができません。

いつものことですが、査読者が著者よりもその分野の専門家であるという保証はありません。実際、そうではない場合の方が多いので、誰の判断を信頼すべきでしょうか？優秀な研究者と無能な査読を組み合わせている場合と、無能な研究者と優れた査読を組み合わせている場合を見分ける方法はありません。

査読者には、提案された研究の重要性を判断することも求められます。しかし、ちょっと待ってください。査読が、結果が出た時点で重要な論文を一貫して特定できないのであれば、まだ行われていない重要な貢献を特定できる可能性はどれほどあるでしょうか？ そうです、サイコロを振ってみてください。

そしてもちろん、提案された研究を遂行する能力の問題があります。すべての提案には新しい取り組みが含まれるべきであり、研究者はおそらく新しい技術を習得する必要があるでしょう。ですから、最初のステップは、申請者の過去の研究を確認することです。どれほど類似していて、どのような質だったでしょうか？

ここで厄介な問題が浮上します。確実に重要だと判断できる論文はどれも古いものであり、現在の能力を判断する材料として用いるべきではありません。著者が本当に限界に挑戦しているのであれば、習得しなければならない技術は既に知っていることとあまり関連がないため、過去の業績の関連性ははるかに低くなります。

こうしたことから、より革新的な提案は審査が難しくなるため、自動的に不利になるだろうと結論付けたくなるかもしれません。しかし、私はそうはならないと考えています。なぜなら、審査員はリスクの高さを高く評価する一方で、それを恐れる可能性も十分に考えられるからです。結局のところ、能力と重要性の判断は、単に不公平な宝くじのようなもので、その分野での経験があれば、採用される可能性は高まるのです。

挑戦には結果が伴う

では、助成金のピアレビューの決定を間違えた場合、どのような結果になるのでしょうか？関係者全員にとって悲惨な結果になると思います。

質の低い提案を通したり、能力の低い人に資金を提供したりするのは、良い資金の無駄遣いです。研究成果は最適なものにはならないかもしれませんが、助成金を獲得したという事実は、将来的にさらなる資金を獲得できる可能性を高めます。つまり、資金が枯渇するまでに2、3回の助成金サイクルが必要になるかもしれません。その頃には、彼らはおそらく終身在職権（主に資金獲得能力に基づいて）を獲得し、予見可能な将来にわたって大学での地位を固めているでしょう。

逆の状況では、研究者は優れた提案が却下されるたびに、少なくとも1年（場合によっては2年）は競争に負けてしまいます。これは悪循環の始まりであり、研究者はより遅れた状態からスタートするため、重要な論文発表が減り、研究を継続したり新たな分野に進出したりするための資金を獲得する機会も少なくなります。

最終的に、資金の不足は研究を急停止に追い込みます。研究者がどれほど意欲的であっても、試薬がなくなってしまえば、化学反応は止まってしまいます。1年後には、人材が異動し、知識は失われてしまうでしょう。機器は「借り物」となり、同僚たちは血まみれの死体と対峙したサメのような表情で、残された研究室のスペースと機器を睨みつけることになるでしょう。

助成金申請のピアレビューには、より陰険な問題が伴います。助成金申請の評価は賞罰制度ですが、優れた提案や優れた研究者を体系的に評価するものではなく、また、質の低い提案を体系的に却下したり、能力の低い研究者を体系的に罰したりするものでもありません。にもかかわらず、研究者はそれを体系的なものであるかのように扱い、本来であれば才能が発揮されるべき積極的な研究よりも、報酬を得ることに多くの時間を費やしがちです。

客観的な視点を持ち、最良の提案を選別しようとするあまり、多くの時間を無駄にし、質の低い提案を選別しきれていないのです。これは多くの皮肉を生み出します。私はしばしば皮肉屋だと非難されますが、研究においてこのような態度は健全ではないと考えています。

まとめると、査読は科学出版における最小限の門番として効果的に機能している。優れた論文が却下された研究者は、大きな負担をかけずに再挑戦できる。質の低い論文も通過するが、大抵は質の高い論文の山に埋もれてしまう。優れた論文は最終的に上位に浮上する傾向がある。