メタサイエンス(meta-science)またはメタ研究(meta-research)は、科学的方法を用いて科学そのものを研究対象とする学問分野である。「研究の研究(research on research)」あるいは「科学の科学(science of science)」とも呼ばれ、研究の実施方法、報告の質、再現性、制度的構造などを分析し、科学研究の質の向上と非効率の削減を目的とする。メタサイエンスはあらゆる分野の研究を対象とし、「科学の鳥瞰図」とも比喩されることがある。

スタンフォード大学の研究者であり、メタサイエンスの分野を牽引する存在とされるジョン・P・A・ヨアニディス(John P. A. Ioannidis)は、「科学は人類にとって最も素晴らしいものであるが、より良い方法があるはずである」と述べている。

メタサイエンスの先駆的研究の一つは1966年に発表されたもので、主要な医学雑誌10誌に掲載された295件の論文の統計的手法を分析した。この研究では、「読まれた報告の約73%において、結論の根拠が不適切であった」と指摘された。その後数十年にわたり、メタ研究は多くの分野で方法論的欠陥、非効率的な研究実施、不適切な報告が広く存在することを明らかにしてきた。特に医学や社会科学において、再現性の欠如が問題視されており、これが背景となって「再現性の危機(reproducibility crisis)」という概念が2010年代初頭に提唱された。

この問題への対応として、研究の事前登録、報告ガイドラインの整備(例:CONSORT、EQUATORネットワーク)、統計的手法の適正利用の推進、査読制度の改善、出版バイアスの是正、および研究インセンティブの見直しなど、多岐にわたる改革が進められている。さらに、科学出版に関するデータの体系的収集や、研究全体の品質と効率性の向上に向けた取り組みも進行中である。

メタサイエンスは、オープンサイエンス(Open Science)運動の中核的な方法論の一つと位置づけられており、現代科学の信頼性と再現性を支える重要な役割を果たしている。

歴史 サムネイル|264x264ピクセル|John Ioannidis (2005), "Why Most Published Research Findings Are False" メタサイエンスの初期の例は、1966年に発表された研究にさかのぼる。この研究では、主要な医学雑誌10誌に掲載された295件の論文の統計的手法が分析され、「読まれた報告の約73%において、結論の根拠が不適切であった」と報告された。1976年には、メタ研究への系統的支援の必要性が論じられ、「研究に関する研究(research on research)」を推進するための独立した専門グループの設立と長期的な資金提供が提案された。

この分野における重要な転機となったのが、2005年にジョン・P・A・ヨアニディス(John P. A. Ioannidis)が発表した論文「Why Most Published Research Findings Are False」である。同論文は、特に医療研究において、多くの研究成果が誤った結論に基づいている可能性を指摘し、後にパブリック・ライブラリー・オブ・サイエンスで最も多くダウンロードされた論文の一つとなったMedicine - Stanford Prevention Research Center. John P.A. Ioannidis。この論文は、メタサイエンス分野の発展に大きな影響を与えたとされている。

ヨアニディスは、ジェレミー・ハウイック(Jeremy Howick)およびデスピナ・コレツィ(Despina Koletsi)らとの研究においても、医療介入の多くがGRADEアプローチに基づく「高品質」なエビデンスに支えられていないことを明らかにしているHowick J, Koletsi D, Pandis N, Fleming PS, Loef M, Walach H, Schmidt S, Ioannidis JA. The quality of evidence for medical interventions does not improve or worsen: a metaepidemiological study of Cochrane reviews. Journal of Clinical Epidemiology 2020;126:154–159。

その後のメタ研究は、心理学や医学を含むさまざまな科学分野において、研究結果の再現性の低さを示す数多くの知見を蓄積し、これらの課題は「再現性の危機(reproducibility crisis)」と呼ばれるようになった。メタサイエンスはこの再現性の問題や、研究資源の無駄(research waste)に対する対応として成長してきた。

主要学術出版社もこの分野への関心を示しており、サイエンス、ランセット、ネイチャーなどは、メタ研究や再現性に関する特集や記事を継続的に掲載している。2012年にはPLOS ONEが「再現性イニシアチブ(Reproducibility Initiative)」を開始し、2015年にはBioMed Centralが4誌において「報告の最低基準チェックリスト」を導入した。

メタサイエンスに関する最初の大規模な国際会議の一つは、2015年にエディンバラで開催されたResearch Waste/EQUATORカンファレンスである。また、査読に関する国際会議としては、1989年に開催されたPeer Review Congressが初めての事例とされている。2016年には、Research Integrity and Peer Review誌が創刊され、査読、研究報告、研究倫理に関する問題に関する研究成果の発表を目的とする場として位置づけられた。

メタ研究の分野とテーマ サムネイル|300x300ピクセル|科学知識の生成プロセスを層構造で体系化した概念の模範的な可視化であり、その中心には「科学の機関」がメタサイエンスの対象として位置付けられている。 メタサイエンスは、主に5つの主要な分野に分類される:方法論、報告、再現性、評価、およびインセンティブ。これらはそれぞれ、研究を実施する方法、研究結果を伝える方法、研究の再現性を確認する方法、研究を評価する方法、および研究を報奨する方法に対応している。

方法 メタサイエンスは、研究における偏り、不適切な研究設計、統計の濫用など、不適切な研究実践を特定し、これらの実践を軽減する方法を模索することを目的としている。メタ研究は、科学文献において数多くの偏りを特定してきた。特に注目すべきは、P値の濫用と統計的有意性の濫用が広く行われている点である。

科学データサイエンス 科学データサイエンスは、データサイエンスを研究論文の分析に適用する分野である。定性的手法と定量的手法の両方を包含している。科学データサイエンスの研究には、不正検出と引用ネットワーク分析が含まれる。

ジャーナロロジー (Journalology) ジャーナロロジー(出版科学)は、学術出版プロセスのあらゆる側面を学術的に研究する分野である。この分野は、学術出版においてエビデンスに基づく実践を導入することで、学術研究の質を向上させることを目的としている。「ジャーナロロジー」という用語は、ブリティッシュ・メディカル・ジャーナルの元編集長であるスティーブン・ロックによって考案された。1989年にイリノイ州シカゴで開催された第1回ピアレビュー会議は、ジャーナロロジーを独立した分野として確立する上で画期的な瞬間とされている。ジャーナロロジーの分野は、科学における研究の事前登録を推進する上で重要な役割を果たしてきた。特に臨床試験における事前登録は、現在ほとんどの国で期待されるようになっている。

報告 メタ研究は、特に社会科学と健康科学の分野において、研究の報告、説明、普及、一般化に関する不適切な実践を指摘している。不適切な報告は、科学的研究の結果を正確に解釈すること、研究を再現すること、および著者の偏りや利益相反を特定することを困難にする。解決策には、報告基準の施行や科学的研究における透明性の向上(利益相反の開示に関するより厳格な要件を含む)が含まれる。CONSORTやより大規模なEQUATORネットワークなどの報告機関によるガイドラインの策定を通じて、データと方法論の報告を標準化しようとする試みが行われている。

再現性 再現性の危機は、多くの科学的研究が再現困難または不可能であることが判明した継続的な方法論的危機である。この危機の根源は20世紀中盤から後半のメタ研究にあるが、「再現性の危機」という用語は、問題への認識が高まる中で2010年代初頭に初めて提唱された。再現性の危機は、心理学(特に社会心理学)と医学(がん研究を含む)において特に詳しく研究されてきた。再現性は科学的なプロセスにおける不可欠な要素であり、再現性の広範な失敗は、影響を受ける分野の信頼性を疑問視する要因となっているStaddon, John (2017) Scientific Method: How science works, fails to work or pretends to work. Taylor and Francis.。

さらに、研究の再現(または再現不能)は、オリジナル研究に比べて影響力が低いとされ、多くの分野で発表される可能性が低い。これにより、研究の報告や、ひいては再現を試みる行為自体が抑制される傾向にある。

評価とインセンティブ メタサイエンスは、査読の科学的基盤を確立することを目的としている。メタ研究は、事前ピアレビュー、事後ピアレビュー、オープンピアレビューを含む査読システムを評価する。また、より良い研究資金配分基準の開発を目指している。

メタサイエンスは、より良いインセンティブシステムを通じてより良い研究を促進することを目的としている。これには、研究のランキングや評価、およびそれらを行う研究者に対する異なるアプローチの正確性、効果、コスト、および利益を研究することが含まれる。批判者は、歪んだインセンティブが学術界に「出版か死か」という環境を生み出し、ジャンクサイエンス、低品質な研究、および偽陽性の生産を促進していると主張している。ブライアン・ノセックは次のように述べている。「私たちが直面する問題は、インセンティブシステムがほぼ完全に研究の発表に焦点を当てており、研究の正確性にはほとんど注目していない点である。」 改革を支持する人々は、インセンティブシステムを再構築し、より高品質な結果を重視するように求めている。例えば、品質を「指標のみ(または主に)ではなく、物語的な専門家評価」に基づいて判断し、機関の評価基準、透明性の確保、および専門的な基準を重視する仕組みを提案している。

著者資格 研究では、科学出版管理システム向けに機械可読な基準と(バッジの分類体系)を提案し、貢献度(誰がどのような研究作業にどの程度貢献したか)に焦点を当てたシステムを提唱している。これは、従来の「著者」という概念(出版物の作成に何らかの形で関与した人)に依存するのではなく、より詳細な貢献度を評価するものである。ある研究は、貢献の微妙な差異の無視が続くことに関連する問題の一つを指摘した。その研究では、「著者リストの延長(1つの論文あたりの共著者数の増加)、従来よりも少ない文章量の論文、出版数の急増により、出版物の数はもはや適切な指標ではなくなった」と指摘されている。

評価要因 雑誌社に投稿された論文原稿の内容以外の要因が、査読の評価に重大な影響を与えることがある。これらの要因には、研究者の過去の出版物の信頼性に関する記録の活用や、公共の利益との整合性など、重要な要素も含まれる場合がある。ただし、評価システム(査読を含む)は、分析指標(引用数やアルトメトリクスなど)と比較して、現実世界へのポジティブな影響、進歩、公共の利益といった目的に向けたメカニズムや基準が大幅に欠如している可能性がある。これらの分析指標は、評価するという目的の 部分指標 として使用される場合でも、本質的な評価基準として機能していない場合がある。学術的な報酬構造の再考、具体的には、「中間成果物(例えばデータ)に対するより正式な評価を提供する」ことは、ポジティブな影響をもたらし、データの非開示を減少させる可能性がある。

訓練と認定 あるコメンタリーによると、学術ランキングは、それぞれの研究者がどこ(国と機関)で訓練を受けたかを考慮していない。

科学計量学 (Scientometrics) 科学計量学(サイエントメトリクス)は、科学論文における書誌データの計測を扱う分野である。主要な研究課題には、研究論文や学術誌のインパクトの測定、科学的引用の理解、そしてこれらの測定値を政策やマネジメントの文脈で活用することが含まれるLeydesdorff, L. and Milojevic, S., "Scientometrics" arXiv:1208.4566 (2013), forthcoming in: Lynch, M. (editor), International Encyclopedia of Social and Behavioral Sciences subsection 85030. (2015)。

研究によれば、「学術的成功を測るために用いられる指標(論文数、被引用数、インパクトファクターなど)は、数十年間ほとんど変化しておらず」、ある程度においては「もはや有効な指標ではなくなっている」とされている。その結果、「過剰生産、不必要な細分化、過剰な売り込み、ハゲタカジャーナル(掲載料を取って論文を出す雑誌)、巧妙な剽窃、さらには科学的結果を意図的に曖昧にし、それを売り込むといった問題」が生じている。

この分野における新しいツールには、「被引用ノードが引用ノードにどれほど情報を与えているか」を定量化するシステムが含まれる。 これにより、非加重の引用ネットワークを加重ネットワークに変換し、その後、出版物や著者などのさまざまな要素に対するインパクト指標を導き出すといった重要性の評価に利用できる。 また、他の用途として、検索エンジンやレコメンデーションシステムにも応用可能である。

科学のガバナンス 科学研究の資金提供(サイエンスファンディング)や科学のガバナンスも、メタサイエンスを通じて検討され、知見を得ることができる。

インセンティブ 優先順位付けなどのさまざまな介入は重要である可能性がある。

たとえば、「差別的技術開発(differential technological development)」という概念は、技術の開発順序に影響を与えることでリスク、特に地球規模の壊滅的リスクを低減することを目的として、意図的に異なる予防的速度で技術を開発することを指す。具体的には、制御技術・安全技術・政策技術などを、リスクの高いバイオテクノロジーよりも優先して開発することなどが含まれる。

望ましい結果を確保するために、既存の立法制度やインセンティブだけに依存することは必ずしも十分ではない場合がある。というのも、こうした制度は多くの場合、対応が遅すぎたり、適切でなかったりすることがあるからである。

メタサイエンスに基づく改革を含め、科学および関連プロセスを適切に統治するための他のインセンティブとしては、以下のようなものが挙げられる:

特に公的資金による研究のアクセス可能性や、公共の関心に関わる多様な研究テーマに対して真剣に取り組んでいるかどうかという点で、一般市民への説明責任を果たすこと 有資格で生産的な科学者の人材層の拡充 科学の効率性を向上させることで、より広範な問題解決能力を高めること 人間の生理学など、明確で科学的根拠に基づいた社会的ニーズが、適切に優先され、対応されるようにすること

このような介入、インセンティブ、そしてその設計は、メタサイエンスの研究対象となり得る。

科学研究の資金提供と表彰 科学賞は、科学におけるインセンティブの一形態である。 メタサイエンスは、既存の科学賞の制度や仮想的な制度を対象として検討することができる。 たとえば、メタサイエンスの研究により、ノーベル賞で顕彰された研究は、ごく少数の科学分野に偏って集中していることが明らかになっている。実際、71の科学分野のうち少なくとも1つのノーベル賞を受賞した分野は36分野にとどまっている。さらに、DC2およびDC3という科学の分類体系に基づく849の細分類のうち、114の分類がノーベル賞と関連していたが、その中でも次の5分野が1995年から2017年に授与されたノーベル賞の半数以上を占めていたことが示された:

素粒子物理学(14.0%) 細胞生物学(12.1%) 原子物理学(10.9%) 神経科学(10.1%) 分子化学(5.3%)

ある研究では、政策決定者が責任を科学に委任し、科学がその後「社会にとって信頼でき有用な知識を提供する」と期待する、中央集権的な権威に基づくトップダウン型のアプローチは、あまりにも単純化されすぎていると指摘されている。

測定の結果、バイオメディカル分野の資源配分は、疾病負担よりも、過去の資源配分や既存の研究との相関が強いことが示されている。

ある研究は、次のように示唆している:

「査読が、研究報告や研究資金の競争的選定における主要な審査手段として維持されるのであれば、科学界はその運用が恣意的なものにならないよう十分に注意を払う必要がある。」

複数の研究は、「私たちが成功をどのように測定するかを再考する必要がある」ことを示している。

研究資金データ 助成金データベースや研究資金の謝辞欄から得られる研究資金に関する情報は、サイエントメトリクス(科学計量学)の研究におけるデータソースとなり得る。たとえば、資金資金に関する情報は、資金提供機関が科学技術の発展に与える影響を調査したり、評価したりする目的で活用される。

研究課題と調整

リスク・ガバナンス

科学コミュニケーションと公共利用 「科学には、グローバルな公共財としての価値を支える2つの基本的な特性がある」と主張されている。 その特性とは、

1.知識の主張とその根拠となる証拠が公開され、検証にさらされること

2.科学研究の成果が迅速かつ効率的に伝達されること

である。 メタサイエンスの研究では、サイエンスコミュニケーションに関するさまざまなトピック、たとえば科学報道のメディアでの扱い、科学ジャーナリズム、科学の教育者や科学研究者によるオンラインでの成果発信などが取り上げられている。 ある研究では、学術界でソーシャルメディアの利用に対して与えられている主なインセンティブは「情報拡散(amplification)」であるとされ、さらに今後は、こうしたプラットフォームが研究との「実質的な関与(real engagement)」を促進するための、より制度的な文化への転換が必要であると指摘されている。 また、科学コミュニケーションには、社会的なニーズ・関心・要望を科学者に伝えるという役割も含まれる。

代替指標ツール 代替指標ツールは、評価(パフォーマンスと影響力)や検索可能性の支援に役立つだけでなく、科学論文に関するソーシャルメディア(例:Reddit)での公開議論、Wikipediaでの引用、ニュースメディアでの研究に関する報道など、多くの公開議論を収集し、メタサイエンスでの分析に活用したり、関連ツールで提供・利用したりすることが可能である。 評価と発見可能性の観点から、代替指標は、ソーシャルメディアやその他のオンラインプラットフォームを通じた相互作用に基づいて、出版物のパフォーマンスや影響力を評価する。例えば、他の研究が引用する前に、測定された影響力に基づいて最近の研究を並べ替えるのに使用できる。確立された代替指標の具体的な手順は透明性がないため、ユーザーはオープンソースソフトウェアのようにアルゴリズムをカスタマイズしたり変更したりできない。ある研究は、アルトメトリクスのさまざまな限界を説明し、「継続的な研究開発の方向性」を指摘している。 また、研究者が受けた建設的なフィードバックを見つけるための主要なツールとしての使用にも限界がある。

社会的影響と応用 「科学と技術が社会に与える影響や応用に関する知的交流が、今後より重視され、促進されることが、科学の発展に有益である」との指摘がある。

知識の統合 一次研究は「文脈や比較、要約が欠如していると、最終的に限定的な価値しか持たない」ものであり、さまざまな種類の研究の統合や要約が一次研究を統合している。 グローバルな環境アジェンダの主要な社会生態学的課題における進展は、「既存の科学的証拠の統合と要約の不足」により阻害されており、データ量の急速な増加、情報のかたまり化、および一般的に未解決のエビデンス統合の課題が存在している。 Khalilによると、研究者は論文の過剰な量という問題に直面している——例えば2014年3月にはArXivに8,000件を超える論文が投稿された——ため、「膨大な文献量に対応するため、研究者は参考文献管理ソフトウェアを使用し、要約やメモを作成し、特定のテーマの概観を提供するレビュー論文に依存している」。 彼は、レビュー論文は通常(のみ)「既に多くの論文が書かれたテーマを対象としており、迅速に古くなる可能性がある」と指摘し、「ウィキ・レビュー論文」を提案している。これは、テーマに関する新たな研究を継続的に更新し、多くの研究の結果を要約し、今後の研究の方向性を示すものである。ある研究では、科学的な出版物がウィキペディアの記事で引用されている場合、これがその出版物の何らかの影響力の指標として考慮される可能性があることが示唆されている。 例えば、時間が経つにつれ、その参考文献が与えられたトピックの高度な要約に貢献していることを示す可能性があるからである。

科学ジャーナリズム 科学ジャーナリストは、科学の生態系および一般市民への科学コミュニケーションにおいて重要な役割を果たしており、研究結果の信頼性を判断する際や、その報告の可否および方法を決める際に「関連する情報を適切に活用する能力」が求められる。それらの人々は、一般市民に伝達される研究結果を検証する役割を担っている。

科学教育 一部の研究では、科学教育が対象とされている。例えば、選択された科学的な論争に関する教育、 主要な科学的結論の歴史的発見プロセス、 および一般的な科学的誤解などである。 教育は、より一般的なテーマとしても取り上げられることがある。例えば、科学的成果の質を向上させ、科学的作業に必要な時間を短縮する方法、または多様な科学的労働力を拡大し維持する方法などである。

科学に関する誤解と反科学的な態度 多くの学生は、科学とは何か、どのように機能するかという点で誤解を抱えている。 反科学的な態度や信念も研究の対象となっている。 ホテズは、反科学が「支配的な勢力として台頭し、極めて危険な存在となり、グローバルな安全保障を脅かすもの」として浮上したと指摘し、これに対抗するための「新たなインフラ」の必要性を強調している。

科学の進化

科学的な実践 メタサイエンスは、科学的なプロセスが時間とともにどのように進化するかを調査することができる。ある研究では、チームの人数が拡大しており、「10年ごとに平均17%増加している」ことが示されている。

非オープンアクセス出版の一般的な形態と、多くの伝統的な学術誌が課す料金(公的資金で支援された論文であっても)は、科学の進歩に対する不当な、不要な、または最適でない障害となっていることが判明した。 オープンアクセスは、他の用途に充てられるべき多額の財政資源を節約し、開発途上国の研究者にとっての競争条件を平等化する可能性がある。 購読料、特定の研究へのアクセス料、論文掲載料など、多額の費用がかかる。Paywall: The Business of Scholarshipは、このような問題を取り上げたドキュメンタリーである。

もう一つのテーマは、科学的なコミュニケーションの確立されたスタイル(例:長文形式の研究論文やレビュー)と科学出版の慣行である。従来の出版の「 glacial pace(氷河のような遅さ)」に対する懸念が指摘されている。 プレプリントサーバーを利用して研究の草案を早期に公開する手法の活用が増加しており、オープンピアレビュー、研究を審査するための新たなツール、提出された原稿と審査員のマッチングの改善などが、出版を加速するための提案として挙げられている。

科学全体および分野内での発展 研究には、多様なメタデータが存在し、これらを有効に活用し、補完し、利用可能な形に加工することが可能である。OpenAlexは、2億件を超える科学論文の無料オンラインインデックスであり、出典、引用、著者情報、科学分野、研究テーマなどのメタデータを統合し提供している。そのAPIとオープンソースのウェブサイトは、メタサイエンス、サイエンティメトリクス、およびこの論文のセマンティック・ウェブをクエリする新しいツールの開発に利用可能である。  開発中の別のプロジェクトであるScholiaは、科学出版物のメタデータを活用し、ウィキデータの「主要な主題」プロパティを使用して、SARS-CoV-2ウイルスの特定の特性に関する文献を要約するシンプルなユーザーインターフェースを提供するなどの可視化や集約機能を実現している。

Subject-level resolutions 人間が研究に明示的に付与したメタデータを超えて、自然言語処理とAIを活用することで、研究論文をトピックに分類することが可能である。例えば、科学賞の影響を調査したある研究では、論文のテキスト(キーワードだけでなく)をウィキペディアの科学トピックページの言語的内容(これらのページは科学者やユーザーがクラウドソーシングを通じて作成・更新されている)と関連付けるために、このような手法が用いられた。これにより、さらに分析やナビゲーションに役立つ、高精度な科学トピックの分類が作成された。

科学全体の成長か停滞か メタサイエンス研究は、例えば文献データベースにおける論文の件数などのデータを用いて、科学全体の成長を調査している。ある研究では、異なる成長率を示すセグメントが「経済的(例:工業化)」段階——科学システムにおける必要不可欠な入力要素として資金が考慮される——「および/または政治的動向(例:第二次世界大戦)」と関連していることが示された。また、科学文献の量の最近の指数関数的成長を確認し、平均倍増期間を17.3年と算出した。

ただし、他の研究者たちは、科学の進歩を意味のある方法で測定することが困難である点を指摘している。その理由の一つは、特定の科学的発見がどれほど重要であるかを正確に評価することが難しいからである。科学の全体的な動向(影響力、主要な発見の数など)に関する多様な視点は、書籍や論文で説明されてきた。例えば、科学は「1ドルまたは1時間あたりのコスト」でますます困難になっていること、もし科学が「現在減速しているなら、それは科学が確立された分野に過度に焦点を当て続けているため」であること、 論文や特許が「CD指数」 で測定される過去との断絶という点で「破壊的」である可能性がますます低くなっていること、そして、例えば「コンピュータとインターネットを除けば、1970年代以来、ほとんど変化していない」というように、大きな停滞(おそらくより広範な傾向の一部 )が存在することなどが挙げられている。