大規模言語モデル（LLM）は科学論文の執筆においてますます利用されているが、エビデンス統合に責任をもって適用できる条件は、依然として十分に定義されていない。本研究では、LLMによる支援が妥当となる領域と、人間の判断が引き続き必要となる領域を特定するため、システマティックレビュー全体ではなく、その過程の一部を検討する概念実証研究を実施した。まず、最近公表されたアンブレラレビューを基準として、LLMによるスクリーニング判定を原著者である人間の判定と比較した。抄録に適用した場合、検討したすべての事例で、モデルは明示された採択基準に従った。全文に適用した場合、人間の著者との一致率は86.2％（Cohenのκ係数＝0.38）に達したが、それは公表済みの基準を反復的に言い換えた後に限られた。公表済みの基準をそのまま適用すると、モデルは原著者が採択したすべての論文を除外した。このことは、性能を左右したのがモデルの能力だけではなく、基準の文言であったことを示す。次に、探索的な盲検評価において、認定血液病理医6名が、同一のテーマについてLLMが作成したレビュー2編と、人間が執筆して公表されたレビュー1編を評価した。評価はLLM作成レビューを支持し、5点満点の平均は3.4～3.66であったのに対し、人間執筆レビューは2.6であった。また、評価者がAIの関与を偶然を上回る精度で識別することはなかった（正答率27.8％、置換検定p＝0.84）。AIが作成したと最も頻繁に判断されたのは、人間執筆レビューであった。標本規模を踏まえると、これらの観察結果は確定的なものではなく、仮説生成的なものである。LLM作成レビューの内部監査では、引用された主張の4.13～7.06％に引用文献の誤帰属が認められた。参照テキストを制限する方策によって誤帰属は減少したが、完全には排除されなかった。以上の知見は、監督下において、LLMがレビュー作成の範囲と仕様が明確な下位作業を遂行できる一方、検証、開示、最終判断は引き続き人間の責任であることを示唆する。これらの観察結果に基づき、人間の監督下でAIが支援するレビュー作業フローを支えるオープンソース・プラットフォーム「ReviewFoundry」を開発した。
https://doi.org/10.64898/2026.02.18.26346559