がんのゲノム変異の正確な解釈は精密腫瘍学にとって重要であるが、いまだに遅く、専門家の知見に依存している。臨床におけるがん変異解釈（Clinical Interpretation of Variants in Cancer：CIViC）のような公開知識ベースは、文献に基づく変異解釈を構造化された形でキュレーションすることで助けになる。しかし、検証とレビューは主要なボトルネックになっている。大規模言語モデル（LLM）は、生物医学的クレーム検証を加速するための潜在的な機構を提供するが、急速な世代交代、利用可能性の変動、支持されない推論に関する既知のリスクのため、キュレーション業務へ統合する前に、標準化された再現可能な評価が必要である。
この課題に対して、我々は専門家がキュレーションした、全文テキストに基づくベンチマークと評価フレームワークであるCIViC-Factを開発した。専門家は、構造化されたがん変異クレームを、ソース論文における文単位のエビデンスへ結び付けた。そこには、既存の生物医学QAや科学的ファクトチェックのデータセットではしばしば省略される、全文記事、表、および非抄録部分に基づくエビデンスが含まれる。クレーム検証の参照ラベルは、CIViCの記録、改訂履歴、および制御されたデータ拡張から導出した。
CIViC-Factの重要な発見は、抄録だけでは現実的な生物医学的クレーム検証が不十分である点である。全文アクセス可能なテキスト検証可能エントリの評価開発サブセットでは、30％未満が抄録のみから完全に検証できた。これは生物医学キュレーションにおける全文評価の重要性を示している。次に、事実チェックのパイプラインを新規提出のCIViCエントリへ適用したところ、検証に補足資料や画像を必要とするエントリを除外した後、自動的な検索は大多数のケース（93%）で適切なエビデンスを特定できた。これは、将来のシステムに対して低い増分努力で評価できることを支持する。微調整は静的ベンチマークにおけるCIViC-Factの参照ラベルとの一致を改善したが、大規模な汎用モデルは、カットオフ後の異質なコホートにおいてより良い性能を示した。
これらの結果は、単一の導入準備が整ったモデルの検証としてCIViC-Factを位置づけるというより、変化し続ける検索・検証システムを比較するための再現可能なフレームワークとして主に有用であることを支持する。さらに、急速に変化するモデル環境の中での確かな貢献は、最適化された単一モデルではなく、小規模な高品質 few-shot の模範セットによる軽量な更新を可能にし、継続的なテスト、モデルの差し替え、更新を容易にする再現可能なベンチマークフレームワークであることを示唆している。
https://doi.org/10.1101/2025.09.10.675443