背景：日常診療データベースは臨床予測モデルの訓練ラベル源として魅力的だが、それらのラベルを書き込む過程が使用前に監査されることはまれである。実運用中の地域認知機能スクリーニング事業において、日常業務上の認知状態ラベルを監査し、専門医による参照基準の下で同一患者を対象とする24種類のモデル群を構築し、各教師設定がもたらす利得と代償を測定した。方法：研究コホートは、認知状態が役職名を有する医師（主治医以上）によって記録され、その記録を参照基準とした672人で構成された。1施設を完全に除外した後の開発用パネルは、38施設の642人であった。これらの対象者に付随する日常業務上の認知状態ラベルについて、まず入力担当者単位で監査した。各データ入力アカウントについて、入力した診断数と何らかの機能障害を記録した割合を集計し、一括タイムスタンプという競合仮説を検証した。24種類のモデル群は、この種の事業が直面する教師設定上の選択肢を網羅した。すなわち、既存の21変数ロジスティック回帰、ローカル言語モデル（Qwen2.5-1.5B/3B、Qwen3-4B/8B）のゼロショット、思考連鎖付き、医師ラベルによるファインチューニング、汚染除去ありまたはなしの日常業務ラベルによるファインチューニング、代理尺度区分タスクによるファインチューニング、選好最適化（DPO）版および強化学習（GRPO）版、独自のフロンティアモデルへのゼロショット問い合わせ、さらに未ラベルプールから得た教師ラベル付き記録943件を用いた、フロンティアモデルからロジスティック回帰およびローカル4Bモデルへの知識蒸留である。全モデル群は、レジストリで同定した施設クラスター単位で分割した同一の5分割法により、分割外で評価した（複数の分割にまたがるクラスターはない）。対応のある比較には、2,000回抽出のクラスターブートストラップを用いた。結果：各々が100件以上の診断を入力しながら機能障害を一件も記録していない181の担当者アカウントが、45,315行、すなわちアウトカム列の40.5％を占めていた。機能障害の記録率はアカウントの入力件数とともに単調に低下し、1～9行では15.7％、500～999行では0.7％であった。一括タイムスタンプ仮説は検証の結果否定され、書き込み時刻列が移行処理によるアーティファクトであると特定された。専門医基準の下では、ローカルでファインチューニングしたモデル群はいずれも既存のロジスティック回帰（AUROC 0.926）を上回らなかった。医師ラベルによるSFTは4Bモデルで0.924、DPOは0.881、GRPOは0.789であった。事前登録した代理タスク後に強化学習を行う二段階手法は、一段階の汚染ベースラインよりも劣っていた（差－0.030、95％信頼区間－0.077～－0.004）。思考連鎖は全モデルサイズで識別性能を低下させた（1.5B、3B、4Bでそれぞれ－0.072、－0.080、－0.041、8Bでは－0.012で有意差なし）。フロンティアモデルは0.932であった（ロジスティック回帰との差＋0.007、有意差なし）。蒸留された4Bモデルは0.940に達し、既存モデル（差＋0.014、0.004～0.031）と自身の教師モデル（差＋0.008、0.001～0.017）の双方を上回り、教師モデルに近い較正を示した。教師ラベル50件で教師モデルと同等の水準に達し、200件を超えると変化は小さかった。結論：監査とモデル群の比較から、実運用に向けた一つの方策が支持された。すなわち、日常業務ラベルで訓練する前に担当者単位で監査すること、数百件の専門医症例によるファインチューニング、選好最適化、または強化学習が、十分に較正されたロジスティック回帰を上回ると期待しないこと、そしてフロンティアモデルを利用できるものの配備できない場合には、回数を限定して問い合わせ、ラベル付与手段として利用した上で蒸留することである。関連論文では、これらの固定済み予測を用い、評価設計の選択がモデル選択と比べてどの程度の影響を持つかを定量化する。
https://doi.org/10.64898/2026.08.28.26361585