背景：健康上の助言を求めて消費者がAIチャットボットを利用する機会は増加しているが、既存サービスと比較したトリアージの安全性は依然として明らかでない。オーストラリア政府が支援し、2024～25年度に240万回利用された症状チェッカーHealthdirectは、最先端の大規模言語モデル（LLM）との比較評価が行われておらず、有料サブスクリプションによってトリアージの安全性が向上するかどうかも検討されていない。本研究では、ChatGPT、Claude、Geminiにわたる6種類のLLM構成とHealthdirectのトリアージ精度および安全性を比較し、有料サブスクリプションがトリアージの安全性を向上させるかを評価するとともに、各システムの誤りのパターンを特徴付けた。方法：Semigranらのベンチマークから、救急、非救急、セルフケアの各カテゴリー15例、計45例の臨床ビネットを用い、7つのシステムを評価した。Healthdirectは7項目の対話プロトコルに従って検証した。LLMは、患者本人の言葉による一人称のプロンプトを用い、無料プランと有料プランの条件下で評価した。評価項目は、トリアージ精度、救急症例に対する感度、過小トリアージ、重大な見逃しとし、CochranのQ検定、Bonferroni補正McNemar検定、Cohenのカッパ係数、Wilson区間を用いて解析した。結果：トリアージ精度には有意差が認められた（CochranのQ＝36.79、p＜0.001）。Healthdirectの精度は48.9％（95％信頼区間35.0～63.0％、カッパ係数＝0.233）であったのに対し、LLMでは73.3～86.7％（カッパ係数＝0.600～0.800）であった。Healthdirectは保守的な対話形式のデフォルト設定で動作した一方、LLMには単一のプロンプトですべての情報が与えられたため、この条件がHealthdirectに不利に働いた可能性がある。救急症例に対する感度はHealthdirectで46.7％、LLMで80.0～86.7％であった。Healthdirectでは重大な見逃しが2件発生したが、LLMでは270回の評価を通じて1件も発生しなかった（95％信頼区間0～1.4％）。LLMが過小トリアージを行った場合でも、セルフケアではなく一般開業医の受診を推奨した。プラン間の差はいずれも有意ではなく（すべてp＞0.05）、大半のシステムはセルフケア症例を過剰トリアージした。解釈：最先端LLMはHealthdirectよりも高いトリアージ精度と安全な誤りのプロファイルを示した。すべてのLLMが重大な見逃しを回避した一方、Healthdirectでは回避できなかった。有料サブスクリプションによるトリアージの安全性の有意な向上は認められなかった。これらの知見は、政府支援の症状チェッカーと並行してLLMを正式に評価すべきかどうかに関する臨床ガバナンス上の意思決定を支持する。
https://doi.org/10.64898/2026.09.01.26361908