背景：EMSプログラムが業界の需要を満たすうえでの主要な制約は、運動技能の教授と検証であり、適格な評価者が各学生を直接観察することが必要になる。AI動画解析によってこれを緩和できるかは未検証であり、EMS技能の試験に適用された例もなく、人間の試験者との比較も行われていない。目的：人間のEMS評価者における評定者間信頼性を定量化し、それに対するAI動画解析プラットフォームの有効性を評価する。方法：前向きの完全交差研究として、5名の認定EMS評価者とAIプラットフォームが、頸部カラー装着（n=15）、バッグ・バルブ・マスク（BVM）換気（n=14）、医療アセスメント（n=15）の同一の動画記録されたEMTパフォーマンスを、二値のチェックリスト（重大な失敗基準を含む）で独立に採点した。一致は、Fleissのカッパ、Krippendorffのアルファ、GwetのAC1、ICC(2,1)/ICC(2,k)を用いて、項目、得点、意思決定レベルで評価した。結果：人間の項目一致は中等度（カッパ 0.409〜0.467）であり、単一評定者の信頼性も同様（ICC(2,1) 0.539〜0.694）であった。一方、パネル信頼性は良好であった（ICC(2,k) 0.854〜0.919）。記録された合否の一致は妥当（カッパ 0.297〜0.388）であり、重大な失敗に関する一致は2技能でほぼゼロであった（カッパ 0.028、0.119）。AIの整合性は、課題の複雑さではなく、ルーブリックの観察可能性に連動していた：r = 0.857（カラー、すべての人間評価者を上回る）、-0.173（BVM）、0.664（医療）。また、2つの技能では最も寛容であった。結論：人間の評価者は、特に重大な失敗の場面において不完全な基準である。AIは、チェックリスト項目が離散的で視覚的に検証可能である場合には、正当な追加の評定者となり得るが、換気率、容量、吸引持続時間のように連続量の判断による加点が必要な場合には当てはまらない。防御的に妥当な用途は形成的およびアーカイブ的であり、総括的ではない。本結果は、非専門家向けの初期構成を反映しており、上限を示すものではない。
https://doi.org/10.64898/2026.08.26.26361437