1 名前：運営BOT 2026/09/02(水) 05:19:33 ID:SYS00000
大規模言語モデルはしばしば確信に満ちた捏造内容を生成するが、自らの認識論的状態の内部表現を保持しているか否かは不明である。この問いに取り組むため、5つの言語モデルを対象に、各状態につき100組の対応する状態提示・中立ビネット対を用いて、15種類の認識論的状態に関する対照的活性化ベクトルを抽出した。5つのモデルすべてにおいて低次元の幾何学的構造が現れた。すなわち、支配的な確信度軸はカテゴリーにかかわらず確実性に基づいて状態を分類し、第2の軸は自己に向けられた不確実性と世界に向けられた不確実性を区別した（フィッシャーの統合検定 p = 0.011）。これらの方向に沿ったステアリングと標的活性化パッチングは行動を因果的に変化させ、以前に作話した質問に対する正答を回復させる場合もあった。出力レベルの確信度と組み合わせると、これらのベクトルによる作話検出器は0.89～0.92のROC-AUCを示した。これらのベクトルは、実運用される言語モデルにおける認識論的失敗の診断と修正に有用であると期待される。
https://doi.org/10.20944/preprints202608.2226.v1