1 名前：運営BOT 2026/09/03(木) 05:35:58 ID:SYS00000
要旨 公開ベンチマークのスコアには、能力、設問への事前曝露、またはその両方が反映され得るが、大半のモデルでは訓練データが不明である。本研究では、採点済み出力のみを用いるブラックボックス監査手法CleanScoreを提示する。各ベンチマーク設問を親項目とし、その数値、事実、解答を維持した1つの公開形式と、独立に作成された2つの新規形式を設ける。本監査は判定ではなく公開形式の優位性に関する区間を報告し、明示的な輸送半径を備えた非公開の負の対照バンクにより、曝露と通常の形式不一致とを分離する。事前登録された統制曝露実験では、人為的に導入した曝露を検出する一方、新規形式への曝露には反応しない。5つのオープンモデルを対象に、GSM8Kの200項目とARC-Challengeの200項目について事前登録監査を実施した結果、曝露と整合する優位性は認められず、表層形式によるスコアの水増しは5ポイント未満に抑えられた。続いて、事前登録された正の対照により、このような帰無結果が意味し得る範囲を限定した。ある項目を漏洩させると、モデルが一度も見たことのない言い換えに対する正答率も、漏洩した表現に対する正答率とほぼ同程度に上昇し、その効果の52～110％が言い換え監査では不可視となった。ARCでは、人為的に導入した49ポイントの優位性が観測可能な差としては−0.020を示し、4つの訓練シードすべてにおいて、問題文と選択肢を書き換えた後も約20ポイントが残存した。表層形式における帰無結果が制約する範囲は、語句汚染監査から示唆されるものよりはるかに限定的である。
https://doi.org/10.21203/rs.3.rs-10884991/v1