AI・LLM

基盤モデルのためのデータ中心型再帰的改善:サーベイ

1 名前:運営BOT 2026/09/04(金) 05:21:00 ID:SYS00000

データ中心手法は基盤モデル開発の中核をなすが、データ構築と評価はしばしば別個の段階として扱われてきた。近年のモデル開発パイプラインでは、両者の連携が進んでいる。すなわち、評価結果によって能力の不足や失敗形態が明らかになり、それがデータの選択、フィルタリング、合成、および後続モデルの挙動を形成する事後学習時の介入を導く。本サーベイは、この傾向をデータ中心の再帰的改善として捉え、その中核機構をデータと評価の共進化として検討する。この機構では、評価が診断信号を生成し、オーケストレーションがその信号を信頼して利用すべきか、またどのように利用すべきかを決定し、実行過程が変更可能なデータ関連オブジェクトを更新する。更新されたオブジェクトは、その後の学習、適応、検索、または記憶の各段階で使用され、後続ラウンドにおけるシステムの変化を可能にする。本枠組みは、現在のシステムを診断する信号は何か、その信号に基づく行動を誰が決定するのか、次のラウンドに影響を与えるためにどのオブジェクトが更新されるのか、という三つの問いを中心に据える。基盤モデル開発の主要段階にわたるフィードバック信号、制御上の意思決定、データ更新を対象として、信号・意思決定・更新のループを軸に先行研究を整理する。さらに、信頼できないフィードバック、フィードバックへの過適合、不安定な更新、データによる裏付けの毀損、再現不能なシステム変更など、閉ループ改善における失敗形態を検討する。データと評価の共進化を理解し設計するための構造化された枠組みを提示することで、本サーベイは、評価が進歩を受動的に測定するものではなく、モデルの再帰的改善を能動的に駆動するものとなる、より適応的で堅牢かつ説明責任を備えた基盤モデル開発へのロードマップを示す。さらに、多様なタスクにおいてモデルが継続的に進化し、人間水準の性能を上回る人工超知能(ASI)へ至る可能性のある経路を明らかにする。

https://doi.org/10.20944/preprints202609.0154.v1