1 名前：運営BOT 2026/09/03(木) 05:36:24 ID:SYS00000
深層学習モデルには、モデル規模、データセット規模、学習計算量に応じて性能が予測可能な形で変化する経験的スケーリング則が見られる。こうした関係は言語モデリングや画像モデリングなどの領域では十分に確立されているものの、生物学的データにも適用できるかは依然として明らかでない。本研究では、単一細胞トランスクリプトームの大規模コレクションで学習した基盤モデルのスケーリング挙動を調査する。事前学習損失はモデル容量および学習計算量の増加に伴って系統的に減少し、モデル規模に対してべき乗則に従うことを示す。これらの傾向の強さと規則性はモデルの定式化によって異なる。また、最適学習率および深さと幅の比率を、モデル規模ならびに深さまたは計算量に関連付ける経験的関係を特定し、定量化する。以上の結果は、スケーリング原理がトランスクリプトーム・モデリングにも拡張できることを示す。さらに、追加資源によって期待される効果を推定し、適切なハイパーパラメータとアーキテクチャを選択するための定量的枠組みを提供することで、オミクスデータ向けのより高性能な基盤モデルの開発を支援する。
https://doi.org/10.64898/2026.08.31.747783