暗黙的ニューラルネットワークのための局所二次随伴ダイナミクス

要旨　暗黙的ニューラルネットワークおよび再帰型ニューラルネットワークでは、順方向の平衡状態を求めた後、随伴方程式を反復的に解く必要がある。再帰ダイナミクスが安定性境界に近づくにつれ、一次の局所緩和は遅くなる。本研究では、因果随伴輸送（Causal Adjoint Transport：CAT）と呼ばれる二状態の局所随伴ダイナミクスを検討する。ヤコビアンを固定した場合、CATは古典的な線形二次定常法の族に属する。制御されたスペクトル実験において、保守的なスペクトル境界を用いるCATは、オラクル調整された一次の活性化緩和法と比べ、近傍ヤコビアン作用の必要回数を最大8.83分の1に削減する。再帰結合を固定した8つのデータセット全体で、観測された作用回数の削減は漸近的なスペクトル予測とよく一致し、実測値と理論値の比は約0.82である。CATは、再帰結合を固定した24組すべて、および再帰結合を学習する60組すべての学習条件で局所作用回数が少なく、再帰重みを学習する場合の削減率の中央値は2.13倍である。汎用的なクリロフ法および準ニュートン法は、必要なヤコビアン作用回数がさらに少ない場合もあるが、ここで想定する局所計算モデルの範囲外となる大域的代数演算またはより大きなソルバー状態を使用する。有向複素スペクトルでは、実区間に基づく調整は不安定になり得るが、オラクルによる楕円較正を用いれば、再帰式を変更せずに収束を回復できる。これらの結果は、再帰系の臨界性が、厳密な暗黙的信用割当てにおける局所的な逆伝播コストの指標となることを示している。

https://doi.org/10.21203/rs.3.rs-10904257/v1