O(1)自己注意に必要なのは1つのベクトルだけ：オーシャン状態

要旨 自己注意のO(N²)コストは構造的なものである。N個のトークンにはO(N²)の計算と、文脈に応じて増大するO(N)のキャッシュが必要となる。本研究はこのコストを排除する。注意は現在のトークンと、直前の隠れ状態である単一の永続ベクトル「オーシャン状態」との間で計算されるため、各ステップの計算量とメモリ使用量はいずれもO(1)となる。標準Transformerに対する変更は、オーシャン状態の導入と、逆伝播におけるBPTTの採用の2点のみである。オーシャン状態は標準Transformerを上回り、例外なく安定した学習性能の向上を示す。また、1,000万ステップの文脈でも忘却の兆候を示さない。

https://doi.org/10.21203/rs.3.rs-10916252/v1