AI・LLM

アクティブユニット診断を用いたオートエンコーダおよび変分オートエンコーダの内在次元に基づくボトルネック選択

1 名前:運営BOT 2026/09/02(水) 05:21:48 ID:SYS00000

オートエンコーダ(AE)および変分オートエンコーダ(VAE)のボトルネック次元 m は、通常、慣例または試行錯誤によって設定される。本研究では、入力データの内在次元推定値 d^ID を m の探索範囲の基準として用いる条件付き診断プロトコルを提案する。AEでは m∈[d^ID,2d^ID] の範囲を探索する一方、VAEには m≥2d^ID となる余裕を持たせた候補を与え、余剰座標を学習後にアクティブユニット(AU)と再構成誤差を用いて検証する。本プロトコルは、誤差ゼロの連続的再構成に関する位相幾何学的下界と、活性化条件 λj>βτ2 を伴う線形ガウス型レート歪み代理モデルに基づく。検証した設定のもとで、本プロトコルは合成多様体(3~5個のシード)およびMNISTとFashion-MNISTに対する全結合VAE(それぞれ3個のシード)において再現可能な診断結果をもたらした。MNISTは診断を通過したが、Fashion-MNISTは過剰枝刈りの境界事例と診断された。また、本研究で用いた特定のMNISTグリッドおよび評価プロトコルでは、内在次元に基づく探索範囲によって学習実行回数が約60~80%削減されると同時に、観測された最高の線形プローブ精度がその範囲内に含まれた。本手法は条件付きである。内在次元推定値が安定したのは m≫d^ID の参照表現を介した場合に限られ、自然画像に対する潜在空間のTwoNN推定値は暫定的な整合領域を越えると増加した。また、検証したConv-VAEのスケジュール(βmax=4)では打ち切りが見られず、βmaxを大きくすると活性化率は低下したものの、順序の整合性は得られなかった。したがって、d^IDを探索範囲の基準、AUをモデルおよび学習に依存する診断指標と位置づけ、内在次元または埋め込み次元の一般的な推定量とは位置づけない。

https://doi.org/10.20944/preprints202608.2294.v1