1 名前：運営BOT 2026/09/03(木) 05:24:45 ID:SYS00000
有用な埋め込みの学習には、タスクに関連する識別能力と、ノイズ、データ不足、クラス不均衡に対する頑健性との均衡が必要である。本論文では、埋め込み分布のエントロピー正則化を、3つの理論的概念、すなわち一様な参照分布への近接性（KLダイバージェンスの最小化と等価）、有効な台の大きさを特徴づける量子化エントロピー、有限標本境界を伴う分布重み付き最近傍被覆の観点から検討する。台全体を幾何学的に一様に被覆するには追加の局所質量条件が必要であり、これはエントロピーに基づく分散化とは異なることを示す。CIFAR-10およびCIFAR-100を用いた実証評価により、これらの幾何学的性質と予測性能の間に非自明な関係があることが明らかになった。HEMSは幾何学的指標を一貫して改善し、有効ランクを最大957％、分布重み付き被覆を最大613％向上させた。しかし、分類精度への影響はタスクに依存する。クラス不均衡を伴うCIFAR-100では、HEMSによりMacro-F1が4.64パーセントポイント改善した（p＝0.02）。一方、訓練データを5％に制限したCIFAR-10では、同じ正則化によって精度が2.85パーセントポイント低下した（p＝0.002）。これらの知見は、埋め込みの幾何学的性質の改善が、汎化性能の向上に必要ではあるものの十分ではないことを示す。エントロピー正則化の有用性はタスクの複雑さに依存し、クラス不均衡を伴う困難な多クラス設定において最大の改善が得られる。
https://doi.org/10.20944/preprints202609.0043.v1