Adaptive Classification

【 Adaptive Classification 】 Adaptive Classificationは、マトリョーシカembedding技術の興味深い応用の一つです。 マトリョーシカembeddingは、いったん大きな「次元」で学習したembeddingを、目的に応じてその「次元」を柔軟に変更することができる技術です。 マトリョーシカ論文（MRL論文）の著者たちは、次のように書きました。 「厳密に固定した次元での表現は、手元のタスクに適合するには、ある場合には過剰で、ある場合には不足している可能性がある。そこで、次のような問いが生まれる。」 「計算資源が変化する複数の下流タスクに適応できる柔軟な表現を設計できないか？」 Adaptive Classificationは、画像の分類（classigication）を行うアプリケーションにとって、最適な、すなわち、精度を落とさず可能な限り小さな、embeddingの次元を評価します。 【 驚くほど小さなembeddingの次元で、画像の分類は可能である 】 この論文の結果は僕には衝撃的なものでした。マトリョーシカembeddingの手法を使って、驚くほど小さなembeddingの次元で、画像の分類は可能であることが示されていたからです。 論文に三つの画像の例があるので、それで説明しましょう。 ・これらの画像の一番右側には、認識されるべき元の画像が示されています。 ・左側の四つの画像はembeddingの次元を変えた画像の認識が示されています。 ・四つの画像の左下を見るとembeddingの次元が記されています。この四つの画像は、4次元、16次元、32次元、2048次元のembeddingを使っていることがわかります。 ・画像の分類（classigication）の結果は、画像の上に示されています。 画像(a)の場合 分類の正解は”Plastic Bag”。8次元の表現では、シーン内に（より大きな視野では右上に）他の関連物体が存在するために混乱して、“Shower Cap”を予測している。16次元以上（32次元、2048次元）では、正しく”Plastic Bag” と答えている。 画像(b)の場合 正解は、”Rock Python”。8次元では 同じスーパークラス（蛇）に属する”Boa”と混同している。16次元以上（32次元、2048次元）では、正しく”Rock Python” と答えている。 画像(c)の場合 正解は、”SweatShirt”。8次元と16次元のモデルでは、人形の目（”Sunglasses”）にピントが合っていて、 ”SweatShirt”にピントが合っていない。高次元では正しくピントが合っている。 驚くべきことに、この三つの例については画像の正しい分類には32次元のembeddingで十分なことが示されています。もしも、この分類を行うシステムに、2048次元のembeddingを使っていたら、とんでもなく不要なリソース、2048 / 32 = 64 ですので、64倍ものリソースを浪費していることになります！ 【 たまたま、この三つのケースだけだったのでは？ 】 こうした劇的なembeddingの次元の削減は、この三つのケースでたまたま観測されただけではないかという疑問が生まれると思います。 でも、そうじゃなかったんです。 MRL論文は、120万以上の画像データに対して1000種類の分類を行う訓練を行うために用意された ImageNet-1K データセットに対して、適切なembedding次元を評価しています。（評価手順については、スライドに説明があります。）それが、論文の表3です。この表の "Expected Rep Size" は、embeddingの次元です。 表3が示すように、ImageNet-1Kで76.3%の分類精度を達成するためには、embeddingの次元の期待値として約37の大きさのembeddingが必要であることがわかります。次元をさらに上げても、精度(Accuracy)は、たいして伸びないことに注意してください。 MRL論文が、「 ImageNet-1Kの分類において、同レベルの精度で最大14倍の埋め込みサイズの削減」と述べていたのは、低めの次元と思われていた512次元のembeddingに対して、 512 / 37 = 13.833… であることを指しています。 120万以上の画像データに対して1000種類の分類を行うのに、37次元のembeddingで対応できることが示されたのです。 Facebookでは、リンクはコメント欄にあります。 −−−−−−−-−−−−−−--- マルレク「embeddingプログラミングの基礎」申し込みページ https://embeddings2.peatix.com/view MRL論文 "Matryoshka Representation Learning" https://arxiv.org/abs/2205.13147 「Adaptive Classification 」 YouTube https://youtu.be/Da7SJA-gtug?list=PLQIrJ0f9gMcMtd68N6t0r-R-V_keMWFhH 「Adaptive Classification 」YouTubeスライドのpdf https://drive.google.com/file/d/1WrCJuiqW7tRMP7_IFTtgMsyibJZQR-S0/view?usp=sharing セミナーのまとめページ https://www.marulabo.net/docs/embedding2/ 公開したショートムービーの再生リスト https://www.youtube.com/playlist?list=PLQIrJ0f9gMcMtd68N6t0r-R-V_keMWFhH