AdaBound

AdaBoundは、AIの学習で使う最適化手法 Adamのように速く学びはじめて、 最後はSGDのように安定して進むことを目指す方法です。 学習率に動的な上限・下限をつけ、極端な更新を抑えるのが特徴です。