Deep Learning入門：Attention（注意）

Deep LearningにおいてConvolutional Neural Networksに並んで大変ポピュラーに用いられつつあるニューラルネットワークの基本的な構造、Attention（注意）について解説します。 前回の動画：「量子化によるニューラルネットワークのコンパクト化」 https://www.youtube.com/watch?v=qpd9I8m1bOA Deep Learning入門：ニューラルネットワーク設計の基礎 https://www.youtube.com/watch?v=O3qm6qZooP0 Deep Learning入門：Recurrent Neural Networksとは https://www.youtube.com/watch?v=yvqgQZIUAKg Deep Learning入門：数式なしで理解するLSTM（Long short-term memory） https://www.youtube.com/watch?v=unE_hofrYrk 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 再生リスト「実践Deep Learning」 https://www.youtube.com/playlist?list=PLg1wtJlhfh20zNXqPYhQXU6-m5SoN-4Eu 再生リスト「Deep Learning 精度向上テクニック」 https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi Neural Network Console https://dl.sony.com/ja/ Neural Network Libraries https://nnabla.org/ja/ Squeeze-and-Excitation Networks Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Enhua Wu https://arxiv.org/abs/1709.01507 Attention Is All You Need Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin https://arxiv.org/abs/1706.03762 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova https://arxiv.org/abs/1810.04805