Ryobot https://blog.hatena.ne.jp/Ryobot/ ディープラーニングブログ https://deeplearning.hatenablog.com/ Deep Learning Neural Machine Translation 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している．わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した．また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdeeplearning.hatenablog.com%2Fentry%2Ftransformer" title="論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/R/Ryobot/20171221/20171221163853.png Hatena Blog https://hatena.blog 2017-12-21 18:49:18 rich https://deeplearning.hatenablog.com/entry/transformer 1.0 100%