nojima718 https://blog.hatena.ne.jp/nojima718/ @nojima's blog https://nojima.hatenablog.com/ chainer machine_learning 前回 は基本となる EncoderDecoder を紹介した。 この記事では、Attentionと呼ばれるテクニックを紹介する。 Attention EncoderDecoder では、Encoder から Decoder に渡されるのは、ひとつの固定長ベクトルだけだった。 入力系列がどんなに長かったとしても、Decoderは、この固定長のベクトルのみから出力系列を構築する必要がある。 いくら LSTM の性能がよいとはいえ、このアーキテクチャで長い入力系列を扱うのは無理があるように思える。 この課題に対処するために、Decoder が、入力情報をより直接的に利用する Attention と呼… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnojima.hatenablog.com%2Fentry%2F2017%2F10%2F17%2F034744" title="EncoderDecoder で日英翻訳をしてみた (その2) - @nojima&#39;s blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nojima718/20171016/20171016224714.png Hatena Blog https://hatena.blog 2017-10-17 03:47:44 rich https://nojima.hatenablog.com/entry/2017/10/17/034744 1.0 100%