derwind https://blog.hatena.ne.jp/derwind/ らんだむな記憶 https://randommemory.hatenablog.com/ machine_learning Attention の部分の説明は 8 章の pp.338-340 辺りが導入部と思う。[1409.0473] Neural Machine Translation by Jointly Learning to Align and Translate では式 (5) と (6) 辺りが該当すると思う。特に (6) 式は softmax である。(5) 式では隠れ状態とアノテーションの間の alignment model による係数 $e_{ij}$ を softmax に通して得る重み $\alpha_{ij}$ をアノテーションを掛けこんで文脈ベクトルを作っている。その感じはゼロつく 2 の… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Frandommemory.hatenablog.com%2Fentry%2F2021%2F11%2F07%2F144134" title="ゼロつく 2 (13) - らんだむな記憶" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/d/derwind/20211107/20211107221826.png Hatena Blog https://hatena.blog 2021-11-07 14:41:34 rich https://randommemory.hatenablog.com/entry/2021/11/07/144134 1.0 100%