derwind https://blog.hatena.ne.jp/derwind/ らんだむな記憶 https://randommemory.hatenablog.com/ machine_learning 6/layers/torch/Attention.py の実装を見てみたい。p.364 に Attention 層は式 (6.12) (6.13) (6.14) で見たスコア関数のどれを用いるかによってパラメータが変わってきますが、ここでは式 (6.13) を用いてみることにしましょう。 とあるので、\begin{align*} g(\bm{h}_s, \bm{h}_t) = \bm{h}_t^T W_a \bm{h}_s \end{align*}が使われることになることに注意しよう。なお、ゼロつく 2 では (6.14) の式が使われていた。以下の流れは基本的に p.360 をそのままコード… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Frandommemory.hatenablog.com%2Fentry%2F2021%2F12%2F05%2F175952" title="詳解ディープラーニング 第2版 (7) - らんだむな記憶" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-12-05 17:59:52 rich https://randommemory.hatenablog.com/entry/2021/12/05/175952 1.0 100%