derwind https://blog.hatena.ne.jp/derwind/ らんだむな記憶 https://randommemory.hatenablog.com/ machine_learning 続いて言語モデルの話を振り返る。例えば LSTM をとると、$$ \begin{align*} h_t, c_t = \mathrm{LSTM}(x_t, h_{t-1}, c_{t-1}) \end{align*} $$であった。['you', 'say', 'goodbye', 'and', 'i', 'say', 'hello', '.'] を $\{x_t\}_{t \geq 0}$ として渡すとすると、 x_0 = 'you' を入力した時、出力 h_1 は ['you'] の特徴量を持っていると思われる。 これを記憶しつつ、x_1 = 'say' を入力した時、出力 h_2 は [… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Frandommemory.hatenablog.com%2Fentry%2F2022%2F03%2F03%2F224704" title="Attention (2) - らんだむな記憶" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-03-03 22:47:04 rich https://randommemory.hatenablog.com/entry/2022/03/03/224704 1.0 100%