derwind https://blog.hatena.ne.jp/derwind/ らんだむな記憶 https://randommemory.hatenablog.com/ machine_learning word2vec における分散表現。one-hot エンコードをした 2 つのコンテキストのベクトルを線形層に放り込んで低次元に落として、再度線形層に放り込んで one-hot ベクトルを得る。i say hello という文章で言えば、i と hello がコンテキストで say が出力であるところのコンテキストが定める単語ということになる。これをコンテキストから単語を生成する “エンコーダ-デコーダネットワーク” と考えるなら、'say' = dec(enc('i'), enc('hello')) という形になる。ということは、dec にわたる引数は i の潜在表現と hello の潜在表… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Frandommemory.hatenablog.com%2Fentry%2F2021%2F10%2F23%2F221741" title="ゼロつく 2 (2) - らんだむな記憶" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-10-23 22:17:41 rich https://randommemory.hatenablog.com/entry/2021/10/23/221741 1.0 100%