derwind https://blog.hatena.ne.jp/derwind/ らんだむな記憶 https://randommemory.hatenablog.com/ machine_learning 詳説word2vecみたいな何とも言えない構造。 コーパスの単語数の長さ($L$)の数ベクトルをコンテキストのウィンドウサイズの2倍分($N$)だけ入力してコーパスの個数に等しい出力を出し、softmaxで確率に変換する。MINISTの時を思い出すと、入力層は784次元の数ベクトルだった。今回は $N$ 次元のベクトルのベクトルである。ここで記号として $\mathcal{V} = \R^L$ を設定する。すると、MNISTの時の入力は $\R^{784}$ であったのに対して word2vec (CBOW) では $\mathcal{V}^N$ である。見た目が少し近くなってきた。MNIST… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Frandommemory.hatenablog.com%2Fentry%2F2020%2F01%2F26%2F173300" title="word2vec (CBOW) - らんだむな記憶" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2020-01-26 17:33:00 rich https://randommemory.hatenablog.com/entry/2020/01/26/173300 1.0 100%