nojima718 https://blog.hatena.ne.jp/nojima718/ @nojima's blog https://nojima.hatenablog.com/ machine_learning word2vec のモデルの説明で、以下の尤度関数の最大化を行いたいが、分母にある正規化項の計算が重すぎてこのままでは計算できないという話があった。 word2vec では、この尤度関数を直接最大化するのではなく、正例とノイズとを区別する２クラス分類問題の新たに考え、この問題の誤差関数を最小化することでパラメータを求めていた。 しかし普通に考えると、位置tのコンテキストの条件付き確率分布の尤度最大化と、観測データとノイズの２クラス分類問題は全く別の問題のように見える。 Chainer本では前者の問題を解くのと後者の問題を解くのとは「本質的に同じ」と書いてあった。 これらの本質的に同じとはどうい… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnojima.hatenablog.com%2Fentry%2F2017%2F08%2F24%2F021736" title="Noise-contrastive estimation の雑なメモ - @nojima&#39;s blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://chart.apis.google.com/chart?cht=tx&chl=%7B%20%5Cdisplaystyle%0A%20%20%20%20%5Cmathcal%7BL%7D%20%3D%20%5Cprod_t%20%5Cprod_%7Bc%20%5Cin%20c_t%7D%20p%28%20c%20%5Cmid%20w_t%20%29%20%3D%20%5Cprod_t%20%5Cprod_%7Bc%20%5Cin%20c_t%7D%20%5Cfrac%7B%5Cexp%28%20%5Cvec%7Bv%7D_c%20%5Ccdot%20%5Cvec%7Bv%7D_%7Bw_t%7D%20%29%7D%7B%5Csum_%7Bw%27%20%5Cin%20V%7D%20%5Cexp%28%20%5Cvec%7Bv%7D_%7Bw%27%7D%20%5Ccdot%20%5Cvec%7Bv%7D_%7Bw_t%7D%20%29%7D%0A%7D Hatena Blog https://hatena.blog 2017-08-24 02:17:36 rich https://nojima.hatenablog.com/entry/2017/08/24/021736 1.0 100%