yudukikun5120 https://blog.hatena.ne.jp/yudukikun5120/ yudukikun5120のブログ https://yudukikun5120.hatenadiary.jp/ 雑記 自然言語処理における共起頻度ベースのメカニズムでよく採用されるのが「PMI（自己相互情報量、Pointwise Mutual Information）」である。このPMIは、2つの文書や文の間に共起（co-occurence）する単語について、その共起性という情報を保持するものである。形式的に、PMIは次のように定義される。 条件付き確率を使えば、PMIは次のように書くことができる。つまりPMIは、単語 x が出現する確率と、単語 x が出現するという条件での単語 y が出現する確率の対数比を表現しているのである。 また、PMIの値は変数の順列に対しても不変であることに注意しよう。 自然言語処… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyudukikun5120.hatenadiary.jp%2Fentry%2F2025%2F12%2F23%2F161923" title="「自己相互情報量 PMI(x, y) って多変数に拡張できないんですか？」→「できます」 - yudukikun5120のブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://m.media-amazon.com/images/I/31yQauwEfxL._SL500_.jpg Hatena Blog https://hatena.blog 2025-12-23 16:19:23 rich https://yudukikun5120.hatenadiary.jp/entry/2025/12/23/161923 1.0 100%