mtbr https://blog.hatena.ne.jp/mtbr/ mtbrの日記 https://mtbr.hatenadiary.org/ segmentation nlp 言語モデルの性能評価に用いる指標。 言語モデルが持つ「言語」の複雑さを表すもので、 あたえられた対象文字列に対応する「単語列」の場合の数の期待値（？）を表す。 （候補が多くても、確率が高いのがそのうちの少数であれば、パープレキシティは低い） よく使われるのは単語あたりのパープレキシティ。 これは、文脈が与えられたときに候補となりうる単語の数の期待値を表す。Corpus を「単語」の列とするとき、 P(Corpus) = \prod_{w_i \in Corpus} P(w_i| w_i の文脈)クロスエントロピー（学習された確率分布 P が Corpusに与える情報量）の単語あたりの値は、 H… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmtbr.hatenadiary.org%2Fentry%2F20051113%2F1" title=" 単語単位、文字単位パープレキシティ - mtbrの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2005-11-13 09:00:01 rich https://mtbr.hatenadiary.org/entry/20051113/1 1.0 100%