hogelog https://blog.hatena.ne.jp/hogelog/ hogelogの日記 https://hogelog.hatenablog.com/ 人工無脳 自然言語処理 情報理論の偉い人、シャノン先生はあるとき考えた。 「Nana eats an」と来たら、次に来る単語はappleかorangeじゃね？ と。日本語で言うならば、「恐れ入谷の」って来たら、たぶん次は「鬼子母神」だよねってことを。N-gram マルコフモデルっていうのは前に出てきた「ことば」の並びから、次に出てくる「ことば」（の確からしさ）が推定できるとして、自然言語を統計・処理しようとするモデル。たぶん。「むずかしいはなしはよくわかんない。で、人工無脳にどう役にたつの？」なんですけども。このモデルの統計を取れば、もっともらしい文章を出力するためのデータを機械学習に丸投げできるのが嬉しい。プログラ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhogelog.hatenablog.com%2Fentry%2F20061113%2Fp1" title=" 前回にも増して超適当に自然言語処理を語る - hogelogの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2006-11-13 00:00:00 rich https://hogelog.hatenablog.com/entry/20061113/p1 1.0 100%