laco0416 https://blog.hatena.ne.jp/laco0416/ らこらこブログ https://laco0416.hatenablog.com/ 自然言語処理 PCFGを使って形態素解析器の学習データを作る計画 ツイッターとかネット上のテキストとか、とてもじゃないけど手動でいちいち辞書追加してたら新しい単語についていけないので自動で学習させたい。品詞も自動で与えたい kuromoji.jsで「艦これって何」の形態素解析の結果 品詞列で言うと["名詞", "名詞", "助詞", "名詞"]になってる。CFGの文法はすでに完成してるという前提で、この場合適用すべき文法は NP => N P S => NP N の2つだけであるべきで、上の文章を無理やり受理しようとすると N => N N の再帰的な文法が必要になる。構文解析の前処理として名詞の結合とかや… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Flaco0416.hatenablog.com%2Fentry%2F2015%2F01%2F08%2F221635" title="最後まで書いた後でとても実装する気が起きなくなった - らこらこブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://cdn-ak.f.st-hatena.com/images/fotolife/l/laco0416/20150108/20150108211631.png Hatena Blog https://hatena.blog 2015-01-08 22:16:35 rich https://laco0416.hatenablog.com/entry/2015/01/08/221635 1.0 100%