kaiseh https://blog.hatena.ne.jp/kaiseh/ kaisehのブログ https://kaiseh.hatenadiary.org/ Java NLP 僕が全文検索システムを作るときに使っている方法は、 Senでテキストを形態素に分解して、FULLTEXTインデックスを張ったMySQLのMyISAMテーブルに突っ込む。 LuceneにJapaneseAnalyzer(Sen)を組み合わせて使う。 のどちらかです。MySQL+FULLTEXTよりLuceneの方が高パフォーマンスなので最近はLuceneばかり使ってますが、いずれにしてもSenによる形態素解析処理が必要になります。N-gramではなく形態素解析を選ぶ以上、多少の検索漏れの発生は我慢しないといけない訳ですが、「さすがにそれはまずいだろ」と思っていることがあるので書きます。それは未知… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkaiseh.hatenadiary.org%2Fentry%2F20071226%2F1198637653" title=" 形態素解析するときは未知語の扱いに注意 - kaisehのブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2007-12-26 11:54:13 rich https://kaiseh.hatenadiary.org/entry/20071226/1198637653 1.0 100%