yoshi-ken https://blog.hatena.ne.jp/yoshi-ken/ Y-Ken Studio https://y-ken.hatenablog.com/ MySQL mysql-mroonga トークナイズ機能は、全文検索機能に無くてはならない機能です。 欧米圏であれば、最低限スペース区切りに対応していれば実用的に使えます。 しかし、中国語、日本語、韓国語への対応をする場合には、CJK対応言われる実装が必要です。 汎用的な分かち書き（トークナイズ）方法としては、n-gram方式があり、uni-gramやbi-gram、tri-gramが有名です。 n-gramは汎用ではありますが、機械的に分解するが故に精度があまり高くなく、語彙の部分一致検索でしかありません。 そこで、品詞毎にトークナイズの出来る、MeCabやJumanといった形態素解析エンジンの出番となります。 mroongaでは… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fy-ken.hatenablog.com%2Fentry%2Fmroonga-tokenizer-behavior" title="groonga/mroongaのトークナイザー(tokenizer)の挙動を追ってみる - Y-Ken Studio" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://cdn-ak.f.st-hatena.com/images/fotolife/y/yoshi-ken/20130509/20130509231155.png Hatena Blog https://hatena.blog 2013-05-19 15:59:12 rich https://y-ken.hatenablog.com/entry/mroonga-tokenizer-behavior 1.0 100%