ohke https://blog.hatena.ne.jp/ohke/ け日記 https://ohke.hateblo.jp/ NLP Python 日本語の文書を扱っていますと、モデルやパラメータよりも、前処理を改善する方が精度が改善し、かつ、頑健になることがしばしばあります。 本投稿では形態素解析 (分かち書き) する前、つまり文字レベルでの前処理でよく使っているテクニックを紹介します。 お題 少し極端な例ですが、題材として架空のレビュー文を使います。 お友達の紹介で、女子２人で三時のティータイムに利用しました。 2人用のソファに並んでいただきま〜す v(^^)v なかよし（笑） 最後に出された,モンブランのｹｰｷ。 やばっっっ！！これはうまーーーい!! とってもＤｅｌｉｃｉｏｕｓで、サービスもGoodでした😀 これで2,500円はとっ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fohke.hateblo.jp%2Fentry%2F2019%2F02%2F09%2F141500" title="形態素解析前の日本語文書の前処理 (Python) - け日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.user.blog.st-hatena.com/default_entry_og_image/99455833/1533459624629378 Hatena Blog https://hatena.blog 2019-02-09 14:15:00 rich https://ohke.hateblo.jp/entry/2019/02/09/141500 1.0 100%