mimi-sansan https://blog.hatena.ne.jp/mimi-sansan/ Sansan株式会社 | 公式メディア「mimi」 https://jp.corp-sansan.com/mimi/ お知らせ 連載 こんにちは。DSOC R&Dグループの高橋寛治です。 最近は、前処理大全を読んでAwesomeなコードに感動しています（素晴らしい本です！）。 この本でも言及されていますが、文字の前処理は本当に奥が深く、多岐にわたるライブラリーやコマンドを用いて実現されます。 しかし、実際には形態素解析やストップワードの削除といった前処理以前に、データクレンジングやちょっとしたデータ確認を行うことが多く、意外とハマってしまって時間を取られてしまいがちです。 そこで、今回は私がよく利用しているデータ確認方法やクレンジングについて紹介します。 文字列に対するデータ確認とクレンジング テキストを処理する自然言語処理… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fjp.corp-sansan.com%2Fmimi%2F2018%2F06%2Ftech10_data-confirm_cleansing.html" title="【Techの道も一歩から】第10回「言語処理でのちょっとしたデータ確認やクレンジング」 - Sansan株式会社 | 公式メディア「mimi」" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.blog.st-hatena.com/files/4207112889963979971/4207575160645007987 Hatena Blog https://hatena.blog 2018-06-05 12:00:57 rich https://jp.corp-sansan.com/mimi/2018/06/tech10_data-confirm_cleansing.html 1.0 100%