dskomei https://blog.hatena.ne.jp/dskomei/ 見習いデータサイエンティストの隠れ家 https://www.dskomei.com/ python 前処理 自然言語処理 テキストマイニング 今回は、テキストから何らかの示唆を出すテキストマイニングを行うためのテキストの加工処理（前処理）について書いていきます。テキストは手元にたくさんあるのに、どうしたらいいかわからない、単語の数は数えられたけどノイズな単語が多くて示唆が出せなかった、といったことは起こりがちです。 テキストマイニングにより役に立つ情報を得るためには、テキストの適切な前処理が必要になります。例えば、「AI」という単語についてテキストの中では、「ai」「Ai」「人工知能」など様々な表記方法があり、これらを別々でカウントしてしまうと、「AI」の適切なボリュームを表していないことになります。これらは、できれば統一したいです… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.dskomei.com%2Fentry%2F2019%2F04%2F04%2F191506" title="Pythonを使ってテキストマイニングのための前処理を行う　〜自然言語処理における前処理〜 - 見習いデータサイエンティストの隠れ家" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/d/dskomei/20210524/20210524205513.png Hatena Blog https://hatena.blog 2019-04-04 19:15:06 rich https://www.dskomei.com/entry/2019/04/04/191506 1.0 100%