arakan_no_boku https://blog.hatena.ne.jp/arakan_no_boku/ BOKUのブログ https://arakan-pgm-ai.hatenablog.com/ archive(Python) 2018年時点の記事です。 日本語を単語に分割するのは簡単ではありません。単語ごとに空白で区切られている李後と違い、日本語の文章には単語毎の区切りがないからです。さらに、同じ文字でも前後の単語との関係で品詞が変わり、区切られる位置も変わりますので、難易度はさらにあがります。 でも、幸いなことに、今では、先人の研究によって、僕でも使える「日本語を単語に分割してくれるツール」が存在します。Pythonで使える主なツールは以下の２つです。 Mecab Janome 簡単に整理します。 ツール１：MeCab Python3版もあります。 pypi.org ツール２：Janome 100%、python… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Farakan-pgm-ai.hatenablog.com%2Fentry%2F2018%2F08%2F06%2F090000" title="Pythonで日本語を単語単位に分割＆品詞情報付与を行う（形態素解析） - BOKUのブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/a/arakan_no_boku/20180926/20180926201236.jpg Hatena Blog https://hatena.blog 2018-08-06 09:00:00 rich https://arakan-pgm-ai.hatenablog.com/entry/2018/08/06/090000 1.0 100%