hjym_u https://blog.hatena.ne.jp/hjym_u/ 自然言語処理 on Mac https://hjym-u.hatenadiary.org/ macports nlp hadoop HadoopにはWordCountのサンプルがついてきますが、英語テキスト用です。日本語を対象にする場合、MeCabを使って単語分割を行いたいところです。MeCabにはSWIGのJavaバインディングが用意されていて、JNI経由でMeCabの機能を使えるようになります。このときのMeCabのエンコーディングはUTF-8が前提となります。 http://mecab.sourceforge.net/bindings.htmlこのmecab-javaのMacPortsを現在登録申請中です。これを使うと、/opt/local/lib/libmecab-java.dylib と /opt/local/s… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhjym-u.hatenadiary.org%2Fentry%2F20110605%2F1307238887" title="MeCabで日本語WordCount on Hadoop - 自然言語処理 on Mac" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2011-06-05 10:54:47 rich https://hjym-u.hatenadiary.org/entry/20110605/1307238887 1.0 100%