shokai https://blog.hatena.ne.jp/shokai/ 橋本詳解 https://shokai.hatenadiary.org/ Ruby 集合知プログラミング 日本語データを扱うなら、テキストファイルじゃなくてちゃんとRDBに保存した方が良いですね。区切り文字とかが面倒をかけてきて、今回はクロールしてきたデータの一部を手動で修正してしまった。 できた。→大きいサイズ http://www.flickr.com/photos/shokai/3028846281/sizes/o/ 英語blogはHTML除去してsplit(/[^A-Z^a-z]+/)で分割すれば単語が取り出せたが、日本語blogはMeCabで形態素解析し、名詞だけを取り出すようにした。 Mac用 形態素解析エンジンMeCabをインストールしなおし（utf8で） - 橋本詳解 MeCabの… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fshokai.hatenadiary.org%2Fentry%2F20081114%2F1226660946" title="3章 おまけ 日本語blogの階層的クラスタリング - 橋本詳解" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://farm4.static.flickr.com/3056/3028846281_09f002efc0.jpg Hatena Blog https://hatena.blog 2008-11-14 20:09:06 rich https://shokai.hatenadiary.org/entry/20081114/1226660946 1.0 100%