dkfj https://blog.hatena.ne.jp/dkfj/ プログラマでありたい https://blog.takuros.net/ crawler プログラム 何度も取り上げていますが、Ruby製のクローラーであるAnemoneについてです。もう2年ほどメンテナンスされていないものの、Rubyの中のクローラー・フレームワークとしては未だに一番の完成度です。しかし、残念ながら幾つかの問題点があります。その中で日本語を扱う我々にとっては一番大きな問題は、文字化けです。 Anemoneの文字化けの原因 Anemoneの文字化けの原因は、ずばりUTF-8以外の考慮が何もされていないためです。Anemoneが利用するHTMLパーサーであるNokogiriは、もともと内部的な文字コードをUTF-8として扱います。UTF-8以外の文字コードを扱う場合は、文字コード… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.takuros.net%2Fentry%2F2014%2F04%2F06%2F160212" title="Ruby製のクローラー Anemoneの文字化け対策 - プログラマでありたい" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://ecx.images-amazon.com/images/I/41AT4JG2KQL.jpg Hatena Blog https://hatena.blog 2014-04-06 16:02:12 rich https://blog.takuros.net/entry/2014/04/06/160212 1.0 100%