hitode909 https://blog.hatena.ne.jp/hitode909/ hitode909の日記 https://blog.sushi.money/ Rubyでインターネットを巡回する本． いちばん簡単なのだと，Wgetで再帰的にダウンロードしてみましょうとか，Anemoneっていうクローラ作るためのライブラリとか，ThreadやEventMachineで並列に動かすとか． あとは，Rubyだからgemの便利グッズが紹介されていて，一番よかったのは，koalaっていうfacebookにアクセスするためのライブラリで，キラキラネームでまぶしい． 気になったのは，けっこうHTMLをXPathとかで取り出してスクレイピングしていることで，こういう方法だとしばらくすれば壊れそう．壊れたときに気付けるように結果もバリデーションしましょう，とか書いてあ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.sushi.money%2Fentry%2F2014%2F12%2F07%2F204624" title="Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 読んだ - hitode909の日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://ecx.images-amazon.com/images/I/51qDobozaNL.jpg Hatena Blog https://hatena.blog 2014-12-07 20:46:24 rich https://blog.sushi.money/entry/2014/12/07/204624 1.0 100%