Hayato https://blog.hatena.ne.jp/Hayato/ FrontRunner https://hayato-2.hatenadiary.org/ anemone anemoneはrubyのクローラ用フレームワーク。アクセスした後の処理とかを結構良い感じに挟めて、思い通りの処理をさせられそうでとてもうれしい。ただ、遠慮無くDoSするぐらいの勢いでクローリングしちゃうので、同じホスト宛には３秒に一回しかリクエストを投げないように拡張ポイントを増やしてみた。はじめてgithubつかってみたよ。 http://github.com/hayato1980/anemone/commit/70a26b182928bc825ba174443ea0ecde73f5b510 勇気を出してpull requestもしたけどスルーされちゃったから、サイトを探してチケットも投げ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhayato-2.hatenadiary.org%2Fentry%2F20090804%2Fp1" title="rubyのwebクローラーフレームワークanemoneにパッチを投げた - FrontRunner" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2009-08-04 00:00:00 rich https://hayato-2.hatenadiary.org/entry/20090804/p1 1.0 100%