shimooka https://blog.hatena.ne.jp/shimooka/ Do You PHP はてブロ https://shimooka.hateblo.jp/ PHP ををーっ！マジでWebクローラネタ欲しかった！ 早速見てみよっと。と思ったが、情報元のページに いやな予感がしたので、ダウンロードしてざっと見て、ローカルで試してみた結論。 危険。わかってない人は使うな。これは絨毯爆撃型のクローラーだ。 とあった。リクエスト間隔を制御する仕組みやダウンロード量の制限設定値などが適切でないとのこと。 クローラーの代表格、Googleは、「クローラーはWebサーバーに対して気を使いながらクロールすべきである」ということをよく理解したうえでクローラーを使う／作っている。 外部サイトにクロールさせる場合、当然ながら充分配慮する必要がある、ということです。ま、ローカル環… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fshimooka.hateblo.jp%2Fentry%2F20060304%2F1141467617" title="PHPで書かれたWEBクローラー用クラス - Do You PHP はてブロ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2006-03-04 19:20:17 rich https://shimooka.hateblo.jp/entry/20060304/1141467617 1.0 100%