mala https://blog.hatena.ne.jp/mala/ 最速転職研究会 https://mala.hatenadiary.org/ なんか技術的におかしなことを言っている人がいたら追記していくかも知れません。 クロール頻度が妥当かどうかの話 ウェブサーバーはマルチスレッド、マルチプロセスなどで複数のリクエストを同時に処理できるようになっているのが一般的であるため「前回のリクエストが完了してから、次のリクエストを投げる」実装になっている限りは「サーバーの性能を100%使いきって他の利用者が利用できない状態」になることは、通常起きません。例外的なケースもあります。 ウェブサーバーがリクエスト完了後に何らかの処理を行うような実装になっていて、リクエストのペースによっては処理が溜まっていって追いつかなくなる。 ロードバランサ、リバ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmala.hatenadiary.org%2Fentry%2F20100709%2F1278641896" title="図書館クロール補足 - 最速転職研究会" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2010-07-09 11:18:16 rich https://mala.hatenadiary.org/entry/20100709/1278641896 1.0 100%