takuya-a https://blog.hatena.ne.jp/takuya-a/ stop-the-world https://stop-the-world.hatenablog.com/ 前回は PageRank などのリンク解析手法について説明した。今回は、Web のクローリングを扱う。 この記事は Information Retrieval and Web Search Advent Calendar 2020 の22日目の記事です。 adventar.org クローリングの概要 クローラの動作 クローリングの難しさ クローラの要件 クローラの MUST 要件 robots.txt robots.txt の例 クローラの SHOULD 要件 クローラのアーキテクチャ クローラの処理ステップ クローラの基本アーキテクチャ 分散型クローラ URL frontier Mercat… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fstop-the-world.hatenablog.com%2Fentry%2Fcs276-information-retrieval-22" title="Information Retrieval and Web Search まとめ(22): Webクローリング - stop-the-world" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/t/takuya-a/20201223/20201223044312.png Hatena Blog https://hatena.blog 2020-12-22 23:52:00 rich https://stop-the-world.hatenablog.com/entry/cs276-information-retrieval-22 1.0 100%