mat5ukawa https://blog.hatena.ne.jp/mat5ukawa/ 現場ログ https://mat5ukawa.hateblo.jp/ Python レコード一覧をページネートで表現したリソースがあるとする。 ページ毎に固有メッセージ page number is {page number} が存在するので、 全ページ分その取得を試みる。 リソースの想定図 ページ毎に page number is {page number} が存在する ページネートが設置されていて、番号をクリックすればそのページに遷移する 現在のページに対して「次のページ」を示す属性(ex. rel="next") が存在する 探索方法(概念図) 単方向にリソースを探索する。探索が終わったら(= ページ終点にたどり着いたら)クロールを止める。 探索方法(ソース) main… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmat5ukawa.hateblo.jp%2Fentry%2F2018%2F06%2F05%2F002826" title="scrapy ページネート形式のリソースをページ順々にスクレイピングする - 現場ログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/mat5ukawa/20180605/20180605002555.png Hatena Blog https://hatena.blog 2018-06-05 00:28:26 rich https://mat5ukawa.hateblo.jp/entry/2018/06/05/002826 1.0 100%