kei_kmj https://blog.hatena.ne.jp/kei_kmj/ ケイ太のDX備忘日記 https://kei-kmj.hatenablog.com/ Amazonの商品ページをスクレイピングしたかったので調べてみました。 クローリング クローリングとは インターネット上の膨大なコンテンツを、HTMLのリンクをたどって巡回し、機械的に情報収集することを、クローリング又はクロールと言います。 クローリングの制限 robots.txtを見れば、サイトのクローリングの可否が分かります。 robots.txtは必ずドキュメントルートに配置してあるので、https://www.amazon.co.jp/robots.txt を見てみます。 User-agent: * はすべてのクローラーが対象となる、といいう意味 Disallow ：対象のクローラーに… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkei-kmj.hatenablog.com%2Fentry%2F2022%2F09%2F29%2F113752" title="Amazon.co.jpを題材に、クローリングとスクレイピングの利用規約と法律を確認する - ケイ太のDX備忘日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/k/kei_kmj/20220929/20220929093718.png Hatena Blog https://hatena.blog 2022-09-29 11:37:52 rich https://kei-kmj.hatenablog.com/entry/2022/09/29/113752 1.0 100%