maru0014 https://blog.hatena.ne.jp/maru0014/ 自動化厨のプログラミングメモブログ │ CODE:LIFE https://codelife.cafe/ スクレイピング Webスクレイピング超入門シリーズ④の題材は「そのサイトってスクレイピングしていいんだっけ」です。 過去3回ではスプレッドシートやGASを使ってお手軽にWebサイトのデータを自動取得する方法を紹介しました。 Webページデータ取得: 初心者向けWebスクレイピング手法 国民の祝日データを文字化け回避 Webスクレイピングの必須知識「XPath」のチートシート が、自動取得できることと自動取得してOKかどうかは別でして、どうやってスクレイピングOK/NGを確認すれば良いのか という話。 端的に言えばタイトルのとおり「利用規約」「robots.txt」を確認することになりますが、その見方を紹介しま… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fcodelife.cafe%2Fentry%2Fweb-scraping-robots-txt" title="Webスクレイピングの必須知識 利用規約やrobots.txtの確認方法 Webスクレイピング超入門④ - 自動化厨のプログラミングメモブログ │ CODE:LIFE" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-01-09 12:00:00 rich https://codelife.cafe/entry/web-scraping-robots-txt 1.0 100%