scientre https://blog.hatena.ne.jp/scientre/ メモ用紙 https://scientre.hateblo.jp/ 今回は CasperJS を使い実際のサイトをスクレイピングしてみる。 第2回 役に立つオプション 北陸鉄道の時刻表が2014年4月の改正で路線時刻表の permalink がなくなって不便なため、今回はこれを取得してミラーサイトを作成することを考える。 時刻表メニュー（北陸鉄道） Referer 制限や POST メソッドを通過する まず路線別時刻表検索 (busline.php) から路線の一覧を取得する。単にこの URL へアクセスするだけでは次のエラーが出てしまう。原因はサーバ側のプログラムが POST メソッドしか受け付けないため。このような場合は何も考えず、人が操作したのと同じこと… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fscientre.hateblo.jp%2Fentry%2F20140407%2Fcasperjs" title="【連載】CasperJS でスクレイピング (3) - 実践テクニック - メモ用紙" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/scientre/20140407/20140407222830.png Hatena Blog https://hatena.blog 2014-04-07 00:00:00 rich https://scientre.hateblo.jp/entry/20140407/casperjs 1.0 100%