takeshi0406 https://blog.hatena.ne.jp/takeshi0406/ 歩いたら休め https://kiito.hatenablog.com/ requests-html pyppeteer Python pyppeteerで非同期でクローリングする実装をしていて、エラー時に自動でbrowserとpageを開き直してリトライ…って考えてたんですが、あまりにリトライ処理が煩雑になるので 毎回処理したい固定長のurlのリストを受け取る レスポンスはrequests-htmlのものが便利だったので流用 ブラウザ操作周りの例外が出たらfetchの外で例外処理して全部やり直す HTMLから必要な情報だけをpyppeteerから取得することもできるが、一度メモリに乗せて同期的な世界に返してしまう って感じに割り切って実装しようと思ってるんですが、どう思いますか？ ↓こんな感じのコード from pyppet… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkiito.hatenablog.com%2Fentry%2F2018%2F12%2F17%2F215924" title="【Python】pyppeteerの非同期処理をこんな実装で行おうと思ってるんですが、どう思います？ - 歩いたら休め" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2018-12-17 21:59:24 rich https://kiito.hatenablog.com/entry/2018/12/17/215924 1.0 100%