<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<oembed>
  <author_name>shoby</author_name>
  <author_url>https://blog.hatena.ne.jp/shoby/</author_url>
  <blog_title>shobylogy</blog_title>
  <blog_url>https://blog.shoby.jp/</blog_url>
  <categories>
  </categories>
  <description>Pythonでスクレイピングをする場合、requests-htmlが便利ですが、 JSで構築された複雑なページなどをスクレイピングしたい場合、物足りなくなるケースが出てきます。 今回は、requests-htmlが内部で使用しているpyppeteerと組み合わせて、 複雑なWebページをスクレイピングする方法をご紹介します。 requests-htmlとは pyppeteerとは pyppeteer + requests-html まとめ requests-htmlとは requests、pipenvの作者の方が開発したhtmlの取得・parse用のライブラリです。 HTML Parsing …</description>
  <height>190</height>
  <html>&lt;iframe src=&quot;https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.shoby.jp%2Fentry%2F2019%2F12%2F19%2F230603&quot; title=&quot;Pythonでの複雑なページをスクレイピングする（requests-html + pyppeteer） - shobylogy&quot; class=&quot;embed-card embed-blogcard&quot; scrolling=&quot;no&quot; frameborder=&quot;0&quot; style=&quot;display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;&quot;&gt;&lt;/iframe&gt;</html>
  <image_url></image_url>
  <provider_name>Hatena Blog</provider_name>
  <provider_url>https://hatena.blog</provider_url>
  <published>2019-12-19 23:06:03</published>
  <title>Pythonでの複雑なページをスクレイピングする（requests-html + pyppeteer）</title>
  <type>rich</type>
  <url>https://blog.shoby.jp/entry/2019/12/19/230603</url>
  <version>1.0</version>
  <width>100%</width>
</oembed>
