<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<oembed>
  <author_name>yomon8</author_name>
  <author_url>https://blog.hatena.ne.jp/yomon8/</author_url>
  <blog_title>YOMON8.NET</blog_title>
  <blog_url>https://yomon.hatenablog.com/</blog_url>
  <categories>
    <anon>AWS</anon>
    <anon>Athena</anon>
  </categories>
  <description>S3上のJSONデータをAthenaを利用してParquetに変換してみます。 使うのはこの話です。 aws.amazon.com テストデータ生成 日付列をパーティションに利用 Parquet＋パーティション分割して出力 カタログへパーティション追加 所感 参考URL テストデータ生成 こんな感じのテストデータ使います。 $ for i in $(seq 1 10000);do echo &quot;{\&quot;date\&quot;:\&quot;2019/2/$(($RANDOM%28+1))\&quot;,\&quot;value\&quot;:$RANDOM}&quot;;done | head -n 3 | jq { &quot;date&quot;: &quot;2019/2/27&quot;…</description>
  <height>190</height>
  <html>&lt;iframe src=&quot;https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyomon.hatenablog.com%2Fentry%2F2019%2F02%2Fathenatransparquet&quot; title=&quot;Athenaを使ってS3上のJSONを変換・パーティショニングしてParquet出力してみる - YOMON8.NET&quot; class=&quot;embed-card embed-blogcard&quot; scrolling=&quot;no&quot; frameborder=&quot;0&quot; style=&quot;display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;&quot;&gt;&lt;/iframe&gt;</html>
  <image_url>https://cdn-ak.f.st-hatena.com/images/fotolife/y/yomon8/20190222/20190222154842.png</image_url>
  <provider_name>Hatena Blog</provider_name>
  <provider_url>https://hatena.blog</provider_url>
  <published>2019-02-22 17:32:17</published>
  <title>Athenaを使ってS3上のJSONを変換・パーティショニングしてParquet出力してみる</title>
  <type>rich</type>
  <url>https://yomon.hatenablog.com/entry/2019/02/athenatransparquet</url>
  <version>1.0</version>
  <width>100%</width>
</oembed>
