yomon8 https://blog.hatena.ne.jp/yomon8/ YOMON8.NET https://yomon.hatenablog.com/ AWS AWS Glue DynamicFrameを使った開発をしていたら、大した処理していないのに、想像以上に時間がかかるなと思って調べていたら、JSONの書き出しが時間かかっていました。 タイトルの通り、JSONやCSVでのS3出力と比較してParquetでの出力は凄い早いというお話です。処理全体に影響するくらいの差が出ました。 利用するデータ 処理内容 Parquet -> JSON Parquet -> JSON(Gzip) Parquet -> CSV(Gzip) Parquet -> Parquet 他にも 結果 利用するデータ AWSから提供されているParquet形式のELBログです。 $ aws s3… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyomon.hatenablog.com%2Fentry%2F2019%2F01%2F17%2F063003" title="GlueのDynamicFrameでS3へファイル書き出す時はCSVやJSONよりParquetが早い - YOMON8.NET" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yomon8/20181017/20181017121627.png Hatena Blog https://hatena.blog 2019-01-17 06:30:03 rich https://yomon.hatenablog.com/entry/2019/01/17/063003 1.0 100%