NeoCat https://blog.hatena.ne.jp/NeoCat/ Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.) https://hackerslab.aktsk.jp/ 技術 Amazon AuroraのS3エクスポート機能 AuroraのS3エクスポート機能は、DBクラスターの現在のデータやスナップショットのデータをS3にApache Parquet形式で出力する機能です。 Apache Parquet形式は、スキーマ情報を内包している・列志向で分析用途にも適している・高効率な圧縮が可能・複雑なデータ構造にも対応しているといった特徴を備えたデータ形式です。AthenaやRedshift、あるいはBigQueryへの取り込みに利用することができ、これらを使ったDB内のデータ分析が可能になります。高効率さについての実験として、試しに手元の64GBのクラスタースナップシ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhackerslab.aktsk.jp%2F2023%2F08%2F23%2F115144" title="S3 ExportされたAuroraのデータをAWS Glueを使ってDBに書き戻す - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/N/NeoCat/20230823/20230823102029.png Hatena Blog https://hatena.blog 2023-08-23 11:51:44 rich https://hackerslab.aktsk.jp/2023/08/23/115144 1.0 100%