swx-murakami https://blog.hatena.ne.jp/swx-murakami/ サーバーワークスエンジニアブログ https://blog.serverworks.co.jp/ AWS Glue Amazon S3 Amazon S3 Tables Apache Iceberg Apache Parquet Hive サーバーワークスの村上です。 今回はAmazon S3上にあるデータを外部テーブルとして分析する際、どのような方法があるか、主にHiveとApache Icebergを中心に比べてみました。 想定シーン パターン一覧 結論：Hive形式 とApache Iceberg形式の比較 扱うJSONデータ 想定オペレーション 参考比較：Amazon S3内のJSONを直接クエリ（非推奨） パターン①：S3にParquet保存 + Hive形式テーブル AWS Glue Data Catalog のテーブル作成 Amazon Data Firehoseの作成 Parquetに変換するよう設定する 動的パ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.serverworks.co.jp%2Fs3-query-hive-iceberg" title="Amazon S3上のデータを分析するアーキテクチャ例~HiveとApache Iceberg比較~ - サーバーワークスエンジニアブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/swx-murakami/20250724/20250724141726_120.jpg Hatena Blog https://hatena.blog 2025-07-24 11:02:34 rich https://blog.serverworks.co.jp/s3-query-hive-iceberg 1.0 100%