swx-youko-miyake https://blog.hatena.ne.jp/swx-youko-miyake/ サーバーワークスエンジニアブログ https://blog.serverworks.co.jp/ Amazon S3 Tables Apache Parquet Apache Iceberg はじめに こんにちは！ Amazon S3 Tables を利用して、データレイクを構築する機会がありました。 最初は、「S3 + Parquet（Hive 形式）」を検討していましたが、特定のレコードを上書きしたいと思った時に、うまく実装することができませんでした。 S3 Tables を利用すると、特定のデータの更新・削除が可能であることから、S3 Tables を採用することにしました。 S3 Tables（Iceberg 形式） は、S3 + Parquet（Hive 形式） に比べて以下のようなメリットがあります。 オペレーション Hive 形式 Apache Iceberg 形式 … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.serverworks.co.jp%2Fs3tablesvsparquet" title="S3+Parquet（Hive 形式）vs S3 Tablesでクエリ速度がどうなるか4.32億レコードで検証！ - サーバーワークスエンジニアブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.user.blog.st-hatena.com/default_entry_og_image/155844699/1589415473304665 Hatena Blog https://hatena.blog 2025-11-27 15:00:00 rich https://blog.serverworks.co.jp/s3tablesvsparquet 1.0 100%