yuta-nakata https://blog.hatena.ne.jp/yuta-nakata/ Yuta NakataのBlog https://www.yuta-nakata.net/ Python ランキング参加中Python parquetは「列指向だからデータが小さくなる」と説明されがちですが、それだけでは何が嬉しいのか掴みにくいフォーマットです。この記事ではCSVとの比較を通して、読み終わった頃にはParquetの良さを自分の言葉で説明できる状態を目指します。 この記事でわかること parquetとは ざっくり構造：行グループ・列チャンク・フッタ 前準備 parquetのメリット ストレージ効率の向上 圧縮方式を選べる（snappy / gzip / zstd） 読み取り性能の向上 サイズと速度をまとめて比較するスクリプト 列だけでなく行も飛ばせる（述語プッシュダウン） パーティシ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.yuta-nakata.net%2Fentry%2F2024%2F12%2F21%2F100019" title="【実例で学ぶ】parquetファイルって何？何が嬉しいの？ - Yuta NakataのBlog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.image.st-hatena.com/image/square/23ff597bd045490499b097f036afb3ec0665a0d5/backend=imagemagick;height=80;version=1;width=80/https%3A%2F%2Fcdn.user.blog.st-hatena.com%2Fcircle_image%2F88409737%2F1514352962196085 Hatena Blog https://hatena.blog 2024-12-21 10:00:19 rich https://www.yuta-nakata.net/entry/2024/12/21/100019 1.0 100%