ryki https://blog.hatena.ne.jp/ryki/ scholark https://scholark.hateblo.jp/ ファイル形式 CSV Parquet 性能 柔軟性 データ分析 本記事は、データ分析で一般的に用いられるCSVファイルとParquetファイルを比較したものである。DuckDBの高性能なCSVリーダー登場によりCSVファイルの利便性や性能が大幅に向上したが、Parquetファイルにはデータ構造や圧縮、統計情報の活用などの面で依然として優位性がある。ただし、CSV処理性能も大幅に改善されており、ユースケースに応じて使い分けることが重要であると結論付けている。 CSV処理性能の大幅な改善は評価に値するが、Parquetファイルの特長である柔軟なスキーマ定義、効率的な圧縮、統計情報の活用などの面ではまだ劣る。ただし、CSVファイルに対するニーズは高く、用途に応じ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fscholark.hateblo.jp%2Fentry%2F2024%2F12%2F16%2F080017" title="CSV vs Parquet: まだ一方が優位ではない - scholark" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-12-16 08:00:17 rich https://scholark.hateblo.jp/entry/2024/12/16/080017 1.0 100%