yoshitaku_jp https://blog.hatena.ne.jp/yoshitaku_jp/ よしたく blog https://yoshitaku-jp.hatenablog.com/ Python 今回は PyArrow を使って CSV を Parquet に変換してみた。 データレイクは生データを溜めることが主目的だが、レイクハウス型のアーキテクチャの流れもあり、データを利用したいサービス側が利用しやすいような整形化されたデータを用意する用途も増えてくると思う。 そうなると CSV ファイルでデータを持つよりかは Parquet で持つほうが、利便性が高いので、今後はこの変換業務も増えてくるように考えている。 今回は Pandas で CSV ファイルを読み込み、PyArrow を使って Parquet ファイルに出力する。 PyArrow から CSV ファイルを読み込んで Par… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyoshitaku-jp.hatenablog.com%2Fentry%2F2022%2F01%2F23%2F180000" title="PyArrowでCSVをParquetに変換する - よしたく blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.user.blog.st-hatena.com/default_entry_og_image/152575302/1527834878412731 Hatena Blog https://hatena.blog 2022-01-23 18:00:00 rich https://yoshitaku-jp.hatenablog.com/entry/2022/01/23/180000 1.0 100%