takagi_mutsuo https://blog.hatena.ne.jp/takagi_mutsuo/ MicroAd Developers Blog https://developers.microad.co.jp/ Python PySpark はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 この記事は、JSON形式の生ログをParquet形式へ変換する際に発生する膨大なI/Oを削減した話になります。 背景 マイクロアドではデータ基盤移行プロジェクトを進めてきました。 様々な検証が進められるなか、懸念点として浮上した話が、ストレージI/O問題でした。 当時のデータ基盤の処理をそのまま移行した場合、I/O性能が処理量に追い付かない可能性がありました。 しかしながら、新データ基盤ではS3互換ストレージ（非常に高価）を使用しており、増設は可能な限り避けたい状況でした。 ということで、いかにしてI/Oを減らすことができる… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdevelopers.microad.co.jp%2Fentry%2F2025%2F08%2F29%2F180000" title="Parquet形式への変換処理におけるストレージI/O削減 - MicroAd Developers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/microad-developers/20250829/20250829180019.png Hatena Blog https://hatena.blog 2025-08-29 18:00:00 rich https://developers.microad.co.jp/entry/2025/08/29/180000 1.0 100%