jmdc-gjin https://blog.hatena.ne.jp/jmdc-gjin/ JMDC TECH BLOG https://techblog.jmdc.co.jp/ こんにちは。JMDCの開発本部 データウェアハウス開発部の金です。 今年、JMDCではアドベントカレンダーに参加しています。 qiita.com 本記事は、JMDC Advent Calendar 2025 16日目の記事です。 目次 はじめに 1. 背景・概要 前提条件と課題 2. 実装の工夫：パフォーマンスと品質の向上 (1) CSV → Parquet変換とファイルサイズ制御（パフォーマンス向上） (2) Spark SQLによる宣言的な変換（品質向上） 3. 開発環境の工夫：ローカル開発による高速化 (1) AWS/ローカルの自動実行環境切り替え (2) Docker Composeに… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.jmdc.co.jp%2Fentry%2F20251216" title="Glueジョブ開発の実践：PySpark + Jupyterによる大量データ変換と単体テスト - JMDC TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-12-16 07:00:00 rich https://techblog.jmdc.co.jp/entry/20251216 1.0 100%