takagi_mutsuo https://blog.hatena.ne.jp/takagi_mutsuo/ MicroAd Developers Blog https://developers.microad.co.jp/ Python PySpark マイクロアドでサーバサイドエンジニアをしているタカギです。 今回はデータ基盤移行とPySparkについての話になります。 目次 目次 データ基盤移行の概要 データ基盤移行後のバッチ処理 Spark Connectを導入する Spark Connectの問題点 まとめ 補足 データ基盤移行の概要 諸々の事情1により、データ基盤をHadoopから移行することになりました。 現在のデータ基盤でのETL/ELT処理はHadoopエコシステム(Hive、HDFSなど)を中心に構成されています。 ※Hadoopについてはこちらの記事が参考になります。 これらをKubernetes、PySpark、S3互換… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdevelopers.microad.co.jp%2Fentry%2F2023%2F08%2F18%2F180000" title="データ基盤移行計画とPySpark（Spark Connect）の検証 - MicroAd Developers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/t/takagi_mutsuo/20230816/20230816202510.png Hatena Blog https://hatena.blog 2023-08-18 18:00:00 rich https://developers.microad.co.jp/entry/2023/08/18/180000 1.0 100%