tkhs_t https://blog.hatena.ne.jp/tkhs_t/ MicroAd Developers Blog https://developers.microad.co.jp/ Python Apache Spark BigQuery はじめに マイクロアドでサーバーサイドエンジニアをしている高橋です。 Apache Spark SQL connector for Google BigQuery（以下spark-bigquery-connector）でSparkからBigQueryにデータを転送する際に、ドキュメント通りでもうまくいかない部分がありました。 そこで本記事では実際に転送できた設定例を紹介します。 タイトルのとおりですが、本記事ではGCP（Google Cloud Platform）外で動作するSparkからBigQueryへのデータ転送について扱います。 はじめに 経緯 使用するライブラリや環境 Spark s… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdevelopers.microad.co.jp%2Fentry%2F2025%2F10%2F03%2F180000" title="GCP外のSparkからBigQueryにデータを転送する - MicroAd Developers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/microad-developers/20251003/20251003180026.png Hatena Blog https://hatena.blog 2025-10-03 18:00:00 rich https://developers.microad.co.jp/entry/2025/10/03/180000 1.0 100%