a_miyanaga https://blog.hatena.ne.jp/a_miyanaga/ ITANDI Engineer Blog https://tech.itandi.co.jp/ はじめに イタンジ株式会社のデータチームでマネージャーをしている山崎です。 私のチームで整備してきたデータ基盤は社内のKPIダッシュボードや問い合わせの調査対応で日々使われています。また、基盤側で作った成果物をプロダクトで活用したり、お客様向けのデータをさまざまな形で届けたりするための土台にもなっています。 今回は稼働中のデータベースからBigQueryへデータを集約する仕組みの全体像と、テーブルの規模や更新頻度に合わせて使い分けている3つの転送パターンを紹介します。 システム全体像 イタンジのデータ基盤はAirflowとBigQueryを中心にした構成です。 現在、プロダクトのバックエンドと… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.itandi.co.jp%2Fentry%2F2026%2F02%2F12%2F133608" title="1,600テーブルを支えるデータ転送の最適化：3つのパターンによるBigQuery集約の実践 - ITANDI Engineer Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/a/a_miyanaga/20260210/20260210130100.png Hatena Blog https://hatena.blog 2026-02-12 13:36:08 rich https://tech.itandi.co.jp/entry/2026/02/12/133608 1.0 100%