zozo-engineer https://blog.hatena.ne.jp/zozo-engineer/ ZOZO TECH BLOG https://techblog.zozo.com/ BigQuery Digdag 運用改善 はじめに こんにちは。MA部MA施策・運用改善チームの辻岡です。MA部では、ZOZOTOWNのメルマガ・アプリPUSH通知などの配信・分析等の用途で約数十TBのデータを運用しています。今回は長年MAのデータ基盤として利用してきたオンプレDWHをBigQueryに移行したおはなしをします。 この記事はこんな方におすすめ オンプレDWHからBigQuery移行を検討・実施してる方 ジョブ・スケジューラ、ETLツールの移行を検討・実施してる方 概要 オンプレDWHからBigQuery移行する前後の構成イメージを元に、今回の移行の話について概要を説明します。 次の図が移行前の構成図です。オンプレ環境の… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.zozo.com%2Fentry%2Fmigration-on-premise-dwh-etl-to-bigquery-digdag" title="オンプレDWHをBigQueryに移行した話 - ZOZO TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/v/vasilyjp/20220525/20220525122013.jpg Hatena Blog https://hatena.blog 2022-06-01 11:00:00 rich https://techblog.zozo.com/entry/migration-on-premise-dwh-etl-to-bigquery-digdag 1.0 100%