vasilyjp https://blog.hatena.ne.jp/vasilyjp/ ZOZO TECH BLOG https://techblog.zozo.com/ Airflow Cloud Composer BigQuery データ こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理にLookerを導入することで、データガバナンスを効かせたデータ集計基盤を実現しました。詳細は、以前紹介したデータ集計基盤については以下の過去記事をご覧ください。 techblog.zozo.com 本記事では、データ集計基盤に「データバリデーション」の機能を加えて常に正確なデータ集計を行えるように改良する手段をお伝えします。 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.zozo.com%2Fentry%2Fcloud-composer-data-validation" title="Cloud Composerによるデータバリデーション ～常に正確なデータ集計を実現するために～ - ZOZO TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/v/vasilyjp/20210208/20210208172201.png Hatena Blog https://hatena.blog 2021-02-15 11:00:00 rich https://techblog.zozo.com/entry/cloud-composer-data-validation 1.0 100%