casekblog https://blog.hatena.ne.jp/casekblog/ ZOZO TECH BLOG https://techblog.zozo.com/ BigQuery Dataflow こんにちは、データ基盤の開発、運用をしていた谷口（case-k）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.zozo.com%2Fentry%2Fdata-infrastructure-replacement" title="全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/v/vasilyjp/20220628/20220628080934.jpg Hatena Blog https://hatena.blog 2022-09-15 18:00:00 rich https://techblog.zozo.com/entry/data-infrastructure-replacement 1.0 100%