tver-techblog https://blog.hatena.ne.jp/tver-techblog/ TVer Tech Blog https://techblog.tver.co.jp/ GCP SQL Redash bigquery TVerでデータシステムなど担当しております黒瀬です。 この記事では、弊社のサービスとして運用しているTVer ID の会員情報を保持するDB（以下、会員DB）のデータの集計にかかる時間を短縮した施策についてご紹介します。 サマリ DatastreamとPolicy Tagを利用することで、プライバシー保護を考慮しつつBigQueryで会員DBを高速で集計できるようにしました。 背景 TVerでは、GKEでセルフホストしているRedashを利用してデータ集計や分析を行っています。 また、弊社では分析用のデータはBigQueryに集約する方針のため、基本的にはRedashでの集計はBigQuer… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.tver.co.jp%2Fentry%2Fkurose%2Fdatastream" title="DatastreamによるTVer ID会員情報の分析環境改善 - TVer Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/t/tver-techblog/20230927/20230927184338.png Hatena Blog https://hatena.blog 2023-09-28 10:57:08 rich https://techblog.tver.co.jp/entry/kurose/datastream 1.0 100%