kakaku-techblog https://blog.hatena.ne.jp/kakaku-techblog/ カカクコムTechBlog https://kakaku-techblog.com/ BigQuery 運用改善 こんにちは、価格.comショッピングシステム部の山内です。 価格.comショッピングシステム部では日々の業務に対して改善を重ねてきています。 振り返ってみればすでに4年前のことですが、今まで行った改善の中でとても印象に残った事例を一つ紹介致します。 大量データの処理 大量データというと、大体どれくらいを想像されますか？ 200万件くらい？ 1000万件以上？ 価格.comのショッピング領域では日々6億件を超える商品データを処理しています。 各モール様やショップ様から商品データをダウンロードし、1日1回以上の頻度で更新しています。 全部ではありませんが、半分以上のデータが実際に取り込まれています… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkakaku-techblog.com%2Fentry%2Fbigdata-with-bigquery" title="大量データの調査がやってられなかったので、BigQueryで爆速化してやった - カカクコムTechBlog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/k/kakaku-techblog/20230621/20230621152221.png Hatena Blog https://hatena.blog 2023-06-01 12:00:00 rich https://kakaku-techblog.com/entry/bigdata-with-bigquery 1.0 100%