pxvpxv https://blog.hatena.ne.jp/pxvpxv/ pixiv inside https://inside.pixiv.blog/ 技術 エンジニア 1. はじめに 2. 背景 データマートは分析のリードタイムを下げる pixivにおけるデータマートでは対応できない具体例 とはいえイベント粒度を直接叩くと、スキャン費用が辛い 3. BigQueryのARRAYによる解決 【Before】イベント1件＝1行（親カラムが重複してスキャンされる） 【After】キーごとに1行＋ARRAY 4. ARRAY運用の工夫 工夫1. 1行100MBの壁を chunk_number で回避 工夫2. 複雑化するクエリをメタデータで解決 5. 結果 6. まとめ 1. はじめに こんにちは！ピクシブ株式会社でデータ基盤を担当しているkashiraです。 この… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Finside.pixiv.blog%2F2026%2F04%2F13%2F170000" title="スキャン費用を最大89%削減！BigQueryの ARRAY 活用で大容量ログ分析を最適化 - pixiv inside" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/d/devpixiv/20260410/20260410145839.png Hatena Blog https://hatena.blog 2026-04-13 17:00:00 rich https://inside.pixiv.blog/2026/04/13/170000 1.0 100%