himuk https://blog.hatena.ne.jp/himuk/ CARTA TECH BLOG https://techblog.cartaholdings.co.jp/ fluct 事業を支える技術 インフラ・SRE 3行まとめ 背景 データの流れ そのままコピーするだけのLambda 外部テーブルを使おう ゆるふわをゆるふわのまま扱う JSON Linesを1カラムのレコードとして取り込む 定期的に外部テーブルにクエリして結果を保存する まとめ 3行まとめ BigQueryはいいぞ 外部テーブルはすごいぞ Scheduled Queryも便利だぞ こんにちは。ひむ（@himu）です。 株式会社fluctでエンジニアとして働いていたり、ボルダリングしたりガチャを回したり健康で文化的な生活をしています。 fluctはインターネット広告プラットフォームのサービスなどを提供しており、毎日億単位の大量のイベントログ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.cartaholdings.co.jp%2Fentry%2Fbigquery_howto" title="日々変化するゆるふわフォーマットをBigQueryでおいしく料理する方法。Athenaユーザも必見だよ！ - CARTA TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/h/himuk/20201002/20201002185620.jpg Hatena Blog https://hatena.blog 2020-10-07 11:30:00 rich https://techblog.cartaholdings.co.jp/entry/bigquery_howto 1.0 100%