go_dev https://blog.hatena.ne.jp/go_dev/ GO Tech Blog https://techblog.goinc.jp/ AI BigQuery AI技術開発部の老木です。今回、分析ログの増大が課題となりJSON型の導入を検討しました。分析ログをJSON化した際に問題となる配列の扱いについて紹介します。 適当に作ったログがでかすぎる。ログを出力・分析する人間によくある悩みではないでしょうか。そこで、大きすぎるログの容量削減にBigQueryのJSON型が利用できないかを検討しました。 課題 弊社では分析ログとしてJSONを格納した文字列を出力してきました。分析ログはスキーマの変化が激しく、そのたびにテーブルのスキーマ変更をする手間を避けるためです。 例えば、配車ロジックのログでは、以下のようなフォーマットのログが出力されます。これは、リ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.goinc.jp%2Fentry%2F2023%2F03%2F20%2F090000" title="BigQuery JSON型によりログの効率化は可能か？ - GO Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/g/go_dev/20240418/20240418124421.jpg Hatena Blog https://hatena.blog 2023-03-20 09:00:00 rich https://techblog.goinc.jp/entry/2023/03/20/090000 1.0 100%