lcl-engineer https://blog.hatena.ne.jp/lcl-engineer/ LCL Engineers' Blog https://techblog.lclco.com/ Redash Embulk インフラ LCLでは、AWS ALBのアクセスログをEmbulk/Fluentdを利用してElasticsearch/BigQueryへ格納しています。 Elasticsearchは、短期的なログの解析を目的としており、予期せぬアクセスが発生した場合の原因調査等に利用しています。ログは一定期間を過ぎると破棄しています。 BigQueryは、長期的なログの保存・解析を目的としており、Redashで可視化して各種KPIを定期的に確認しています。今回は、Embulkを利用してのBigQueryへの格納について簡単に紹介します。 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.lclco.com%2Fentry%2F2018%2F05%2F21%2F000000" title="ALBのログをEmbulk + BigQuery + Redashで可視化する - LCL Engineers&#39; Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/l/lcl-engineer/20180515/20180515125712.png Hatena Blog https://hatena.blog 2018-05-21 00:00:00 rich https://techblog.lclco.com/entry/2018/05/21/000000 1.0 100%