okumin https://blog.hatena.ne.jp/okumin/ おくみん公式ブログ https://blog.okumin.com/ GCP ビッグデータ 『Google Cloud Dataflow で Google BigQuery へストリーミング ETL するの巻』で加工したアクセスログを集計し、一定の条件を満たすと Slack へアラートを飛ばすシステムを作りました。 Apache Beam(Scio) + Google Cloud Dataflow を用いてログの集計と監視を行い、問題のあるアクセスが見つかったら Google Cloud Functions で Slack へ通知するという構成です。 ストリーミング ETL の記事と同様にその仕組みを紹介します。 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.okumin.com%2Fentry%2F2017%2F08%2F20%2F202026" title="Google Cloud Dataflow でアクセスログを監視して Google Cloud Functions で Slack へアラートを送信するの巻 - おくみん公式ブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/o/okumin/20170818/20170818025111.png Hatena Blog https://hatena.blog 2017-08-20 20:20:26 rich https://blog.okumin.com/entry/2017/08/20/202026 1.0 100%