t-akihito https://blog.hatena.ne.jp/t-akihito/ KAYAC Engineers' Blog https://techblog.kayac.com/ AdventCalendar2019 sre fluentd migration ログの監視と通知方法 SREチームの竹田です。Tech Kayac Advent Calendar Migration Track 5日目の記事になります アプリケーションの挙動を監視し、ある閾値を超えたときにだけ通知が欲しい時があります。 ある程度の障害は想定内として頻繁に起きているときにだけエスカレーションさせたい場合などです。 障害頻度の把握と通知を実現するために、アプリケーションからログをfluentdで集約し、fluent-plugin-grepcounterで一定の閾値を超えたら通知がいくような仕組みを作りました。 しかし運用していく中で以下のような問題がでてきました 閾値を変更す… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.kayac.com%2Fadvent-calendar-2019-fluentd-redash-mackerel" title="fluentdによる通知をRedash/Mackerelに移動させる - KAYAC Engineers&#39; Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2019-12-05 08:00:00 rich https://techblog.kayac.com/advent-calendar-2019-fluentd-redash-mackerel 1.0 100%