pinkumohikan https://blog.hatena.ne.jp/pinkumohikan/ モヒカンメモ https://blog.pinkumohikan.com/ Docker Redash エンジニアリング 障害対応/デバッグ セルフホストしているRedashのログが貯まり続けたせいでdisk fullで死んだ。 OSS版Redash をEC2でセルフホストしてそのまま運用していると踏むトラップだと思うので各位気をつけられたし。 ざっくり要点まとめ Redashは結構ログを吐く Docker Daemonはデフォルト設定では無限にログを貯め続ける ↑の仕様が重なって、ログのローテーション設定をしておかないとディスクが食いつぶされる 調査と一次対応 「Redashが使えなくなった」というアラートを受けて調査したところ、dockerがdiskを食いつぶしてハングしていた。 root@xxx:/var/lib/docker… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.pinkumohikan.com%2Fentry%2Fredash-disk-full-deah-by-non-log-rotation" title="Redashのログが無限に貯まり続けたせいでdisk fullで死んだ - モヒカンメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-12-17 15:33:53 rich https://blog.pinkumohikan.com/entry/redash-disk-full-deah-by-non-log-rotation 1.0 100%