meetsmore https://blog.hatena.ne.jp/meetsmore/ ミツモア Tech blog https://engineering.meetsmore.com/ こんにちは、株式会社ミツモアでエンジニアをしている酒井です。 本記事では、dbtのpost_hook機能とBigQueryのUser-defined functions (UDF) in Pythonを組み合わせることで、データパイプライン内で自動的にSlack通知を送信する方法と簡単な使用例を紹介します。 この仕組みが解決する課題 データパイプラインを運用する中で、以下のような課題を抱えていました： データ品質の問題を早期に検出したい: rawデータのスキーマ変更や異常値の混入などを早期に検出し、下流への影響を最小限に抑えたい 問題発生時に即座に通知を受けたい: Slackなど、チームが日常… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fengineering.meetsmore.com%2Fentry%2F2025%2F12%2F18%2F190952" title="dbtのpost_hookとBigQuery UDFでデータパイプラインの異常検知をする仕組みづくり - ミツモア Tech blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/meetsmore/20251218/20251218123005.png Hatena Blog https://hatena.blog 2025-12-18 19:09:52 rich https://engineering.meetsmore.com/entry/2025/12/18/190952 1.0 100%