k_ogapy https://blog.hatena.ne.jp/k_ogapy/ RAKSUL TechBlog https://techblog.raksul.com/ Technology Dagster Data Engineering この記事は ノバセル Advent Calendar 20日目です。 はじめに こんにちは。ノバセルでデータエンジニアをしている小川です。 DagsterのSensorを使ってTimeout時の自動リトライ機能を作成したためサンプルコードでその実装方法と利点を解説しようと思います。 背景 ノバセルでは、顧客が求めるデータ（リクエスト）に応じて、dbtで定義したデータモデルをDagster上でマテリアライズ（データ生成・変換・格納）しています。このフロー全体をDagsterで管理することで、スケジュール実行や状態管理、リトライ制御などを一元的に行っています。 大まかな処理は以下の流れです。 fl… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.raksul.com%2Fentry%2F2024%2F12%2F20%2F144320" title="DagsterでTimeoutが起きた時に自動でリトライさせて面倒を減らした話 - RAKSUL TechBlog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/r/raksuldev/20241220/20241220151418.png Hatena Blog https://hatena.blog 2024-12-20 14:43:20 rich https://techblog.raksul.com/entry/2024/12/20/144320 1.0 100%