satopi-utr https://blog.hatena.ne.jp/satopi-utr/ YOUTRUST Tech Blog https://tech.youtrust.co.jp/ データ データエンジニア アーキテクチャ こんにちは！YOUTRUSTでデータエンジニアをしている小林（YOUTRUST）です。 以前のブログで、2025年11月時点でのデータ基盤のアーキテクチャについて紹介しました。 tech.youtrust.co.jp その中で、 S3からGCSへのデータ転送処理やdbtの処理が時間をトリガーとしているので、前の処理が終わってないのに次の処理が始まってしまって失敗する といった課題を挙げていました。今回はこの課題を解決した話です。 cronベースのデータパイプライン (下記の図の赤枠で囲んだ部分)をイベント駆動化することで、処理間の待機時間を46分削減し、dbtの処理完了時刻を約1時間前倒しする… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.youtrust.co.jp%2Fentry%2F2026%2F01%2F09%2F170451" title="処理完了を1時間前倒し！データパイプラインのイベント駆動化 - YOUTRUST Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/satopi-utr/20260109/20260109134001.png Hatena Blog https://hatena.blog 2026-01-09 17:04:51 rich https://tech.youtrust.co.jp/entry/2026/01/09/170451 1.0 100%