shigemk2 https://blog.hatena.ne.jp/shigemk2/ by shigemk2 https://www.shigemk2.com/ Treasure Data digdag github.com (途中参加) ワークフローエンジン Aをやって、Bをやって、でもBが失敗したらCをやる、というのを、コードを書かないで制御する サーバー どこの環境でも動くこと ワークフローが手元でも動く ステップを足す→ローカルで実行する サーバーでアプローチすればサーバーで動く Luigi 上から下へワークフローを動かす digdag digdag ネスト出来るようにした グループを作れる ある別のシステムがファイルをアップロードする→アップロードできたらコピーする パラメータは一部ビルトイン tdのクエリを実行する redshiftのクエリを実行する big quer… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.shigemk2.com%2Fentry%2F609195" title="メモ DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発 #tdtech - by shigemk2" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2017-01-12 19:34:38 rich https://www.shigemk2.com/entry/609195 1.0 100%