ohke https://blog.hatena.ne.jp/ohke/ け日記 https://ohke.hateblo.jp/ Python ETL バッチ処理の実装にLuigiを使う機会があり、少し調べて整理しました。 irisデータセットをダウンロードしてきて、scikit-learnで学習したモデルをS3にアップロードする、簡単なサンプルも作ります。 Luigi Luigiは、データパイプラインを記述するためのPythonフレームワークです。 github.com 特徴 タスク間の依存関係を定型的に定義できる 失敗した(アウトプットが生成できなかった)タスクから再開できる スケジューリングはできない スタートキックは別の誰かが行う必要がある ユースケース 処理間に依存関係があり、各処理が複雑な場合に役立ちます。 例えば、データの前処理… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fohke.hateblo.jp%2Fentry%2F2018%2F04%2F07%2F230000" title="Python: Luigiでデータパイプラインを作る - け日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.user.blog.st-hatena.com/default_entry_og_image/99455833/1533459624629378 Hatena Blog https://hatena.blog 2018-04-07 23:00:00 rich https://ohke.hateblo.jp/entry/2018/04/07/230000 1.0 100%