ksss9 https://blog.hatena.ne.jp/ksss9/ スペクトラム https://ksss9.hatenablog.com/ github.com 経緯 現在fluentdからlzoファイル形式で圧縮して定期的に溜めてるJSONデータが既にある。 これを別のストレージにサッと移せたらできること広がりそうだなーと考えた。 問題点 bulk処理といえばembulk、ということでembulkを触ってみて、どうやら圧縮ファイルを展開するのはdecoderと言うらしいことがわかった。 decoderをinputのオプションとして行うことで、あとにつながる処理に渡すようだ。 embulkはpluginアーキテクチャだと分かっていたので、embulk-decoder-lzoがすでにあるかな？と思ったらあった。 github.com… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fksss9.hatenablog.com%2Fentry%2F2018%2F06%2F20%2F143909" title="embulk-decoder-execつくった - スペクトラム" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2018-06-20 14:39:09 rich https://ksss9.hatenablog.com/entry/2018/06/20/143909 1.0 100%