panda-loves-smile https://blog.hatena.ne.jp/panda-loves-smile/ TSUBOCK★LABO-ツボックラボ- https://www.tsubock-lab.xyz/ Docker Embulk データ収集基盤を設計する際に、過去の大量のファイルもデータ収集基盤に取り込みたいという要望があり、大量のファイルをまとめて処理できるツールがないかと調べていたところ、Embulkという製品を見つけましたので、調べてまとめてみました。 Embulkとは EmbulkはTreasure Data 社が開発したOSS製品で、リアルタイムにログを収集するlogstashやfluentdのようにファイルやデータベースからデータを吸い出して、別のストレージやデータベースに渡してくれる作業をバッチ処理で行ってくれるツールです。ストリームしてデータを流し込むlogstashやfluentdと違い、バルクで処理… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.tsubock-lab.xyz%2Fentry%2F2020%2F03%2F12%2F220207" title="fluentdのバッチ版、EmbulkをDockerで試して触ってみた - TSUBOCK★LABO-ツボックラボ-" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/p/panda-loves-smile/20200204/20200204162932.png Hatena Blog https://hatena.blog 2020-03-12 22:02:07 rich https://www.tsubock-lab.xyz/entry/2020/03/12/220207 1.0 100%