hito4_t https://blog.hatena.ne.jp/hito4_t/ 今日もプログラミング https://hito4-t.hatenablog.com/ Embulk Embulkの並列処理 Embulkは、処理を複数のタスクに分割して並列に実行する仕組みを備えている。 しかし、標準のファイル入力プラグインでは、単純に1つのファイルを入力すると1タスクにしかならないようだ（こちら参照）。 ソースを読んでみると、複数ファイルを読むと複数タスクになるようだ。 試しにこんな感じに4ファイルを用意して、 /test └in ├in1.csv ├in2.csv ├in3.csv └in4.csv こんなymlファイルを用意して実行したら、 in: type: file path_prefix: '/test/in' parser: type: csv columns:… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhito4-t.hatenablog.com%2Fentry%2F2015%2F03%2F12%2F200439" title="ファイルを分割して入力するEmbulkプラグインを作ってみた - 今日もプログラミング" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2015-03-12 20:04:39 rich https://hito4-t.hatenablog.com/entry/2015/03/12/200439 1.0 100%