Windymelt https://blog.hatena.ne.jp/Windymelt/ Lambdaカクテル https://blog.3qe.us/ 技術 scala cats cats effect fs2 Scalaの非同期・ストリーミング処理ライブラリであるfs2で、ジョブキュー的な感じで、複数のワーカにデータを分散して配りたいことがあり、それの実現方法について調査したメモ。 fs2.io 追記(2023-09-23) fs2 3.9.2で確認したが、stream.parEvalMap(N)(IO)の形でparEvalMapを呼ぶことで並列実行が可能だ。 tl;dr 1つのQueueにデータを入れて、複数のワーカから好きに取出せばよい。 Streamを複数のPipeに分散させるには？ FS2の以前のバージョンにはBalanceという要素が用意されていたのだが、機能の統廃合によって消えてしまった… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.3qe.us%2Fentry%2F2023%2F04%2F12%2F213016" title="Fs2 3.6.1で複数のワーカに処理を分散させるパターンを書く - Lambdaカクテル" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/W/Windymelt/20230412/20230412210949.png Hatena Blog https://hatena.blog 2023-04-12 21:30:16 rich https://blog.3qe.us/entry/2023/04/12/213016 1.0 100%