int128 https://blog.hatena.ne.jp/int128/ GeekFactory https://int128.hatenablog.com/ app engine java App Engineで大量のデータを並列処理するフレームワーク ElShard を作っています。batch addとdeleteのサンプルができたので、とりあえずまとめてみます。ElShardは、入力リストを分割して処理して集約する考え方に基づいています。並列処理はApp EngineのTaskQueueで実現しています。タスク間では10kBのペイロードしかやり取りできないため、データをやり取りする用途には適していません。そのため、実際のデータはDatastoreに格納しておき、キーをタスク間でやり取りすることになります。現段階では集約をどうやって実現するか未定ですが、キーでソートされるという… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fint128.hatenablog.com%2Fentry%2F20101226%2F1293382518" title="App Engineで動く並列処理フレームワーク ElShard - GeekFactory" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://cdn-ak.f.st-hatena.com/images/fotolife/i/int128/20101227/20101227005248.png Hatena Blog https://hatena.blog 2010-12-26 01:55:18 rich https://int128.hatenablog.com/entry/20101226/1293382518 1.0 100%