n_agetsuma https://blog.hatena.ne.jp/n_agetsuma/ n-agetsumaの日記 https://n-agetsuma.hatenablog.com/ Kafka Kafkaのコンシューマグループに、コンシューマを追加すると、各コンシューマがどのパーティションを読み取るか再割り当てするリバランスが行われる。Kafka0.11.0.1を対象に、以下の観点でKafkaの実装を調べてみた結果をまとめる。 リバランスはいつ行われるのか なぜ新規コンシューマ追加しても、すぐにメッセージ配信が始まらないのか リバランスが起こった時に重複メッセージ処理は発生しないか リバランスはいつ行われるのか KafkaConsumer.poll()メソッドの内部で行われる。Kafkaのコンシューマの実装はだいたい以下のようになる。コード全体はgist参照。 Kafka Comsu… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fn-agetsuma.hatenablog.com%2Fentry%2F2017%2F10%2F15%2F151348" title="Kafkaコンシューマのリバランスはいつ行われるか - n-agetsumaの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2017-10-15 15:13:48 rich https://n-agetsuma.hatenablog.com/entry/2017/10/15/151348 1.0 100%