ocadaruma https://blog.hatena.ne.jp/ocadaruma/ 1954 https://ocadaruma.hatenablog.com/ Kafka 2.7.0現在、consumerのauto.offset.reset configはlatestがデフォルトとなっています。 これは、consumer groupがあるpartitionをsubscribeするとき、commit済みoffsetが存在しない場合（consumerの初回デプロイ時や、offsets.retention.minutes以上の期間consumerを起動していなかった場合などが該当します）、consume開始位置をlog end offsetにセットするというものです。 通常は1) consumer 2) producerの手順でデプロイしますので、これで問… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Focadaruma.hatenablog.com%2Fentry%2F2021%2F01%2F31%2F143005" title="A pitfall in Kafka partition splitting when auto.offset.reset = latest - 1954" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-01-31 14:30:05 rich https://ocadaruma.hatenablog.com/entry/2021/01/31/143005 1.0 100%