swx-matsui https://blog.hatena.ne.jp/swx-matsui/ サーバーワークスエンジニアブログ https://blog.serverworks.co.jp/ こんにちは！ サーバーワークスの松井です。 Kinesis Data Firehoseに大量のデータを送信していたら制限超過エラーに遭遇したので紹介します。 発生事象 パーティションキーをIDで指定し、1から順番にインデックスを割り振ったJSONをKinesis Data Firehoseに送信していました。 すると送信先のS3の/error配下に以下のメッセージが格納されたファイルが作成されていました。 "errorMessage":"The number of active partitions has exceeded the configured limit" マネージメントコンソール… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.serverworks.co.jp%2F2022%2F04%2F01%2F192443" title="Kinesis Data Firehose 動的パーティショニングの制限超過エラーに遭遇した件 - サーバーワークスエンジニアブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/swx-matsui/20220331/20220331222206.png Hatena Blog https://hatena.blog 2022-04-01 19:24:43 rich https://blog.serverworks.co.jp/2022/04/01/192443 1.0 100%