o21o21 https://blog.hatena.ne.jp/o21o21/ helloworlds https://o21o21.hatenablog.jp/ EMR Hive DynamoDB HiveQL Hadoop とある業務でとても悩んでいたことがあります。。。 簡単に説明すると、AWSのサービスEMRを使用してDynamoDBのテーブル、レコードへ更新処理を行っていました。 大量の更新があったので、DynamoDBの書込キャパシティ(WCU)を上げて、処理に耐えられるように設定。 いざ更新をかけたときにメトリックスを監視していると、ある一定の値で一定に。 「あれーーーーー....」 秒間ターゲット消費率が20%ほどで一定になって、想定していた時間で終わらない。 結果的には待っていると無事に処理が完了して更新も問題なかった。 ただ、「なんでキャパシティ上がらないねん！！」と、疑問が残って気持ち悪いかんじ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fo21o21.hatenablog.jp%2Fentry%2F2018%2F03%2F20%2F001451" title="【AWS】EMR とDynamoDB間のキャパシティについて - helloworlds" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://zdnet2.cbsistatic.com/hub/i/r/2014/08/26/d64dd59d-2cf1-11e4-9e6a-00505685119a/resize/1170x878/800edfc6f6eae338a310a2d0f51b5d09/thumb.png Hatena Blog https://hatena.blog 2018-03-20 00:14:51 rich https://o21o21.hatenablog.jp/entry/2018/03/20/001451 1.0 100%