smx_shiiba https://blog.hatena.ne.jp/smx_shiiba/ skymatix Developers Blog https://smx.hatenadiary.jp/ システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定は下記の２つです。 項目名 説明 max_concurrent_requests 同時に実行できるリクエストの最大数を制御。この設定により、バケットへの同時アクセスを制御することができる。デフォルト:10 max_queue_size タスクキュー内の最大タスク数を制御。タスクが多くなると速… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fsmx.hatenadiary.jp%2Fentry%2F2023%2F07%2F07%2F120939" title="S3へのファイル転送を高速化する手順 - skymatix Developers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-07-07 12:09:39 rich https://smx.hatenadiary.jp/entry/2023/07/07/120939 1.0 100%