anton0825 https://blog.hatena.ne.jp/anton0825/ 日々精進 https://anton0825.hatenablog.com/ IT boto3のS3.Client.download_fileメソッドを使って大量のファイルをダウンロードすると、aws cliでダウンロードするよりかなり遅い。 boto3.amazonaws.com 理由はdownload_fileは同期処理なのに対してaws cliはマルチスレッド（ちゃんと調べてないのでマルチプロセスかも）で並列実行しているため。アップロードも同様。 以下を参考に、transfer_managerを使って並列実行するよう実装するとアップロード・ダウンロードが7倍程度早くなった。 stackoverflow.com 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fanton0825.hatenablog.com%2Fentry%2F2022%2F04%2F19%2F144621" title="boto3でS3からファイルをダウンロード・アップロードするのを高速化する - 日々精進" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-04-19 14:46:21 rich https://anton0825.hatenablog.com/entry/2022/04/19/144621 1.0 100%