play-kawano https://blog.hatena.ne.jp/play-kawano/ PLAY DEVELOPERS BLOG https://developers.play.jp/ Node.js クラウドサービスを使用しているとメモリやストレージを節約したくなりますよね？ 今回はそんな節約に役立つNode.jsのStream APIについてです。Java等にもStreamはありますが、全くの別物です。AWSのSDKと組み合わせて、S3からダウンロード、圧縮してアップロードするサンプルと共に紹介していきます。 通常のファイル等をダウンロードして読み込む処理では、データを一括で読み込んでメモリに載せることになると思います。 しかし、Stream APIを使用すると、データをチャンクに分けて読み込み、チャンク毎に圧縮やアップロード等の処理をすることができます。チャンクごとに処理することで、メモリの消費量を節約しつつ数GB以上のファイルを処理することができるようになります。 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdevelopers.play.jp%2Fentry%2F2023%2F09%2F29%2F160418" title="Node.jsのStream APIを使用してAmazon S3の大きなオブジェクトを少ないメモリ消費量で圧縮する - PLAY DEVELOPERS BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/p/playjp/20230929/20230929160423.jpg Hatena Blog https://hatena.blog 2023-09-29 16:04:18 rich https://developers.play.jp/entry/2023/09/29/160418 1.0 100%