yuta-nakata https://blog.hatena.ne.jp/yuta-nakata/ Yuta NakataのBlog https://www.yuta-nakata.net/ AWS Lambda Python Pandas Lambda（Python）でPandasを使っていると、どうしても「遅い」という壁にぶつかります。この記事では、パッケージング方法からデータ形式・読み込み方・メモリ設定・ライブラリ選択までを、計測コード付きで順番に整理します。 この記事でわかること 前提:Lambdaで遅いのは「インポート」と「読み込み」 Lambda Layerではなく、Lambda Containerを使う まずはインポート時間を計測する ① データ形式:CSVをやめてParquetにする ② 読み込み:列選択と述語プッシュダウン 列を選択する 述語プッシュダウンで行も削る CSVを読むしかない場合 ③ メモリ設定:vC… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.yuta-nakata.net%2Fentry%2F2024%2F03%2F23%2F100035" title="LambdaでPandasを高速化するための方法 - Yuta NakataのBlog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yuta-nakata/20240323/20240323095934.png Hatena Blog https://hatena.blog 2024-03-23 10:00:35 rich https://www.yuta-nakata.net/entry/2024/03/23/100035 1.0 100%