yoshitaku_jp https://blog.hatena.ne.jp/yoshitaku_jp/ よしたく blog https://yoshitaku-jp.hatenablog.com/ Pandas pandas でサイズの大きなファイルを扱うにはどうすればいいか調べたところ、ファイルを読み込む際に chunksize 引数を指定して、分割して読み込む方法があることを知った。 Google clab にあるサンプルファイルを使って動きを確認する。 まずは何も指定せずファイルを読み込む。 import pandas as pd df = pd.read_csv('sample_data/mnist_test.csv') df.shape 結果的に、9999 行と 785 列を保持していることがわかった。 (9999, 785) 今読み込んだファイルを分割して読み込む。 pd.read_csv… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyoshitaku-jp.hatenablog.com%2Fentry%2F2022%2F08%2F14%2F233000" title="chunksizeを指定して、pandasで巨大ファイルを扱う - よしたく blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-08-14 23:30:00 rich https://yoshitaku-jp.hatenablog.com/entry/2022/08/14/233000 1.0 100%