peryaudo https://blog.hatena.ne.jp/peryaudo/ ペリャウドの日 https://peryaudo.hatenablog.com/ pd.read_sqlしてto_hdfしたい所だが、メモリ上にのりきらないようなサイズだと動かない。pd.read_sqlにはchunksizeという便利なものがあり、この引数を指定するとchunkに切られたDataFrameのiteratorを返してくれるので、どうにかなりそうに見えるが、read_sqlのソースを読むと、SQLのクエリは依然一度にexecuteされるのでSELECT *した結果が全部メモリに乗らないようなサイズだとchunksizeを使っても依然どうにもならない。そこでちゃんとSQLクエリでLIMITとOFFSETを使って少しずつとってくる。 import pandas a… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fperyaudo.hatenablog.com%2Fentry%2F2016%2F05%2F27%2F151116" title="pandasででかいテーブルをMySQLからHDF5に落としこむ - ペリャウドの日" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2016-05-27 15:11:16 rich https://peryaudo.hatenablog.com/entry/2016/05/27/151116 1.0 100%