sh0_add https://blog.hatena.ne.jp/sh0_add/ 定時ラボ https://tech-sh0.hatenablog.com/ Excel・自動化 200万行のCSVが手元にあります。 Excelでは、この1本を1枚のシートに丸ごと読み込めません。 行数の上限が1,048,576行だからです。 ダブルクリックしたまま、応答なしの画面を数分眺めた経験はないでしょうか。 そこで、DuckDBというツールをPythonから呼び、CSVに直接SQLを投げてみました。 行数を数えるのに0.197秒。 支店ごと・月ごとの売上合計を出すのに0.258秒で、結果は96行。 金額の上位1万行を別のCSVに書き出すのに0.255秒。 データベースサーバーは立てていません。 pipでライブラリを1つ入れただけです。 きっかけは8月末のニュースでした。 AWSが… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-sh0.hatenablog.com%2Fentry%2F2026%2F09%2F03%2F121520" title="Excelで開けない200万行のCSVを、DuckDBで集計して1万行に絞るまで｜AWSが開発元の買収を発表した道具を手元で試した - 定時ラボ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/sh0_add/20260902/20260902234749.png Hatena Blog https://hatena.blog 2026-09-03 12:15:20 rich https://tech-sh0.hatenablog.com/entry/2026/09/03/121520 1.0 100%