SAM https://blog.hatena.ne.jp/SAM/ About connecting the dots. https://smrmkt.hatenablog.jp/ 小ネタなんですが，なかなかググっても見つからず，あれこれと試行錯誤してしまったので，メモがわりに．要するに，gzip 圧縮してあるデータを読み出して，年月ごとにデータをパーティション分けして，結果を parquet 形式の 1 ファイルで書き出す，みたいな処理がしたいということです．結局 repartition() を使えばよかったので，以下のように yyyymm カラムを一時的に作って，パーティションを切りなおしてからそのカラムを落とすというテクを使いました．普通なら repartition(int) で直接パーティション数を指定すれば良いんでしょうけど，複数年月が分けられておらず固まったデ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fsmrmkt.hatenablog.jp%2Fentry%2F2017%2F06%2F05%2F212041" title="PySpark で書き出しデータのパーティション数を調節する - About connecting the dots." class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2017-06-05 21:20:41 rich https://smrmkt.hatenablog.jp/entry/2017/06/05/212041 1.0 100%