dk521123 https://blog.hatena.ne.jp/dk521123/ プログラム の超個人的なメモ https://dk521123.hatenablog.com/ Spark / PySpark ■ はじめに https://dk521123.hatenablog.com/entry/2021/07/06/120134 で、パーティション付のテーブルにアクセスした際に 実ファイルがなくなっていた現象が発生していた。 この現象のそもそも原因が、ファイルを書きだすときの モード mode = overwrite だったのでメモしておく。 目次 【１】書き込みモード overwrite 時の注意点 【２】パーティション単位で上書きするには 【３】spark.sql.sources.partitionOverwriteMode について 【１】書き込みモード overwrite 時の注意点 パ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdk521123.hatenablog.com%2Fentry%2F2021%2F07%2F07%2F093147" title="【分散処理】PySpark ～ パーティション単位で上書きするには ～ - プログラム の超個人的なメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-07-07 09:31:47 rich https://dk521123.hatenablog.com/entry/2021/07/07/093147 1.0 100%