bering https://blog.hatena.ne.jp/bering/ Bering Note – formerly 流沙河鎮 https://bering.hatenadiary.com/ Sparkのバージョン上げる時にハマりそうな考慮点のメモ null値を含むDataFrameをCSVファイルを書き込む際、～Spark 3.2とSpark 3.3～で書き込まれる値が変わる。～Spark 3.2ではnullの項目は[""]=空文字としてcsvに書かれるのに対して、Spark 3.3～では[]=空白となる。 Migration Guide: SQL, Datasets and DataFrameより、 Since Spark 3.3, nulls are written as empty strings in CSV data source by default. In Spar… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbering.hatenadiary.com%2Fentry%2F2023%2F07%2F12%2F191221" title="Spark 3.3前後でnull値を含むDataFrameをcsvに書き込む時の挙動が異なる - Bering Note – formerly 流沙河鎮" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-07-12 19:12:21 rich https://bering.hatenadiary.com/entry/2023/07/12/191221 1.0 100%