yohei-a
https://blog.hatena.ne.jp/yohei-a/
ablog
https://yohei-a.hatenablog.jp/
AWS
事象 Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる。 解決策 以下を設定してやる。 spark.conf.set("spark.sql.parquet.enableVectorizedReader", "false") 参考 In order to generate the DELTA encoded parquet file in PySpark, we need to enable version 2 of the Parquet wri…
190
<iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyohei-a.hatenablog.jp%2Fentry%2F20201124%2F1606189717" title="Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる - ablog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe>
Hatena Blog
https://hatena.blog
2020-11-24 12:48:37
Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる
rich
https://yohei-a.hatenablog.jp/entry/20201124/1606189717
1.0
100%