momijiame https://blog.hatena.ne.jp/momijiame/ CUBE SUGAR CONTAINER https://blog.amedama.jp/ Python PySpark Apache Spark CentOS7 PySpark では、ごく最近まで UDAF (User Defined Aggregate Function: ユーザ定義集計関数) がサポートされていなかった。 Apache Spark 2.3 以降では Pandas UDF を使うことで UDAF に相当する処理を書くことができるようになっている。 今回は、それ以前のバージョンを使っているときに、同等の処理を書くための回避策について書いてみる。 使った環境は次のとおり。 $ cat /etc/redhat-release CentOS Linux release 7.7.1908 (Core) $ uname -r 3.10.0-106… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.amedama.jp%2Fentry%2Fpyspark-udaf-workaround" title="Python: PySpark で UDAF が作れない場合の回避策について - CUBE SUGAR CONTAINER" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://m.media-amazon.com/images/I/51AW5aaN7PL._SL160_.jpg Hatena Blog https://hatena.blog 2020-05-03 01:01:52 rich https://blog.amedama.jp/entry/pyspark-udaf-workaround 1.0 100%