dk521123 https://blog.hatena.ne.jp/dk521123/ プログラム の超個人的なメモ https://dk521123.hatenablog.com/ Spark / PySpark ■ はじめに PySpark の UDF (User Defined Function) っての学ぶ。 目次 【１】UDF とは 【２】UDF定義方法 １）udf関数から取り込む ２）デコレータを利用する方法 ３）spark.udf.register() で登録する 【３】使用上の注意 【４】サンプル なお、以下の関連記事でもUDFを実際に使用している。 PySparkで入力ファイル名を取得するには https://dk521123.hatenablog.com/entry/2021/04/12/145133 【１】UDF とは * UDF = User Defined Function(ユー… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdk521123.hatenablog.com%2Fentry%2F2020%2F05%2F20%2F195621" title="【分散処理】PySpark ～ ユーザ定義関数 UDF 編 ～ - プログラム の超個人的なメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2020-05-20 19:56:21 rich https://dk521123.hatenablog.com/entry/2020/05/20/195621 1.0 100%