dk521123 https://blog.hatena.ne.jp/dk521123/ プログラム の超個人的なメモ https://dk521123.hatenablog.com/ Spark / PySpark ■ はじめに https://dk521123.hatenablog.com/entry/2020/11/16/162114 の PySpark版。 小ネタだが、ファイル名のみを取得する場合（以下の 「【２】入力ファイルのみを取得するには」の「方法１：UDFで行う」）、 前に扱った UDF (User Defined Function)の復習になったので、 非常によかった。 目次 【１】フルパスを取得するには 【２】入力ファイルのみを取得するには 方法１：UDFで行う サンプル：udf関数から取り込む場合 サンプル：デコレータを利用する場合 方法２：Hiveで行う 【１】フルパスを取得するには… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdk521123.hatenablog.com%2Fentry%2F2021%2F04%2F12%2F145133" title="【PySpark】PySparkで入力ファイル名を取得するには - プログラム の超個人的なメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-04-12 14:51:33 rich https://dk521123.hatenablog.com/entry/2021/04/12/145133 1.0 100%