ohke https://blog.hatena.ne.jp/ohke/ け日記 https://ohke.hateblo.jp/ Python Spark 引き続きPySparkについてです。今回はMLパッケージを使ってスパムメッセージを分類します。 PySpark + Jupyter Notebookの環境をDockerで構築する - け日記 PySpark (+Jupyter Notebook) でDataFrameを扱う - け日記 PySparkのMLパッケージを使ってMovieLensをレコメンドする - け日記 ML MLパッケージ (pyspark.ml) は機械学習用のパッケージです。 様々な前処理 (Transformer) や 分類・回帰 (Estimator) などを行うクラスが提供されています (公式ドキュメント) 。 機… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fohke.hateblo.jp%2Fentry%2F2018%2F09%2F15%2F230000" title="PySparkでMLを使って機械学習する - け日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.user.blog.st-hatena.com/default_entry_og_image/99455833/1533459624629378 Hatena Blog https://hatena.blog 2018-09-15 23:00:00 rich https://ohke.hateblo.jp/entry/2018/09/15/230000 1.0 100%