yomon8 https://blog.hatena.ne.jp/yomon8/ YOMON8.NET https://yomon.hatenablog.com/ Spark AWS EC2(Windows)にpyspark構築してS3の情報取得するところまでやる機会があったので情報残しておきます。 環境変数設定 各種ランタイムインストール Javaのインストール Python3.7.2インストール Spark インストール Sparkダウンロード 7zipでgzipを解凍 hadoop-awsのインストール Hadoop Native Libralyインストール pysparkの起動確認 コマンドプロンプトから起動 Jupyter Notebookからpysparkを利用したい場合 S3情報取得テスト 環境変数設定 設定する環境変数を最初に列挙しておきます。 ソフトウェア… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyomon.hatenablog.com%2Fentry%2F2019%2F03%2Fpysparkjupyters3" title="EC2のWindows上にpyspark+JupyterでS3上のデータ扱うための開発環境を作る - YOMON8.NET" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.user.blog.st-hatena.com/default_entry_og_image/90656073/1534456223311252 Hatena Blog https://hatena.blog 2019-03-17 23:08:37 rich https://yomon.hatenablog.com/entry/2019/03/pysparkjupyters3 1.0 100%