momijiame https://blog.hatena.ne.jp/momijiame/ CUBE SUGAR CONTAINER https://blog.amedama.jp/ Apache Spark Apache Hadoop Python macOS 最近 Apache Spark について耳にすることが多い。 Apache Spark は、ビッグデータ処理における並列分散処理基盤を提供する OSS の一つ。 似たような用途としては Apache Hadoop も有名だけど、それよりも最大で 100 倍ほど高速に動作するんだとか。 高速に動作する理由としては、各ノードのメモリに乗り切るサイズのデータならディスクを介さずに扱える点が大きいらしい。 今回は、そんな Apache Spark を Mac OS X で軽く触ってみることにする。 本来であれば、用途的には複数のノードを用意して並列分散処理をさせるところだけど使うのは一つのノードだけ。… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.amedama.jp%2Fentry%2F2017%2F05%2F05%2F021306" title="Mac OS X で Apache Spark を触ってみる - CUBE SUGAR CONTAINER" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://images-fe.ssl-images-amazon.com/images/I/415QwBMiAcL._SL160_.jpg Hatena Blog https://hatena.blog 2017-05-05 02:13:06 rich https://blog.amedama.jp/entry/2017/05/05/021306 1.0 100%