momijiame https://blog.hatena.ne.jp/momijiame/ CUBE SUGAR CONTAINER https://blog.amedama.jp/ Apache Spark CentOS7 GitHub Apache Hadoop HDFS Apache Spark を使って複数ノードで分散並列処理をする場合、まずは動作させるためのクラスタマネージャを選ぶことになる。 Apache Spark では以下のクラスタマネージャに対応している。 Apache Spark 組み込み (これはスタンドアロンモードと呼ばれる) Apache Hadoop YARN Apache Mesos 今回は、その中で二番目の Apache Hadoop の提供する YARN を使ってみる。 また、なるべく実環境に近いものを作りたいので Apache Hadoop は完全分散モードを使うことにした。 そのため、まず前提として次のエントリを元に Hadoo… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.amedama.jp%2Fentry%2F2017%2F06%2F14%2F214548" title="Apache Spark を完全分散モードの YARN クラスタで動かす - CUBE SUGAR CONTAINER" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://images-fe.ssl-images-amazon.com/images/I/51lHecIoRzL._SL160_.jpg Hatena Blog https://hatena.blog 2017-06-14 21:45:48 rich https://blog.amedama.jp/entry/2017/06/14/214548 1.0 100%