fits https://blog.hatena.ne.jp/fits/ なんとなくな Developer のメモ https://fits.hatenablog.com/ Java Scala 前回 id:fits:20101010、Scala で実装した MapReduce のコードを完全分散モードで実行してみました。今回は、クラスタ上の全デーモンを起動する start-dfs.sh スクリプトは使わずに、hdfs や mapred を使って NameNode・DataNode、JobTracker・TaskTracker を手動で起動しています。 多少不便ですが、こうする事で一般的に紹介されているような SSH の設定等は不要となります。 また、完全分散モードで実行する場合、Job オブジェクトに setJarByClass() しておきます。（スタンドアロン実行だけなら不要） … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ffits.hatenablog.com%2Fentry%2F20101026%2F1288059999" title=" Hadoop 完全分散モードで Scala による MapReduce のジョブ実行 - hdfs・mapred コマンドによる手動実行 - なんとなくな Developer のメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2010-10-26 11:26:39 rich https://fits.hatenablog.com/entry/20101026/1288059999 1.0 100%