yumatsumo https://blog.hatena.ne.jp/yumatsumo/ マツモブログ https://yumatsumo.hatenadiary.org/ hadoop reduce処理で「Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.」と出て戦ったのでメモ。 原因としては各ノードのホスト名(と対応するIPアドレス)が127.0.0.1で通信不能だったため。↓のようなNICを複数持っている構成の場合(ホスト名=127.0.0.1とhostsに書いてました) NameNode ホスト：namenode01.matsumo(127.0.0.1) eth0:192.168.1.1 # 外向けセグメント(hostsにnamenode01.matsumo.sotoと登録) eth1:192.… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyumatsumo.hatenadiary.org%2Fentry%2F20111209%2F1323444016" title="HadoopでShuffle Error - マツモブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2011-12-09 00:20:16 rich https://yumatsumo.hatenadiary.org/entry/20111209/1323444016 1.0 100%