tagomoris https://blog.hatena.ne.jp/tagomoris/ たごもりすメモ https://tagomoris.hatenablog.com/ hadoop CDH3b2にて。 Hadoop Streaming (MapReduce) では入力が圧縮ファイルだと拡張子を見て適当に展開してくれる。くれるはずなんだけど、なんか気付いたらうまく展開できないようになってた。どうもバイナリデータのまま mapper に渡されているらしい。 しかし手元のOSXに1台だけで構成したCDH3b2の環境だと普通に展開されて1行ずつ mapper に渡っている。なぜだ。……で、調べてたら設定ファイルのうち core-site.xml に差分があった。 <configuration> <!-- 中略 --> <property> <name>io.compression… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftagomoris.hatenablog.com%2Fentry%2F20110407%2F1302165742" title="圧縮ファイルを入力にしても展開されない症状 - たごもりすメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2011-04-07 17:42:22 rich https://tagomoris.hatenablog.com/entry/20110407/1302165742 1.0 100%