yassan0627 https://blog.hatena.ne.jp/yassan0627/ やっさんメモ https://yassan.hatenablog.jp/ hadoop advent-calendar この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使うことになります。 ただ、移動元も移動先にも所属していないクライアントから通常DistCpは使えません（クラスタの設定情報がないので）。 設定をどうにかして渡せば、多分出来るだろうなぁと思いつつも「まぁ移動先のクラスタクライアントにSSHしたらいいか。」で… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyassan.hatenablog.jp%2Fentry%2Fadvent-calendar-2020-distributed-computing-1210" title="所属していないクラスタに対してDispCpやhdfs dfsを使う場合のTips - やっさんメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yassan0627/20201211/20201211005710.png Hatena Blog https://hatena.blog 2020-12-11 06:30:00 rich https://yassan.hatenablog.jp/entry/advent-calendar-2020-distributed-computing-1210 1.0 100%