shiumachi https://blog.hatena.ne.jp/shiumachi/ 科学と非科学の迷宮 https://shiumachi.hatenablog.com/ Hadoop DistCp (distributed copy, でぃすとしーぴー、でぃすとこぴー) は、MapReduceを用いてHadoopクラスタ間でデータコピーするためのツールです。保守運用している場合を除き、おそらく2020年においても運用上の選択肢として残っている最後のMapReduceのツールです。この記事では、DistCpの紹介と実践的な使い方の基本について説明していきます。内容としては以下の通りです。 Distcpの概要と原理 実践DistCp DistCpにドライランはない コピーとアップデートの挙動の違いを押さえる スナップショットを取得する ソースと宛先、どちらのクラス… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fshiumachi.hatenablog.com%2Fentry%2F2020%2F07%2F20%2F080000" title="Hadoop DistCp実践ガイド2020年版 - 科学と非科学の迷宮" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/shiumachi/20200719/20200719122945.png Hatena Blog https://hatena.blog 2020-07-20 08:00:00 rich https://shiumachi.hatenablog.com/entry/2020/07/20/080000 1.0 100%