steavevaivai https://blog.hatena.ne.jp/steavevaivai/ teruuuのブログ https://steavevaivai.hatenablog.com/ scala Apache Sparkとは？ Hadoopと同じく分散処理のフレームワーク。HadoopではMapReduceと言って複数マシンで分散処理を行ってから結果をストレージに書き出す。1回の処理では終わらない場合はデータの処理フローを形成することになり、よみ出し→分散処理→書き込みを繰り返す動きをする。MapReduceでは処理の中間結果が常にストレージに書き出されるためデータ量が大きくなっても動作し、障害からの回復も容易であると言ったメリットがある。 しかしこれではあるデータの部分集合に対し複数回で処理する場合、都度すべてのデータをストレージに書き込む処理が行われるため必要な計算コストが大きくな… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fsteavevaivai.hatenablog.com%2Fentry%2F2017%2F03%2F20%2F091644" title="Apache Sparkを触ってみた - teruuuのブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2017-03-20 09:16:44 rich https://steavevaivai.hatenablog.com/entry/2017/03/20/091644 1.0 100%