nhn-techorus https://blog.hatena.ne.jp/nhn-techorus/ Chorus Journal | NHN テコラスがお届けする技術メディア https://journal.nhn-techorus.com/ AI・データ こんにちは。データサイエンスチームのHan-Cheolです。 この記事は、NHN テコラス DATAHOTEL：確率統計・機械学習・ビッグデータを語る Advent Calendar 2017の21日目の記事になります。 はじめに PandasはPythonを利用したデータ分析で一番よく知られ、使われているツールです。 本記事では、データのサイズが大きく、またデータ分析を行うための前処理作業の計算量が多い時に、PySpark (Apache SparkのPythonインタフェース)の並列・分散処理能力を生かしてデータの前処理に掛かる時間を大きく短縮させる方法を紹介します。 今回の記事で例として… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fjournal.nhn-techorus.com%2Fentry%2Farchives%2F7301" title="Apache Sparkとpandasでデータ処理の時間を短縮する方法 - Chorus Journal | NHN テコラスがお届けする技術メディア" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nhn-techorus/20261009/20261009125845.jpg Hatena Blog https://hatena.blog 2017-12-21 10:22:06 rich https://journal.nhn-techorus.com/entry/archives/7301 1.0 100%