hatappi1225 https://blog.hatena.ne.jp/hatappi1225/ hatappi.blog https://hatappi.blog/ データ分析とかをしていると大規模データを扱うことがある。 複数のライブラリを使う際にデータ連携を行う際に一度CSVやJSONに出力して連携先ではそれをパースしてといった方法をとることがある。 数メガくらいのファイルであれば問題にはならないが、これがギガなどになってくるとこのデータ連携コストが無視できなくなってくる。 これを解決する方法の１つとしてApache Arrowというものがある。 今回はこれを紹介して実際にどれくらい早いのかを検証してみる。 Apache Arrowとは? 2016年の10月に0.1.0がリリース メモリ上でカラム型データを扱うためのフォーマットとアルゴリズム カラム型… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhatappi.blog%2Fentry%2F2017%2F09%2F01%2F002458" title="Apache Arrowの凄さを体感する - hatappi.blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2017-09-01 00:24:58 rich https://hatappi.blog/entry/2017/09/01/002458 1.0 100%