jspnet https://blog.hatena.ne.jp/jspnet/ Smile Engineering Blog https://smile-jsp.hateblo.jp/ Dask はじめに 今回は、Daskを触ってみたので使い方を備忘録もかねてまとめてみます。 Daskとは Pythonでデータ分析や機械学習をする際によく利用するライブラリがPandasですが、 Pandasで大容量データを処理すると、 データがメモリに収まらない 基本的に単一スレッドで処理が行われるため処理速度が遅い といった問題があります。 この問題を解決するのに並列・分散処理を行えるライブラリのDaskはよく利用されています。 Daskは主にNumPy、Pandas、PyToolzのAPIをもつデータ構造を提供しています。 API ベースパッケージ Dask Array NumPy ndarray… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fsmile-jsp.hateblo.jp%2Fentry%2F2020%2F01%2F14%2F022204" title="Dask備忘録 - Smile Engineering Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/j/jspnet/20191118/20191118184817.png Hatena Blog https://hatena.blog 2020-01-14 02:22:04 rich https://smile-jsp.hateblo.jp/entry/2020/01/14/022204 1.0 100%