isseing333 https://blog.hatena.ne.jp/isseing333/ 『企業成長の方程式 ― AIDグロースコミットによる成長戦略』 https://iisssseeiiii.hatenablog.com/ 以前から言っていたマイクロアレイのデータをread.csvで読み込んでみました。2万遺伝子×3千サンプルで、容量は670M（！）。結論からいうと、約10分で読み込めました。読み込んだ後にmemory.limit(T)で使用したメモリを調べてみると、4661と返ってきました。このデータで全てのメモリを食っているわけではないにしろ、少なく見積もっても4Gは使っているのか。。。 ということは読み込むと、だいたい4G/670Mで6倍のメモリを使うということか？変数が50個しかなかったとすると、サンプルは120万で同等の容量になるはず。120万人×50変数は扱える、と。 しかもマイクロアレイデータは小数… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fiisssseeiiii.hatenablog.com%2Fentry%2F20101025%2F1288012288" title="大規模データの読み込み - 『企業成長の方程式 ― AIDグロースコミットによる成長戦略』" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2010-10-25 22:11:28 rich https://iisssseeiiii.hatenablog.com/entry/20101025/1288012288 1.0 100%