yuta-nakata https://blog.hatena.ne.jp/yuta-nakata/ Yuta NakataのBlog https://www.yuta-nakata.net/ Python やってみた netCDFは便利なのですが、気がつくと1ファイル数百MB、ディレクトリ全体で数十GBになっていて、S3の料金明細を見て青ざめる——という経験はないでしょうか。 この記事ではxarrayを使ってnetCDFファイルを軽量化する方法を、実測値つきで紹介します。単にzlib=Trueを付けるだけでは思ったほど小さくならない理由と、効果の大きい順に手を打つ考え方までまとめました。 この記事でわかること 背景 結論 なぜnetCDFは大きくなるのか 実測してみる 検証データ 計測用の関数 結果 発見1: zlibだけでは2割しか減らない 発見2: complevelを上げても意味は薄い 発見3: dt… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.yuta-nakata.net%2Fentry%2F2024%2F09%2F07%2F075039" title="netcdfファイルを軽量化する方法 - Yuta NakataのBlog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-09-07 07:50:39 rich https://www.yuta-nakata.net/entry/2024/09/07/075039 1.0 100%