boscono https://blog.hatena.ne.jp/boscono/ てきとうなメモ https://boscono.hatenablog.com/ Algorithm 404 Blog Not Found:tips - MD5のコスト重複ファイルを消すPythonスクリプトソースはちゃんと見ていないのだが，メモリに載るならハッシュを使って検索した方が速いのでは？読み終わった．早とちりしてた．一つ一つファイルを検索して消すのかと思ってた．重複を消すために追加データをファイルリストから検索をしているのではなく，追加データも含めてファイルリストをハッシュ値でソートして隣り合うデータを比較している．ハッシュ値はキャッシュして保存しているので毎回計算する必要はない．削除するときにハッシュ値だけでなくデータの比較も行っているのでコリジョンで間違って消すことはないっぽい．… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fboscono.hatenablog.com%2Fentry%2F20070328%2Fp1" title=" ハッシュと比較と検索 - てきとうなメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2007-03-28 00:00:00 rich https://boscono.hatenablog.com/entry/20070328/p1 1.0 100%