y-kamiya https://blog.hatena.ne.jp/y-kamiya/ MEMOcho- https://jsapachehtml.hatenablog.com/ pytorch pytorchで学習する処理を書いた際、データセット内のデータ数の増加により学習時間が増えた。 データ数増加で学習時間が増えるのは当然だろうと思うかもしれないが、今回書いていた処理はデータセットのすべてを学習に使わないもので、指定したbatch数分だけminibatchを作って学習するのを1epochにしていた。なのでデータセット内のデータ数が増えても処理にかかる時間はほとんど変わらない想定だったのでおかしい。 その増加分というのもやけに大きく、cProfileで1epoch分を計測してtottime順にみると以下のようになった。 # 8000件のデータセット ncalls tottime p… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fjsapachehtml.hatenablog.com%2Fentry%2F2022%2F04%2F17%2F201743" title="pytorchでデータ数を増やすとやけに学習時間が増えるバグ - MEMOcho-" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-04-17 20:17:43 rich https://jsapachehtml.hatenablog.com/entry/2022/04/17/201743 1.0 100%