tam5917 https://blog.hatena.ne.jp/tam5917/ 備忘録 https://tam5917.hatenablog.com/ 深層学習 距離学習 深層距離学習の一つであるAdaCosはとても有効である。 PyTorch実装も利用できる。 github.com ところがこの実装には（2021/04/24時点）、使い方を間違えるとNaNが頻発する不具合がある。 forward関数内でscaleをadaptiveに更新しているのだが、学習データのみ更新の対象としてほしいところ、検証データの上でそのまま動かすと（forward関数を必然的に通すため）スケールが更新され続けてしまう。結果としてscaleが発散する現象が起きる。 この問題点は以下のissueで指摘されており、修正案も示されている。 github.com この修正案を適用することで、… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftam5917.hatenablog.com%2Fentry%2F2021%2F04%2F24%2F195330" title="AdaCosのPyTorch実装にまつわるバグ - 備忘録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-04-24 19:53:30 rich https://tam5917.hatenablog.com/entry/2021/04/24/195330 1.0 100%