momijiame https://blog.hatena.ne.jp/momijiame/ CUBE SUGAR CONTAINER https://blog.amedama.jp/ PyTorch Python 今回は、PyTorch でオプティマイザを自作する方法について紹介してみる。 きっかけは、勉強がてら主要なオプティマイザを自作してみようと思い至ったことだった。 その過程で、PyTorch でオプティマイザを自作する場合の流儀が把握できた。 そこで、この記事では以下のオプティマイザを書きながらその方法を説明してみる。 単純な SGD (Stochastic Gradient Descent) Momentum を導入した SGD 上記は最も古典的なオプティマイザだけど、実装することで基本的な機能を一通り紹介できるため。 使った環境は次のとおり。 $ sw_vers ProductName: m… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.amedama.jp%2Fentry%2Fpytorch-custom-optimizer" title="Python: PyTorch のオプティマイザを自作する - CUBE SUGAR CONTAINER" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/momijiame/20240901/20240901103411.png Hatena Blog https://hatena.blog 2024-09-03 19:47:12 rich https://blog.amedama.jp/entry/pytorch-custom-optimizer 1.0 100%