akanuma-hiroaki https://blog.hatena.ne.jp/akanuma-hiroaki/ Tech Blog by Akanuma Hiroaki https://blog.akanumahiroaki.com/ AI DeepLearning Ruby Python 機械学習 今回は「ゼロから作るDeepLearning」で紹介されている各種パラメータ最適化手法を、書籍のPythonのサンプルコードをベースに、Rubyで実装してみました。 www.oreilly.co.jp 各手法のロジックについては書籍で説明されていますので割愛します。また、前回の記事で書いたように、Rubyでは値の受け渡しが参照の値渡しになるので、パラメータのハッシュの各値は配列として保持する前提です。 SGD（確率的勾配降下法） SGDは前回の記事でもすでに使っていたのと同じで、別クラスとして分けただけのものです。 class SGD def initialize(lr: 0.01) @lr … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.akanumahiroaki.com%2Fentry%2F2017%2F04%2F21%2F090000" title="各種パラメータ最適化手法の実装（SGD, Momentum, AdaGrad, Adam） - Tech Blog by Akanuma Hiroaki" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/a/akanuma-hiroaki/20170421/20170421083501.png Hatena Blog https://hatena.blog 2017-04-21 09:00:00 rich https://blog.akanumahiroaki.com/entry/2017/04/21/090000 1.0 100%