TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ リバーシ 強化学習 前回、オセロの棋譜の終端の報酬を使用して(TD(1))、教師ありで学習することでランダムより強くなることを確認した。今回は、教師ありでQ学習を試す。 Q学習 Q学習の学習則は以下の式で表される。 は、遷移に対応する即時報酬で、リバーシ(オセロ)の場合、終端以外では0になる。 は、1ステップ先の局面での行動価値が最大となる手の行動価値である。よって、学習の開始時は、ほとんどの局面で、ランダムで初期化されたニューラルネットワークの出力のうち、偶然最大になった値を教師として学習することになる。 学習が進むにつれ、徐々に終端の報酬が序盤の局面にも伝播していく。 棋譜の偏り 前回使用した棋譜を調べたとこ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2019%2F12%2F05%2F222407" title="リバーシ(オセロ)で深層強化学習 その２（教師ありQ学習） - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://chart.apis.google.com/chart?cht=tx&chl=%5Cdisplaystyle%0A%5Cdelta%3DQ%28s%2C%20a%29-%5Cleft%28r%2B%5Cgamma%20%5Cmax%20_%7Ba%7D%20Q%5Cleft%28s%5E%7B%5Cprime%7D%2C%20a%5Cright%29%5Cright%29%0A Hatena Blog https://hatena.blog 2019-12-05 22:24:07 rich https://tadaoyamaoka.hatenablog.com/entry/2019/12/05/222407 1.0 100%