Gasyou https://blog.hatena.ne.jp/Gasyou/ GA将？開発日記～王理のその先へ～ https://gasyou.hatenablog.jp/ 開発日記 メモ http://d.hatena.ne.jp/Gasyou/20100916/1284623513 が間違ってたんで再計算。今度は後で検証しやすい様に、途中経過も詳しく書いてみる。 最初に、状態=局面、行動=手として扱うので、これ以降はそれぞれ"局面"、"手"と記述する。 行動価値関数は線形近似、方策はボルツマン分布を使用するソフトマックス方策を用いる場合の、方策勾配法の式の計算を行う。なお、TD(λ)に対するTDLeaf(λ)の様に、価値関数及び勾配の計算にはαβ探索を行った末端の局面の特徴を用いる。 まず、行動価値関数Qは下記の様に計算する。 なお、式中のは価値関数のパラメータ、は「局面sで… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fgasyou.hatenablog.jp%2Fentry%2F20110730%2F1312023270" title="ソフトマックス方策を用いた方策勾配法の計算式（リトライ版） - GA将？開発日記～王理のその先へ～" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2011-07-30 19:54:30 rich https://gasyou.hatenablog.jp/entry/20110730/1312023270 1.0 100%