snowman_88888 https://blog.hatena.ne.jp/snowman_88888/ Seitaro Shinagawaの雑記帳 https://snowman-88888.hatenablog.com/ この記事は強化学習苦手の会 Advent Calendar 2020の24日目の記事です。 2020.12.28 追記 解釈が致命的にミスってました・・・"To keep $\pi$ from moving too far from $\rho$"なので「両分布が離れすぎないように」です。 （誤）学習する方策$\pi$が、初期方策$ \rho$よりも離れた分布となるように、KL divergenceが大きくなるようにする役割です。 （正）学習する方策$\pi$が、初期方策$ \rho$よりも離れすぎないように、両分布のKL divergenceが大きいとペナルティをかける役割です。 2020.… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fsnowman-88888.hatenablog.com%2Fentry%2F2020%2F12%2F24%2F235532" title="OpenAIのPPO言語生成論文を読む① - Seitaro Shinagawaの雑記帳" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/snowman_88888/20201224/20201224100713.png Hatena Blog https://hatena.blog 2020-12-24 23:55:32 rich https://snowman-88888.hatenablog.com/entry/2020/12/24/235532 1.0 100%