shugo256 https://blog.hatena.ne.jp/shugo256/ shugo's kitchen https://shugo256.hatenablog.com/ 強化学習 読書メモ Sutton本の第5章の内容のメモです 前章で扱ったDPとの関係性 価値関数の計算や方策評価,改善といった基本的な考え方は一緒 DPと違って環境の完全な知識(期待報酬, 遷移確率など)は必要とせず、経験のみから価値を推定 エピソード的(=終わりがある)タスク限定 エピソードごとに価値と方策を更新 MC法による方策評価 訪問MC法 状態の価値=その状態から開始した場合の期待収益 状態を通過した全てのエピソードにおける収益の平均を取れば良さそう ➡︎ 訪問MC法 逐一訪問MC法 : 各エピソードにおいて複数回sを訪問している場合その全てを加味する 初回訪問MC法 : 各エピソードにおける初回のみ考… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fshugo256.hatenablog.com%2Fentry%2F2019%2F09%2F01%2F120929" title="強化学習 Sutton本5章 モンテカルロ法について - shugo&#39;s kitchen" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/379451/7c537718-d62e-3ec9-14c5-ec0038c0a09e.png Hatena Blog https://hatena.blog 2019-09-01 12:09:29 rich https://shugo256.hatenablog.com/entry/2019/09/01/120929 1.0 100%