1 绪论 1 1.1 这是一本什么书 1 1.2 强化学习可以解决什么问题 2 1.3 强化学习如何解决问题 4 1.4 强化学习算法分类及发展趋势 5 1.5 强化学习仿真环境构建 7 1.5.1 gym安装及简单的demo示例 8 1.5.2 深入剖析gym环境构建 10 1.6 本书主要内容及安排 12 第一篇 强化学习基础 17 2 马尔科夫决策过程 18 2.1 马尔科夫决策过程理论讲解 18 2.2 MDP中的概率学基础讲解 26 2.3 基于gym的MDP实例讲解 29 2.4 习题 34 3 基于模型的动态规划方法 36 3.1 基于模型的动态规划方法理论 36 3.2 动态规划中的数学基础讲解 47 3.2.1 线性方程组的迭代解法 47 3.2.2 压缩映射证明策略评估的收敛性 49 3.3 基于gym的编程实例 52 3.4 最优控制与强化学习比较 54 3.5 习题 56 第二篇 基于值函数的强化学习方法 57 4 基于蒙特卡罗的强化学习方法 58 4.1 基于蒙特卡罗方法的理论 58 4.2 统计学基础知识 67 4.3 基于Python的编程实例 71 4.4 习题 74 5 基于时间差分的强化学习方法 75 5.1 基于时间差分强化学习算法理论讲解 75 5.2 基于Python和gym的编程实例 83 5.3 习题 87 6 基于值函数逼近的强化学习方法 88 6.1 基于值函数逼近的理论讲解 88 6.2 DQN及其变种 94 6.2.1 DQN方法 94 6.2.2 Double DQN 100 6.2.3 优先回放（Prioritized Replay） 102 6.2.4 Dueling DQN 104 6.3 函数逼近方法 105 6.3.1 基于非参数的函数逼近 105 6.3.2 基于参数的函数逼近 111 6.3.3 卷积神经网络 117 6.4 习题 123 第三篇 基于直接策略搜索的强化学习方法 125 7 基于策略梯度的强化学习方法 126 7.1 基于策略梯度的强化学习方法理论讲解 126 7.2 基于gym和TensorFlow的策略梯度算法实现 134 7.2.1 安装Tensorflow 135 7.2.2 策略梯度算法理论基础 135 7.2.3 Softmax策略及其损失函数 136 7.2.4 基于TensorFlow的策略梯度算法实现 138 7.2.5 基于策略梯度算法的小车倒立摆问题 141 7.3 习题 141 8 基于置信域策略优化的强化学习方法 142 8.1 理论基础 143 8.2 TRPO中的数学知识 153 8.2.1 信息论 153 8.2.2 优化方法 155 8.3 习题 164 9 基于确定性策略搜索的强化学习方法 165 9.1 理论基础 165 9.2 习题 170 10 基于引导策略搜索的强化学习方法 171 10.1 理论基础 171 10.2 GPS中涉及的数学基础 178 10.2.1 监督相LBFGS优化方法 178 10.2.2 ADMM算法 179 10.2.3 KL散度与变分推理 183 10.3 习题 184 第四篇 强化学习研究及前沿 185 11 逆向强化学习 186 11.1 概述 186 11.2 基于最大边际的逆向强化学习 187 11.3 基于最大熵的逆向强化学习 194 11.4 习题 201 12 组合策略梯度和值函数方法 202 13 值迭代网络 207 13.1 为什么要提出值迭代网络 207 13.2 值迭代网络 210 14 基于模型的强化学习方法：PILCO及其扩展 214 14.1 概述 214 14.2 PILCO 216 14.3 滤波PILCO和探索PILCO 226 14.3.1 滤波PILCO算法 227 14.3.2 有向探索PILCO算法 230 14.4 深度PILCO 232 后记 235 参考文献 237
缺书网
扫码进群