分层强化学习理论与方法

　　第1章 绪论
　　1.1 机器学习
　　1.1.1 机器学习的定义
　　1.1.2 机器学习的发展史
　　1.1.3 机器学习系统的基本模型
　　1.1.4 机器学习的主要策略
　　1.2 强化学习
　　1.2.1 强化学习的定义
　　1.2.2 强化学习的发展史
　　1.3 分层强化学习
　　1.3.1 分层强化学习的定义
　　1.3.2 研究现状与发展趋势
　　第2章 强化学习
　　2.1 强化学习的基本原理
　　2.2 强化学习的基本方法
　　2.3 部分可观测马氏过程
　　第3章 分层强化学习
　　3.1 半马氏过程
　　3.2 分层与抽象
　　3.3 典型分层强化学习方法
　　3.3.1 Option分层强化学习方法
　　3.3.2 HAM分层强化学习方法
　　3.3.3 MAXQ分层强化学习方法
　　3.3.4 典型分层强化学习方法的比较分析
　　3.4 OMQ分层强化学习方法
　　3.4.1 测试用例描述
　　3.4.2 OMQ理论框架
　　3.4.3 OMQ学习算法
　　3.4.4 OMQ学习算法最优性分析
　　3.4.5 OMQ学习算法收敛性证明
　　3.4.6 OMQ学习算法实验分析
　　第4章 动态分层强化学习
　　4.1 学习任务的自动分层
　　4.1.1 瓶颈和路标状态法
　　4.1.2 共用子空间法
　　4.1.3 多维状态法
　　4.1.4 马氏空间法
　　4.1.5 其他有关方法
　　4.1.6 任务自动分层方法评价
　　4.2 基于免疫聚类的自动分层算法
　　4.2.1 免疫原理剖析
　　4.2.2 基于免疫聚类的Option自动生成算法
　　4.3 基于二次应答机制的动态分层算法
　　4.3.1 算法描述
　　4.3.2 实验分析
　　4.4 未知动态环境中的分层强化学习方法
　　4.4.1 移动机器人路径规划问题
　　4.4.2 未知动态环境中的OMQ分层强化学习算法
　　4.4.3 实验分析
　　……
　　第5章 多智能体分层强化学习
　　参考文献

　　    强化学习通过试错与环境交互获得策略的改进，其自学习和在线学习的特点使其成为机器学习研究的一个重要分支。但是，强化学习一直被维数灾难所困扰，近年来，分层强化学习在克服维数灾难方面取得了显著进展。《分层强化学习理论与方法》系统地介绍了强化学习、分层强化学习的理论基础和学习算法以及作者在分层强化学习领域的研究成果和该领域的最新研究进展。
　　    《分层强化学习理论与方法》可作为高等院校和科研机构从事计算机应用、人工智能和机器学习等相关专业和方向的教师、研究人员、研究生及高年级本科生参考使用。