本书分别从值函数逼近、直接策略搜索和基于谱方法的学习三个方面来阐述强化学习的理论、方法及其应用。全书分为13章，其中第1-2章为强化学习概述和相关基础理论；第3-5章为基于值函数估计的强化学习方法及其应用；第6-9章为直接策略搜索强化学习方法及其应用；第10-13章是对基于谱方法的强化学习进行研究。