1、 本 科 毕 业 设 计本 科 毕 业 设 计 ( 论 文论 文 ) 学院学院(部部) 计算机科学与技术学院计算机科学与技术学院 题目题目 基于强化学习的基于强化学习的 Gambler 策略研究与评价策略研究与评价 年级年级 专业专业 软件工程（嵌入式）软件工程（嵌入式） 班级班级 学号学号 姓名姓名 指导教师指导教师 职称职称 论文提交日期论文提交日期 I 目 录 摘 要 . 1 ABSTRACT 2 第一章 前 言 3 1.1 背景概述 3 1.2 强化学习的应用 3 1.3 论文结构安排 . 4 第二章 强化学习 5 2.1 强化学习的原理和模型 5 2.2 强化学习系统的主要组成要素.
2、 6 2.3 马尔可夫决策过程 (MDP) . 7 2.4 强化学习的基本算法 8 2.4.1 动态规划(Dynamic Programming, DP) 8 2.4.2 蒙特卡罗算法 (Monte Carlo method, MC) . 9 2.5 强化学习中有待解决的问题 9 2.6 本章小结 9 第三章 动态规划分析. 10 3.1 动态规划的适用条件 10 3.1.1 最优化原理 . 10 3.1.2 无后向性 . 10 3.1.3 子问题的重叠性 10 3.2 算法流程 11 3.2.1 策略评估 . 11 II 3.2.2 策略改进 . 11 3.3 寻找最优策略 . 12 3.3
3、.1 策略迭代 . 12 3.3.2 值迭代. 12 3.4 动态规划的效率 . 13 3.5 本章小结 13 第四章 实验平台分析与实现 . 14 4.1 实验平台描述 . 14 4.1.1 系统概述 . 14 4.1.2 系统运行环境 . 14 4.2 Gambler 问题仿真 14 4.3 实验平台概要设计 . 15 4.3.1 底层框架模型 . 15 4.3.2 Gambler 问题模型 . 17 4.3.3 界面设计 . 17 4.4 实验平台的详细设计 19 4.4.1 类和接口 . 19 4.4.2 核心算法示例 . 22 4.5 本章小结 25 第五章 实验结果分析. 26 5
4、.1 实验结果 26 5.2 Gambler 仿真结果分析 . 27 5.2.1Gambler 在不同 P 值下的策略 27 III 5.2.2 策略分析与评价 27 5.2.3 计算误差对策略的影响 28 5.3 本章小结 29 第六章 总结与展望 30 6.1 课题总结 30 6.2 进一步的研究与展望 30 参考文献 . 32 致 谢 . 34 1 摘摘 要要 强化学习是一种重要的机器学习方法。强化学习通过感知环境状态信息来学习动态系 统的最优策略，通过试错法不断地与环境进行交互来改善自己的行为，并具有对环境的先 验知识要求低的优点，是一种可以应用到实时环境中的在线学习方式。因此在智能控
5、制， 机器学习等领域中强化学习得到了广泛研究。 强化学习的任务就是学习从状态空间到动作空间的映射。环境对不同动作做出的评价 性反馈信号决定了强化学习系统的动作选择策略。如果一个动作得到了最多的奖励，则该 动作就会被采取。 本文的特点是在强化学习理论研究的基础上，以 Gambler 问题为仿真实验平台，对强 化学习中的动态规划算法进行实现，并对不同 P 值下的实验结果进行分析。 关键词：强化学习，机器学习，动态规划，Gambler 2 ABSTRACT Reinforcement learning is an important machine learning method. It could
6、 learn the optimal policy of the dynamic system through environment state observation and improve its behavior through trial and error with the environment. Reinforcement learning has the quality of low requirement for a priori knowledge and is also a kind of online learning method for the real-time environment, which is extensively explored in the field of intelligent control and machine learning. The aim of reinforcement learning is to learn the mapping from the state space to th
