深度强化学习综述：兼论计算机围棋的发展.pdf
免费下载
第 33 卷第 6 期
2016 年 6 月
控 制 理 论 与 应 用
Control Theory & Applications
Vol. 33 No. 6
Jun. 2016
深深深度度度强强强化化化学学学习习习综综综述述述: 兼兼兼论论论计计计算算算机机机围围围棋棋棋的的的发发发展展展
DOI: 10.7641/CTA.2016.60173
赵冬斌
1†
, 邵 坤
1
, 朱圆恒
1
, 李 栋
1
, 陈亚冉
1
, 王海涛
1
(1. 中国科学院自动化研究所 复杂系统管理与控制国家重点实验室, 北京 100190）
刘德荣
2
, 周 彤
3
, 王成红
4
(2. 北京科技大学 自动化学院, 北京 100083; 3. 清华大学 自动化系, 北京 100084;
4. 国家自然科学基金委 信息科学部, 北京 100085)
摘要: 深度强化学习将深度学习的感知能力和强化学习的决策能力相结合, 可以直接根据输入的图像进行控制,
是一种更接近人类思维方式的人工智能方法. 自提出以来, 深度强化学习在理论和应用方面均取得了显著的成果.
尤其是谷歌深智(DeepMind)团队基于深度强化学习方法研发的计算机围棋“初弈号–AlphaGo”, 在2016年3月以
4:1的大比分战胜了世界围棋顶级选手李世石(Lee Sedol), 成为人工智能历史上一个新里程碑. 为此, 本文综述深度
强化学习的发展历程, 兼论计算机围棋的历史, 分析算法特性, 探讨未来的发展趋势和应用前景, 期望能为控制理论
与应用新方向的发展提供有价值的参考.
关键词: 深度强化学习; 初弈号; 深度学习; 强化学习; 人工智能
中图分类号: TP273 文献标识码: A
Review of deep reinforcement learning and discussions on
the development of computer Go
ZHAO Dong-bin
†
, SHAO Kun, ZHU Yuan-heng, LI Dong, CHEN Ya-ran, WANG Hai-tao
(1. The State Key Laboratory of Managentment and Control for Complex Systems, Institute of Automation,
Chinese Academy of Sciences, Beijng 100190, China)
LIU De-rong
2
, ZHOU Tong
3
, WANG Cheng-hong
4
(2. College of Automation, University of Science and Technology Beijing, Beijing 100083, China;
3. Department of Automation, Tsinghua University, Beijing 100084, China;
4. Department of Information Sciences, National Natural Science Foundation of China, Beijing 100085, China)
Abstract: Deep reinforcement learning which incorporates both the advantages of the perception of deep learning and
the decision making of reinforcement learning is able to output control signal directly based on input images. This mech-
anism makes the artificial intelligence much close to human thinking modes. Deep reinforcement learning has achieved
remarkable success in terms of theory and application since it is proposed. ‘Chuyihao–AlphaGo’, a computer Go deve-
loped by Google DeepMind, based on deep reinforcement learning, beat the world’s top Go player Lee Sedol 4:1 in March
2016. This becomes a new milestone in artificial intelligence history. This paper surveys the development course of deep
reinforcement learning, reviews the history of computer Go concurrently, analyzes the algorithms features, and discusses
the research directions and application areas, in order to provide a valuable reference to the development of control theory
and applications in a new direction.
Key words: deep reinforcement learning; AlphaGo; deep learning; reinforcement learning; artificial intelligence
1 引引引言言言(Introduction)
谷歌公司的人工智能研究团队--深智(DeepMind),
近两年公布了两项令人瞩目的研究成果: 基于Atari视
频游戏的深度强化学习算法
[1]
和计算机围棋初弈
号
1[2]
. 这些工作打破了传统学术界设计类人智能学习
算 法 的 桎 梏, 将 具 有 感 知 能 力 的 深 度 学 习 (deep
收稿日期: 2016−03−29; 录用日期: 2016−06−21.
†
通信作者. E-mail: dongbin.zhao@ia.ac.cn; Tel.: +86 10-82544764.
本文责任编委: 苏剑波.
国家自然科学基金项目(61273136, 61573353, 61533017).
Supported by National Natural Science Foundation of China (61273136, 61573353, 61533017).
1
初弈号: 谷歌深智团队研发的计算机围棋程序, 国内有很多译名版本, 如“阿尔法围棋”、“阿尔法狗”、或昵称为“狗狗”、“阿发哥”等等.
本文翻译为“初弈号”, 取其“初级、围棋、机器”三大特征, 保留英文原文的朴素感, 也有充满自信、奋发图强之意.
702 控 制 理 论 与 应 用 第 33 卷
learning, DL)和具有决策能力的强化学习(reinforce-
ment learning, RL) 紧密结合在一起, 构成深度强化学
习(deep reinforcement learning, DRL)算法. 其原理框
架如图1所示. 这些算法的卓越性能远超出人们的想
象, 极大地震撼了学术界和社会各界.
图 1 深度强化学习的框架
[3]
Fig. 1 The framework of deep reinforcement learning
[3]
深智团队在《Nature》杂志上的两篇文章使深度强
化学习成为高级人工智能的热点. 2015 年1月的文
章
[1]
提出深度Q网络(deep Q-network, DQN), 在Atari
视频游戏上取得了突破性的成果. 深度Q网络模拟人
类玩家进行游戏的过程, 直接将游戏画面作为信息输
入, 游戏得分作为学习的强化信号. 研究人员对训练
收敛后的算法进行测试, 发现其在49个视频游戏中的
得分均超过人类的高级玩家. 在此基础上, 深智团队
在2016年1月的文章
[2]
进一步提出计算机围棋初弈
号. 该算法将深度强化学习方法和蒙特卡罗树搜索
(Monte Carlo tree search, MCTS)结合, 极大减少了搜
索过程的计算量, 提升了对棋局估计的准确度. 初弈
号在与欧洲围棋冠军樊麾的对弈中, 取得了5:0完胜的
结果. 2016年3月, 与当今世界顶级棋手职业九段李世
石(Lee Sedol)进行了举世瞩目的对弈, 最终以4:1获得
胜利. 这也标志着深度强化学习作为一种全新的机器
学习算法, 已经能够在复杂的棋类博弈游戏中达到匹
敌人类的水平.
因此, 深入研究深度强化学习方法, 对于推动人工
智能方法的发展, 及其在各个领域中的应用都有非常
重要的意义. 本文将从深度强化学习技术和计算机围
棋的发展历程两方面展开综述. 主要结构如下: 首先
介绍了深度强化学习中的关键技术; 强化学习和深度
学习; 然后对深度强化学习发展历程和主要方法进行
介绍; 紧接着重点介绍了计算机围棋的历史与现状,
初弈号的原理及其优缺点; 随后分析了深度强化学习
的研究趋势和应用前景; 最后作出总结.
2 强强强化化化学学学习习习(Reinforcement learning)
强化学习是受到生物能够有效适应环境的启发,
以试错的机制与环境进行交互, 通过最大化累积奖赏
的方式来学习到最优策略.
强化学习系统由4个基本部分组成: 状态s, 动作a,
状态转移概率P
a
s,s
′
和奖赏信号r. 策略π : S → A被定
义为从状态空间到动作空间的映射. 智能体在当前状
态s下根据策略π来选择动作a, 执行该动作并以概率
P
a
s,s
′
转移到下一状态s
′
, 同时接收到环境反馈回来的
奖赏r. 强化学习的目标是通过调整策略来最大化累
积奖赏. 通常使用值函数估计某个策略π的优劣程度.
假设初始状态s
0
= s, 则关于策略π的状态值函数可
定义为
V
π
(s) =
∞
∑
t=0
γ
t
r(s
t
, a
t
)|s
0
= s, a
t
= π(s
t
),
(1)
其中γ ∈ (0, 1)是衰减因子. 由于最优策略是最大化
值函数的策略, 因此可根据下式求得最优策略,
π
∗
= arg max
π
V
π
(s).
(2)
另一种形式的值函数是状态动作值函数, 定义为
Q
π
(s
t
, a
t
) = r(s
t
, a
t
) + γV
π
(s
t+1
),
(3)
此时最优策略可根据下式得到
π
∗
= arg max
a∈A
Q
π
(s, a ).
(4)
强 化 学 习 的 研 究 有 着 悠 久 的 历 史. 1992 年,
Tesauro等成功使用强化学习使西洋双陆棋达到了大
师级的水准
[4]
; Sutton等撰写了第1本系统性介绍强化
学习的书籍
[5]
; Kearns等第1次证明了强化学习问题可
以用少量的经验得到近似最优解
[6]
; 2006 年Kocsis等
提出的置信上限树算法革命性地推动了强化学习在
围棋游戏上的应用, 这可以说是初弈号的鼻祖
[7]
;
2015 年, Littman 在《Nature》上 对 强 化 学 习 做 了 综
述
[8]
. 表1总结了强化学习发展历程中的重要事件. 目
前常用的强 化学习方法包 括蒙特卡罗 、Q 学习、
SARSA 学习、TD 学习、策略梯度和自适应动态规划
等.
表 1 强化学习研究历程
Table 1 Timeline of reinforcement learning research events
1956 Bellman提出了动态规划方法
[9]
1977 Werbos提出自适应动态规划方法
[10]
1988 Sutton提出了TD算法
[5]
1992 Watkins提出了Q学习算法
[11]
1994 Rummery等提出了SARSA学习算法
[12]
1996 Bertsekas等提出了解决随机过程优化控制的神经
动态规划方法
[13]
1999 Thrun提出了部分可观测马尔科夫决策过程中的
蒙特卡罗方法
[14]
2006 Kocsis等提出了置信上限树算法
[7]
2009 Lewis等提出了反馈控制自适应动态规划算法
[15]
2014 Silver等提出确定性策略梯度算法
[16]
2.1 蒙蒙蒙特特特卡卡卡罗罗罗方方方法法法(Monte Carlo method)
蒙特卡罗方法
[14, 17]
是一种以概率统计理论为指
导的强化学习方法. 它在强化学习中的应用可以追溯
到 1968 年, Michie 等用蒙特卡罗方法预测动作值函
数
[18]
. 此后, Barto等讨论了蒙特卡罗方法在策略评估
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论