贝叶斯优化方法和应用综述-崔佳旭 , 杨博.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2018,29(10):30683090 [doi: 10.13328/j.cnki.jos.005607] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563
贝叶斯优化方法和应用综述
崔佳旭
1,2
,
杨
博
1,2
1
(符号计算与知识工程教育部重点实验室(吉林大学),吉林 长春 130012)
2
(吉林大学 计算机科学与技术学院,吉林 长春 130012)
通讯作者: 杨博, E-mail: ybo@jlu.edu.cn
摘 要: 设计类问题在科学研究和工业领域无处不在.作为一种十分有效的全局优化算法,近年来,贝叶斯优化方
法在设计类问题上被广泛应用.通过设计恰当的概率代理模型和采集函数,贝叶斯优化框架只需经过少数次目标函
数评估即可获得理想解,非常适用于求解目标函数表达式未知、非凸、多峰和评估代价高昂的复杂优化问题.从方
法论和应用领域两方面深入分析、讨论和展望了贝叶斯优化的研究现状、面临的问题和应用领域,期望为相关领
域的研究者提供有益的借鉴和参考.
关键词: 贝叶斯优化;全局优化算法;概率代理模型;采集函数;黑箱
中图法分类号: TP18
中文引用格式: 崔佳旭,杨博.贝叶斯优化方法和应用综述.软件学报,2018,29(10):30683090. http://www.jos.org.cn/1000-
9825/5607.htm
英文引用格式: Cui JX, Yang B. Survey on Bayesian optimization methodology and applications. Ruan Jian Xue Bao/Journal of
Software, 2018,29(10):30683090 (in Chinese). http://www.jos.org.cn/1000-9825/5607.htm
Survey on Bayesian Opti mization Methodology a nd Applications
CUI Jia-Xu
1,2
, YANG Bo
1,2
1
(Key Laboratory of Symbolic Computation and Knowledge Engineering for the Ministry of Education (Jilin University), Changchun
130012, China)
2
(College of Computer Science and Technology, Jilin University, Changchun 130012, China)
Abstra ct : Designing problems are ubiquitous in science research and industry applications. In recent years, Bayesian optimization,
which acts as a very effective global optimization algorithm, has been widely applied in designing problems. By structuring the
probabilistic surrogate model and the acquisition function appropriately, Bayesian optimization framework can guarantee to obtain the
optimal solution under a few numbers of function evaluations, thus it is very suitable to solve the extremely complex optimization
problems in which their objective functions could not be expressed, or the functions are non-convex, multimodal and computational
expensive. This paper provides a detailed analysis on Bayesian optimization in methodology and application areas, and discusses its
research status and the problems in future researches. This work is hopefully beneficial to the researchers from the related communities.
Key words: Bayesian optimization; global optimization algorithm; probabilistic surrogate model; acquisition function; black-box
设计类问题在科学研究和工业设计等领域无处不在.例如:编程人员通过选择恰当的算法来优化系统性能;
环境学家通过设计传感器部署位置来监控环境状况;化学家通过设计实验来获取新的物质;制药厂商通过设计
新型药物来抵抗疾病;食品厂商通过设计新的食谱来生产优质食品等等.通常,将这些设计问题考虑成如下最优
基金项目: 国家自然科学基金(61572226, 61876069); 吉林省重点科技研发项目(20180201067GX, 20180201044GX)
Foundation item: National Natural Science Foundation of China (61572226, 61876069); Jilin Province Key Scientific and
Technological Research and Development Project (20180201067GX, 20180201044GX)
收稿时间: 2017-06-12; 修改时间: 2018-04-02; 采用时间: 2018-05-17; jos 在线出版时间: 2018-06-07
CNKI 网络优先出版: 2018-06-07 14:53:49, http://kns.cnki.net/kcms/detail/11.2560.TP.20180607.1453.008.html
崔佳旭 等:贝叶斯优化方法和应用综述
3069
化问题加以求解(本文只考虑最小化问题,最大化问题可简单通过取负号操作转换成最小化问题):
*
argmin ( )
d
f
x
xx
(1)
其中,x 表示 d 维决策向量,
表示决策空间,f 表示目标函数.对应上述例子,x 可以表示成算法、传感器部署位置、
实验配置、药物配方或食谱等,f(x)可表示为判断系统、环境、实验、配方、食谱等表现优劣的测度.
近年来,大数据应用的发展给物理学、生物学、环境生态学、计算机科学等领域以及军事、金融、通信等
行业带了巨大的生机.这些大数据应用通常都存在以下特点:大规模用户量、极其复杂的软件系统、大规模异
构计算和分布式存储架构.这些复杂应用包含大量的设计决策,并且更为复杂,其优化目标不仅具有多峰、非凸、
高维、决策空间巨大等常见特征,通常还具有黑箱和评估代价高昂等新特点.优化目标不存在明确的数学表达,
并且需要花费高额代价才能观测到目标函数的返回值.例如:在研制某癌症的有效药物问题中,药物配方可以作
为决策空间,药物效果(药物效果用药物能够治愈病人的概率大小来描述)作为函数输出,临床实验作为评估药
物效果的手段,目标是找到一种药物配方,使得药物能够最大概率地治愈病人.在该问题中,目标函数很难写成
一个明确的数学表达式,评估函数过程可能会导致病人死亡.显然,这样的评估代价是巨大的.
针对具有以上特征的复杂设计问题,贝叶斯优化(Bayesian optimization,简称 BO)是一种有效的解决方法
[1]
.
贝叶斯优化在不同的领域也称作序贯克里金优化(sequential Kriging optimization,简称 SKO)、基于模型的序贯
优化(sequential model-based optimization,简称 SMBO)、高效全局优化(efficient global optimization,简称 EGO).
该方法是一种基于模型的序贯优化(即,在一次评估之后才进行下一次评估)方法,能够在很少的评估代价下得
到一个近似最优解.贝叶斯优化已经应用于网页
[24]
、游戏
[5]
和材料设计
[6]
、推荐系统
[7,8]
、用户界面交互
[9,10]
、
机器人步态
[11]
、导航
[12]
和嵌入式学习系统
[13]
、环境监控
[14]
、组合优化
[15,16]
、自动机器学习
[1722]
、传感器网
络
[23,24]
等领域,展示出令人瞩目的发展前景.
本文主要综述了贝叶斯优化方法的研究和应用领域.第 1 节引入贝叶斯优化的主要框架,并深入分析其优
化原理.第 2 节从模型选择角度介绍贝叶斯优化中两个核心组成部分:概率代理模型和采集函数.第 3 节介绍贝
叶斯优化过程中涉及的近似和优化技术.第 4 节综述贝叶斯优化方法的扩展及当前应用领域.第 5 节讨论其在
未来发展中将面临的问题与挑战.第 6 节对其进行总结.
1 贝叶斯优化
概率模型已经成为当前人工智能、机器人学、机器学习等领域的主流方法
[25]
.机器能够根据概率框架预测
未来数据,并且根据预测数据给出决策.这些问题的主要难点在于观测值具有不确定性,而概率模型能够对不确
定性进行建模,有效地解决观测噪声问题.Ghahramani 指出,贝叶斯优化是在概率机器学习和人工智能领域中几
种最先进、最有希望的技术之一
[25]
.
1.1 贝叶斯优化框架
贝叶斯优化是一种十分有效的全局优化算法,目标是找到公式(1)中的全局最优解.贝叶斯优化有效地解决
了序贯决策理论中经典的机器智能(machine-intelligence)问题:根据对未知目标函数 f 获取的信息,找到下一个
评估位置,从而最快地达到最优解
[26]
.例如:若已经评估得到 3 个不同输入 x
1
,x
2
,x
3
的目标函数值 y
1
,y
2
,y
3
,则如何
选择下一个评估点?贝叶斯优化框架能够在少数次评估下得到复杂目标函数的最优解,本质上,因为贝叶斯优化
框架使用代理模型拟合真实目标函数,并根据拟合结果主动选择最有“潜力”的评估点进行评估,避免不必要的
采样,因此,贝叶斯优化也称作主动优化(active optimization).同时,贝叶斯优化框架能够有效地利用完整的历史
信息来提高搜索效率.
贝叶斯优化之所以称作“贝叶斯”,是因为优化过程中利用了著名的“贝叶斯定理”:
1:
1:
1:
(|)()
(| )
()
t
t
t
pD f p f
pf D
pD
(2)
其中,f 表示未知目标函数(或者表示参数模型中的参数);D
1:t
={(x
1
,y
1
),(x
2
,y
2
),…,(x
t
,y
t
)}表示已观测集合,x
t
表示决
策向量,y
t
=f(x
t
)+
t
表示观测值,
t
表示观测误差;p(D
1:t
|f)表示 y 的似然分布,由于观测值存在误差,所以也称为“噪
of 23
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论