大数据研究的科学价值.pdf
免费下载
8
专题
第 8 卷 第 9 期 2012 年 9 月
李国杰
中国科学院计算技术 研究所
大数据研究的科学价值
近年来，“大数据”已经成为科技界和企业界
关注的热点。2012年3月，美国奥巴马政府宣布投
资2亿美元启动“大数据研究和发展计划”，这是
继1993年美国宣布“信息高速公路”计划后的又一
次重大科技发展部署。美国政府认为大数据是“未
来的新石油”，将“大数据研究”上升为国家意
志，对未来的科技与经济发展必将带来深远影响。
一个国家拥有数据的规模和运用数据的能力将成为
综合国力的重要组成部分，对数据的占有和控制也
将成为国家间和企业间新的争夺焦点。
与大数据的经济价值相比，大数据研究的科学
价值似乎还没有引起足够的重视。本文试图对基于
大数据的科学研究（包括自然科学、工程科学和社
会科学）谈几点粗浅的认识，希望引起有关领域科
技人员的争鸣。
推动大数据的动力主要是企业
经济效益
数据是与自然资源、人力资源一样重要的战略
资源，隐含巨大的经济价值，已引起科技界和和企
业界的高度重视。如果有效地组织和使用大数据，
将对经济发展产生巨大的推动作用，孕育出前所未
有的机遇。奥莱利（O
’
Reilly）公司断言：“数据是
下一个‘Intel inside’，未来属于将数据转换成产品
的公司和人们。”
基因组学、蛋白组学、天体物理学和脑科学
等都是以数据为中心的学科。这些领域的基础研究
关键词：大数据 数据科学 第四范式
产生的数据越来越多，例如，用电子显微镜重建大
脑中的突触网络，1立方毫米大脑的图像数据就超
过1PB。但是，近年来大数据的飙升主要还是来自
人们的日常生活，特别是互联网公司的服务。据
IDC公司统计，2011年全球被创建和被复制的数据
总量为1.8ZB（10
21
），其中75%来自于个人（主要
是图片、视频和音乐），远远超过人类有史以来所
有印刷材料的数据总量（200PB）。谷歌公司通过
大规模集群和MapReduce软件，每个月处理的数据
量超过400PB；百度每天大约要处理几十PB数据；
Facebook注册用户超过10亿，
每月上传的照片超过
10亿张，每天生成300TB以上的日志数据；淘宝网
会员超过3.7亿，在线商品超过8.8亿，每天交易数
千万笔，产生约20TB数据；雅虎的总存储容量超
过100PB。传感网和物联网的蓬勃发展是大数据的
又一推动力，各个城市的视频监控每时每刻都在采
集巨量的流媒体数据。工业设备的监控也是大数据
的重要来源。例如，劳斯莱斯公司对全世界数以万
计的飞机引擎进行实时监控，每年传送P B量级的
数据。
数据为王的大数据时代已经到来，战略需求也
发生了重大转变：企业关注的重点转向数据，计算
机行业正在转变为真正的信息行业，从追求计算速
度转变为大数据处理能力，软件也将从编程为主转
变为以数据为中心。采用大数据处理方法，生物制
药、新材料研制生产的流程会发生革命性的变化，
可以通过数据处理能力极高的计算机并行处理，同
时进行大批量的仿真、比较和筛选，大大提高科研
9
第 8 卷 第 9 期 2012 年 9 月
和生产效率。数据已成为矿物和化学元素一样的原
始材料，未来可能形成“数据探矿”、“数据化
学”等新学科和新工艺模式。大数据处理的兴起也
将改变云计算的发展方向，云计算正在进入以“分
析即服务”（analysis as a service，AaaS）为主要标
志的Cloud 2.0时代。
IBM、Oracle、微软、谷歌、亚马逊、Facebook
等跨国巨头是发展大数据处理技术的主要推动者。
自2005年以来，IBM投资160亿美元进行了30次与大
数据有关的收购，促使其业绩稳定高速增长。2012
年，IBM股价突破200美元大关，3年之内翻了3倍。
华尔街早就开始招聘精通数据分析的天文学家和理
论数学家来设计金融产品。IBM现在是全球数学博士
的最大雇主，数学家正在将其数据分析的才能应用
于石油勘探、医疗健康等各个领域。eBay通过数据
挖掘可以精确计算出广告中的每一个关键字为公司
带来的回报。通过对广告投放的优化，2007年以来
eBay产品销售的广告费降低了99%，而顶级卖家占总
销售额的百分比却上升至32%。目前推动大数据研究
的动力主要是企业经济效益，巨大的经济利益驱使
大企业不断扩大数据处理规模。
科技界要应对大数据带来的技
术挑战
大数据研究的热潮激励基础研究的科研人员开
始考虑“数据科学”问题。但必须指出，目前大数
据的工程技术研究已走在科学研究的前面。当前的
局面是各个学科的科学家都以自己为主处理本领域
的海量数据，信息领域的科学家只能起到助手的作
用。也就是说，各领域的科学问题还掌握在各学科
的科学家手里，计算机科学家所提炼出的具有共性
的大数据科学问题并不多。当技术上解决不了的问
题越来越多时，就会逐步凝练出具有共性的科学挑
战问题。在条件还不成熟的时候，计算机科学家应
虚心地甘当一段时期的“助手”，虚心与各应用领
域的科研人员合作，努力解决各领域大数据处理提
出的技术挑战问题。对于网络大数据方面，计算机
学者的主动性可能会较早发挥出来。
美国政府六个部
门启动的大数据研究计划中，
除了国家科学基金会的研究内容提到要“形成一
个包括数学、统计基础和计算机算法的独特学科”
外，绝大多数研究项目都是应对大数据带来的技术
挑战，重视的是数据工程而不是数据科学，主要考
虑大数据分析算法和系统的效率。例如，国防部高
级研究计划局（DARPA）的大数据研究项目包括：
多尺度异常检测项目，旨在解决大规模数据集的异
常检测和特征化；网络内部威胁计划，旨在通过分
析传感器和其他来源的信息，进行网络威胁和非常
规战争行为的自动识别；Machine Reading项目，
旨在实现人工智能的应用和发展学习系统，对自然
文本进行知识插入。能源部（D O E）的大数据研
究项目包括：机器学习、数据流的实时分析、非线
性随机的数据缩减技术和可扩展的统计分析技术，
其中，生物和环境研究计划的目标是大气辐射测量
等气候研究设施，系统生物学知识库项目是对微生
物、植物等生物群落功能的数据驱动的预测。国家
人文基金会（NEH）项目包括：分析大数据的变化
对人文社会科学的影响，如数字化的书籍和报纸数
据库，从网络搜索，传感器和手机记录交易数据。
国家科学基金会（NSF）的大数据项目的重点也是
围绕突破关键技术，包括：从大量、多样、分散和
异构的数据集中提取有用信息的核心技术；开发一
种以统一的理论框架为原则的统计方法和可伸缩的
网络模型算法，以区别适合随机性网络的方法。
现有的数据中心技术很难满足大数据的需求，
需要考虑对整个IT架构进行革命性的重构。存储能
力的增长远远赶不上数据的增长，设计最合理的分
层存储架构已成为信息系统的关键。数据的移动已
成为信息系统最大的开销，目前传送大数据最便宜
的方式是通过飞机或地面交通工具运送磁盘而不是
网络通信。信息系统需要从数据围着处理器转改为
处理能力围着数据转，将计算用于数据，而不是将
数据用于计算。大数据也导致高可扩展性成为信息
系统最本质的需求，并发执行（同时执行的线程）
的规模从现在的千万量级提高10亿级以上。
of 8
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论