
本文由《高等工程教育研究》授权发布
作者:计卫星 高小鹏 张龙 束传政
目前全国已经建有600多个“数据科学与大数据技术”专业,高校围绕知识体系、课程体系、实践体系等开展了大量研讨和实践工作,但是相应人才培养工作质量评价和保障体系的建设远滞后于专业建设,缺少被企业和高校广泛认可的人才能力评价体系。本文通过文献调研和数据统计分析,结合大数据相关岗位需求现状及其技能要求,提出一种产学研协同的大数据技术能力评测体系和实践路径。该体系是一个兼容并包的开放体系,实现了不同企业的技术体系、评测认证体系与第三方标准参考体系的对标和互认。评测标准制定和评测组织实施广泛邀请企业专家参与,构建校企协同的大数据技术能力评测体系,促进良性大数据人才生态建设,为企业选人用人、高校专业建设与持续改进、个人职业规划提供参考依据。
关键词:大数据;能力评测;新工科;校企协同育人
1
大数据技术能力评测相关背景
随着信息技术的发展,特别是互联网、物联网、云计算等技术的广泛应用,数据生产和数据消费的模式已经发生了变化。原来是少数公司生产数据,大多数人群消费数据;而现在大多数人既是数据的生产者也是数据的消费者。信息技术与经济社会的交汇融合引发了数据迅猛增长,遍布世界各地的智能设备、传感器、电子商务网站、社交网络每时每刻都在生成类型多样的海量数据。数据已成为国家基础性战略资源,大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。[1]
2015年国务院发布《促进大数据发展行动纲要》[2],2016年工信部印发《大数据产业发展规划(2016—2020)》[3],2018年两会政府工作报告和十九大报告中,进一步强化了大数据的应用地位,实施大数据行动计划是大势所趋。纲要中提到要建立健全多层次、多类型的大数据人才培养体系,鼓励高校设立数据科学和数据工程相关专业,重点培养专业化数据工程师等大数据专业人才,鼓励采取跨校联合培养等方式开展跨学科大数据综合型人才培养,大力培养具有统计分析、计算机技术、经济管理等多学科知识的跨界复合型人才。
中国信息通信研究院的调研结果表明,到2020年中国大数据市场规模将达到586亿元人民币,接近六成的企业在大数据领域的投入将持续增加,政策限制、数据资源短缺和数据人才短缺是限制企业大数据发展最主要的三个因素。[4] 华为技术有限公司和计世咨询2018年发布的《中国ICT人才生态白皮书》表明,信息技术产业人才错位主要表现为供需错位、区域错位、结构错位和梯队错位4个方面,到2020年中国大数据领域人才需求缺口扩大至257万人。白皮书特别指出,当前大数据行业最缺乏的是对行业业务理解和数据应用诉求都了解的人才。[5]
面对如此巨大的人才缺口,如何在短时间内培养出符合产业需求的大数据人才,如何通过校企协同构建良好的大数据人才生态成为亟需解决的问题。构建校企协同的大数据技术人才能力评测体系并通过评测选拔人才,不仅能够检验大数据人才培养的质量,也能为企业选人用人提供参考,同时也对学校的专业建设和个人职业规划提供参考。
2
大数据岗位需求调研与分析
为了了解大数据人才需求的实际现状,作者通过关键字匹配从人才招聘网站上获取了1000多个大数据招聘岗位信息,然后对这些信息进行统计分析,发现目前产业界对大数据工作岗位并没有形成一个统一的认识。各个公司在招聘网站上发布的岗位名称和技能要求也不尽相同。大数据开发工程师存在不同的名称,如大数据开发工程师、大数据研发工程师、大数据平台工程师、大数据系统工程师、大数据测试工程师,此外还有资深和高级等限制性描述。对于大数据算法工程师,则包括了分析、挖掘和算法等几个方面。除了大数据开发工程师和算法工程师以外,在需求岗位中还存在大量与大数据咨询规划管理相关的岗位,例如大数据技术总监、大数据文案和大数据售前等岗位。如图1所示,为了开拓行业应用,复合型人才更为稀缺,例如大数据相关负责人、大数据技术主管等工作岗位。这样的岗位需求分布表明目前大数据行业应用和项目开发占主导地位,咨询规划管理类和开发类占比比较高。可以想象,经过长期的应用开发和推广,越来越多的大数据系统会被部署到各行各业,大数据运维工程师的岗位需求会逐步增加。

图 1 大数据人才需求情况
再进一步分析每个岗位的技能要求,按照编程语言来看(如图2所示),Python、R和Java是所有的技能要求中提到最多的3种语言。除此之外,Scala由于Spark的广泛应用占比达到了8%。虽然受到Python和Go的冲击,传统C/C++语言仍然占有一席之地,占比超过了10%。这里需要特别说明的是SQL语言和Shell脚本语言,分别达到了10%和6%,由此可以看出,计算机专业的基础知识仍然非常重要,是进行大数据知识延展和提升的重要基础。

图 2 岗位技能中编程语言的需求情况
如图3所示,Hadoop和Spark是岗位技能中平台和工具部分提到最多的,除此之外,数据管理、流式计算等相关工具占据了非常重要的位置。需要注意的是,Linux和MySQL仍然占据重要的位置,其原因与前面提到的SQL语言与Shell脚本类似。

图 3 岗位技能中平台和工具的需求情况
根据上述分析可以看出,一方面目前产业界亟需大量大数据人才,另一方面大家并没有形成对大数据工作岗位的统一认识。大数据正处在与各行业深度融合,深化创新和发展的阶段,应用开发岗位需求占据了主导地位。当然全能型大数据人才的需求也非常旺盛,只有对行业现状、系统架构、分析算法和数据都有所了解,具有丰富的工作经验和行业经验,才能成为团队领导者。从现有岗位的技能要求也可以发现,岗位技能与技术发展密切相关,而随着信息技术和大数据技术的日新月异式发展,相应岗位技能要求也会快速跟进与变化。
在2018年出版的《大数据标准化白皮书》中,根据大数据生态将商业角色分为3类,分别是:数据提供者,大数据产品提供者和大数据服务提供者。[6] DataCamp是2014年成立的一家数据分析在线教育平台,该平台将大数据相关的岗位分为数据工程师和数据科学家两类,其中数据工程师主要负责开发、构建、测试和维护系统,例如数据库和大规模并行和分布式处理系统;而数据科学家则主要负责整理和组织数据,进行描述性统计,分析挖掘潜在的价值,构建模型解决商业问题。同时,他们也认为,从技能上看,二者也不是完全独立的,在工作职责和范围上是有交叉和重叠的。大数据分析主要包括了商业逻辑理解、数据理解、数据导入、数据清洗和管理、统计建模和机器学习、分析报告生成和可视化显示几个步骤。而在这个流程中,数据工程师和数据科学家是共同参与和协同完成的,只不过二者在不同阶段参与的程度和完成的工作量各有不同。例如,在商业逻辑理解、数据统计分析建模、机器学习和报告生成与可视化显示方面,数据科学家占据主导地位;而在数据理解、数据导入、数据清洗和管理方面,数据工程师则占据主导地位,因此二者密切相关但是各有侧重。
由于大数据是一个交叉学科,大数据应用系统包括了数据、算法和平台三个方面,因此从不同的角度看人才培养的目标是各有侧重的。如果从数据的角度看,主要可以分为数据工程师和数据科学家;如果从系统的角度切入,则包括了架构设计和系统开发;如果从算法的角度看,又包括了数据挖掘、机器学习等。但是不管从哪个角度切入,大数据人才的培养应该按照研究型、应用型和技能型三个层次进行。研究型主要专注于某一个学科方向,注重知识发现,要求在某一个方向上做到高精尖;而应用型人才除了具有较强的专业基础知识以外,还需要对行业背景有一定的了解,其主要工作是根据应用场景选择合适的架构、算法和工具实现特定的应用和服务;技能型主要目标是具有一定的专业基础知识,能够熟练使用相关的系统和工具,主要关注数据管理和系统运维。
3
大数据技术能力评测体系
大数据技术能力评测应考虑不同的岗位需求,评价体系和框架应具有一定的灵活性,能够为不同的岗位和需求提供可伸缩的人才筛选方式。更为重要的一点在于,大数据脱离不开实践,因此其对应的评测也应是理论与实践相结合的,这样才能给出更加全面和有信服力的评测结果。同时,新工科大数据技术能力评测的重点应该放在应用型和技能型人才上,这是因为研究成果往往需要经受时间的检验。研究型人才应采用学术评价标准检验,不应该也不宜对不同研究成果进行统一评价。
新工科大数据技术能力评测由信息技术新工科产学研联盟[7]和中国软件行业协会联合发起,华为、腾讯、浪潮等企业深度参与。新工科大数据能力评测是针对高校信息类专业学生和与信息产业从业人员进行信息技术能力测试,旨在检验新工科人才培养成果,打造良好的校企协同信息技术人才培养生态,为信息产业的人才培养、人才评估、人才聘用等提供权威、可信、统一的第三方评价服务。
以下从评测目标、评测组织、评价机制、评价等级和评测大纲等方面对新工科大数据能力评测进行详细阐述。
1. 评测目标
大数据技术能力评测的目标需与新工科的战略背景及理念相匹配。相对于传统的工科人才,未来新兴产业和新经济需要的是实践能力强、创新能力强、具备国际竞争力的高素质复合型新工科人才。[8-10] 因此,大数据人才评价的目标是能够正确客观的反映人才综合素质,突出强调工程实践能力和跨界整合能力,为企业选人用人提供有价值的信息,为高校大数据人才培养提供参考,为个人职业发展提供决策依据。
2. 评测组织
大数据技术能力评价工作需要建立一个有效的组织形式,这个团队应该包括来自高校、企业和科研院所的专家,结合高校、企业的各自优势和特点,通过校企协同推动大数据技术能力评测工作。Dubey等人的研究也表明大数据人才的培养不仅仅是对现有的教学进行变革,并且只有学校一方是不够的。[11] 大数据能力评测组织结构如图4所示,其中指导委员会由来自高校、科研院所和企业的专家组成,对评测大纲的编制、试题的编制进行指导和审核;工作组负责评测工作的具体组织和实施。评测组织是高校、科研院所、第三方平台和企业在人才培养、评测实施和人才筛选方面形成多方面和多维的合作关系,共同构造良好的大数据育人环境,形成贯穿式和可持续发展的人才生态。

图 4 新工科大数据技术能力评测组织
3. 校企协同的人才评价机制
新工科建设行动路线中突出强调了产业在人才培养中的地位和角色,其指出新工科建设应加强产业发展对工程科技人才需求的调研,做好增量优化、存量调整,主动谋划新兴工科专业建设;将产业和技术的最新发展、行业对人才培养的最新要求引入教学过程,更新教学内容和课程体系,建成满足行业发展需要的课程和教材资源。[12] 从以上内容可以看出专业建设和课程建设两个方面均离不开产业的支持,同理,人才培养效果的评价也离不开产业,新工科人才评价特别是大数据技术能力评测也应面向产业最新发展现状和未来发展趋势组织实施。
大数据技术能力评测采用校企协同的评测机制,如图5所示:

图 5 校企协同的人才评价机制
在该评测体系中,由相关的评测专家组确定评测目标、编制评测大纲、评测试题和设定岗位能力模型。为了使培养的人才更好的满足企业的用人需求,评测目标、评测大纲和岗位能力模型要邀请相关企业进行评估和确认。在此过程中,专家组根据企业的反馈结果对评测目标、评测大纲和岗位能力模型进行修正,形成评测目标和企业需求确认的小循环。修正完成后向全社会发布,供参加评测的人员查阅。相关机构组织评测人员参加考试,并根据岗位能力模型计算评测结果,最后向参加评测人员、高校、企业和专家组发布评测结果,作为各方改进大数据人才培养、推动学校专业建设的一个重要依据,形成大数据人才培养的良性循环,构建人才培养的良好生态。
为了培养适应社会和经济发展需求的大数据人才,专家组应定期对评测目标、评测大纲和岗位能力模型进行更新和调整,重新与企业专家一起对上述内容进行评估和审定,并不断收集、编制和更新试题,紧跟技术发展的步伐和产业对大数据人才的需求,推动大数据技术能力评测的不断发展与进步。
为了保证评测试题的多样性和与应用结合的紧密性,专家组可以向企业、其他单位和个人征集试题,并依据评测大纲对试题进行筛选、改编和汇编,以形成更切合实际应用和需求的评测题目。
4. 评测等级和路线
大数据技术能力评测是理论与实践相结合的,因此需要和具体的技术相结合。但是现实情况是,除了开源平台和工具外,现有公司的技术路径各不相同。虽然每个公司都已经建立了自己的评测认证体系,但是相互之间因为商业竞争和技术路线的不同难以统一和融合,其关注的重点也各不相同,为此需要一个第三方非盈利性的机构,制定评测的统一参考标准框架,综合考虑高校的人才培养,企业的技术路线和认证评测体系,进行整体协调和人才生态的良性构建。
基于上述考虑,新工科大数据能力评测提出如图6所示的大数据技术评测能力体系,该体系将评测分为四个不同的层次,其中基础理论部分包括了基本概念和原理等内容,是相对稳定的知识体系;联盟参考2级以上为技术相关的部分,分别对应大数据技术中的基于工具的应用开发、面向场景的应用开发以及算法设计、性能优化和数据安全等内容。该框架以开源统为参考形成一个评测的标准体系,定义每个层级评测的内容,并使企业的各个层级与开源体系的相应层级对齐。这里需要说明的是,除基础知识层之外,剩下的三个层次并不需要企业实现一对一的层级映射,部分企业可以只支持2级和3级,有的企业直接支持更高层级。

图 6 大数据技术能力评测体系和路径
在这样的一个框架体系中,需要高校和企业之间密切协作才能完成整个人才能力的评测,一方面需要企业参与基础知识层面的评测工作,这样不仅可以加强理论和实践的互动,也更便于实现基础知识层和技术层的过渡;另一方面,企业在设计自己的技术层评测认证时,需要参考高校专家的意见,以保证评测知识体系的完整性以及与标准参考体系的对应性。
在这样的一个交互过程中,也是校企协作互相了解和互相融合的过程,一方面让高校了解了企业的最新技术,能够将最新的技术导入课堂教学中;另一方面,也方便了企业对人才的选拔和培养过程,使人才的成长路径更加清晰。
5. 评测大纲
新工科大数据技术能力评测1级主要考查被评测者对计算机基础知识的掌握程度,对一般大数据概念、流程和方法的认知程度,以及针对基本数据操作和处理、数据分析和可视化理解程度与编程实现能力。能力评测2级重在考查学生对常见大数据平台和工具的基本工作原理理解程度和编程应用能力,通过评测的人员应胜任大数据开发团队骨干成员的岗位要求。能力评测3级面向不同的应用场景,要求评测者能够组合各个工具和平台,给出总体的解决方案和实现技术路径,通过评测的人员应成为大数据开发团队的负责人。能力评测4级则重在考查大数据系统性能调优、数据分析算法设计和数据安全管理等高级话题,参加评测人员应具有丰富的工作经验和行业经验,在某一方面有突出特长或对某项技术有深刻理解。
表 1新工科大数据技术能力评测内容

6. 岗位能力模型设定
随着时间的推移,技术也是在不断发展和变迁的。对于评价的结果而言,应给出所有参加评测人员的相对结果,而不是一个孤立的评测结果,这对企业更有参考价值。例如,新工科大数据技术能力评测采用雷达图的方式对各个维度进行可视化展示,并与参加测试的人群的平均值进行比较分析,或者与某一个岗位人群的评测结果进行对比分析,更能清晰的展示参加评测人员的技术特长与弱项,以方便企业评判,也方便被测人员进一步学习和提高。

图 7 大数据技术能力评价结果示意图
4
评测体系实践
2019年,基于本文设计的大数据技术能力评测体系,组织完成全国范围内的第一次大数据技术能力评测。此次评测以华为技术有限公司的技术体系和评测认证体系为例,通过多次研讨完成了企业认证体系和标准体系的对标与互认,并与其他多家企业完成了初步的认证体系对标,验证了本文所提出的校企协同的大数据技术能力评测体系的有效性和有用性。
在具体组织实施过程中,同时面向企业和高校征集评测试题,在评测指导委员会的指导下,完成评测试题的筛选与评测试卷的组卷工作。试题既包括了理论部分内容,也包括了与实践密切相关的知识,实现了理论与实践相结合的评测目标。本次评测完成参考标准一级、参考标准二级(华为大数据HCIA)和参考标准三级(华为大数据HCIP)3个等级的大数据技术能力评测,共有来自全国高校的600多名考生报名参加首次评测,最终136名同学分别通过不同级别的评测考试,获得了由企业和中国软件行业协会共同认可的评测证书。
评测结束后,工作组及时进行了评测成绩的反馈,并向企业推荐了评测成绩优秀的同学,企业也为这些同学提供了面试机会,通过这些面试进一步对评测体系的有效性进行了验证,不仅实现了人才培养的闭环反馈,也为评测体系及其后续持续改进指明了方向。
5
总结
新工科教育教学质量保障体系是一种多元复合的新体系,主要包括全链条教学评价反馈机制、全要素学生学习评价机制和全方位社会评价机制。[13] 校企协同的大数据技术能力评测体系是一种有效的社会评价机制和手段,是对现有的三级专业认证体系的有益补充,在得到广大用人企业广泛认同的基础上,构建了完整的新工科人才能力评测体系,实现了不同企业之间评价标准的统一,高校和企业之间评价标准的统一,并通过实践初步证明了体系的合理性和有效性。
评测仅仅是检验人才培养效果的一种方式,更为重要的是为有学习意向的人群提供学习的便利条件和环境,因此加强专业建设,课程建设和师资培养是重中之重。这就需要高校和企业携手努力,打造精品课程,开放教学资源,做好长远的规划,共同构建良好的育人环境和生态。
参考文献:
[1]梅宏. 大数据导论[M]. 北京:高等教育出版社,2018:3.
[2]中华人民共和国中央政府网站.国务院关于印发促进大数据发展行动纲要的通知[EB/OL].[2015-08-31].http://www.gov.cn/zhengce/content/2015-09/05/content_10137.htm.
[3]中华人民共和国工业和信息化部网站. 工业和信息化部关于印发大数据产业发展规划(2016-2020年)的通知[EB/OL].[2017-01-17].http://www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c5464999/content.html.
[4]中国信息通信研究院. 中国大数据发展调查报告[R]. 中国信息通信研究院, 2018:4.
[5]华为技术有限公司, 计世资讯. 中国ICT人才生态白皮书[R]. 华为技术有限公司,2018:8.
[6]中国电子技术标准化研究院. 大数据标准化白皮书(2018 版)[R]. 中国电子技术标准化研究院. 2018:3.
[7]张龙,高小鹏,计卫星,等. 信息技术新工科产学研联盟工作方案解读[J]. 工业和信息化教育, 2018(3):5-9+26.
[8]吴爱华,侯永峰,杨秋波,等.加快发展和建设“新工科”主动适应和引领新经济[J].高等工程教育研究,2017(1):1-9.
[9]顾佩华.新工科与新范式:概念、框架和实施路径[J].高等工程教育研究,2017(6):1-13.
[10]吴爱华,杨秋波,郝杰.以“新工科”建设引领高等教育创新变革[J].高等工程教育研究,2019(1):1-7+61.
[11]RAMESHWAR DUBEY, ANGAPPA GUNASEKARAN. Education and training forsuccessful career in Big Data and Business Analytics[J]. Industrialand Commercial Training. 2015(47):174-818.
[12]中华人民共和国教育部高等教育司. “新工科”建设行动路线(“天大行动”)[EB/OL].[2017-04-08]. http://www.moe.gov.cn/s78/A08/moe_745/201704/t20170412_302427.html.
[13]刘坤,陈通. 新工科教育治理“五位一体”价值结构析论[J]. 天津大学学报(社会科学版),2020,22(3):230-234.

扫码即可申请加入在线教育交流群
更多资讯
【MOOC透视】这桩被称为“将改变在线教育未来格局”的强强联合,了解一下……
【MOOC透视】元宇宙仍属于单纯的大型科技公司,只不过更大而已
【MOOC透视】室联网智慧教育正迎来RISC-V软硬结合的黄金时代




