
作为一个从业超过20年的大数据平台研发负责人,我管理的企业级海量大数据平台历经十多年的持续建设,数据仓库沉淀了几十万数据表,每日数据作业任务数超过60万个,支撑了万余个指标及千余张报表的数据服务。为了确保该平台的运行,我们投入大量的数据开发工程师和运维工程师。经统计,我们的大数据工程师每日要敲击上万次键盘和鼠标,机械性的工作已经不堪重负,但大数据相关的开发需求仍然在呈指数级的速度增长。
我完整的经历了以“代码开发”为主的大数据平台1.0时代,以及以“低代码配置化”为主的大数据平台2.0时代。在智能化新时代汹涌而来的今天,不禁重新审视我们的大数据体系:
我们应用了近30年的基于经验的数仓分层体系能否适应智能时代?
传统的基于IT视角的数据呈现与信息获取方式还能满足智能时代的需求吗?
以代码、映射、调度、流程配置为主的数据管理模式是否足够高效?
大数据集群人工经验+监控预警+事后修复的运维模式,是否能适应当前海量大数据应用?
直到人工智能技术的快速发展和大规模应用,对大数据平台进行智能化升级,智能大数据平台能够全面实现数据的自动采集、智能建模、智能分层、依需自动生成数据图谱,并对外提供智能数据服务,我明白基于人工智能的大数据平台3.0时代到来了!

大数据+人工智能让我从开发、应用、运维、管理四个方面感受到数智化的魅力:
在数据分层环节,基于AI能力,进行智能场景分层判断,匹配专家知识,以数据接口和结果表为基础,识别数据的结构特征,根据实际需求进行调整,通过迭代逐步完善分层逻辑,输出数据分层方案。通过智能分层,工作效率较过去提升56%,数据存储下降54%。
客户服务:利用行业数据及多年积累的客服知识库,训练行业大语言模型,结合智能客服管理平台灵活配置客服机器人,让“客服”更懂意图,服务更有温度。
三、在大数据运维方面,我通过智能运维建立智能化运维知识图谱及智能分析主动运维,面向通用运维场景提供智能化异常洞察和自我决策自愈等能力,辅助我快速精准的处理频发的、日常的生产隐患。对故障进行质量监测、数据生产及平台监控、根因诊断、故障自愈、方案推荐等,减少63%的运维工作量,降低系统运维压力,使我有更多的时间处理疑难杂症。
在数据服务环节,传统数据服务模式下,我的工作手工操作步骤多,多次填写、提交信息,过程复杂。现在利用智能大数据平台生成服务发布、配置数据、智能推荐、服务订阅,人工操作从至少71次提升为只需10次,为我减少86%工作量,提升服务效率。
通过几个月的使用情况来看,智能大数据平台与传统数据平台相比具备“基于大模型驱动”、“面向用户的无边界感操作”及“仅需要通过业务语言输入”三大变革,整体上可大幅缩减数据开发人员60%的工作量投入、减少50%的代码工作及50%的配置化工作,减少40%以上存储空间,大幅的降低了我的团队重复和机械性重复工作,把我从繁重的日常事务性工作中解脱出来,能有足够的时间思考和规划未来的发展方向,使我真正体会到了大数据+人工智能对传统大数据行业颠覆性的意义。





