
近日,柏睿数据与华鲲振宇、鲲鹏联创共同打造的智算一体机重磅发布。此前,该智算一体机雏形产品方案已在运营商、智能制造、医疗等核心业务场景落地应用,满足政企用户极速增长的智算系统建设需要和不断变化的AI业务需求。
在数据要素产业中,运营商是数据供应商、数据服务商重要参与者之一。为全面支撑大数据中心业务高质量发展,保障核心业务系统安全可靠,中国移动某省级公司大数据中心开启了核心基础软硬件的国产化升级之路,努力为公司各业务中心,以及省内、全国、全球的行业客户提供最广泛、最坚实的大数据基础设施资源和服务。
千万级业务数据量,如何啃下这块“硬骨头”?
早先,该省级公司的大数据中心采用最通用的Oracle Exadata软硬一体化产品作为底层技术平台,来支撑超过20个大小不同、特性各异的业务应用数据模型中。本次业务系统的国产化升级,率先聚焦在其中计算结构复杂、千万级数据多表关联的主营销售业务分析模型。
主营销售业务分析模型主要通过处理和分析来自多个业务经营系统的海量数据,完成业务套餐分析,进一步实现个性化推荐、精准营销和资源优化,为客户提供更加智能化的服务。本次主营销售业务分析模型的国产化升级,也对数据库的计算性能、并发量、运维等方面提出了更高的要求。
针对来自多个数据源的TB级规模数据,亟需一款能够支持高并发业务量、低时延、可扩展、高性能的数据库来支撑复杂查询分析;尤其未来伴随业务数据量持续增长,业务人员工作效率将受影响。
精简架构,避免操作复杂、反复调试等问题,同时降低数据库运维成本。
经过大数据中心专家的严谨调研,本次数据库系统的国产化替代,初步选定用分布式MPP(大规模并行处理)产品来替换原有的集中式方案。
柏睿数据RapidsDB迎战,打造极致性能、安全可靠的数智基座
市场上存在众多MPP数据库产品,该大数据中心的专家重点考察了数据库的成本经济性、维护可用性、业务侵入性、公平公正性、生态兼容性五大原则,最终决定将模型迁移到柏睿数据RapidsDB上。

RapidsDB是一款分布式全内存数据库,可助力企业轻松实现实时数据分析与海量数据高效管理,专注于OLAP应用,同时满足HTAP场景需求。
基于全内存分布式架构,支持代码即时编译、动态查询优化等查询优化方式,支持向量化计算引擎、行列混存、数据分区,支持20+多源异构数据的统一查询,可实现PB级规模数据存储与实时在线分析,3000亿条数据查询秒级响应。
分布式非共享MPP架构,协同节点、数据分片架构进一步提升集群运行效率,支持动态扩缩容,并保证数据一致性。
数据和日志以快照的方式持久化存储到磁盘;提供内外部冗余和实时同步机制,满足两地三中心的建设需求,确保24×7稳定高效服务。
100%兼容MYSQL语法协议,维护可用性高且成本低,兼容性高且开发难度小。

RapidsDB集群部署的物理架构
提速业务应用,RapidsDB多技术发力
在完成RapidsDB集群部署后,对主营销售业务分析模型进行优化提速是关键一步。主营销售业务分析模型包含上百张中间表、数十张业务大表,操作过程十分复杂。RapidsDB采用了SQL建表调优、向量化执行引擎、数据共享、多表关联查找等方式来进行性能优化。
完成性能优化后,主营销售业务分析模型运行在RapidsDB提供的技术环境上,能够做到充分支撑海量数据的大规模并行运算,支持复杂SQL查询,支持准实时指标计算,以及准实时数据更新。
经实际应用场景验证,主营销售业务分析模型在内置RapidsDB的柏睿智算一体机环境下的平均执行时间,比Oracle Exadata的平均执行时间大幅提升了3倍,查询分析效率显著提升;同时在多并发任务执行过程中,RapidsDB也有更加优异的性能表现。
在柏睿智算一体机产品方案的强力保障下,
该大数据中心的主营销售业务分析模型不仅平滑迁移,打造了全国产环境;
成功实现性能提升,助力业务人员高效便捷、即时灵活地挖掘商业价值,通过数据驱动提高运营效率和决策科学性,为客户提供更高效、更精准、更智能的个性化服务;
新系统建设和运维成本大幅降低。
以本次国产化升级成果为辐射点,沉淀核心基础软件国产化升级的经验。
未来,中国移动省级公司将与柏睿数据开展存量数据和增量数据的迁移工作;并以RapidsDB作为数据库国产化升级的优秀平台试点,指导大数据中心其它业务系统的国产化升级工作,释放大数据价值,赋能行业“智”变,夯实数字中国建设的数智算力基座。
推荐阅读



你的 在看 为智能数据算力点赞




