暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【厂】实时化湖仓一体,释放全量数据价值

韩锋频道 2022-07-30
414

近期,巨杉数据库举行线上发布会,发布基于「湖仓一体」架构的v5.2版本,提升多项「实时」能力,诠释公司「释放全量数据价值」的价值主张。


双核心:交易核心+数据核心,让全量数据实时可得



过去的10年,是信息化向数字化转型的10年,伴随数字化的深化发展,企业不但需要面向业务交易的信息化传统「交易核心」,同时更需要面向数据价值的「数据核心」。移动互联网、AI、IOT、大数据等的兴起与发展,数字化成为企业的全新课题,数据库是企业数字化转型的基石。


信息化时代,「交易核心」解决的是交易系统的问题,面向渠道、产品、客户、核算及清算等业务流程,确保业务闭环。其交易过程产生的海量流水数据,将成为「数据核心」的生产要素。


数字化时代,「数据核心」解决的是数据的采集、整理、聚合、运用等问题。数字化新核心将为信息化「交易核心」提供实时、跨业务的全量数据,以及基于数据的决策依据,实现数据价值的持续释放。



「实时」是「释放全量数据价值」的关键。10年前,巨杉数据库自萌芽之初就意识到,数据会成为社会发展关键的要素资源,需要提供面向全量数据的实时对客及高并发处理能力。业界遇到的普遍痛点是,面向「交易核心」的数据库因架构及技术限制仅能服务于指定的业务系统,且无法处理全量数据;以Hadoop为代表的大数据产品虽然可以存放全量数据,但无法提供实时处理能力,两者皆无法满足全量数据实时对客服务的发展需求。因此巨杉毅然开始了自研原生分布式数据库内核的道路,从「多模数据湖」、「实时数据湖」发展到「湖仓一体」,为客户提供「数据核心」所需的全量数据存储,实时对客服务,及基于统一数据源的分析能力,充分激活客户的离线数据。


四大实时能力提升,SequoiaDB v5.2释放全量数据价值



巨杉数据库基于湖仓一体架构的SequoiaDB v5.2版本进行了多项更新,此次发布会主要介绍了四大实时特性的能力提升。即将发布的SequoiaDB v5.2版本让全量数据的价值从「内部离线」向「实时对客」进一步释放。



查询更实时,所有数据可毫秒级访问。面向结构化数据,SequoiaDB v5.2版本提供深度的Join优化及列存微分区技术,在多个查询场景下,性能达到了毫秒级实时返回;分析场景中,性能更获得了10倍以上提升,让数据湖的查询分析更实时。


存取更实时,吞吐量提升30%以上。面向非结构化数据,巨杉通过「分片并发」及「可变分区大小」的技术,相比原有版本,SequoiaDB v5.2版本吞吐量提升30%以上,让数据湖的非结构化数据存取更实时。


诊断更实时,业务问题分钟级定位。发布会上,巨杉数据库发布SAC运维管理工具的重要特性更新,运行监控方面提供了全GUI的性能及故障分析能力,SAC基于分布式架构的实时诊断,可实现业务问题分钟级定位。


全量数据生命周期管理,提升人效及能效。部署架构方面,支持多配置硬件的混合部署,针对高并发数据与低并发数据,做到按需调度;面向横跨结构化、非结构化数据,提供一体化的开发及管理能力,提升人效及能效,在成本可控的前提下,实现全量数据实时可用。


技术迭代互补,而非替代



巨杉数据库深耕第三代分布式数据库技术,我们认为分布式数据库的星辰大海,绝不仅限于对交易核心数据库的替代。SequoiaDB的「湖仓一体」是从「多模数据湖」、「实时数据湖」结合「实时数仓」发展而来,为客户提供「数据核心」所需的全量数据存储,实时对客服务,及基于统一数据源的分析能力,充分激活客户的离线数据。SequoiaDB正通过湖仓一体架构提供面向多模、实时、分析的需求,与各类集中式及分布式交易核心数据库成为上下游合作伙伴,驱动数字化业务创新,释放全量数据价值



60年前诞生的第一代数据湖,以网格型、层次型数据库为代表,至今还有不少企业依然在使用;第二代数据库,以处理交易核心业务的关系型数据库为代表,是当前业界的主流。第一、第二代数据库大都基于集中式架构,因架构、数据结构的限制,导致大量的数据产生后,无法对业务流水、用户过程数据等全量数据做保存沉淀。往往需要将全量数据异步导出到大数据等后端平台,无法提供给终端用户实时查询分析,成为了仅对内部使用的离线数据,难以满足终端用户实时查询需求。



巨杉数据库SequoiaDB通过基于「湖仓一体」架构,支撑企业的「数据核心」。从企业多个「交易核心」数据库所产生的业务流水数据,可以以流式入湖的方式,秒级汇聚到SequoiaDB形成全量数据底座。


实时数据湖:为不同业务的跨系统查询,或多年流水数据获取,提供高并发的实时查询能力,所有数据实时可得。相比原来跨多系统进行数据异构访问的方式,SequoiaDB协助客户将业务响应时间从分钟、小时级延迟,到秒级延迟的改变,让用户满意度获得大幅提升。


多模数据湖:为影像系统、远程银行等需要大量管理非结构化数据的系统,提供多模数据湖技术重点优化非结构化对象数据的高并发实时存取能力,实现跨多数据类型的一体化管理,提升研发及运维的“人效”。


实时数仓:在数据湖内提供高性能分析引擎,可以协助企业基于准确而且统一的数据源,进行数据的实时探索及分析、统计、加工,降低数据再次流动的开销,提升数据处理“能效”,构建绿色低碳的数据基础设施。


未来,巨杉数据库SequoiaDB也将持续聚焦于分布式特性,通过「湖仓一体」架构为客户打造「数据核心数据库」,成为数字化时代下坚实的数据基础设施。在“信创”产业中,坚持践行信息技术应用创新的理念,服务于企业全量数据实时业务场景,与各类集中式及分布式交易核心数据库成为上下游合作伙伴,驱动数字化的业务的创新发展,释放全量数据价值。

文章转载自韩锋频道,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论