暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

首家!10000节点X86/ARM混部集群下,星环科技通过信通院云原生湖仓一体专项评测

星环科技 2023-12-06
241

近日,星环科技大数据基础平台TDH顺利通过中国信通院云原生湖仓一体大规模一数多芯专项评测,在10000节点X86、ARM混合部署集群下,湖仓数据集成、计算、存储、数据治理以及其他湖仓能力等五大能力域均满足云原生湖仓一体测试要求,成为首个通过该专项评测的数据产品平台,彰显了星环科技在云原生湖仓一体领域技术实力,以及在大规模数据管理和混合部署方面的技术优势

《云原生湖仓一体数据平台技术要求》由中国通信标准化协会大数据技术标准推进委员会TC601 WG1大数据技术与产品工作组组织编制,在体现存算分离、弹性扩缩容等云原生能力的同时,覆盖了云原生湖仓一体数据平台所具备的一系列能力,总体分为湖仓数据集成、湖仓存储、湖仓计算、湖仓数据治理、湖仓其他能力五大能力域,旨在帮助大数据产品供应商及用户方评估云原生湖仓一体数据平台的技术能力和研发方向

信通院《云原生湖仓一体数据平台技术要求》标准总体框架

“一数多芯”的概念是指一个大数据系统能基于异构芯片的硬件构建集群,并进行自由的扩缩容,且不影响服务和数据的完整性。“一数多芯”技术是未来大数据系统的发展方向。具备“一数多芯”能力的系统可灵活地运用硬件资源,节约硬件采购和维护成本,同时也增强了系统抵御市场供应风险的能力。

中国信通院提出一套适用于各类分布式大数据系统的“一数多芯”测试方案。本测试方案检验大数据系统的五大异构硬件兼容能力:异构硬件部署能力、异构硬件监控能力、异构硬件执行能力、异构硬件扩缩容能力、异构硬件高可用能力,能全面地对系统的“一数多芯”能力进行评估。

一数多芯评估框架

星环科技新一代云原生湖仓集一体架构,打破湖仓集边界

星环科技云原生湖仓集一体平台基于统一平台满足数据湖的实时接入、数据仓库的模型架构以及数据集市的在线分析等多种需求,让业务分析师、数据科学家、数据工程师等都能够访问实时数据、历史数据、贴源数据、加工过的数据。基于高性能存储格式Holodesk,只需一种存储格式即可同时满足湖仓集的数据接入、数仓加工和高性能数据分析,降低数据存储冗余,简化数据加工链路,提升业务时效性。同时,基于多种模型数据统一存储管理(11 种数据模型)、统一计算能力、统一接口,实现了数据跨模型的交互能力,帮助用户快速实现复杂业务,加速业务创新。

  • 实时入湖查询与分析:数据能够高吞吐低延时地实时接入平台存储,接入的结构化数据可以直接进行分析与查询,快速变现数据价值

  • 多模态数据统一管理:SQL入口、计算引擎、存储管理、资源管理四层统一,支持11种数据模型,一个SQL任务完成不同模态数据之间的关联计算与自由流转

  • 行列混合存储、一库多用:一张表同时支持行存/列存格式,存储层保证行列数据一致性,计算层自动判断使用行存或列存;一张表同时支持实时数据写入、高并发查询、批处理加工与OLAP分析

  • 标准SQL与存储过程兼容:统一查询语言,极大降低业务开发门槛,支持标准SQL,支持存储过程,支持Oracle/DB2/Teradata方言,兼容开源Hive/Impala等语法

  • 云原生资源隔离与共享:基于云原生技术架构,支持存算分层,资源弹性伸缩,提高资源利用率;数据存储可以按照业务需求将数据指定存放到对应磁盘中,实现IO隔离以及磁盘合理分配

  • 两地三中心数据同步:基于Raft协议数据一致性,支持故障自动迁移恢复,支持跨机房两地三中心部署,支持跨数据中心双活、多活,保障业务不中断

  • 湖仓集统一运维管理:平台统一运维,自动健康检查智能预警;平台统一权限管理,湖仓集统一授权统一管控;平台统一操作审计,敏感操作告警;平台统一监控告警,自定义统一告警通知规则

  • 自主研发、信创兼容:全栈产品自主研发,与信创上下游软硬件生态全面兼容,基于容器化技术支持异构CPU和多种操作系统混合部署,最大化利用资源,让用户逐步实现国产化平滑替代


星环科技凭借新一代湖仓集一体架构技术,曾接连入选IDC、Gartner、信通院等权威报告的湖仓一体代表供应商,屡获认可。
目前,星环科技湖仓集一体平台已经在金融、政府、交通、邮政、医疗、能源等行业以及大型国有企业落地应用,用创新的技术帮助用户打造自主可控、满足业务未来发展的数字底座。
点击文末阅读原文,查看星环科技湖仓一体解决方案


最后修改时间:2023-12-07 09:28:33
文章转载自星环科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论