评测回顾 | 滴普科技实时湖仓平台FastData通过中国信通院云原生数据湖测试

DEEPEXI滴普科技 2023-03-15

221

3月14日，中国信通院就第十五批可信大数据评估评测结果，发布滴普科技实时湖仓引擎DLink的评测回顾文章，对产品核心功能、实践案例进行了详解。

日前，滴普科技实时湖仓引擎 FastData for DLink V2.2.2（以下简称DLink）,通过中国信通院云原生数据湖基础能力评测。这是继2021年12月后，DLink再一次获得可信大数据评估评测证书。

DLink作为滴普科技实时湖仓平台FastData中的数据底座，采用存算分离架构，提供多种数据类型的统一存储能力，具备数据入湖、实时计算、即席分析、湖仓管理、统一元数据管理等核心功能。尤其是滴普科技自研的Tarim存储计算引擎，作为核心产品FastData实时湖仓平台的底层核心组件，可以实现PB级数据的亚秒级存储计算，并基于DLink Mesh架构扩展支持分布式多级数据湖，具备统一的多租户权限和安全管控机制，实现加速查询和联邦数据分析。

产品核心功能

就云原生数据湖基础能力来看，DLink拥有五大优势：

DLink产品架构图

1、流批一体

DLink采取企业级流批一体数据湖架构，支持流批一体计算，统一的数据基础架构与开发逻辑，同时支持系统数据流作业与批作业，复用实时数据处理和历史数据逻辑，统一Connector，降低学习、使用、维护成本。

2、湖内建仓

支持CDC能力，可以通过流读新增变更数据的方式构建实时数仓；提供事务ACID能力，保证数据写入一致性，并且提供快照能力，保证读写的并发，同时提供upsert/merge into的能力，可以极大地缩小数据库入库延迟。

3、湖仓管理

提供湖仓内数据的统一管理，包含小文件合并、删除过期快照等功能，并基于Ranger实现对数据类资源进行权限控制；支持catalog/database/table/view/function列表级别权限控制。

4、PB级数据实时和批量处理

DLink单引擎架构支撑海量数据实时和批量处理的能力，通过隐藏分区（Hidden partition）、分区裁剪（Partition prune）、谓词下推（Predicate pushdown）等技术，降低IO请求，防止用户写的SQL有问题而导致的慢查询，实现PB级数据的亚秒级响应能力。

5、存算分离

采取存储计算分离架构，可根据业务特性动态升降配和扩缩容；支持直接读取离线数仓数据，系统负载均衡调度更加灵活，利用率更高，并以更低成本交付部署生产系统。

此外，DLink还可与20多种异构数据源集成，支持10余家国产化兼容和信创互通性认证，支撑海量数据实时和批量处理的能力，可以实现PB级数据的亚秒级响应。

基于在湖仓一体相关技术上的积累，DLink已经实践于数据基础设施、制造供应链、零售供应链、财经管理、双碳等典型场景，帮助企业构建云原生湖仓一体平台，助力大型国央企完善数据基础设施。

客户案例：某能源集团

为夯实数据基础设施之“底”，滴普科技DLink在海量多模数据存储、提升数据服务时效性等方面表现突出，对于国央企筑牢数据基础设施底座，沉淀企业数据资产，赋能新业务发展起到了重要作用。

以某能源集团为例，该集团是以油气业务、工程技术服务、石油工程建设、石油装备制造等为主营业务的综合性国际能源公司，是中国主要的油气生产商和供应商之一。2018年，集团打造了国内首个油气行业首个智能云平台，其依托数据湖和PaaS技术实现勘探开发生产管理、协同研究、经营管理及决策的一体化运营，支撑勘探开发业务的数字化、自动化、可视化、智能化转型发展。

为提升油田勘探开发数据的服务时效性，该集团希望由离线数仓升级为新一代实时湖仓，实现全量油田数据入湖。基于此，滴普科技将DLink实时湖仓引擎与该集团现有平台进行集成，支持结构化、半结构化数据的实时汇聚，同时能够实现数据实时计算、联邦查询等高级特性。

通过滴普科技的湖仓一体技术赋能，为该能源集团提供了11大类全量油田数据入湖服务，并基于滴普科技DLink Mesh提升油田勘探开发数据服务的时效性，及主数据湖和分布式区域湖管理等能力，支撑八大油气数据应用智能场景。以数据驱动业务价值，让数据实现可用、好用、易用。