FastData云课堂 | 详解如何构建多级数据湖，助力企业完善湖仓一体数据底座

DEEPEXI滴普科技 2023-01-06

795

近期，滴普云课堂之如何构建多级数据湖已完成直播分享。此次课程全面解析多级数据湖的架构与应用场景，助力企业轻松实现大规模数据的采集、存储和分析，更好地完善数据基础设施，释放数据价值。本期讲师为滴普科技FastData DLink产品部总监高捷。

本期看点

1. 企业为什么需要多级数据湖

2. DLink多级数据湖架构方案

3. DLink核心技术与应用场景

4. DLink应用方案业务价值

企业为什么需要多级数据湖？

随着企业数据规模持续的高速增长，大数据基础设施技术从数据库、数据仓库、数据湖演化到湖仓一体架构。Gartner在湖仓演进路线的分析中就提出，目前供应商和用户正在从两个方向接近湖仓一体：传统数仓供应商将数据湖功能添加到他们的平台，数据湖供应商正在添加数仓的能力；而大多数企业将数据湖和数据仓库部署在不同的数据平台，需要针对具体的应用场景进行个性化的优化。

对于大型集团企业用户来说，内部大多分总部、子公司，业务部门也存在着多部门、多团队共享使用的场景。而且，企业原有的数仓和资产不可能轻易丢弃，存在数据湖和数据仓库共存的情况。因此，企业在升级原有大数据架构时，必须满足生态兼容，迁移成本低等需求，构建多级数据湖便成为最行之有效的解决方案。

DLink多级数据湖架构方案

作为滴普科技核心产品FastData中的数据底座，实时湖仓引擎DLink可以支持物理数据湖、逻辑数据湖多级架构，帮助企业进行跨湖数据管理。譬如，不同Linkhouse（逻辑数据湖）可以支持Iceberg、Hudi多种格式，且支持结构化数据和非结构化数据统一存储；也可以通过数据目录授权共享的方式实现跨湖查询。

多级数据湖架构

针对如何构建多级数据湖架构，DLink具备数据入湖、湖仓管理、数据探查、数据分析四类优势：

1、数据入湖

支持20多种多源异构数据以实时或离线批量的方式同步到数据湖，且支持非结构化、结构化数据、半结构化数据入湖，满足多种数据查询与应用，简化入湖开发工作。

2、湖仓管理

提供湖仓内数据的统一管理，包括数据源和数据目录（Catalog）管理、自动表运维，以及小文件合并、删除过期快照等；且能合理配置计算和存储资源，实现湖仓权限分配和管理及跨湖管理。

3、数据探查

支持实时及离线数据探查，可使用统一编辑器进行开发，支持SQL 作业、JAR 作业、ETL 作业等多种作业类型，并提供线上运维管理能力。

4、数据分析

支持联邦查询，可对历史数据分析查询的任务进行查看；支持HTTP、JDBC、ODBC等多种方式连接外部BI工具；支持对接机器学习平台，使用数据集、非结构化数据等进行数据探索及管理。

DLink核心技术与应用场景

基于云原生技术架构基础上，DLink自研的国产大数据基础平台Tarim，支持多种数据源与数据湖的统一，实现PB级数据的亚秒级存储计算。基于DLink Mesh能力扩展支持多级分布式数据湖架构，连接多个数据孤岛实现多湖管理，并具备统一的多租户权限和安全管控机制，实现加速查询和联邦数据分析。

面对复杂的应用场景，滴普科技认为，构建多级数据湖的重点，就是以物理或者逻辑的方式实现租户间的元数据隔离，同时还能保持元数据在权限控制下的分享和互通，而DLink基于物理湖（多租户）/逻辑湖/项目空间的多级灵活设计，满足多业务层级下的跨域数据湖使用需求。

同时，DLink提供了分布式数据湖+统一Catalog管理的思路，既可以统一管理跨域多模元数据，又可以实现分布式数据湖的权限管控；还提供SQL引擎，基于物化视图做了大量优化，满足查询加速、联邦查询和数据处理的需求。

DLink应用方案业务价值

以某大型国有企业为例，其原先的计算引擎只能查询Hive仓库，其他业务库数据需要先迁移到Hive再做查询，通过使用DLink多级数据湖功能，新增联邦查询分析引擎，实现跨多个数据库查询分析，数据类型包括Iceberg、Oracle、Hive、PG、Greenplum等，具备了跨地域、跨湖查询能力，减少了数据搬迁。

目前，DLink已经应用于数据基础设施、制造供应链、零售供应链、财务管理、双碳等典型场景，未来滴普科技也将继续发挥实时湖仓架构技术优势，为更多大型国央企业完善数据基础设施，助力企业全面提升数据管理能力。