腾讯云TBDS：新一代数据湖仓实践，助力企业数据架构升级

腾讯云大数据 2024-10-28

287

导读本次分享主题为 TBDS 新一代数据湖仓助力企业数据架构升级。文中将介绍 TBDS 新一代数据湖仓产品的能力升级，以及 TBDS 新一代产品在企业数据架构实时化、云原生化升级中的实践。

主要包括以下几大部分：

1. TBDS 新一代数据湖仓架构

2. 全新架构全新体验

3. 环境全面适配

4. 企业数据架构升级实践案例

TBDS 新一代数据湖仓架构

腾讯云大数据 TBDS 是一款依托腾讯多年海量数据处理经验，基于云原生技术，泛 Hadoop 生态和最前沿的湖仓技术打造的可靠、安全、易用的大数据平台。TBDS 推出的新一代湖仓产品方案具备计算隔离强、存算按需伸缩、智能运维调优等高可靠性。通过统一元数据和统一的安全机制，TBDS 能够显著提升用户的用数体验，优化使用成本，赋能多场景应用，助力企业轻松驾驭各类工作负载，加速企业的数字化转型。

在新一代产品中，TBDS 灵活地为用户提供了两种架构下的大数据计算服务，在现有的传统架构大数据集群之外，用户可以无缝弹性扩展计算到新一代架构的湖仓计算服务当中，享受 TBDS 基于云延伸+大数据+AI 技术生态一同构成的 Lakehouse 计算服务。新一代计算服务和传统架构的大数据集群间，通过 TBDS 提供的统一元数据和统一权限管控体系无缝对接，畅享计算无限伸缩的丝滑体验。TBDS 基于 Lakehouse 数据架构打造的类数仓体验的全景湖仓产品，具备全场景支持、计算隔离、存算资源按需弹性调度、智能调优等高可靠特性，借助统一元数据以及统一权限体系，实现异构集群数据互访数据零搬迁，可大幅降低用户整体使用成本。

产品方案遵循开放标准设计，通过统一平台实现入湖、存储、计算、开发、管理等大数据业务核心流程的全面统一。

能力可以总结为以下五大核心特点：

开放敏捷：我们提供开放接口和 Serverless 架构，实现快速接入，高度集成和开箱即用的体验。
弹性伸缩：利用云原生架构支持存储和计算的极限伸缩。允许自定义弹性配置，实现资源共享和严格隔离间的平衡
混合负载：支持多种主流引擎，以满足多样化的工作负载，通过云原生跨级性调度，实现实时和离线任务的混合部署。
集约成本：安全加固，提供集中化的资源和权限管理,支持细粒度控制，确保数据流动和使用的安全性。
兼容统一：兼容经典大数据平台，以便于我们的业务升级，并通过统一元数据消除数据孤岛，最大化业务价值。

在当前场景下，用户在构建和应用大数据服务时，通常面临如下一系列挑战：

技术复杂性高：企业的基础设施运营规划、人才储备等多方面都有着很高的要求，一个企业通常需要数名资深工程师组成的团队才能管理运维一个数据湖系统。
运维配套设施匮乏：企业匮乏数据迁移、容灾备份、监控、异常告警等基础设施。
资源成本高：企业运营中对于计算存储资源很难提前进行准确的估计，成本非常高。
技术抗风险能力弱：在技术能力方面，由于开源技术繁多，规范各异，企业难以应对技术的高速迭代。

为了更好的应对挑战。TBDS 新一代湖仓架构在产品应用体验上实现了全面的升级，产品更加轻、快且易用，同时也提供了更加安全、更加可靠的服务。应用上，TBDS 湖仓采用 Serverless 形态，一次部署后，计算服务资源随开随用，按需伸缩，可灵活对接多种存储服务。极致敏捷，贴身陪伴用户的业务成长，同时 TBDS 提供从入湖到分析的全链路实施能力。新一代极速 OLAP 引擎能力全面升级，支撑业务查询实现了 3 倍提速，助力用户轻松升级 T+1 业务到实时业务。在日常业务当中，TBDS 全新提供的智能运维诊断服务，助力用户实现从决策支撑、集群运维到业务应用的全方面优化。

TBDS 湖仓提供的 All in One 全景数据分析解决方案，可以为用户提供全场景的数据分析解决方案，满足海量数据的高性能分析、数据科学以及近实时流批一体和 adhoc 场景下的灵活联邦分析，助力用户高效构建数据中台和数据分析能力。

业务应用上，TBDS 湖仓通过对数据湖的技术革新，全面助力用户的业务提升。统一元数据和权限体系，让用户的找数用数体验更加顺畅，安全性进一步提升。同时，智能运维支持上层业务和底层运维多种资源的统一优化，在入湖和存储维度上，用户可以充分享受 TBDS 在 Lakehouse 架构升级所带来的 Zero copy 和 NoETL 的红利。另外一方面，入湖能力进一步升级，支持业务数据的实时入湖，大大降低了数据存储成本和业务应用开发的复杂性。计算能力也进一步升级，流计算+新一代查询加速引擎，让业务更敏捷，充分发挥实时入户能力以及实时性带来的业务潜力。同时批计算支持近实时、小时级别的更新，极大地缩短我们的业务反应时间。在多个金融客户的场景当中，我们的全新架构升级助力客户发掘更多场景价值，在用户的移动应用程序、核心对账系统、后台风控系统、用户和人群画像系统，以及 adhoc 等查询场景中实现了数据架构的全面升级和持续业务优化。

接下来将展开介绍新一代 TBDS 湖仓架构带来的全新服务体验。

全新架构全新体验

湖仓架构作为大数据平台的演进方向，已经成为一个业界共识。这种新的架构旨在解决传统架构下的诸多痛点，包括数据孤岛、性能瓶颈、高并发和复杂查询限制，以及实时性不足和弹性资源欠缺等问题。但是，当前业界的湖仓解决方案仍然面临以下挑战：

架构升级困难：受限于湖仓方案，技术实现和管理机制，用户难以实现从传统数据平台架构到新湖仓架构的平滑过渡，导致新湖仓能力难以及时落地。
安全管控困难：湖仓一体场景下需要通过多引擎方式支持不同工作负载，但是传统模式下数据权限跟引擎深度偶合，用户需要进行多次授权，用户体验差，管理上也缺少统一的数据和资源管理视图。
运维复杂：大数据体系对接的应用场景复杂，同时，数据湖框架引发的小文件问题尚未得到彻底解决，增加了运维的难度。

TBDS 的新一代湖仓方案如何解决这些问题呢？

TBDS 提供的新一代统一元数据、统一权限服务和智能运维服务针对性地应答了以上一系列用户痛点。

（1）统一元数据服务

TBDS 统一元数据服务的设计理念不仅保留了传统架构的稳定性，还在保持技术先进性的同时，实现了与传统架构的无缝融合和深度兼容，有效解决了市场上同类产品在适应既有业务需求方面的不足，可以助力企业在技术升级和业务转型中的平稳过渡，完美兼顾了创新和连续性。具体体现在以下三个方面。

在开发层面，我们提供兼容 Hive 协议的统一访问接口，使得旧业务代码无需修改，便可在新湖仓架构平台上面运行，实现了完全兼容。
分析层面，基于统一元数据自动纳管旧集群源数据，可实现全域数据的无缝联邦计算跟分析。
在管理层面，TBDS 云湖仓通过虚拟集群技术实现跨多个 Kubernetes 资源的隔离和弹性伸缩，相较于 Yarn 提供了更加灵活的资源管理方案。

（2）统一权限服务

TBDS 在安全访问和用户体验方面也进行了全面的升级，提供了更强大的管理功能。主要亮点包括：统一身份认证，支持平台和资源的深度融合，显著简化了权限分配流程，跨引擎数据授权，通过权限仅绑定数据的机制，实现一次授权，所有引擎生效，提高了数据的使用效率；细粒度权限控制，实现对功能数据和资源的统一，细粒度集中管控，既增强了平台数据使用的安全性，又确保了数据流通共享的合规性和可控性。

（3）平台智能优化

同时，针对用户在使用和运维大数据服务中的各类痛点，TBDS 推出了全新的智能运维诊断服务，来帮助用户洞察、分析、定位和优化大数据服务。横向维度上，服务拓展了业务场景的支持，服务于数据开发工程师和业务分析师，提供更多引擎作业数据洞察能力，提升作业效率。纵向维度上，服务深挖系统运维优化，服务于系统运维工程师，提供运维和资源洞察的能力，提升集群的稳定性和整体的资源效率。

最后再结合决策支撑模块汇总的信息，TBDS 全新智能运维诊断服务，将以三维洞察和分析能力，支撑大数据业务和平台运维的持续优化提升。

环境全面适配

在服务升级之外，TBDS 也在不断增强对于国产化软硬件环境的适配能力。

TBDS 平台灾备产品模块以及迁移工具全面兼容海光、鲲鹏、飞腾等国产 CPU，同时也适配了麒麟、统信、Tencent OS 等满足金融信创要求的操作系统。并且我们通过腾讯自研的 KonaJDK 在大数据领域的专项优化，以及 TBDS 多年以来在信创大数据领域的经验沉淀，TBDS 实现了对于国产软硬件性能的极致优化，可以最大化地发挥硬件性能潜力，充分保证业务的信创升级。

TBDS 同时提供了丰富的部署环境支持，支持在多种交付环境中进行快速部署。其中一个重要的升级是基于 TCE 平台，新一代 TBDS 升级了完整的云数一体能力，统一对接 TCE 云平台的资源和用户体系，支持一键部署 TBDS 大数据服务，免去了复杂的前期准备。我们更加深度支持联动 TCE 上的各类云产品和云平台服务，统一企业的云资源，优化大数据建设和使用成本，扩展我们大数据分析服务的应用场景。

企业数据架构升级实践案例

在多个行业的头部用户当中，新一代 TBDS 平台的能力已有成功的落地应用案例。

在某头部保险公司，TBDS 湖仓助力用户实现了司内的多个大数据湖的统一，并且实现了客户核心业务的实时化改造，从T+1 或小时级的业务升级成分钟级。同时，结合腾讯 WeData 的数据开发治理能力，实现了客户业务数据集成、开发、治理到数据资产盘点、资产运营的全链路无缝贯穿。

在某头部股份制银行，新一代 TBDS 助力用户全面实现了大数据平台的信创国产化升级。通过 TBDS，用户实现了一系列新规划的落地，包括大数据系统容灾能力的全面升级，大数据业务和系统优化的智能化，以及集群内 X86 和 ARM 硬件的混布。同时结合产品的灵活部署方案，解决了行内数据的安全隔离需求和大规模集群的性能瓶颈限制，满足了行内全场景的业务诉求和未来业务升级的需求，实现了对于客户未来业务长期发展支持的连续性。

在未来，我们将继续完善 TBDS 湖仓大数据平台。在更多大数据场景的能力支撑和使用体验优化，并且探索更多新场景和性能优化的方向，腾讯云大数据始终致力于为各行业客户提供轻快、易用的智能化大数据平台。

关注腾讯云大数据公众号

邀您探索数据的无限可能

点击阅读原文，了解更多相关产品详情

↓↓↓

腾讯企业运维工程师企业架构大数据业务支持

文章转载自腾讯云大数据，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

腾讯云TBDS：新一代数据湖仓实践，助力企业数据架构升级

评论