敦煌网 x 滴普科技 FastData Cloud | 基于亚马逊云科技打造云上湖仓一体数据智能新标杆

DEEPEXI滴普科技 2023-01-09

413

随着企业数字化转型的不断深入，数据对于业务的价值和重要性也逐渐凸显。越来越多企业意识到，只有不断提升底层数据基础平台的性能和能力，才能构建数据驱动的业务，增强企业核心竞争力。

作为湖仓一体数据智能基础软件独角兽企业，滴普科技助力敦煌网在云上构筑数据智能基础设施的实践案例，得到媒体报道。

为企业打造湖仓一体数据智能平台

针对企业在数据管理和数据价值挖掘方面的需求，滴普科技在亚马逊云科技上打造的FastData Cloud 实时湖仓平台基于现代数据栈的建设思路，全面整合了从数据源到数据分析以及数据价值实现的完整链路，帮助企业建立统一治理、流批一体、湖仓一体的云原生数据智能平台，打造高弹性扩展、实时高处理性能、低运维成本、操作和体验更优的云原生数据智能平台，实现海量数据实时分析，让数据平台真正成为支撑企业数字化转型的核心基础设施。

加速企业数据价值洞察

滴普科技通过云上提供的计算能力和基于人工智能帮助企业降低数据准备与数据分析门槛，即使是普通业务人员，也可以自助在 FastData Cloud 中完整实现从数据源的接入，到数据预处理、建模和服务完成整个数据分析过程，并方便结果分享。支撑多种数据源的接入和管理，让 FastData Cloud 可以通过轻量化的数据接入服务与算法识别表之间的关系，快速生成表关联。搜索分析引擎是基于 NLP 技术的创新，可自动将自然语言转化 SQL 实现自然语言搜索分析。

高效实时反馈搜索结果支持即席查询，用户无需长时间等待数据分析结果。FastData Cloud 内置实时运算在对3000万行规模的数据进行常规查询可做到秒级响应。亚马逊云科技所提供的计算能力基于与英特尔十多年的工程合作关系，在云上构建定制硬件以确保亚马逊云科技服务能够在针对客户工作负载进行优化的平台上运行。

图：滴普科技基于亚马逊云科技构建的 FastData Cloud

滴普科技FastData DataFacts 产品总经理刘波表示，在选择合作的云服务提供商时，亚马逊云科技是我们的首选伙伴。我们可以无缝对接亚马逊云资源，包括 Amazon S3 的数据湖存储、支持开源大数据框架的 Amazon EMR 服务打造一站式大数据分析服务。我们的 FastData Cloud 解决方案采用存储、计算分离架构，即使在海量数据之上，也能实现高性能高并发的处理与查询需求。再结合增强数据准备、探索式分析、高效反馈结果等简单易用的产品功能，助力企业客户的业务人员及时做出决策。”

滴普科技基于亚马逊云科技构建的 FastData Cloud 功能

客户案例——敦煌网大数据平台

敦煌网是全球领先的在线外贸交易平台，专注小额 B2B 赛道，为跨境电商产业链上的中小微企业提供从店铺运营、流量营销、仓储物流、支付金融、客服风控、关检汇税到业务培训等环节的全链路赋能，打造集相关服务于一体的全平台、线上化外贸闭环模式，极大降低中小企业对接国际市场的门槛，在赋能国内中小产能的同时惠及全球中小微零售商。

在业务发展初期，敦煌网客户主要采用第三方机房服务器托管方式为业务提供支撑，随着业务和数据量的增长，算力瓶颈无法实现高效伸缩、大量数据资产无法实现自上而下的高效管理，企业需要更加智能化的方式来挖掘更多的来自大数据的价值。

针对敦煌网的业务现状与需求，亚马逊云科技合作伙伴滴普科技为客户提供了包括数据平台咨询与建设的完整方案，帮助客户构建符合当前业务需求和未来发展的新一代大数据平台，以解决电商数据源多样、数据量大、数据类型多的管理难题，并在云上借助 Amazon S3 统一数据湖与 Amazon EMR 统一的数据框架服务实现数据的快速采集、存储、安全管理与大数据处理。在数据治理方面，滴普科技将 FastData Cloud 实时湖仓平台中的数据智能开发平台 DataFacts 嵌入客户业务中，为客户的数据工程师提供包括数据集成、数据治理、数据开发、数据目录能力，从而实现数据价值可持续释放。

图：滴普科技为客户提供的数据智能开发平台与亚马逊云科技融合架构

客户获得的价值：

在成本方面，通过 Amazon EMR 弹性可扩展的云上大数据解决方案替代传统本地托管的服务器，实现业务高峰期生产环境资源的扩展，并可在集群空闲时期自动实现缩放节点和关闭集群，将此前高昂的基础设施成本转化为更灵活的业务运营成本。
在数据开发效率方面，客户借助滴普科技 FastData Cloud 进行可视化的界面协同开发，调度支持日均百万级的大数据任务执行，并实现了嵌套 DAG，采用更加灵活的子 DAG 任务混合编排方式，为 DAG 下存在多层级子 DAG 嵌套使用的复杂调度场景提供更灵活与稳定的支持。
在数据安全方面，通过 FastData Cloud，帮助客户使用平台的能力对脚本进行统一的可视化管理，使增删改操作可追溯，保证了数据开发的脚本在平台的开发与测试、生产环境的开发权限控制，从而增强了业务数据集的安全性与平台操作的审计能力。
在数据治理能力方面，通过 FastData Cloud 提供的能力，客户利用数据建模围绕数据标准保证数据在建模与开发环节的质量。通过 Amazon EMR 与 FastData Cloud 的结合，很好地形成了统一的数据资产地图，实现端到端的数据一站式治理。

目前，滴普科技 FastData Cloud 一站式云原生大数据分析平台已经上架亚马逊云科技Marketplace，企业客户能够通过订阅的方式快速获得该解决方案，并得到来自滴普科技和亚马逊云科技的技术支持。未来，亚马逊云科技合作伙伴滴普科技将继续在数据基础平台与数据治理等方面保持紧密合作，共同推出更多的产品和服务，立足中国，面向全球，助力中国企业出海，助力其大数据平台建设稳中有升，成就中国品牌全球发展。