数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。
对此，作为国内互联网云服务的头部代表，腾讯云就构建了一套完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现商业价值。
腾讯云存储高级产品经理林楠在2022分布式存储线上峰会, 以“云原生时代下的数据湖存储服务”为题，介绍了腾讯云数据湖存储架构的建设思路与场景化的应用案例分析，为听众提供了应用参考。
从云原生到数据湖存储
当我们提到云原生时，很多人第一反应会是Serverless、容器化这样的概念。近些年，云原生的概念逐步泛化，涵盖了很多产品服务，抽象来说，云原生是一种分布式系统的设计范式，在这种范式里，它应该具有弹性、高效、安全、稳定、简单以及开放，这种典型的特征。
弹性的设计，能够保证计算和存储集群可以随着业务需求非常方便地扩缩容，减少整个集群的使用成本；高效的设计，可以保证在最短时间内完成业务的需要，增加企业效率；安全的设计，能够最大程度保障业务全生命周期的安全，提升资产的可靠性；稳定的设计，能够保障业务的连续性，保障整个业务的高可用、高可靠；简单的设计，可以让业务侧以及企业客户更方便理解、快速上手；系统的开放设计，能利用整个生态的力量，助力业务发展。
什么是数据湖存储？一个最直接的定义就是集中式的存储库，它不仅应该满足海量存储的需求，也应该去存各种各样多种格式的数据，对数据的入湖，包括数据的出湖提供支撑。
为什么需要数据湖存储这样的服务？一个最直接的原因就是数据越来越多了，不仅仅意味着数据规模的增加，数据字段、格式的增加，而数据增加，我们投入在数据清洗还有分析这样的环节的时间也变得更多，相应的企业效率就可能会降低。
在过往的一些研究报告里面，或多或少反映了关乎企业的一个问题，那就是降本增效。在整个大数据的市场上，需要有更强的能力的集群去满足所有数据的存储，需要尽可能减少集群的运维和使用的成本。在这种背景下，市场上逐步形成存算分离的方案架构，尽可能提升整个存储还有计算的利用率。
第一个真正意义上的大规模的一个分布式存储服务，可能用的是HDFS，在公有云时代下，慢慢演进成了对象存储，相较于HDFS，对象存储有比较高的可用性，还有数据的持久性，以及使用成本较低，相应的运维难度也会更低，但在最开始，很多企业客户选择对象存储作为冷数据的备份，因为这里面其实有一个非常关键的性能问题没有解决，原生的对象存储在访问迟延，吞吐带宽这块做得并不够好，而且它其实支持的是一个对象存储协议，没有办法支持HDFS在文件里的访问，但是有一个非常关键的这点就是有一个趋势，就是分布式文件系统和对象存储的一个特性，还有功能正在逐步统一。
这一点不管是在线下或者说线下和私有云或者公有云，它都是一个正在发生的事。最大的作用就是能够降低整个方案的复杂性，还有上手难度，为企业上云的部署提供了一个非常完备的方案。那么在我们的数据湖方案里，时常会有性能、成本的困扰，那么数据分层，其实是一个非常好的兼顾性，还有成本上很直观的方案。
大数据里面的热数据访问其实具有一个非常典型的低级大带宽的特性，基本上用完就走。随着时间推移，它会产生大量的数据，有很多的数据也在慢慢地变冷、变得不那么经常被访问，而对象存储，刚好可以解决海量低成本的一个存储问题。
构建数据湖存储服务生态
在这种思路的指导下，我们去做一个缓存层，在计算端做一个缓存层来减少IO距离，提升性能，其实是一个性价比非常高的方案。如果这么一个缓存层能够把一个多协议兼容、多协议支持的问题也解决了，把文件语义的能力也提供上，其实整个方案就会非常完美。
腾讯云提供了一个可组的方案，在2021年的时候我们主要推出了三项重磅的产品服务，分别是数据加速器GooseFS、AZ加速器、还有元数据加速器服务。
数据加速器GooseFS，是能够提供一个智能的分层的缓存架构，能够在计算端缓存的一些热数据，帮助用户降低对象存储的访问带宽；
AZ加速器，采用了海量强一致的缓存技术，能够在可用区级别，利用高性能的SSD集群提供Tbps级海量吞吐；
元数据加速器，采用了分布式的元数据管理技术，提升10倍的元数据操作性能，在过往的客户实践当中，帮助客户带来了非常显著的收益。
腾讯云构建起整个企业的一个数据治理方案，帮助企业实现数据要素的快速流转，以及价值发现，数据湖存储在整个方案里面其实是处于一个非常核心的地位。在整个方案里，无论是原始数据的存储，还是在计算或者分析过程当中的一些中间数据，以及最后进一步推送到下游的一些结果数据，都会在数据湖存储上进行流转。
数据湖存储可以看作整个公有云的一个数据集散中心，这其中，腾讯云的数据升级加速器就有效提升了系统的流转速度，还有访问的性能。（讲解全部内容可搜索DOIT学院查询）
解锁更多精彩
关注DOIT视频号
