暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Pure Storage的战略转型:迈向云原生存储的未来

Andy730 2024-09-03
171

核心观点

  1. 市场机遇与战略目标:Pure Storage CEO Charlie Giancarlo表示,公司计划在年底前与一家超大规模客户达成合作,这将标志着其核心存储技术成功进军公有云市场。

  2. 存储解决方案的演变:公有云存储市场初期以定制化解决方案为主。随着行业发展,云服务商(CSP)逐渐通过并购初创企业来快速获取先进的存储技术。

  3. 数据移动性的重要性:在多云环境下,数据移动性至关重要。利用原生存储平台的复制功能,可以高效地跨不同环境迁移数据,从而降低网络成本。

  4. 技术优势与成本效益:Pure Storage的Purity操作系统通过软件定义的方式管理闪存,有望帮助CSP降低存储成本,尤其是在超大规模存储场景下。

  5. 未来的挑战与选择:尽管Pure Storage具备成为超大规模客户首选存储供应商的潜力,但CSP们仍有其他选择,例如自行开发定制存储硬件。CSP强大的经济实力和资源使其能够在存储领域进行持续创新。

-----

在最近的财报电话会议上,Pure Storage首席执行官Charlie Giancarlo重申了公司将于年底前与一家超大型客户达成合作的计划。这一消息对于公司、行业乃至所有在公有云环境中部署应用程序的客户都具有深远影响。

背景

在公布2025财年第二季度财务业绩后,Pure Storage首席执行官Charlie Giancarlo重申了公司与超大规模企业达成合作的积极进展。他表示,双方已从对Pure Storage核心技术的评估阶段,深入到集成解决方案的测试阶段,并进行了长达数月的合同谈判。Giancarlo对年底前赢得首个超大规模客户设计胜出充满信心。

参考Pure Storage 2025财年Q2财报电话会议实录(PPT)

这一进展是否意味着Pure Storage阵列将以“原生”方式部署在公有云中?抑或是存在更复杂的实施方案?回顾云存储的部署历史,我们或能窥见端倪。

构建

在公有云发展的初期,各大平台供应商纷纷定制开发了专属的存储解决方案。2006年,Amazon推出的S3服务(尽管对象存储的概念已不是新鲜事)凭借其创新的S3 API标准迅速成为行业标杆。与此同时,AWS的另一款核心存储服务EBS起初采用传统硬盘,而后随着客户需求的不断演进,逐渐转向更具韧性、更高吞吐量和更佳可用性的存储介质。

云存储的构建是一项复杂的工程,涉及硬件(如Nitro、Azure Boost等加速器)和软件的深度优化。公有云环境对存储系统的要求独具特色,如自服务、按需供应、高设备更换率,以及对详细使用数据的精确记录和计量。

尽管本地化存储和云存储在许多核心功能上是相通的,例如韧性和性能,但云存储还需满足一些独特的数据优化需求,比如数据保护、快照等,且这些需求并不总是完全转嫁给用户。

收购

企业对存储功能的需求与公有云服务高度契合,这解释了为何各大云厂商纷纷通过收购存储初创企业来扩充自身产品线。例如,Amazon收购E8 Storage,Google云收购Elastifile,Microsoft收购StorSimple和Avere Systems,Akamai收购Ondat,IBM收购Cleversafe。

我们可以看到,这些收购对云厂商的产品产生了显著影响:E8 Storage的技术助力Amazon开发了io2 EBS存储;Elastifile的技术被用于改进Google Filestore;Google还将Intel DAOS用于Parallelstore;IBM则利用Cleversafe的技术提供了对象存储服务。

-----

Amazon io2 EBS

- E8 Storage的技术被用于开发io2 EBS存储

- 最高性能的EBS卷,吞吐量、IOPS和容量达到gp3的4倍

- 支持亚毫秒级延迟,专为满足苛刻的应用性能和延迟要求而设计

- 每卷最高256,000 IOPS,4,000MB/s吞吐量,64TB容量

- 适用于Oracle、SAP HANA、SQL Server等I/O密集型关键任务部署
Google Filestore
- Google收购Elastifile后推出的托管文件存储服务
- 提供高性能、可扩展的NFS文件存储,适用于需要共享文件系统的应用
- 与Google Compute Engine和GKE无缝集成,支持自动扩展和高可用性
Google Parallelstore
- 基于Intel DAOS构建的Google自有并行文件系统
- 针对大规模并行工作负载优化,如HPC、AI训练等
- 提供高吞吐量、低延迟的文件存储,支持多种协议如NFS、SMB等
IBM Cleversafe
- IBM收购的对象存储技术,用于构建IBM Cloud Object Storage服务
- 提供可扩展、安全、经济高效的对象存储解决方案
- 支持多种部署模式,包括软件、设备和云服务
- 采用纠删码等技术提高数据可靠性和可用性
-----

购买

除了收购初创企业,另一种增强云存储能力的途径是将现有存储解决方案原生集成到公有云环境中。NetApp便是其中的佼佼者,成功将ONTAP直接部署到AWS、Azure和Google Cloud等主流公有云平台。这种部署方式的独特之处在于,ONTAP不仅能在云端运行,而且可以通过云API进行管理和操作,实现了真正的“云原生”。

目前,NetApp是唯一一家将存储产品原生集成到多个公有云平台的公司。虽然AWS也支持Windows Server、Lustre和OpenZFS等文件系统,但这些解决方案与ONTAP的云原生特性相比仍有一定差距。

-----

NetApp ONTAP 产品能力包括:

  • 多协议支持:同时支持NAS(NFS、CIFS)和SAN(iSCSI、FCP、NVMe)协议,适用于多种应用场景。
  • 数据保护:提供NetApp Snapshot(快速的Point-in-time备份)、SnapMirror(跨系统数据镜像)和SnapVault(集中备份)等功能,确保数据的安全性和可恢复性。
  • 存储效率:采用数据去重、压缩和内联数据压缩等技术,显著提高存储效率,降低存储成本。
  • 高可用性与性能:支持高可用性(HA)故障转移,确保关键任务应用的连续性。ONTAP可提供高达数十GB/s的吞吐量和数百万IOPS的性能。
  • 灵活的部署选项:可在本地、虚拟化环境或公有云(如AWS、Azure、Google Cloud)中部署,支持混合云架构。
  • 自动化与集成:提供REST API和自动化集成功能,支持AI驱动的预测分析和纠正措施,简化管理流程。

公有云支持如下:

  • AWS:通过Amazon FSx for NetApp ONTAP,提供高性能、高可用性的文件存储,支持企业级数据服务。
  • Azure:Azure NetApp Files允许用户无缝迁移NFS和SMB工作负载,减少迁移时间,提供优化的性能。
  • Google Cloud:Google Cloud NetApp Volumes提供全面的数据保护和高性能存储,支持多协议文件访问,简化企业应用的迁移。
-----

数据移动性

选择内部开发还是采购现有存储厂商的解决方案,对于企业而言是一个关键决策。其中,数据移动性是影响这一决策的重要因素。在现代IT环境中,计算资源很少孤立存在,数据往往在多个应用程序和平台之间共享。因此,能够安全、高效地将数据在不同环境之间迁移,是存储系统的一项核心功能。

原生存储复制功能是实现数据迁移的最佳途径。以NetApp SnapMirror为例,该工具能够高效地将NetApp ONTAP存储卷中的数据复制到公有云。通过跟踪内部元数据,SnapMirror大幅降低了数据迁移的开销。相比之下,非原生解决方案通常需要复制整个数据卷,这不仅浪费带宽,而且增加了网络成本。

-----

NetApp SnapMirror

  • 高效的数据复制:SnapMirror通过跟踪内部元数据,仅复制自上次更新以来变更的数据块,从而大幅降低了数据迁移的开销。
  • 复制方式:SnapMirror支持异步和同步复制,其中异步复制仅传输新快照,而同步复制提供零恢复点目标(RPO=0),确保主备数据一致。
  • 基线传输:在首次调用SnapMirror时,会执行基线传输,创建源卷的快照并传输引用的数据块,以快速完成初始复制。
  • 带宽利用:SnapMirror的增量复制和网络压缩技术使得带宽利用率显著提高,非原生解决方案通常需要复制整个数据卷,导致带宽浪费和成本增加。
  • 多样化的复制拓扑:SnapMirror支持一对一、一对多和多对多的复制拓扑,灵活性高,适应不同的业务需求。
-----

Pure Storage

Pure Storage与超大规模云服务商的合作,表明其在云原生存储市场雄心勃勃。通过将FlashBlade和FlashArray等旗舰产品线引入这些客户的核心存储环境,Pure Storage旨在提供更卓越的性能、更高的可靠性以及更灵活的扩展性。此举不仅能满足超大规模客户对存储系统的苛刻要求,还能巩固Pure Storage在业界的领先地位。

考虑到Azure平台已具备Cloud Block Store,且支持Azure VMware Solution,因此Azure成为Pure Storage潜在的重要合作伙伴。通过与Azure的深度合作,Pure Storage有望在混合云场景下提供更全面的存储解决方案。

竞争

将Pure Storage的FlashBlade或FlashArray部署到云服务商环境中,能够为CSP带来诸多益处。Purity操作系统独特的FTL抽象层,将闪存管理从硬件固化转变为软件定义,为应对不断增长的闪存容量和性能挑战提供了灵活的解决方案。

随着大容量SSD的普及,其性能表现逐渐受到限制。Purity的FTL抽象层能够有效缓解这一问题,提升存储系统的IOPS性能,并通过高效的数据韧性化机制,保障数据的可靠性。对于CSP而言,这不仅降低了硬件成本,还提高了服务的稳定性。

此外,Purity操作系统还为跨云数据迁移提供了便利,促使客户在本地部署Pure Storage解决方案,从而形成统一的数据管理平台。

-----

Pure Storage Purity
  • 软件定义的闪存管理:Purity的FTL抽象层使得闪存管理不再依赖于硬件,而是通过软件实现。这种转变使得存储系统能够更灵活地适应不同的工作负载和性能需求。

  • 性能优化:通过将闪存管理的复杂性转移到软件层,Purity能够实现更高的性能。具体来说,Purity可以在32 KiB随机I/O下提供超过7 GiB/s的吞吐量,典型延迟低于1毫秒,确保对延迟敏感应用的快速响应。

  • 数据去重与压缩:Purity利用其软件定义的架构实现高效的数据去重和压缩,能够高达5.4倍的数据缩减,显著提高存储效率并降低成本。

  • 高可用性与可靠性:Purity设计为99.999%的可用性,能够在并发双驱动故障的情况下自动重建,确保业务连续性。此外,所有元数据与数据存储在同一闪存块中,简化了数据恢复过程。

  • 简化的维护与管理:由于Purity的FTL抽象层消除了对复杂硬件管理的需求,系统维护和升级变得更加简单。Purity支持非中断性操作,允许在不影响应用性能的情况下进行扩展和维护。

-----

实施

虽然与Pure Storage达成合作协议可能会引发大规模部署FlashArray系统的预期,但我们认为更合理的路径是:云服务商(CSP)授权使用Purity软件,并基于此构建高度定制化的硬件平台。Purity是FlashBlade和FlashArray的核心知识产权,结合定制化的Direct Flash Modules(DFMs),能够提供卓越的存储性能。对于超大规模客户的庞大容量需求而言,开发定制化的硬件,例如定制机箱或机架规模存储解决方案,是一种可行的且具有成本效益的策略。

替代方案

自然,我们对Pure Storage可能的计划进行猜测。如果不希望从现有存储厂商处购买,超大规模客户还有哪些替代选择?

超大规模客户若不欲受限于现有存储厂商,可自行构建定制存储解决方案。除了直接采购大容量SSD外,亦可考虑:
  1. 定制SSD:随着120TB以上SSD的推出,定制化SSD将成为可能。然而,大容量SSD的I/O密度随容量增长而显著下降,如Western Digital数据所示。因此,简单地替换SSD并不能线性提升性能。
  2. 自研存储控制器:仿效Amazon收购Annapurna Labs的模式,超大规模客户可收购存储控制器厂商(如Phison、Marvell等),并基于其知识产权开发定制存储控制器,构建类似Purity的软件生态。
  3. 收购存储芯片厂商:为实现更深度的垂直整合,超大规模客户亦可考虑收购存储芯片厂商,以掌握核心技术。

Microsoft收购Fungible便是这一趋势的体现。其他潜在收购目标包括Kalray、Pliops、GRAID和ScaleFlux等。

分析师观点

如果Pure Storage能够成功说服主要超大规模云服务商,将其核心存储替换为FlashBlade或FlashArray,这无疑将是公司的一大胜利,并带来可观的收入增长。然而,鉴于公有云服务商具备强大的规模经济优势和雄厚资金,他们完全有能力自行构建或收购定制存储解决方案。

自公有云市场兴起以来,各大厂商便一直致力于提升服务质量并降低成本。规模经济效应促使他们逐渐从通用企业级解决方案转向定制化方案,包括为计算、网络和存储等环节开发定制化的硬件。

存储介质的优化是下一阶段的重点。我们认为,Pure Storage的系统设计模型独具特色,为行业从通用SSD向定制化存储的过渡奠定了坚实的基础。未来,可能出现两种情况:一是Pure Storage被其他巨头收购(尽管这种可能性较小),二是公有云服务商直接进军定制存储芯片领域,类似于他们为虚拟实例开发基于Arm的SoC。

我们预计,在今年年底前,相关领域将有所进展。我们期待Pure Storage能带来更多积极的消息。

-----

Source:Hyperscalar Storage – Build, Buy or Acquire? Chris Evans; 30 August 2024



文章转载自Andy730,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论