暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

WEKA 在 Oracle 的云上以 2TB/秒的速度移动文件数据

原创 通讯员 2022-04-24
616

WEKA 表示,它已使用其横向扩展的并行文件系统软件以接近 2TB/秒的速度将 Oracle 云上的文件数据移动到服务器。

Oracle 云基础设施 (OCI) 公有云为计算形状提供裸机服务器。形状是指定 CPU 类型、CPU 内核数、RAM 和网络速度的模板。Oracle 和 WEKA在 OCI 内运行时验证了 WEKA 的性能。

Oracle 首席解决方案架构师 Pinkesh Valdria 上周晚些时候在博客中声称:“WEKA 和 OCI 可以为客户工作负载提供的性能非常棒……这种性能和规模的结合以及 OCI 提供的弹性,使您能够成功地托管现代 EDA、生命科学、财务分析,甚至 OCI 上的传统企业工作负载。”

WEKA 谈到甲骨文的云:“甲骨文云基础设施 (OCI) 是一个顶级超大规模云,它为甲骨文客户提供 XaaS 计算和应用程序服务,并提供比您预期的更多的东西,包括 AI/ML 和 GPU 工作负载。”


验证测试使用 80 或 373 x 裸机 ( BM.Optimized3.36 ) 计算形状运行,具有 36 个内核、512GB RAM、3.8TB 本地 NVMe SSD、100Gbits RoCE(基于融合以太网的 RDMA)和 2 x 50Gbit/ s 网络链接。WEKA 被配置为使用 6 个内核,剩下 30 个内核用于在同一台服务器上运行操作系统和应用软件。

测试数据是使用灵活 IO (Fio) 生成的,其中 1MB 块用于大块工作负载,4KB 块用于小块工作负载。以下是结果表和图表:

WEKA测试结果
WEKA性能图表

毫无疑问,存在中间服务器数量配置,但 WEKA 和 Oracle 强调了 80 和 373 服务器的结果。接近 2TB/秒的吞吐量无疑是一个英雄数字。

一种可能的比较是与 WEKA 的 Nvidia GPUDirect 性能相比,16 个 NVIDIA A100 GPU 的吞吐量为97.9GB/秒,而 Nvidia DGX-2 服务器的吞吐量为 113.1GB/秒。如果目标是更多的 Nvidia GPU,那么 WEKA 可以提供更高的带宽,因此需要更多的 WEKA 节点。

分析机构ESG已经在许多基准测试中验证了 WEKA 的性能,但没有特别提到 IOPS 和 GB/秒带宽。同样,许多WEKA STAC 基准测试通常不会识别一般的 OPS 或吞吐量数字。

WEKA 自己的AWS 性能统计数据显示,16 个 EC2 实例的大文件 (1MB) 读取性能超过 100GB/秒,小文件 (4KB) 读取性能超过 500 万次 IOPS。[对于 Oracle 的营销人员来说,他们较低的 80 台服务器、550 万读取 IOPS 数量超过了 AWS 500 万以上的 IOPS 结果。如果 OCI 结果低于 AWS 的结果,它看起来就不会那么好。]

这些 AWS-WEKA 数字与 OCI 测试运行中使用的 80 和 373 个实例相距甚远,但我们没有理由认为 WEKA 的 AWS 性能低于其 OCI 性能。

我们的想法是,如果增加计算实例的数量,WEKA 可以在 AWS 上扩展到相同的 OCI 性能水平;毕竟,它是横向扩展软件。在线性规模上,它需要大约 56 个 AWS 计算实例(在 16 个实例测试中使用的类型)才能达到 1740 万 IOPS 的 OCI 373 服务器结果。

我们无法在 WEKA 的资源网页中找到在 Azure 或 GCP 云中运行的 WEKA 的等效数据表。


文章来源:https://blocksandfiles.com/2022/04/22/weka-moves-file-data-at-2tb-sec-on-oracles-cloud/

最后修改时间:2022-04-24 10:46:16
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论