当VMware遇到AI系列之——VMware Private AI Foundation

▼

VMware Private AI Foundation with NVIDIA 是 VMware Cloud Foundation 上的附加 SKU，NVIDIA AI Enterprise 软件许可证需要单独购买。它利用 NVIDIA NIM（NVIDIA AI Enterprise 的一部分）这一易于使用的微服务，旨在加速在云、数据中心和工作站中部署生成式 AI 模型。

• 仪表板- GPU监控仪表板允许管理员轻松跟踪跨集群的GPU指标。此仪表板提供有关 GPU温度、内存使用率和计算使用情况的实时洞察，使管理员能够缩短基础设施解决时间并提高运营效率。

• 温度监控- 通过GPU温度监控，管理员现在可以在GPU过热的早期阶段收到警告，从而最大化GPU性能。这使得采取预防措施以防止性能下降和确保GPU最佳运行成为可能。

• VCF 工作负载域部署：此脚本将ESXi主机置入SDDC管理器，并部署VCF工作负载域。该域是设置VMware Private AI Foundation与NVIDIA合作的基础，用于部署AI/ML工作负载。

• ESXi主机配置：使用 VMware vSphere® Lifecycle Manager TM功能，该脚本通过无缝安装NVIDIA AI Enterprise 附带的NVIDIA软件组件（如 NVIDIA vGPU驱动程序和NVIDIA GPU 管理守护程序）简化了ESXi主机的配置

• NSX Edge 集群部署：此脚本有助于将 NSX Edge 集群部署到 VCF 工作负载域，从而实现 AI/ML 工作负载的外部网络连接。

• 主管集群和深度学习 VM 映像内容库配置：此脚本在VCF 工作负载域内配置主管集群。它还设置了新的深度学习 VM 映像内容库，使用户能够使用预配置的运行时轻松部署 AI/ML 工作负载。

Shobhit Bhutani 于 2021 年加入 VMware，担任首席产品营销经理，也是 VMware  Gen AI 产品营销主管。Shobhit在销售和营销方面拥有 20 多年的领导经验。