通过NVIDIA NIM和Google Kubernetes Engine增强AI推理
realtime news Oct 16, 2024 20:11
NVIDIA与Google Cloud合作，将NVIDIA NIM集成到Google Kubernetes Engine中，通过Google Cloud Marketplace提供可扩展的AI推理解决方案。
人工智能（AI）模型的快速发展推动了对更高效和可扩展推理解决方案的需求。对此，NVIDIA与Google Cloud合作，在Google Kubernetes Engine (GKE)上提供NVIDIA NIM，以加速AI推理并通过Google Cloud Marketplace简化部署，据NVIDIA技术博客报道。
NVIDIA NIM和GKE的集成
NVIDIA NIM是NVIDIA AI Enterprise软件平台的一个组成部分，旨在促进安全可靠的AI模型推理。现在，通过Google Cloud Marketplace可用，与GKE（一个托管的Kubernetes服务）的集成允许在Google Cloud基础设施上可扩展地部署容器化应用程序。
NVIDIA和Google Cloud之间的合作为希望提高其AI能力的企业提供了诸多优势。该集成通过一键式功能简化了部署，支持广泛的AI模型，并通过像NVIDIA Triton推理服务器和TensorRT这样的技术确保高性能推理。此外，组织可以在Google Cloud上利用NVIDIA GPU实例，如NVIDIA H100和A100，以满足各种性能和成本要求。
在GKE上部署NVIDIA NIM的步骤
在GKE上部署NVIDIA NIM涉及多个步骤，首先是通过Google Cloud控制台访问平台。用户可以启动部署，配置平台设置，选择GPU实例，并选择所需的AI模型。部署过程通常需要15-20分钟，然后用户可以连接到GKE集群并开始运行推理请求。
该平台还支持与现有AI应用程序的无缝集成，利用标准API以最小化再开发需求。企业可以使用平台的可扩展性功能处理不同级别的需求，从而优化资源使用。
在GKE上使用NVIDIA NIM的优势
在GKE上使用NVIDIA NIM为希望加速AI推理的企业提供了强大的解决方案。主要优势包括简便的部署、灵活的模型支持和高效的性能，并由加速计算选项提供支持。该平台还提供企业级的安全性、可靠性和可扩展性，确保AI工作负载得到保护并能满足动态需求水平。
此外，NVIDIA NIM在Google Cloud Marketplace上的可用性简化了采购流程，使各组织可以根据需要快速访问和部署该平台。
结论
通过将NVIDIA NIM与GKE集成，NVIDIA和Google Cloud为企业提供了推动AI创新所需的工具和基础设施。这种合作增强了AI能力，简化了部署过程，并支持大规模的高性能AI推理，帮助组织提供有影响力的AI解决方案。
Image source: Shutterstock