NVIDIA和Oracle通过NIM和cuVS集成增强AI工作负载 - Blockchain.News

NVIDIA和Oracle通过NIM和cuVS集成增强AI工作负载

realtime news Sep 18, 2024 05:07

NVIDIA和Oracle合作,通过在Oracle云基础设施上使用NVIDIA NIM和cuVS加速AI工作负载,增强生成性AI应用。

NVIDIA和Oracle通过NIM和cuVS集成增强AI工作负载

世界上绝大多数的数据仍未被开发利用,企业希望通过创建新一波的生成性AI应用从这些数据中创造价值。根据NVIDIA技术博客,检索增强生成(RAG)管道是实现这一目标的关键部分,使用户能够与大量数据互动,将文档转化为交互式AI应用。

实现RAG管道的挑战

企业在实现RAG管道时面临若干挑战。处理结构化和非结构化数据非常复杂,数据处理和检索计算强度高。此外,隐私和安全性必须集成到这些管道中。

为了应对这些问题,NVIDIA和Oracle合作,展示了RAG管道的各个部分如何利用Oracle云基础设施(OCI)上的NVIDIA加速计算平台。此集成旨在帮助企业更好地利用其数据,提高生成性AI输出的质量和可靠性。

使用NVIDIA GPU和Oracle自主数据库生成嵌入

在数据丰富的企业环境中,利用大量文本数据以生成式AI至关重要,有助于提高效率和生产力。NVIDIA与Oracle展示了客户如何通过Oracle自主数据库中的Oracle机学习(OML)笔记本访问NVIDIA GPU。这使得用户能够将数据直接从Oracle数据库表加载到OCI的NVIDIA GPU加速虚拟机(VM)实例中,使用GPU生成向量嵌入,并将这些向量存储在Oracle数据库中以高效地使用AI向量搜索。

加速的向量搜索索引和Oracle Database 23ai

NVIDIA cuVS是一个用于GPU加速向量搜索和聚类的开源库。cuVS的一个关键功能是显著提高索引构建时间,这是向量搜索的重要组成部分。NVIDIA和Oracle展示了一个概念验证,旨在加速分层导航小世界(HNSW)算法的向量索引构建。这种方法将GPU与CPU配对,产生更快速的索引生成和AI工作负载的性能改进。

在OCI上使用NIM进行高效LLM推理

NVIDIA NIM提供容器,能够在各种环境中自托管GPU加速的推理微服务,用于预训练和定制的AI模型。NIM微服务专为NVIDIA加速基础设施设计,使其能够顺利集成现有工具和应用程序。开发人员可以以最少的代码快速部署LLM,无论是在本地还是在Kubernetes管理的云环境中。

在OCI上部署NVIDIA NIM提供了几个好处,包括改进的总拥有成本(TCO)与低延迟、高吞吐量推理,使用预构建的微服务加速市场上市时间,以及增强的应用和数据安全性和控制力。

在Oracle CloudWorld示范中,NVIDIA和Oracle展示了使用NIM进行LLM怎样比现成的开源替代方案在吞吐量上显著提升,尤其是在文本生成和翻译用例中。

开始使用

NVIDIA与OCI和Oracle数据库团队合作,展示了如何使用NVIDIA GPU和软件加速批量生成向量嵌入、HNSW索引创建和推理元素。此方法帮助组织利用NVIDIA加速计算平台带来的性能改进,使其能够使用AI管理存储在Oracle数据库中的大量数据。

了解更多关于cuVS的信息。欲试用NVIDIA NIM,请访问ai.nvidia.com并注册NVIDIA开发者项目以立即访问微服务。您还可以开始使用支持NVIDIA GPU的自主数据库和Oracle Database 23ai AI向量搜索与Oracle Database 23ai免费版。

Image source: Shutterstock