NVIDIA 和 Infosys 使用生成式AI自动化电信网络设计
Infosys 推出了一个创新解决方案,利用 NVIDIA 的 NIM 和 NeMo 技术来自动生成云应用的拓扑和编排规范(TOSCA)模板,显著简化电信无线网络设计流程。根据 NVIDIA 技术博客,这一发展解决了行业对标准化方法的需求,降低了网络设计中的人为错误风险。
利用生成式AI进行网络设计
该解决方案采用生成式AI创建一个标准工具,能够根据网络工程师的提示生成服务设计模板。该自动化工具由 NVIDIA NIM 提供支持,通过简化参数编辑和实时处理用户输入生成定制的适用于特定 TOSCA设计需求的 YAML 模板,从而改善用户体验。
Infosys 的方法集成了预训练和微调的大型语言模型(LLM),如 Llama 3-70B 和 Mistral-7B,这些模型作为 NVIDIA NIM 微服务提供。此集成确保了所有利益相关者的易用性,通过使网络服务设计师和 OSS 解决方案架构师能够更快设计运营级网络,从而提高了生产力。
RAG的数据收集和准备
Infosys 收集了用户指南网络构建器手册、培训文档和云服务的故障排除指南,以生成对用户查询具有准确语境的网络设计响应。创建了一个具有拖放功能的专用聊天界面,以便轻松转换为 YAML 文件结构,生成用于检索增强生成(RAG)的向量嵌入。
技术挑战与解决方案
为了防止延迟,Infosys 使用 NVIDIA GPU 快速生成向量嵌入。解决方案架构包括基于 React 的用户界面,使用 FAISS 进行高效数据处理的数据配置管理,以及用于用户管理和配置的健壮后台服务。与 NVIDIA NIM 和 NeMo 微服务的集成增强了生成式AI的学习和推理能力,确保了安全的身份验证和授权。
评估LLM性能
Infosys 测试了各种 LLM 配置,比较了它们在有和没有 NVIDIA NIM 的情况下的性能。结果表明,使用 NVIDIA NIM 和 NeMo 检索器嵌入微服务,延迟降低了多达 28.5%,准确性绝对提高了 15%。这种改进的模型性能使网络服务设计师能够更快地构建网络设计,降低运营成本。
示例用例
一个示例用例是生成具有 100 Mbps 带宽的以太网服务在 1PE 和 2CE 之间的 TOSCA 模板。生成式AI模型响应符合 TOSCA 标准的 YAML 格式服务模板设计,展示了该工具根据用户规格生成精确和可定制模板的能力。
赋能网络设计师
通过自动生成 TOSCA 模板,Infosys 的解决方案解决了手动模板创建耗时的问题,提高了电信公司的效率和一致性。借助 NVIDIA NIM 和 NeMo 技术,网络服务设计师能简化工作流程,提高生产力,并确保网络设计和编排的一致性。
有关部署生成式AI应用程序的更多详细信息,请访问NVIDIA 技术博客。
Read More
Dima Romanov Discusses the Future of Layer 2 Blockchains on Public Key Podcast
Jul 23, 2024 1 Min Read
NVIDIA and Infosys Automate Telco Network Design with Generative AI
Jul 23, 2024 1 Min Read
NVIDIA and Infosys Revolutionize Telco Network Operations with AI Solutions
Jul 23, 2024 1 Min Read
Amazon AWS Adds Sui Support to Node Runners Service
Jul 23, 2024 1 Min Read
SingularityNET (AGIX) Invests $53M in AI Infrastructure to Propel AGI Development
Jul 23, 2024 1 Min Read