Search Results for "推理"
NVIDIA NVLink 和 Fusion 提升 AI 推理性能
NVIDIA 的 NVLink 和 NVLink Fusion 技术通过增强的可扩展性和灵活性重新定义了 AI 推理性能，以应对 AI 模型复杂性的指数级增长。
NVIDIA 的 Rubin CPX GPU 革新长上下文 AI 推理
NVIDIA 发布 Rubin CPX GPU，通过前所未有的效率增强 AI 推理，可处理 100 万以上的 tokens 工作负载，变革软件开发和视频生成等领域。
NVIDIA推出NIM Operator 3.0.0，提升AI扩展能力
NVIDIA的NIM Operator 3.0.0引入了先进功能以支持可扩展的AI推理，通过多LLM和多节点功能以及高效的GPU利用率，提升了Kubernetes部署。
通过NVIDIA Run:ai和Dynamo集成增强LLM推理
NVIDIA的Run:ai v2.23与Dynamo集成，解决大型语言模型推理挑战，提供团体调度和拓扑感知放置，实现高效、可扩展的部署。
NVIDIA Grove 简化 Kubernetes 上的 AI 推理
NVIDIA 推出 Grove，这是一个 Kubernetes API，可以简化复杂的 AI 推理工作负载，增强多组件系统的可扩展性和编排能力。