Search Results for "推理"
通过NVIDIA NIM和Google Kubernetes Engine增强AI推理
NVIDIA与Google Cloud合作，将NVIDIA NIM集成到Google Kubernetes Engine中，通过Google Cloud Marketplace提供可扩展的AI推理解决方案。
NVIDIA GH200 超级芯片2倍提升Llama模型推理性能
据NVIDIA称，NVIDIA GH200 Grace Hopper超级芯片将Llama模型的推理性能提高了2倍，增强了用户互动性，而不会影响系统吞吐量。
NVIDIA 的 TensorRT-LLM 多模块注意力在 HGX H200 上提升 AI 推理性能
NVIDIA 的 TensorRT-LLM 引入多模块注意力，显著提升了 HGX H200 上的 AI 推理吞吐量，提升幅度高达 3.5 倍，解决了长序列长度的挑战。
Perplexity AI 利用 NVIDIA 推理堆栈处理每月 4.35 亿次查询
Perplexity AI 使用 NVIDIA 的推理堆栈，包括 H100 Tensor Core GPU 和 Triton Inference Server，每月管理超过 4.35 亿次搜索查询，优化性能并降低成本。
AWS 扩展 NVIDIA NIM 微服务以增强 AI 推理能力
AWS 和 NVIDIA 通过在 AWS 平台上扩展 NIM 微服务，加强了 AI 推理能力，提高了效率并减少了生成式 AI 应用的延迟。
NVIDIA通过全栈解决方案增强AI推理能力
NVIDIA推出全栈解决方案以优化AI推理，借助Triton Inference Server和TensorRT-LLM等创新技术提升性能、可扩展性和效率。
Together AI扩展DeepSeek-R1的部署，推出增强的无服务器API和推理集群
Together AI通过新的无服务器API和推理集群增强了DeepSeek-R1的部署，为大规模推理模型应用提供高速和可扩展的解决方案。
