推理成本降低 AI快讯列表 | Blockchain.News
AI 快讯列表

AI 快讯列表关于 推理成本降低

时间 详情
2026-01-06
15:14
NVIDIA Vera Rubin平台量产:推理成本降低10倍,MoE训练GPU需求减少4倍,领先Blackwell

根据@ai_darpa在Twitter发布的信息,NVIDIA首席执行官Jensen Huang宣布Vera Rubin AI平台已全面量产,领先于当前市场上尚难获得足够RAM的Blackwell GPU。该平台在AI基础设施方面实现了显著突破,包括推理Token成本最多降低10倍,MoE模型训练GPU需求减少4倍。通过Spectrum-X Photonics,能效提升5倍,系统稳定运行时间提升5倍;同时,Ethernet Photonics带来10倍更高的可靠性,整体组装和维护速度提升18倍。Vera Rubin平台为企业级AI集群带来显著的降本增效机会,进一步强化NVIDIA在AI硬件更新迭代速度上的行业主导地位(来源:@ai_darpa,Twitter,2026年1月6日)。

2025-11-19
19:20
Redisinc专家推出AI语义缓存新课程:大幅降低推理成本和延迟

据Andrew Ng(@AndrewYNg)报道,Redisinc的@tchutch94和@ilzhechev推出了AI代理语义缓存课程。课程详细介绍了如何通过语义缓存技术识别并复用语义相似的问题(如不同表述的退款请求),显著降低AI推理成本和响应延迟。该技术对于提升AI客服系统的可扩展性、优化用户体验、降低企业大模型应用的运营成本具有重要意义。语义缓存正成为企业级AI工作流中的关键优化方案,尤其适用于高并发场景(来源:Andrew Ng推特)。