AMD Ryzen AI 300 系列在消费应用中提升 Llama.cpp 性能
realtime news Oct 31, 2024 16:05
AMD 的 Ryzen AI 300 系列处理器正在提升 Llama.cpp 在消费应用中的性能，增强语言模型的吞吐量和延迟表现。
AMD 在 AI 处理方面的最新进展——Ryzen AI 300 系列，正在通过热门的 Llama.cpp 框架显著提升语言模型的性能。这一发展将改善如 LM Studio 这样的消费者友好应用，使得人工智能无需高级编码技能即可访问，根据 AMD 的社区帖子。
Ryzen AI 提升性能
包括 Ryzen AI 9 HX 375 在内的 AMD Ryzen AI 300 系列处理器提供了令人印象深刻的性能指标，超越了竞争对手。AMD 处理器在每秒生成的 tokens 速率方面提升了多达 27%，这是衡量语言模型输出速度的关键指标。此外，表示延迟的“首个 token 时间”指标显示，AMD 的处理器比同类型号快多达 3.5 倍。
利用可变图形内存
AMD 的可变量图形内存（VGM）功能通过扩展集成图形处理单元（iGPU）的内存分配实现显著的性能提升。此功能对于内存敏感的应用程序特别有益，与 iGPU 加速结合使用时，性能提升可达 60%。
使用 Vulkan API 优化 AI 负载
使用 Llama.cpp 框架的 LM Studio 通过使用 Vulkan API 的 GPU 加速受益，该 API 与供应商无关。结果是，对于某些语言模型，平均性能提升了 31%，这突显了在消费级硬件上增强 AI 工作负载的潜力。
比较分析
在竞争基准测试中，AMD Ryzen AI 9 HX 375 超过了对手处理器，在 Microsoft Phi 3.1 等特定 AI 模型中实现了 8.7% 更快的性能，在 Mistral 7b Instruct 0.3 中提高了 13%。这些结果突显了该处理器高效处理复杂 AI 任务的能力。
AMD 在使 AI 技术变得可访问方面的承诺在这些进展中得到了体现。通过整合诸如 VGM 这样的高级功能并支持 Llama.cpp 等框架，AMD 正在增强 x86 笔记本上的 AI 应用用户体验，为消费市场中更广泛的 AI 采用铺平道路。
Image source: Shutterstock