AMD发布ROCm 6.2.3，提升Radeon GPU的AI性能
realtime news Oct 12, 2024 19:15
AMD发布ROCm 6.2.3，增强了Radeon GPU在Llama 3、Stable Diffusion和Triton框架的支持，提升AI开发效率。
AMD推出了最新版本的开放计算软件，AMD ROCm™ 6.2.3，专为提升Radeon GPU在原生Ubuntu® Linux®系统上的性能而设计。此次更新旨在为AI模型，特别是Llama 3 70BQ4，提供卓越的推理性能，并使开发者能够将Stable Diffusion (SD) 2.1文本到图像功能整合到他们的AI项目中，具体信息可参见AMD.com。
ROCm 6.2.3的主要功能
新的ROCm 6.2.3版本带来了一些旨在加速AI开发的高级功能：
- 通过vLLM支持Llama 3：此功能为Llama 3 70BQ4模型在Radeon GPU上的推理性能提供了卓越表现。
- Flash Attention 2集成：旨在优化内存使用并增强推理速度，该功能支持向前启用。
- Stable Diffusion 2.1支持：开发者现在可以将SD文本到图像模型整合到他们的AI应用程序中。
- Triton框架Beta支持：这使得开发者可以使用最少的专业知识撰写高性能AI代码，充分利用AMD硬件。
AI开发的进步
AMD软件产品经理Erik Hultgren强调，ROCm 6.2.3针对特定功能以加速生成式AI开发。此版本包含专业级别的性能增强，通过vLLM和Flash Attention 2进行大型语言模型（LLM）推理。它还引入了Triton框架的Beta支持，拓宽了在AMD硬件上进行AI开发的范围。
ROCm支持的演变
过去一年中，AMD针对Radeon GPU的ROCm支持有了显著的进化，始于5.7版本。6.0版本通过引入ONNX运行时并正式认证更多的Radeon GPU（包括Radeon PRO W7800）扩展了能力。6.1更新则标志着另一个里程碑，支持多GPU配置并与TensorFlow框架集成。
在当前版本中，ROCm 6.2.3继续专注于Linux®系统，并计划很快引入Windows®子系统Linux®（WSL 2）支持。这一战略方法旨在进一步增强Radeon GPU的ROCm解决方案堆栈，将其定位为AI和机器学习开发的强大选项。
欲了解更多信息和资源，请访问AMD的官方社区页面。
Image source: Shutterstock