Ollama 实现 Llama 3.2 在 AMD GPU 上的本地运行
realtime news Sep 27, 2024 10:45
Ollama 使本地在 AMD GPU 上运行 Meta 的 Llama 3.2 模型变得更加容易，支持 Linux 和 Windows 系统。
借助 Ollama，在 AMD 系统上本地运行大型语言模型（LLM）变得更加便捷。本指南将重点介绍 Meta 于 2024 年 9 月 25 日发布的最新 Llama 3.2 模型。Meta 的 Llama 3.2 提供 1B、3B、11B 和 90B 模型，兼具小规模和多模态特性。以下是如何在各种 AMD 硬件配置上运行这些模型，并为 Radeon GPU 上的 Linux 和 Windows 操作系统提供逐步安装指南。
支持的 AMD GPU
Ollama 支持一系列的 AMD GPU，使其产品兼容新的和旧的型号。Ollama 支持的 GPU 列表可在 这里 查看。
Ollama 的安装和设置指南
Linux
- 系统要求：
- Ubuntu 22.04.4
- 安装了最新 AMD ROCm™ 软件的 AMD GPU
- 按照提供的说明安装 ROCm 6.1.3
- 通过一条命令安装 Ollama
- 下载并运行 Llama 3.2 模型：
- ollama run llama3.2
Windows
- 系统要求：
- Windows 10 或更高版本
- 安装了驱动程序的 AMD GPU
- 对于 Windows 安装，从 这里 下载并安装 Ollama。安装完成后，打开 PowerShell 并运行：
- ollama run llama3.2
您可以在 这里 找到 Ollama 提供的所有可用模型列表。
结论
Ollama 对 AMD GPU 的广泛支持展示了本地运行 LLM 的日益普及。从消费级的 AMD Radeon™ RX 显卡到高端的 AMD Instinct™ 加速器，用户拥有多种选择可以在自己的硬件上运行像 Llama 3.2 这样的模型。这种灵活的方法使得各个领域的 AI 应用能够进行更多的实验、隐私保护和自定义。
Image source: Shutterstock