Brave浏览器集成了RTX加速的AI与Leo AI和Ollama
realtime news Oct 02, 2024 20:14
Brave浏览器用户现在可以通过集成RTX加速的Leo AI和Ollama体验增强的AI交互，这提供了本地处理以改善隐私和效率。
据NVIDIA博客报道，以注重隐私而闻名的Brave浏览器推出了一个强大的AI助手Leo AI，通过与Ollama的合作，采用RTX加速的本地大型语言模型（LLMs）进行增强。此次集成旨在通过提供高效的、本地处理的AI功能来改善用户体验。
利用RTX加速的增强AI体验
Brave的Leo AI通过NVIDIA的RTX技术为用户提供了在浏览器内直接总结文章、提取见解和回答问题的能力。这是通过使用NVIDIA的Tensor Cores来实现的，这些核心专为执行AI应用程序设计，能够同时处理大量计算。与Ollama的合作使Brave能够利用开源的llama.cpp库，该库专门为NVIDIA的RTX GPU优化AI推理任务。
本地AI处理的优势
在PC上本地运行AI模型提供了显著的隐私优势，因为它消除了将数据发送到外部服务器的需求。这种本地处理方法确保用户数据保持私密并且无需云服务即可访问。此外，它允许用户与各种专业模型进行交互，如双语或代码生成模型，而无需支付云服务费用。
技术集成和性能
通过与Ollama和RTX技术的集成，Brave提供了一种响应迅速的AI体验，其中Llama 3 8B模型的处理速度达到每秒149个tokens。这套方案确保了用户查询和内容请求的快速响应，增强了使用Leo AI的整体浏览体验。
开始使用Leo AI和Ollama
对这些高级AI功能感兴趣的用户可以轻松从Ollama的官方网站上安装Ollama。安装完成后，Brave的Leo AI可以通过Ollama配置以使用本地模型，提供在需要时在云模型和本地模型之间切换的灵活性。开发者可以通过NVIDIA提供的资源探索更多关于使用Ollama和llama.cpp的信息。
Image source: Shutterstock