加州大学圣地亚哥利用NVIDIA DGX B200进行先进AI研究

根据NVIDIA的博客，加州大学圣地亚哥的Hao AI实验室最近将NVIDIA DGX B200系统整合到其研究资源中，显著推进了其在大型语言模型（LLM）推理方面的努力。这一收购将该实验室置于AI创新的前沿，提高了项目的速度和效率。

通过DGX B200增强研究能力

在包括圣地亚哥超级计算中心在内的加州大学圣地亚哥计算、信息与数据科学学院引入DGX B200系统，开启了广泛的研究机会。Halıcıoğlu数据科学研究所的助理教授张昊强调了该系统的世界级性能，与之前的技术相比，允许更快的原型开发和实验。

从这一先进系统中受益的项目包括FastVideo和Lmgame基准测试。FastVideo旨在训练视频生成模型，能够在几秒钟内从文字提示生成视频内容。此外，Lmgame-benck评估通过像俄罗斯方块和超级马里奥兄弟这样的流行游戏来测试LLM，比较不同模型之间的性能。

AI推理的创新方法

Hao AI实验室也在低延迟LLM服务方面开创先河，利用DGX B200探索实时响应的新前沿。加州大学圣地亚哥的博士候选人陈俊达强调了在DGX B200先进硬件上探索低延迟服务。

DistServe对解耦服务的影响

由Hao AI实验室开发的解耦推理优化了大型LLM服务引擎中系统吞吐量和延迟至关重要的过程。该实验室引入了“良好吞吐量”指标，平衡吞吐量和用户延迟，确保高效且高质量的AI模型性能。

这一过程包括将预填充和解码任务分配到不同的GPU上，减少资源竞争并提高速度。此创新称为预填充/解码解耦，允许工作负载扩展而不牺牲质量或延迟。

跨学科合作

除了这些项目之外，加州大学圣地亚哥还在包括医疗保健和生物学等领域的跨部门合作中，利用DGX B200优化多样化的研究计划。这些努力强调了大学在利用AI平台进行突破性创新方面的承诺。

更多有关NVIDIA DGX B200系统的详细见解，请访问NVIDIA博客。