Modelserve: Golem Network的新AI推理服务

realtime news  Jul 15, 2024 23:38  UTC 15:38

1 Min Read

根据 Golem Project 的最新公告,Golem Network 推出了 Modelserve,这是一项旨在提供可扩展且价格合理的AI模型推理的新服务。该服务旨在通过可扩展的端点实现AI模型的无缝部署和推理,提高AI应用的效率和成本效益。

什么是 Modelserve?

Modelserve 是由一个外部团队和 Golem Factory 合作开发的,集成在 Golem Network 生态系统中。它旨在支持AI开源社区,并吸引开发AI应用程序的 GPU 提供商。该服务允许通过可扩展的端点实现AI模型的无缝部署和推理,确保AI应用操作的高效和成本效益。

为什么 Golem Network 推出 Modelserve?

推出 Modelserve 的目的是满足AI行业对计算能力日益增长的需求。通过利用消费者级别的 GPU 资源,这些资源提供了足够的电力和内存,该服务可以有效地运行AI模型,如扩散模型、自动语音识别和小到中等的语言模型。与传统方法相比,这种方法更具成本效益。Golem Network 的去中心化架构充当了匹配这些资源供需的市场,使用户能够获取与AI应用完美适配的计算能力。

Modelserve 的加入在推动AI使用案例和需求增加的过程中起到了关键作用,并有助于 Golem Network 的更广泛采用。

目标受众

Modelserve 适用于各种用户,包括服务和产品开发者、初创公司以及在Web 2.0 和 Web 3.0 环境中运营的公司。这些用户通常:

  • 利用小型和中型的开源模型或从零开始创建自己的模型
  • 需要可扩展的AI模型推理能力
  • 寻找一个测试和实验AI模型的环境

技术实施

Modelserve 包含三个关键组件:

  • 网站:允许用户创建和管理端点
  • 后端:管理GPU资源以处理推理,具有负载均衡和自动缩放能力。它利用市场上可用的 GPU 资源,从 Golem 开放和去中心化市场及其他提供GPU实例的平台获取
  • API:允许运行AI模型推理和管理端点

该服务使用美元进行用户交易,而与 Golem GPU 提供商的结算则使用 Golem Network 的本地代币 GLM 进行。

用户利益

  • 无需维护的AI基础设施(AI IaaS):用户无需管理模型部署、推理或 GPU 集群,因为 Modelserve 会处理这些任务
  • 可负担的自动扩展:系统会根据应用需求自动扩展 GPU 资源,而无需用户干预
  • 具成本效益的定价:用户根据实际请求的处理时间收费,避免了与按小时租用GPU或维护自己的集群相关的费用

与其他AI/GPU项目的协同作用

Modelserve 与 GPU Provider 和 AI Provider GamerHash AI 整合,后者目前处于概念验证阶段。此外,作为 Modelserve 的一部分,首版 Golem-Workers 已被创建,并将来会作为一个独立项目进行开发。

里程碑和下一步计划

  • 已与多家基于AI的初创公司和企业进行测试
  • Golem 社区测试定于7月进行
  • 商业化服务将于8月开始

欲了解更多详细信息,请访问Golem Project 博客



Read More