Character.AI 提升 AI 推理效率，成本降低 33 倍

Character.AI 是一家全栈 AI 公司，最近推出了一系列在 AI 推理技术方面的突破性进展。根据 Character.AI 的一篇博客文章，这些创新将使大语言模型（LLM）更加高效和具有成本效益。

推理技术的突破

Character.AI 旨在朝向通用人工智能 (AGI) 迈进，专注于优化推理过程——LLM 生成响应的方法。公司开发了围绕 Transformer 架构和“attention KV cache”的新技术，在文本生成过程中增强了数据存储和检索。这些进步也显著提高了轮次缓存的性能。

Character.AI 声称其每秒可处理约 20,000 次查询，占 Google 搜索请求量的 20%，每小时对话成本不到一美分。通过他们的专有创新实现了这种效率，使得全球扩展 LLM 变得更加便宜。

成本效率成就

自 2022 年上线以来，Character.AI 已经至少将其服务成本降低了 33 倍。公司的当前流量服务成本比使用最高效的领先商业 API 低 13.5 倍。这种成本效率对于消费者 LLM 的可扩展性至关重要。

如果一家 AI 公司要为 1 亿日活跃用户每人每天使用一小时提供服务，以现行每小时0.01美元的成本计算，年服务成本将达到 3.65 亿美元。相比之下，使用领先商业 API 的竞争对手每年的成本至少为 47.5 亿美元。这些数字凸显了 Character.AI 推理改进带来的显著商业优势。

未来影响

推理效率的提高不仅使得将 LLM 扩展到全球观众成为可能，还为创建盈利的商业对消费者 (B2C) AI 企业铺平了道路。Character.AI 将继续在这些创新上进行迭代，旨在使其先进技术对全球消费者可用。

欲了解更多详细信息，您可以在 这里 阅读完整的技术博客文章。