根据God of Prompt（@godofprompt）在Twitter上的消息，Mixture of Experts（MoE）是一项1991年提出的技术，目前已成为训练万亿参数AI模型的核心架构。MoE通过仅激活部分专家网络，极大降低了推理时的计算成本，加速了开源大型语言模型的训练与部署。该技术不仅提升了模型性能，还为企业提供了可扩展、经济高效的AI解决方案，正在推动传统大型语言模型（LLM）架构的变革，对开源和商业AI市场产生深远影响。（来源：God of Prompt，Twitter）