线性注意力 AI快讯列表 | Blockchain.News
AI 快讯列表

AI 快讯列表关于 线性注意力

时间 详情
2026-03-14
23:30
Qwen 3.5-Flash 最新解析:线性注意力与稀疏MoE实现近前沿性能且无需数据中心

根据 God of Prompt 在 X 的报道,Qwen 通过在线性注意力与稀疏专家混合(MoE)架构上优化其 Qwen 3.5-Flash,走出与“大模型越大越好”相反的路线,在普通硬件上实现接近前沿的性能。据该来源称,此设计相较于致密Transformer显著降低显存与算力需求,带来更快推理与更低服务成本,适用于聊天机器人、智能体与批量内容生成等场景。依据同一来源,线性注意力提供次二次复杂度的长上下文处理,稀疏MoE通过条件计算提升吞吐与性价比,为企业在边缘推理、本地化部署与低成本API服务上创造新商机。

2026-03-06
22:29
Qwen 3.5 登陆 Tinker:混合线性注意力与超长上下文、原生多模态输入——深度分析

据 Soumith Chintala 在 X 平台表示,阿里巴巴通义千问的四个 Qwen 3.5 模型已在 Tinker 上线,带来混合线性注意力以支持更长上下文窗口,并提供原生视觉输入能力(来源:Soumith Chintala;原帖由 Tinker 与 Alibaba Qwen 提及)。据 Tinker 公告所述,这将使开发者能以更低内存开销部署长文档推理与多模态工作流,适用于企业级 RAG、会议转写与分析等场景。依据帖文引用的 Alibaba Qwen 信息,原生视觉输入无需额外封装即可进行图像理解,为电商视觉搜索、工业检测与内容审核流程创造新机会。相关来源称,其在 Tinker 的即刻可用性降低了集成门槛,帮助初创与企业更快打样并以更具性价比的方式将长上下文与视觉能力投入生产。