<汇港通讯> 阿里巴巴(09988)旗下通义千问团队发布下一代基础模型架构Qwen3-Next,其训练成本较密集模型Qwen3-32B大降逾90%,长文本推理输送量提升10倍以上,并可支持百万Tokens(词元)超长上下文。
Qwen3-Next针对大模型在上下文长度和总参数两方面不断扩展(Scaling)的未来趋势而设计,采用全新的高稀疏MoE架构,并对经典Transformer核心组件进行重构,创新采用线性注意力和自研门控注意力结合的混合注意力机制,实现模型训练和推理的双重性价比突破。
基於这一新架构,阿里通义「打样」了Qwen3-Next-80B-A3B系列模型,开源指令(Instruct)和推理(Thinking)两大模型版本。新模型总参数800亿仅启动30亿,性能可媲美千问3旗舰版235B模型,模型计算效率大幅提升。 (ST)
#Qwen3-Next (ST)
新闻来源 (不包括新闻图片): 汇港资讯