阿里通义 qwen 团队通过 hugging face transformers 库的 pr 提交了对 qwen3-next 系列的支持，信息显示将有一款名为 qwen3-next-80b-a3b-instruct 的模型。该系列定位为 “下一代基础模型”，主打极端上下文长度与参数效率。

据介绍，Qwen3-Next 系列模型在架构层面引入了三项核心创新。首先是 Hybrid Attention，它使用 Gated DeltaNet 和 Gated Attention 替代传统注意力机制，以实现高效的长文本建模。其次是 High-Sparsity MoE，将激活比例压缩至 1:50，大幅减少了单个 token 的 FLOPs 而不损失模型容量。最后是 Multi-Token Prediction，在预训练阶段同步预测多个 token，从而提升性能并加速推理。

此外，模型还辅以 zero-centered、weight-decayed layernorm 等多项稳定化改进，增强了训练的鲁棒性。

源码地址：点击下载

# red  # gate  # qwen  # 架构  # Token  # 多个  # 而不  # 点击下载  # 将有  # 据介绍  # 主打  # 三项  # 辅以  # 减少了  # 等多项 

相关文章： 《inZOI》发布紧急补丁回滚部分模块版本至10月份  最火旗舰？曝小米17系列三个月销量比上代增长22%  通义实验室开源 GUI 智能体基座模型：MAI-UI  椰树总部“极繁式”外观，火了  跳票小萝莉"扭秧歌" 《识质存在》戴安娜新动作展示  该等低价还是直接冲？玩家敲碗Steam纳入「价格追蹤」功能  什么是APP轻量化开发?  iQOO Z11 Turbo迎脱胎换骨式升级！颜值、手感、质感全拉满  Zara 利用 AI 削减成本，摄影师与化妆师或面临失业  Copilot 整合效果不佳，微软 CEO 亲自介入进行整改  刘思慕确定《热血无赖》真人电影版导演 项目继续推进  《羊蹄山之魂》女主角笃雕像即将开售 很还原  CES 2026拉斯维加斯强势回归！透明显示器与长寿科技多种亮点抢先看  曝多款中端新机明年1月发布 REDMI或首发天玑8500  FreeBSD 今年在笔记本电脑支持方面取得重大进展  铸造者技能终极优化指南：打造战场支援大师  2025年中国手机市场数据出炉， OPPO安卓阵营增长第1名  小米“Ultra”系列演进图谱：每代旗舰背后的核心突破  荣耀X70荣获2025 CNMO年度评选“硬抗子弹神机”  OpenAI 席卷美国高校，售出超 70 万份 ChatGPT 许可  谷歌年度回顾：2025 年实现突破的 8 大研究领域  霜役人完全攻略：机制拆解与高低难度实战指南  涂鸦智能发布 AI 生活助手 “Hey Tuya”  《最终幻想7重制版》三部曲确认全面登陆Switch2  《银河战士Prime 4》开发耗时超预期 不可能再次重启  罗永浩创业公司细红线发布 AI 讲书产品“且听”  三星为SoC“降温”再出新招 将SoC与内存并排放置  英伟达50亿美元收购英特尔股票！达成芯片开发合作  时隔 7 年再办“科技春晚”，罗永浩为延迟超 40 分钟开场致歉  《GTA6》被曝主机大小676.7GB！ 多方辟谣“这怎么可能！”  永劫无间核心机制与战斗全攻略：从入门到精通的博弈艺术  疑似小米17 Plus部分配置曝光 搭载第五代骁龙8至尊版  宫崎英高称魂类游戏并非创新！只是设计理念满足玩家需求  三星日历应用迎来 AI 大更新  2026年国补政策来了：一加手机最高优惠800元  别笑你也过不了第二关！ 如龙工作室发布抽象宣传短片  特斯拉最新最强FSD推送 英伟达科学家实测后给出超高评价  狂欢不散场！EVNIA弈威电竞俱乐部开业仪式暨EVNIA玩家大集结NS2主题活动高能落幕！  2.5D潜艇射击游戏《亚种》公布 探索海底深处的秘密  798迎别样潮流展，蓝鸟潮物大赛携手VaVa引爆京城  紧跟时事！《逃离鸭科夫》更新：硬盘涨价 可攻击杰夫  一加Turbo外观出炉 李杰：非常好看 简直是一股清流  国补价1709.1元起！OPPO Pad Air5首销：支持插SIM卡  打城必胜攻略武将选择与战场实战精髓  开源APP开发工具怎么选?  传叮咚买菜要被京东收购，双方未予置评  模拟经营游戏《肋萨拉：顶峰王国》即将更新正式版  旺旺和旺仔是父子？你不知道的旺旺冷知识。。。  《红色沙漠》PS5实体盘亮相！明年3月20日上线  联想moto X70 Air Pro AI手机即将发布：让影像拥有思考 

相关栏目： 【 广告资讯37196 】 【 广告推广143353 】 【 广告优化89630 】