清华校友出手！视往往界首先个千亿MoE开源，6B激活挤进全球第6|路由|调用|通信_网易订阅

新智元报方式上个月，清华球第中国AI，校友让全球失眠。出手先是视往首先Kimi K3雷霆出击，正面硬刚Claude Fable 5与GPT-5.6 Sol，往界网易成本却断崖式减小约40%。个千一夜之间，开源美股蒸发一万亿！激进全紧接着，活挤DeepSeek-V4-Flash正式版掐点上线。调用订阅整体性能虽不敌Claude Opus 4.8，通信但凭借极致性价比，清华球第直接斩杀美国一众大模型。校友它们背后的出手MoE架构，早在35年前，视往首先就被「AI教父」Hinton和他的合作者提出了。3年前，全球不过尖AI几乎集体转向这一架构。但视往往生成，始终被挡在门外。目前，这方式门被踢开了。由清华特奖得主、Marr奖得主曹越领衔的Sand.ai团队，正式发布并开源——MAGI-2 Preview。Github仓库：https://github.com/SandAI-org/MAGI-2-preview总参数量高达1140亿，单次前向方式算却只激活60亿参数。这是全球首先个开源的千亿级MoE统一文章视往往生成模型，但价格可以做到主流模型的1/10。不只是「让图片动起来」这次的MAGI-2 Preview更大，自然也更智能更强。先看一段动感十足的中景demo：明确光下的印度街头，女子身着红白金纹纱丽轻盈旋转，裙摆如花绽放。中景环绕跟拍捕捉流动身姿，舞步、衣摆与环境声精准咬合；从热烈起舞到俯身牵手，眼神与情绪转换自然，感染力十足。再来看一段人物特写：窗边冷白柔光下，极近特写缓慢推进，焦点始终锁定女子双眼。她从垂眸、抬眼到轻声开口、浅浅微笑，口型、呼吸与微表情协调。这角色表演十分细腻。最后，再看一段电影质感的视往往。雨中街头，低机位掠过水洼涟漪，镜头缓缓移向伞下女子，最后落在车灯映亮的侧脸。雨滴、倒影与环境声细腻同步，冷暖光影交织，克制的眼神变化营造出怀旧而真实的电影氛围。从高保真文章画同步、电影级运镜到细腻的角色表演，MAGI-2 Preview 精准对齐每一次开口、每一个动作与每一段镜头。声文章、画面与情绪统一生成，让想象真正成为有节奏、有表演、有感染力的电影画面。这到底怎么做到的？114B的容量，6B的账单过去，视往往模型想后续变强，最直接的方式是把Dense模型做得更大。但Dense有个状况，模型每加一层、每宽一点，每个视往往Token都得从更多参数里穿过去一遍。而视往往偏偏是Token密度最高的模态之一。一张图关键拆成大量空间Token，一段视往往还关键再乘上时间维度；把文章往往加进来，序列只会更首先。因此视往往模型一旦放大，先撞上算力、显存和多机通信的账单。这就是他们从Dense掉头的直接背景。曹越在之前采访中透露，团队做完Gaga-1发现，后续放大Dense视往往模型，成本涨得越来越凶。2025年11月，他们决定换条路。在外界看来，sand.ai每一代模型都在押一个「非共识」。这一次押的是：面对视往往生成里成效、高效度与成本的三方拉扯，MoE可能是更合理的那条Scaling馗。MoE会先判断目前Token需哪些专家，需谁，才叫醒谁。于是模型容量可以后续增首先，单次方式算量却不必同步膨胀。这就是MAGI-2 Preview具有114B总参数、每次只激活约6B的因素。但它没有止步于此。常见的MoE，是从一组专家里挑出那么点儿几个，处理目前Token的完善表示。那么点儿专家需同时处理这个Token的多类特点。而MAGI-2 Preview则是把3072维表示拆成12个256维子空间，每个head独立从256个专家中选项6个。因此，一个MoE层共有12×256=3072个head-local专家单元，每个Token实际调用12×6=72个。Sand.ai把这种结构称为Ultra-fine-grained MoE，也就是超细粒度MoE。这种设方式的意义，是把「选哪个专家」变成一个更细的组合状况。同一个视往往Token，在不一样表示维度上可以走完全不一样的处理馗。模型不必在「调用一个大专家」和「不调用」之间做单选，而是能拼出更充足的能力组合。但专家拆得越细，下一个状况就越棘手——通信。千亿级MoE到底怎么跑起来？传统专家并行采取「先路由、再通信」。模型先决定每个Token该去哪些专家，再把Token复制到专家所在的GPU。Top-k越大，跨卡搬运的数据越多；路由结荚又随输入变化，通信量很难保持稳固。视往往序列本来就比文本首先得多，MAGI-2 Preview又把路由细化到12个head、每个head选项6个专家。照传统方式后续扩张，瓶颈很快会从方式算转移到网络。Sand.ai设方式的Head Parallel把顺序倒了过来：先通信，再路由。在路由发生之前，模型就按头把固定形状的表示分发到各个设备。每个设备拿到自己负责的那个头之后，在本地实现路由和专家方式算。跨设备传输的数据量因此变得固定，不再随着Top-k激活专家数线性增首先，也不会因为输入不一样而剧烈波动。Head Parallel把跨卡通信移到了路由之前。每个Token只需传输一次固定形状的head表示，通信量不再随着Top-k激活专家数线性增首先，也不会因为路由结荚变化而剧烈波动。这验明正身了MAGI-2 Preview为什么敢把专家颗粒度后续拆细：专家可以更多、分工可以更细，但通信开销不必跟着同步膨胀。围绕Head Parallel，Sand.ai还有两张牌。MagiMoE，高性能MoE算子库，覆盖路由、专家排序和专家方式算的完善链路，把原本分散的步骤合并实施，减小中间buffer和显存搬运。目前采取的是经过大规模训练验明正身的Triton/BF16馗。MagiMuon，自研分布式改进器，用Muon处理主体矩阵参数，用AdamW处理更适用于常规更新的参数，并照章性数千个细粒度专家重新适用配了参数组织和跨设备方式算，让训练能从中小规模实验平稳扩展到千亿参数。三者的分工很清楚：模型结构决定调用哪些专家，Head Parallel和MagiMoE负责通信与方式算，MagiMuon负责大规模参数更新。MAGI-2 Preview开源的因此不只是一个114B checkpoint，而是一条把模型、通信、算子和改进器共同推到千亿规模的系统路线。细粒度MoE最怕的，是名义上具有几千个专家，最后大家学得却差不多——真正决定专家分工的，不是数量，而是数据。MAGI-2 Preview的数据管线从便捷过滤转向广覆盖与细粒度标注，让不一样类型的视往往材料都能变成路由器可以学习的信号。基础模型在预训练时期覆盖得越完善，后训练就越不需忙着修补运动、细节和组合能力，而能更多用于偏好对齐与产品适用配。3072个专家单元给予的是容量，数据决定这些容量能不能变成真正不一样的能力。到这里，模型容量、方式算系统和数据管线才算真正接上。画面和声文章，是一苗子先出来的省钱之外，MAGI-2 Preview还干了另一件事：统一文章视往往生成。行业里不少「文章画同步」方式划，实际是两套模型串起来跑，先出视往往，再配声文章，后期缝在一起。声画两张皮，硬粘。MAGI-2 Preview把文本、视往往和文章往往放进同一个上下文，在每一层self-attention中直接交换材料；共享专家学习三种模态的共性，模态专属专家处理各自的区别。口型、动作重文章、表情和镜头节奏，从生成首先步就在被共同建模，而不是先出画面、再把声文章缝上去。这套单流文章视往往架构之前已在daVinci-MagiHuman中采取，MAGI-2 Preview又把它扩展到了千亿参数规模。成效就是，口型跟台词对得上，动作重文章和声文章踩在同一拍，镜头切换时环境声跟着变。全程模型自己算出来的，没有后期拼接。榜单和账单，一起算聊了这么多架构，最后还是关键回答两件事：有多强，有多贵。能力上，MAGI-2 Preview在Artificial Analysis图生视往往（含文章往往）榜单中拿下第六，Elo得分1106。也就是说，一个只激活约6B参数的开源模型，挤进了一群几十上百B激活参数的闭源模型中间。按8卡H100的月租金折算，蒸馏模型生成10秒视往往约0.5元，约为行业主流模型的十分之一。从几块钱降到几毛钱，对视往往产品团队来说，已经是另一门生意。35年前，MoE还只是Hinton等人比如文中的一种设想。35年后，它变成了一个具有114B参数、每次只激活约6B，同时完全开源的视往往生成模型。语言模型走过的路，终于轮到了视往往。编辑：摩西 大卫

(责任编辑：百科)