比预期还要高60% DeepSeek V4参数量有望达到1.6万亿
番茄系统家园 · 2026-04-17 12:30:30
本站4月17日消息,距离4月下旬没有几天了,DeepSeek V4大模型的发布牵动人心,昨天该公司研究人员突然更新了DeepGEMM算子库,被视为V4发不动的千兆｡
然而他们显然也预料到了外界的反应,更新之后还额外添加了一个说明,强调这次更新只与DeepGEMM开发相关,跟内部模型发布无关,就是说大家不要多想,这不代表着V4要发了｡
不过越是这样声明,越让大家对DeepSeek V4感兴趣了,因为DeepGEMM这波更新的亮点挺多,不可能跟V4大模型没关系｡
这次的更新除了支持了FP8_FP4混合算子及优化了对NVIDIA Blackwell的支持之外,架构上升级主要是Mega MoE及HyperConnection,其中Mega MoE有可能会带来MoE架构的一次重磅升级｡
Mega MoE的好处很多,网上有不少解释了,Gemini的解析暗示V4的激活专家数量会比V3的256个大幅提升,可能是数千个,如此一来显然会极大地提升V4的性能,同时又维持灵活性,不会对算力和显存有夸张的需求｡
更重要的一点,DeepGEMM这次的更新还暗示了V4大模型的参数量,网友表示单层MoE大约是25.37B,如果还是60层,那V4大概率是1.6T的大模型,再不济也是48层1.25T的大模型｡
对比之前V4是个1T万亿参数的传闻,1.6T参数量意味着比之前的预期还要高60%,那性能表现就非常值得期待了｡
万一1.6T没实现,1.25T参数量也会比当前V3的6700亿参数量翻倍,依然可以期待下表现,毕竟Mega MoE技术再做到数千个激活专家,那绝对是一次蜕变,改变MoE架构大模型发展的里程碑事件｡
