重磅开源

大模型天下武功,唯快不破!英伟达祭出“双塔暗器”,速度直接狂飙 2.42 倍!

做大模型的都在头疼:生成文本一个字一个字往外蹦,简直急死人。就在刚刚,黄仁勋的秘密武器开源了,彻底打破这个僵局!

在 AI 圈子里,有个心照不宣的痛点——逐字生成的“串行”输出。不管你模型多聪明,它都得老老实实写完上个词再写下个词。

但就在 7 月 2 日,英伟达(NVIDIA)正式推出了名为 Nemotron-Labs-TwoTower 的离散扩散语言模型。别被这复杂的英文名吓退,简单来说:它让大模型写字的速度直接提升了 2.42 倍,而且画质/生成质量保留了足足 98.7%!


60B 参数“两座大塔”:分工明确,并肩作战

这次开源的模型总参数量达到了 60B。不过,英伟达用了一种极其精妙的建筑学艺术——把它拆分为两座独立的 30B 神经网络(双塔)协同工作:

1
上下文塔(Context Tower):稳如泰山

负责死死记住和留存全文的语义信息,给全局把控方向。

2
去噪塔(Denoiser Tower):疯狂输出

依靠先进的扩散机制,不再挤牙膏,而是直接“并行”生成文本!

两座塔通过交叉注意力机制疯狂打配合。这就好比一个军师在后方运筹帷幄,一个将军在前线多点并发冲锋,效率能不翻倍吗?

“测试数据显示,除了代码和数学类任务有非常小幅度的下滑,模型的综合能力几乎完美继承,吞吐速度直接拉到原版的 2.42 倍!”


不画大饼,直接开源!开发者们的狂欢

很多大厂发论文只是为了“秀肌肉”,但英伟达这次非常接地气:权重已经在 Huggingface 上完全开源!

更重要的是,它是基于现有的 Nemotron 骨干网络改造的,复用了预训练权重,开发者不需要从零完整训练,这省下的可不是几千块钱,而是真金白银的算力成本!

小贴士:配置要求看这里

想要体验完全体的“双塔完整推理”,你需要准备两张 H100 或 A100 80GB 显卡进行双卡协同。如果只有单卡,那就只能支持纯自回归模式哦。

这次英伟达可以说是把“高效率”和“低成本”同时喂到了开发者的嘴边。大模型推理的“高速时代”,真的要来了!