英伟达近日宣布开源一款基于预训练自回归骨干的离散扩散语言模型 Nemotron-Labs-TwoTower，该模型旨在解决大模型Token生成速度瓶颈问题。这款模型总参数规模达60B，采用创新的双塔架构设计——其中包含30B参数的自回归上下文塔与30B参数的扩散去噪塔，实际运行时每座塔仅激活3B参数。上下文塔保持冻结状态以维护自回归上下文信息，去噪塔则专注于噪声块的去噪处理，两座塔通过逐层交叉注意力机制实现高效协作。
英伟达近日宣布开源一款基于预训练自回归骨干的离散扩散语言模型 Nemotron-Labs-TwoTower，该模型旨在解决大模型Token生成速度瓶颈问题。这款模型总参数规模达60B，采用创新的双塔架构设计——其中包含30B参数的自回归上下文塔与30B参数的扩散去噪塔，实际运行时每座塔仅激活3B参数。上下文塔保持冻结状态以维护自回归上下文信息，去噪塔则专注于噪声块的去噪处理，两座塔通过逐层交叉注意力机制实现高效协作。