剑桥 MIT 联合研究三模态掩码扩散模型：提出 SDE 重参数化解耦批次大小，3B 规模实现文本图像音频统一生成

研究人员首次从零开始预训练了支持文本、图文和音频的三模态掩码扩散模型（MDM），并在 3B 参数规模下实现了高质量的跨模态生成。该工作通过引入基于随机微分方程（SDE）的重参数化方法，成功将物理批次大小与逻辑梯度方差解耦，消除了传统训练中繁琐的批次调优需求。这是目前最大规模的开源多模态离散扩散模型系统性研究，为理解多模态缩放定律提供了关键基准。