中文标题#
压缩扩散模型
英文标题#
Squeezed Diffusion Models
中文摘要#
扩散模型通常注入各向同性的高斯噪声，而忽略数据中的结构。 受量子压缩态根据海森堡不确定性原理重新分布不确定性的启发，我们引入了压缩扩散模型（SDM），该模型在训练分布的主要成分上各向异性地缩放噪声。 由于在物理学中压缩可以提高信噪比，我们假设以数据相关的方式缩放噪声可以更好地帮助扩散模型学习重要的数据特征。 我们研究了两种配置：(i) 海森堡扩散模型，在主轴上补偿缩放的同时在正交方向上进行反向缩放，以及 (ii) 标准 SDM 变体，仅缩放主轴。 出人意料的是，在 CIFAR-10/100 和 CelebA-64 上，轻微的反压缩 —— 即在主轴上增加方差 —— 始终能将 FID 提升高达 15%，并将精确率 - 召回率前沿推向更高的召回率。 我们的结果表明，简单的、数据感知的噪声塑造可以在不改变架构的情况下带来稳健的生成优势。
英文摘要#
Diffusion models typically inject isotropic Gaussian noise, disregarding structure in the data. Motivated by the way quantum squeezed states redistribute uncertainty according to the Heisenberg uncertainty principle, we introduce Squeezed Diffusion Models (SDM), which scale noise anisotropically along the principal component of the training distribution. As squeezing enhances the signal-to-noise ratio in physics, we hypothesize that scaling noise in a data-dependent manner can better assist diffusion models in learning important data features. We study two configurations: (i) a Heisenberg diffusion model that compensates the scaling on the principal axis with inverse scaling on orthogonal directions and (ii) a standard SDM variant that scales only the principal axis. Counterintuitively, on CIFAR-10/100 and CelebA-64, mild antisqueezing - i.e. increasing variance on the principal axis - consistently improves FID by up to 15% and shifts the precision-recall frontier toward higher recall. Our results demonstrate that simple, data-aware noise shaping can deliver robust generative gains without architectural changes.
文章页面#
PDF 获取#
抖音扫码查看更多精彩内容