Noise Crystallization and Liquid Noise: Zero-shot Video Generation using Image Diffusion Models
Imperial College London(伦敦帝国学院)
针对扩散模型生成一致可控视频难度大、成本高的问题,本文提出噪声结晶与液体噪声两种零样本方法,修改图像扩散模型的输入噪声生成视频,还拓展了相关应用并得出VAE嵌入的理论见解。
2024-10-05 cs.CV
Diffusion-Based Image-to-Image Translation by Noise Correction via Prompt Interpolation
Seoul National University(首尔大学)
本研究提出一种免训练的扩散图像翻译方法,通过提示插值构造噪声校正项修正预训练扩散模型的噪声预测,可轻松集成到现有方法中,在低延迟下实现优异性能并提升现有框架效果。
2024-09-12 cs.CV
Deepfake Detection Generalization with Diffusion Noise
Zhejiang University(浙江大学)
本文提出利用扩散噪声特征提升深度伪造检测的泛化能力,通过引入注意力引导的噪声学习框架,增强模型对真实与合成图像差异的捕捉,实验表明在多个基准上取得最佳性能。
2026-04-16 cs.CV
SVNR: Spatially-variant Noise Removal with Denoising Diffusion
Google Research(谷歌研究院);University of Haifa(海法大学);Tel Aviv University(特拉维夫大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
提出SVNR去噪扩散新方法,采用空间变化噪声模型,支持像素级时间嵌入和噪声图像作为起始点,优于现有基线。
2023-06-28 cs.CV
DNI: Dilutional Noise Initialization for Diffusion Video Editing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出稀释噪声初始化(DNI)框架,通过向待编辑区域的潜在噪声添加额外噪声以软化结构刚性,实现扩散视频编辑中的非刚性编辑,如运动变化,实验证明其有效性。
2024-09-19 cs.CV
NoiseCollage: A Layout-Aware Text-to-Image Diffusion Model Based on Noise Cropping and Merging
Kyushu University(九州大学)
针对布局感知文本生成图像扩散模型存在的文图条件不匹配、图像质量下降问题,提出基于噪声裁剪合并的NoiseCollage模型,性能优于现有最优模型,还可集成ControlNet提升其布局精度。
2024-03-06 cs.CV
Resolving Endpoint Underfitting in Diffusion Bridges via Noise Alignment
University of Chinese Academy of Sciences(中国科学院大学)
针对扩散桥模型在目标端点附近出现的欠拟合问题,提出噪声对齐扩散桥(NADB),通过均值网络和噪声对齐映射解决噪声不匹配,在图像恢复和翻译任务中验证有效性。
2026-05-27 cs.CV
Diffusion^2: Dual Diffusion Model with Uncertainty-Aware Adaptive Noise for Momentary Trajectory Prediction
Civil and Environmental Engineering Department, University of Wisconsin-Madison(威斯康星大学麦迪逊分校土木与环境工程系);Civil and Environmental Engineering Department, University of Washington(华盛顿大学土木与环境工程系);College of Transportation, Tongji University(同济大学交通运输学院)
针对真实场景中观测数据不足的瞬时行人轨迹预测难题,提出由反向、前向扩散模型串联的Diffusion^2框架,搭配双头不确定性估计与时间自适应噪声模块,在多个基准数据集上取得最优性能。
2025-10-05 cs.CV
Sequence-Adaptive Video Prediction in Continuous Streams using Diffusion Noise Optimization
University of Bonn(波恩大学);Toyota Motor Europe(丰田欧洲公司);University of Wuerzburg(乌尔姆大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
本文提出了一种基于扩散噪声优化的连续流序列适应视频预测方法,通过在推理过程中细化扩散噪声以提升视频预测性能。
2025-11-26 cs.CV
Spectrally-Guided Diffusion Noise Schedules
Google Research(谷歌研究)
本文提出基于图像光谱特性设计实例特定噪声调度的方法,通过理论界限优化噪声级别,提升单阶段像素扩散模型生成质量,尤其在低步数情况下表现更佳。
2026-05-09 cs.CV cs.LG
Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise
University of Maryland(马里兰大学);New York University(纽约大学)
标准扩散模型涉及图像变换--添加高斯噪声--和反转这种退化的图像复原算子。我们观察到,生成行为的扩散模型是不是强烈依赖于图像退化的选择,事实上,整个家庭的生成模型可以通过改变这种选择。即使在使用完全确定性降级(例如,模糊、掩蔽等),作为扩散模型基础的训练和测试时更新规则可以容易地推广以创建生成模型。这些完全确定性模型的成功,质疑社会的理解扩散模型,它依赖于噪声的梯度朗之万动力学或变分推理,并铺平了道路广义扩散模型,反转任意过程。我们的代码可在https://github.com/arpitbansal297/Cold-Diffusion-Models上获得
2022-08-19 cs.CV cs.LG
Noise Estimation for Generative Diffusion Models
Tel-Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
生成扩散模型已经成为语音和图像生成中的主要模型。然而,为了用少量的去噪步骤来良好地执行,需要对噪声参数集进行昂贵的调谐。在这项工作中,我们提出了一个简单而通用的学习方案,可以逐步调整这些噪声参数,对于任何给定的步骤数,而以前的工作需要分别为每个数字重新调整。此外,在不修改扩散模型的权重的情况下,我们能够显著地改善合成结果,对于少量的步骤。我们的方法来在一个可以忽略不计的计算成本。
2021-09-12 cs.CV cs.LG
Noise Aggregation Analysis Driven by Small-Noise Injection: Efficient Membership Inference for Diffusion Models
South China University of Technology(华南理工大学)
本文提出基于噪声聚合分析的成员推断方法,通过单步低强度噪声注入策略增强成员与非成员样本差异,降低模型查询需求并提升推断效率与准确性。
2026-04-17 cs.AI cs.CR cs.CV
On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models
IIT Hyderabad(印度理工学院海得拉巴分校);Adobe(奥多比);MIT(麻省理工学院)
条件图像生成为图像编辑、生成库存照片和3D对象生成方面的几个突破铺平了道路。随着基于扩散模型的新的最先进的方法的兴起,这仍然是一个重要的感兴趣的领域。然而,扩散模型对生成的图像提供的控制非常少,这导致了后续的工作探索技术,如分类指导,提供了一种权衡多样性与保真度的方法。在这项工作中,我们探索技术条件扩散模型精心制作的输入噪声文物。这允许生成以语义属性为条件的图像。这与现有的方法不同,现有的方法输入高斯噪声,并进一步在扩散模型的推理步骤中引入调节。我们的实验在几个例子和条件设置显示了我们的方法的潜力。
2022-05-08 cs.CV cs.LG
How I Warped Your Noise: a Temporally-Correlated Noise Prior for Diffusion Models
ETH Zürich(苏黎世联邦理工学院)
针对扩散模型中噪声采样不保留视频帧间相关性导致伪影的问题,提出积分噪声表示及定制传输方法以保持时间相关性,提升视频编辑与生成质量。
2025-04-03 cs.CV cs.LG
Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model
Department of AI Convergence, Gwangju Institute of Science and Technology (GIST)(人工智能融合系,光州科学技术院);Samsung Research(三星研究所)
通过注意力机制的贝叶斯主动噪声选择方法,提升视频扩散模型的生成质量与时间一致性。
2026-03-03 cs.AI cs.CV
$\mathrm{D}^\mathrm{3}$-Predictor: Noise-Free Deterministic Diffusion for Dense Prediction
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院)
D³-预测器通过无噪声确定性扩散模型解决密集预测中随机噪声导致的几何结构破坏问题,实现高效且高质量的密集预测性能。
2026-01-21 cs.AI cs.CV
Diffusion Models With Learned Adaptive Noise
Cornell Tech(康奈尔理工学院);Cornell University(康奈尔大学)
本文提出MULAN,一种学习多元自适应噪声调度的扩散模型,通过变分推断获得更紧的ELBO,在CIFAR-10和ImageNet上达到最先进密度估计性能,并减少50%训练步数。
2024-11-10 cs.CV cs.LG
Golden Noise for Diffusion Models: A Learning Framework
HKUST-GZ(香港科技大学-广州);Shanghai AI Lab(上海人工智能实验室);MBZUAI(穆罕默德·本·拉希德人工智能学院);HKBU(香港都会大学)
本文提出噪声提示学习框架,通过构建含10万对样本的噪声提示数据集并训练小型NPNet,将随机高斯噪声转换为黄金噪声,从而以极低计算成本提升多种扩散模型的文本-图像对齐和图像质量。
2025-07-17 cs.CV cs.LG
NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation
University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学);University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学);Sydney AI Centre(悉尼人工智能中心)
针对扩散模型插值自然图像时编码噪声失效的问题,提出NoiseDiffusion方法,通过引入高斯噪声和约束校正噪声,并在带噪图像空间插值且注入原图,避免伪影和信息损失,实现最佳插值效果。
2024-03-13 cs.AI cs.CV
Non Gaussian Denoising Diffusion Models
Tel-Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学院)
生成扩散过程是一种新兴的有效的图像和语音生成工具。在现有的方法中,扩散过程的下划线噪声分布是高斯噪声。然而,具有更多自由度的拟合分布可以帮助这种生成模型的性能。在这项工作中,我们调查其他类型的噪声分布的扩散过程。具体来说,我们表明,从伽马分布的噪声提供了改进的结果,图像和语音生成。此外,我们表明,在扩散过程中使用高斯噪声变量的混合物,提高了基于单一分布的扩散过程的性能。我们的方法保留了在训练扩散过程中有效采样状态的能力,同时使用Gamma噪声和噪声的混合。
2021-06-14 cs.CV cs.LG cs.SD
Energy-Conditioned Noise Schedule and Whitening for Spectral Diffusion
University of Nis, Faculty of Electronic Engineering(尼什大学电子工程学院);University MB, Information Technology department(MB大学信息技术学院);University of Arizona, Electrical & Computer Engineering (ECE) department(亚利桑那大学电气与计算机工程系)
本文提出能量条件噪声调度与谱白化策略,使前向扩散噪声适应谱能量分布,在CIFAR-10上将FID从142.48降至100.45。
2026-10-07 cs.AI cs.CV cs.ET
Blue noise for diffusion models
MPI Informatics(MPI信息学研究所);VIA Center(VIA中心);Google DeepMind(谷歌DeepMind);Google Research(Google研究院);University of Cambridge(剑桥大学)
本文提出在确定性扩散模型中引入蓝噪声及相关噪声掩码,考虑图像内和图像间的噪声相关性,以改善训练梯度流并提升生成质量,在多个数据集上以FID指标验证了优于仅用高斯白噪声的方法。
2024-05-02 cs.CV cs.GR cs.LG
A Noise is Worth Diffusion Guidance
Korea University(高丽大学);KAIST(韩国科学技术院);Sookmyung Women’s University(淑明女子大学);Hugging Face
针对扩散模型需引导生成可靠图像的问题,提出NoiseRefine方法,通过优化初始噪声为无引导噪声,利用小幅度低频分量增强去噪,无需引导即可提升推理效率和图像质量,仅需50K数据即可实现高效学习。
2024-12-05 cs.AI cs.CV cs.LG
Terrain Diffusion: A Diffusion-Based Successor to Perlin Noise in Infinite, Real-Time Terrain Generation
Independent Researcher(独立研究者)
Terrain Diffusion通过结合扩散模型的保真度与程序化噪声的特性,实现了高效且逼真的无限实时地形生成。
2026-01-11 cs.AI cs.CV cs.GR
Connective Viewpoints of Signal-to-Noise Diffusion Models
VinAI Research(VinAI研究院);Monash University(莫纳什大学)
本文从信噪比与信息理论关联的视角系统研究信噪比扩散模型中的噪声调度器,并提出广义反向方程以提升推理性能。
2024-08-08 cs.AI cs.CV cs.LG
Noise is All You Need: Solving Linear Inverse Problems by Noise Combination Sampling with Diffusion Models
Waseda University(早稻田大学)
针对预训练扩散模型求解零样本线性逆问题时观测信息整合的固有困境,提出噪声组合采样方法,从噪声子空间合成最优噪声近似测量得分,无需逐步调参,在生成步数少的场景下以低开销提升性能、鲁棒性与稳定性。
2025-10-24 cs.AI cs.CV cs.LG
Cloud Diffusion Part 1: Theory and Motivation
The Spin Group Research Institute(Spin Group研究 institute)
本文提出用尺度不变噪声替代白噪声构建云扩散模型,以加速推理、改善高频细节并增强可控性,后续将实验验证。
2025-07-07 cs.AI cs.CV cs.LG
Edge-preserving noise for diffusion models
Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Advanced Micro Devices(先进微器件)
本文提出一种边缘保留的扩散过程,通过混合噪声方案在边缘感知调度器中平滑过渡,提升结构细节捕捉能力,同时保持全局性能,并在图像生成和结构引导任务中取得改进。
2026-04-16 cs.AI cs.CV cs.GR
NoiseRater: Meta-Learned Noise Valuation for Diffusion Model Training
Stanford University(斯坦福大学);UNSW(新南威尔士大学);UCL(伦敦大学学院);The University of Chicago(芝加哥大学);CUHK(香港中文大学);Nanjing University(南京大学);Brown University(布朗大学);Yale University(耶鲁大学);University of Notre Dame(Notre Dame 大学);University of Waterloo(滑铁卢大学);UCB(加州大学伯克利分校);Georgia Technology(佐治亚理工学院);Amazon(亚马逊)
本文提出NoiseRater,通过元学习实现实例级噪声估值,提升扩散模型训练效率和生成质量。
2026-09-30 cs.AI cs.CV cs.LG
Listening to the Noise: Blind Denoising with Gibbs Diffusion
Ecole Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院,巴黎综合理工学院);Flatiron Institute(弗拉蒂伦研究所)
提出吉布斯扩散(GDiff)方法,通过交替条件扩散采样与蒙特卡洛推断,实现未知噪声参数下的盲去噪,并应用于自然图像与宇宙微波背景数据分析。
2024-06-25 astro-ph.CO cs.CV cs.LG
NFCDS: A Plug-and-Play Noise Frequency-Controlled Diffusion Sampling Strategy for Image Restoration
Nanjing University of Science and Technology(南京理工大学)
NFCDS通过控制噪声频率提升图像修复的保真度与感知质量,无需额外训练。
2026-01-29 cs.CV
CARD: Correlation Aware Restoration with Diffusion
University of California, Riverside(加州大学河滨分校)
CARD是一种无训练扩展的扩散模型,通过处理空间相关噪声提升图像修复性能。
2025-12-04 cs.CV
Common Diffusion Noise Schedules and Sample Steps are Flawed
ByteDance Inc.(字节跳动有限公司)
本文指出常见扩散噪声调度和采样器实现未强制零终端信噪比且未从最后时间步开始,导致训练与推理不一致并限制 Stable Diffusion 亮度生成,提出重缩放噪声调度、v 预测、修正采样起点和重缩放无分类器引导等修复方法。
2024-01-23 cs.CV
Noise2Map: End-to-End Diffusion Model for Semantic Segmentation and Change Detection
Division of Geoinformatics, School of Architecture and Built Environment, KTH Royal Institute of Technology(地理信息学系,建筑与环境学院,皇家理工学院)
本文提出Noise2Map模型,通过扩散模型的去噪过程实现端到端的语义分割和变化检测,结合任务特定的噪声调度和时间步条件,提升模型的可解释性和鲁棒性。
2026-04-30 cs.CV
HNDiff: Haze-Noise Diffusion for Image Dehazing
National Yang Ming Chiao Tung University(国立阳明交通大学);National Tsing Hua University(国立清华大学);National Chengchi University(国立政治大学);NVIDIA(英伟达)
本文提出嵌入大气散射模型的HNDiff扩散框架,通过雾霾感知噪声调度器关联正向退化物理机制,反向同步去雾去噪,改进主流去雾骨干网络并在基准数据集达最优结果。
2026-08-12 cs.CV
Diffusion Priors for Variational Likelihood Estimation and Image Denoising
School of Artificial Intelligence and Automation(人工智能与自动化学院);Huazhong University of Science and Technology(华中科技大学)
本文提出基于扩散先验的自适应似然估计与MAP推断方法,结合变分贝叶斯动态估计噪声精度,用于真实世界图像去噪,并利用局部扩散先验处理高分辨率图像。
2024-10-23 cs.CV
A Noise Constrained Diffusion (NC-Diffusion) Framework for High Fidelity Image Compression
Shandong University(山东大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出噪声约束扩散框架,通过将量化噪声作为扩散过程中的噪声,提升压缩效率和图像保真度,同时引入自适应频域滤波模块和零样本引导增强方法,实验证明其优于现有方法。
2026-04-08 cs.CV eess.IV
Dark Noise Diffusion: Noise Synthesis for Low-Light Image Denoising
School of Computer and Communication Sciences, École Polytechnique Fédérale de Lausanne(计算机与通信科学学院,瑞士联邦理工学院洛桑分校)
本文提出基于扩散模型的低光噪声合成方法,通过双分支架构、位置信息建模和定制噪声调度三项改进,生成高质量训练数据,使低光去噪网络达到最先进性能。
2025-07-05 cs.CV eess.IV
Denoising Diffusion Gamma Models
Tel-Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究);École Normale Supérieure Paris-Saclay(巴黎-萨克兰高等师范学院)
生成扩散过程是一种新兴的有效的图像和语音生成工具。在现有的方法中,扩散过程的潜在噪声分布是高斯噪声。然而,具有更多自由度的拟合分布可以提高这种生成模型的性能。在这项工作中,我们调查其他类型的噪声分布的扩散过程。具体来说,我们介绍了去噪扩散伽玛模型(DDGM),并表明,伽玛分布的噪声提供了改进的结果,图像和语音生成。我们的方法保留了在训练扩散过程中有效采样状态的能力,同时使用Gamma噪声。
2021-10-10 cs.AI cs.CV cs.GR