Learning Diffusion Priors from Observations by Expectation Maximization
University of Liège(里耶自治大学);Université Paris-Saclay(巴黎-萨克雷大学);Université Paris Cité(巴黎城市大学);CEA(欧洲原子能委员会);CNRS(国家科学研究中心);AIM(人工智能研究所)
本文提出 DiEM 方法,基于期望最大化算法仅从不完整和含噪声的观测中训练扩散模型,解决了传统方法依赖大量干净数据的问题,并提出了改进的后验采样方案,实验验证了其有效性。
2025-10-31 cs.LG stat.ML
Structured Diffusion Models with Mixture of Gaussians as Prior Distribution
University of California, Berkeley(加州大学伯克利分校)
本文提出以高斯混合为先验的结构化扩散模型,给出适配训练流程与理论优势分析,并通过多类数据实验验证其鲁棒性及在资源受限场景下的价值。
2024-10-24 cs.LG stat.ML
Perception Prioritized Training of Diffusion Models
Seoul National University(首尔国立大学);LG AI Research(LG人工智能研究院)
扩散模型通过优化相应损失项的加权和来学习恢复被不同级别的噪声破坏的噪声数据,即,去噪得分匹配损失。在本文中,我们表明,恢复数据损坏一定的噪声水平提供了一个适当的借口任务的模型学习丰富的视觉概念。我们建议通过重新设计目标函数的加权方案,在训练过程中优先考虑这些噪声水平。我们表明,我们简单的重新设计的加权方案显着提高性能的扩散模型,无论数据集,架构和采样策略。
2022-04-01 cs.CV cs.LG
Thompson Sampling with Diffusion Generative Prior
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Amazon(亚马逊);AWS AI Labs(AWS人工智能实验室)
在这项工作中,我们提出了使用去噪扩散模型来学习在线决策问题的先验知识的想法。我们特别关注的是Bandit框架的元学习,目标是学习一种在同一类的Bandit任务中表现良好的策略。为此,我们训练一个扩散模型,学习底层的任务分布,并结合汤普森采样与学习之前处理新的任务在测试时。我们的后验采样算法的目的是仔细平衡学习的先验知识和来自学习者与环境的交互的嘈杂的观察。为了捕捉真实的强盗场景,我们还提出了一种新型的扩散模型训练过程,甚至可以从不完整和/或有噪的数据中进行训练,这可能是独立感兴趣的。最后,我们广泛的实验评估清楚地表明了所提出方法的潜力。
2023-01-30 cs.AI cs.LG stat.ML
PRISM: Probabilistic and Robust Inverse Solver with Measurement-Conditioned Diffusion Prior for Blind Inverse Problems
Johns Hopkins University(约翰霍普金斯大学);Tsinghua University(清华大学)
本文提出PRISM,一种结合测量条件扩散先验与后验采样的概率鲁棒逆求解器,用于盲逆问题,并在盲图像去模糊中同时提升图像和模糊核恢复性能。
2025-09-19 cs.CV cs.LG eess.IV
PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Dependent Adaptive Prior
Seoul National University(首尔国立大学);Microsoft Research Asia(微软亚洲研究院)
最近提出了去噪扩散概率模型,通过估计数据密度的梯度来生成高质量的样本。该框架将先验噪声定义为标准高斯分布,而相应的数据分布可能比标准高斯分布更复杂,这可能会由于数据和先验之间的差异而在对数据样本中的先验噪声进行去噪时引入低效率。在本文中,我们提出的PriorGrad提高效率的条件扩散模型的语音合成(例如,一个声码器使用的梅尔频谱作为条件),通过应用自适应先验来自数据统计的基础上的条件信息。我们制定的训练和采样程序的PriorGrad和证明的优势,通过理论分析的自适应先验。专注于语音合成领域,我们考虑了最近提出的基于谱域和时域的基于扩散的语音生成模型,并表明PriorGrad实现了更快的收敛和推理以及卓越的性能,从而提高了感知质量和对较小网络容量的鲁棒性,从而证明了数据相关自适应先验的效率。
2022-02-20 cs.LG cs.SD eess.AS
Score-Based Diffusion Models as Principled Priors for Inverse Imaging
California Institute of Technology(加州理工学院);Google Research(谷歌研究院)
本文提出将基于分数的扩散模型作为原理性图像先验,通过实证验证其概率函数并用于变分推断,在去噪、去模糊和干涉成像中实现高质量重建。
2023-08-28 cs.CV
KLIP: localized distribution shift detection via KL-divergence with diffusion priors in Inverse Problems
Georgia Institute of Technology(佐治亚理工学院)
提出基于KL散度的OOD检测指标,无需校准数据或偏移分布知识,可检测并定位图像中的局部分布偏移。
2026-05-29 cs.CV cs.LG
Noise, Denoise, Correct: MCMC Posterior Sampling with Diffusion Priors in Three Steps
PhysicsX
针对非线性不可微逆问题,提出扩散华尔兹MCMC方法,用SDEdit加噪去噪作提议并经MH校正实现精确后验采样,在Navier-Stokes任务上优于基线。
2026-10-08 cs.LG
When are Diffusion Priors Helpful in Sparse Reconstruction? A Study with Sparse-view CT
Rice University(莱斯大学);The University of Texas MD Anderson Cancer Center(德克萨斯大学 MD 安德森癌症中心)
本研究通过稀疏视角CT脂肪定量实验,系统比较扩散先验与经典正则化先验,发现扩散先验在极少投影下能恢复更多细节但存在性能平台期和伪真实风险,揭示了其在临床稀疏重建中的潜在问题。
2025-02-04 cs.CV cs.LG eess.IV
Diffusion models as plug-and-play priors
本文提出将独立训练的去噪扩散生成模型作为即插即用先验,结合可微辅助约束实现高维数据近似推断,可用于条件生成等任务,其多噪声版本评估机制或能解决组合优化问题。
2026-08-31 cs.CV cs.LG
PRedItOR: Text Guided Image Editing with Diffusion Prior
Adobe Applied Research(奥多比应用研究院)
扩散模型在生成高质量和创造性的文本图像方面表现出了卓越的能力。这种模型的一个有趣的应用是结构保持文本引导的图像编辑。现有的方法依赖于文本条件扩散模型,诸如稳定扩散或Imagen,并且需要文本嵌入的计算密集型优化或用于文本引导的图像编辑的模型权重的微调。我们探索文本引导的图像编辑与混合扩散模型(HDM)架构类似DALLE-2。我们的体系结构包括一个扩散先验模型,生成CLIP图像嵌入条件的文本提示和自定义潜空间扩散模型训练生成的图像条件的CLIP图像嵌入。我们发现,扩散先验模型可以用于在CLIP图像嵌入空间上执行文本引导的概念编辑,而无需任何微调或优化。我们将其与结构保持编辑的图像解码器使用现有的方法,如反向DDIM执行文本引导的图像编辑。我们的方法,PredItOR不需要额外的输入,微调,优化或目标,并显示出与基线相同或更好的结果。我们提供了进一步的分析和理解的扩散先验模型,并相信这开辟了新的可能性,在扩散模型的研究。
2023-03-20 cs.CV
Predictive posterior sampling from non-stationnary Gaussian process priors via Diffusion models with application to climate data
Mines Paris, PSL University(巴黎矿业学院(巴黎文理研究大学))
本文提出一种基于扩散生成模型的两步方法,通过DGM代理替换非平稳高斯过程先验并利用免训练引导算法进行后验采样,解决了非平稳GP预测后验分布计算不可行的问题,在环境科学逆问题中实现了最先进的预测。
2025-05-23 cs.LG stat.ML
Scale-Cascaded Diffusion Models for Super-Resolution in Medical Imaging
University of Pennsylvania(宾夕法尼亚大学);Siemens Healthineers(西门子医疗);Siemens Industry Software(西门子工业软件)
本文提出多尺度扩散模型用于医学影像超分辨率,通过分解图像为不同频带并训练独立先验,提升重建质量并减少推理时间。
2026-01-30 cs.CV cs.LG eess.IV
TimeBridge: Better Diffusion Prior Design with Bridge Models for Time Series Generation
Korea Institute for Advanced Study(韩国高级研究院);Seoul National University(首尔国立大学)
TimeBridge通过桥模型改进扩散先验设计,提升时间序列生成的灵活性和性能。
2025-12-24 cs.AI cs.LG
Coding-Prior Guided Diffusion Network for Video Deblurring
针对视频去模糊忽略编码先验与扩散模型知识的问题,提出CPGDNet两阶段框架,通过编码先验特征传播模块和编码先验控制生成模块利用两类先验,实现IQA指标提升30%的最优感知质量。
2025-04-16 cs.CV
Controlled and Conditional Text to Image Generation with Diffusion Prior
Adobe Applied Research(奥多比应用研究院)
本文探索 DALLE-2 的 Diffusion Prior 能力,提出利用其以高效内存和计算方式约束生成至特定领域,并通过颜色直方图等条件信息进一步控制生成,定量与定性实验证明该方法优于提示工程和现有基线。
2023-08-01 cs.CV
Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors
Johns Hopkins University(约翰斯·霍普金斯大学)
条件扩散概率模型可以模拟自然图像的分布,并可以根据给定的条件生成多样化和真实的样本。然而,通常他们的结果可能是不现实的,具有可观察到的颜色变化和纹理。我们认为,这个问题是由模型学习的概率分布与自然图像分布之间的分歧造成的。微妙的条件逐渐扩大的分歧,在每个采样时间步长。为了解决这个问题,我们引入了一种新的方法,使预测样本的训练数据流形使用预训练的无条件扩散模型。无条件模型充当正则化器,并减少条件模型在每个采样步骤中引入的发散。我们进行了全面的实验,以证明我们的方法在超分辨率,彩色化,湍流消除和图像去伪任务的有效性。通过我们的方法得到的改进表明,先验可以被纳入作为一个通用的插件,用于改善条件扩散模型。
2022-12-14 cs.CV
Geological and Well prior assisted full waveform inversion using conditional diffusion models
King Abdullah University of Science and Technology(卡布斯科学技术大学)
针对全波形反演因观测不足导致结果不准确的问题,提出一种结合条件扩散模型与无分类器引导的地质类别和测井信息先验辅助FWI方法,实现多模态先验匹配,显著提升了反演效果。
2025-07-01 cs.LG physics.geo-ph
Preserve Your Own Correlation: A Noise Prior for Video Diffusion Models
University of Maryland(马里兰大学);NVIDIA(英伟达);University of Chicago(芝加哥大学)
针对视频合成计算昂贵且数据难获取的问题,提出通过微调预训练图像扩散模型并设计专属视频噪声先验的方法PYoCo,在UCF-101和MSR-VTT基准上实现了SOTA的零样本文本到视频生成,且以更小模型和计算量达到优异质量。
2024-03-26 cs.CV cs.GR cs.LG
Fuzzy-Conditioned Diffusion and Diffusion Projection Attention Applied to Facial Image Correction
Media Technology Center, ETH Z\"urich, Switzerland
本文提出模糊条件扩散与扩散投影注意力机制,通过逐像素可控强度修改和异常程度估计,实现了可解释且自主的人脸图像校正。
2023-07-01 cs.CV cs.LG eess.IV
Probabilistic Prior Driven Attention Mechanism Based on Diffusion Model for Imaging Through Atmospheric Turbulence
Northwestern Polytechnical University(西北工业大学);Beihang University(北京航空航天大学)
针对大气湍流导致的图像畸变,提出PPTRN网络,结合DDPM先验建模与Transformer特征提取,通过两阶段训练和概率先验驱动交叉注意力机制减少伪影,显著提升复原质量并树立新基准。
2024-11-15 cs.CV
Motion Planning Diffusion: Learning and Planning of Robot Motions with Diffusion Models
TU Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
本文提出将扩散模型作为先验,利用其逆去噪过程直接从以任务目标为条件的后验轨迹分布中采样,以加速机器人运动规划,实验证明该方法能有效编码高维轨迹分布并具备良好的泛化能力。
2024-03-26 cs.AI cs.LG cs.RO
Sample-efficient evidence estimation of score based priors for model selection
Department of Computing and Mathematical Sciences(计算与数学科学系)
本文提出DiME方法,通过整合后验采样方法的时间边际,利用逆扩散采样过程中的大量中间样本,高效估计扩散先验的模型证据,用于模型选择和先验误拟诊断。
2026-04-30 cs.CV cs.LG stat.ME
Bayesian Tensor Decomposition with Diffusion Model Prior
Zerui Tao(泽瑞·陶);Qibin Zhao(赵启斌)
提出DiffBCP框架,结合累积收缩过程先验和预训练扩散模型,通过分裂吉布斯采样实现贝叶斯CP分解,在图像修复和去噪任务中优于现有方法。
2026-06-16 cs.LG
End-To-End Learning of Gaussian Mixture Priors for Diffusion Sampler
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
针对扩散模型在先验与目标分布支撑差异大时面临的探索困难、离散化误差及模式崩溃问题,提出端到端可学习的高斯混合先验(GMPs)及迭代细化策略,无需额外目标评估即可显著提升多基准下的性能。
2025-03-01 cs.AI cs.LG stat.ML
Learning a Diffusion Prior for NeRFs
Cornell University(康奈尔大学);Google Research(谷歌研究院)
针对少视图监督下NeRF训练的欠约束难题,提出用扩散模型学习正则化网格编码的NeRF生成先验,可生成逼真NeRF并支持条件生成。
2023-04-27 cs.AI cs.CV cs.LG
Blind Inversion using Latent Diffusion Priors
Peking University(北京大学)
本文提出LatentDEM,在EM框架中结合潜在扩散先验解决盲反问题,通过交替恢复图像与估计前向算子,并引入两种优化技术,在2D盲去模糊和3D稀疏视角重建上优于现有方法。
2024-07-01 cs.CV
Local Patches Meet Global Context: Scalable 3D Diffusion Priors for Computed Tomography Reconstruction
EECS Department, University of Michigan(密歇根大学电子工程与计算机科学系)
本文提出一种3D片段基扩散模型,通过学习3D片段先验实现高效高分辨率3D CT重建,优于现有方法。
2025-12-20 cs.CV
Diffusion Models as Dataset Distillation Priors
Dept. of Comp. Sci. & Tech., BNRist Center, THU-Bosch ML Center, Tsinghua University(清华大学计算机科学与技术系、北京信息科学与技术国家研究中心、清华-博世机器学习中心);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Electronic Science and Technology of China(电子科技大学);South China University of Technology(华南理工大学)
本文提出Diffusion As Priors方法,通过量化合成与真实数据在特征空间的相似性提升数据集蒸馏的代表性,无需重新训练即可生成高质量数据集。
2026-04-03 cs.LG
ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal
Nanyang Technological University(南洋理工大学);Peng Cheng Laboratory(鹏城实验室);Harvard University(哈佛大学)
最近的深度学习方法在图像阴影去除方面取得了可喜的成果。然而,由于缺乏退化前嵌入和建模能力的不足,它们的恢复图像仍然遭受不令人满意的边界伪影。我们的工作通过提出一个统一的扩散框架来解决这些问题,该框架集成了图像和退化先验,以实现高效的阴影去除。首先,我们提出了一个阴影退化模型,这启发我们建立了一个新的展开扩散模型,称为ShandowDiffusion。它通过使用退化先验和扩散生成先验逐步细化期望的输出,显着提高了模型的阴影去除能力,这本质上可以作为图像复原的新的强基线。此外,ShadowDiffusion作为扩散生成器的辅助任务,逐步细化估计的阴影遮罩,从而生成更准确、更强大的无阴影图像。我们在三个流行的公共数据集上进行了广泛的实验,包括ISTD,ISTD+和SRD,以验证我们的方法的有效性。与最先进的方法相比,我们的模型在PSNR方面取得了显着的改善,在SRD数据集上从31.69dB增加到34.73dB。
2022-12-13 cs.CV
Learning Spectral Diffusion Prior for Hyperspectral Image Reconstruction
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学)
本文提出光谱扩散先验(SDP)和光谱先验注入模块(SPIM),通过扩散模型学习高光谱图像细节先验并动态注入重建模型,在MST和BISRNet上提升约0.5 dB。
2025-07-18 cs.AI cs.CV
Diffusion priors for Bayesian 3D reconstruction from incomplete measurements
Jena University Hospital(耶拿大学医院);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
本文提出在贝叶斯框架下将扩散模型作为先验,结合不完整含噪实验数据,利用3D点云实现从极稀疏、低分辨率及部分观测中的三维重建,并成功应用于结构生物学中的冷冻电镜生物分子组装体重建。
2024-12-19 cs.LG
Diffusion-based Generative Prior for Low-Complexity MIMO Channel Estimation
Lehrstuhl für Methoden der Signalverarbeitung, Technische Universität München(慕尼黑工业大学信号处理方法研究所)
本研究提出基于扩散模型的低复杂度MIMO信道估计器,通过稀疏角域信道分布学习、带SNR位置嵌入的轻量CNN及优化的扩散估计策略,实现了优于现有生成先验类顶尖信道估计器的性能。
2024-03-06 cs.LG eess.SP
Towards High-Fidelity 3D Portrait Generation with Rich Details by Cross-View Prior-Aware Diffusion
School of Computer Science, Wuhan University(武汉大学计算机学院);SKL-IOTSC, CIS, University of Macau(澳门大学)
本文提出一种跨视图先验感知扩散方法,通过Hybrid Priors Diffusion模型和Multi-View Noise Resampling Strategy在条件化和扩散过程中利用多视图先验,从单张图像生成具有准确几何和丰富细节的高保真3D肖像。
2024-11-15 cs.AI cs.CV
Composing diffusion priors with explicit physical context via generative Gibbs sampling
Department of Chemistry(化学系);Courant Institute of Mathematical Sciences(数学科学学院);University of Chicago(芝加哥大学);New York University(纽约大学)
本文提出GG-PA框架,通过生成性Gibbs采样结合显式物理上下文,实现扩散先验与物理上下文的联合分布推断,验证了在有限扩散时间下精确性,并通过实验展示其在双井系统、ϕ⁴晶格模型和原子肽系统中的有效性。
2026-11-10 cond-mat.stat-mech cs.LG
Using Powerful Prior Knowledge of Diffusion Model in Deep Unfolding Networks for Image Compressive Sensing
Beijing Jiaotong University(北京交通大学)
本文提出DMP-DUN,将预训练扩散模型的先验知识嵌入深度展开网络,以最少2步实现图像压缩感知的高质量重建并达到最先进性能。
2025-03-11 cs.CV
DiffusionRig: Learning Personalized Priors for Facial Appearance Editing
Adobe(奥多比);UC San Diego(加州大学圣迭戈分校)
DiffusionRig利用少量个人照片训练个性化扩散先验,以粗略3D人脸模型为条件操控光照、表情和姿态,实现高保真面部外观编辑。
2023-04-13 cs.CV cs.GR
Leveraging Prior Knowledge of Diffusion Model for Person Search
GSAIM, Chung-Ang University(Chung-Ang大学图像信息研究所);IPAI, Seoul National University(首尔国立大学图像感知研究所);Department of Mathematical Sciences and RIMS, Seoul National University(首尔国立大学数学科学系和RIMS)
针对行人搜索中现有方法的不足,提出DiffPS框架,利用预训练扩散模型,消除子任务优化冲突,通过分析扩散先验属性设计三个专门模块,在CUHK-SYSU和PRW数据集上取得新的最优成果。
2026-07-15 cs.CV
InstantViR: Real-Time Video Inverse Problem Solver with Distilled Diffusion Prior
Peking University(北京大学);Huaqiao University(华侨大学);Kuaishou Technology(快手科技)
InstantViR通过蒸馏扩散先验实现高效实时视频重建,以35 FPS速度在NVIDIA A100 GPU上达到与基线相当的重建质量。
2026-10-14 cs.CV
PSI3D: Plug-and-Play 3D Stochastic Inference with Slice-wise Latent Diffusion Prior
Johns Hopkins University(约翰霍普金斯大学)
PSI3D通过切片式潜在扩散先验和总变分正则化,提升大规模3D随机推断在OCT超分辨率中的重建质量。
2026-08-06 cs.LG eess.IV
RAP-SR: RestorAtion Prior Enhancement in Diffusion Models for Realistic Image Super-Resolution
Sun Yat-sen University(中山大学);vivo Mobile Communication Co. Ltd(维沃移动通信有限公司);Fuzhou University(福州大学)
本文提出 RAP-SR,通过高质量美学数据集、修复先验精炼与提示优化增强预训练扩散模型,并可即插即用地提升现有 Real-SR 方法性能。
2024-12-10 cs.CV
DiffusionGAN3D: Boosting Text-guided 3D Generation and Domain Adaptation by Combining 3D GANs and Diffusion Priors
Alibaba Group(阿里巴巴集团)
针对文本引导3D人像生成与域适应存在的灵活性差、不稳定等问题,提出结合3D GAN与扩散先验的DiffusionGAN3D框架,通过多模块设计提升生成质量与效率。
2024-04-12 cs.CV
Diffusion Models Need Visual Priors for Image Generation
University of Sydney(悉尼大学);Shanghai AI Laboratory(上海人工智能实验室);Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学);University of Oxford(牛津大学);University of Hong Kong(香港大学)
针对类别引导扩散模型纹理细节不佳的问题,提出多阶段框架DoD,通过提取并利用视觉先验进行指导,在ImageNet-256×256上以更低训练成本取得更优FID分数。
2024-10-11 cs.CV
Learning Image Priors through Patch-based Diffusion Models for Solving Inverse Problems
Department of Electrical and Computer Engineering University of Michigan(电气与计算机工程系 华盛顿大学)
针对扩散模型训练成本高、数据需求大的问题,提出基于补丁的位置感知扩散逆求解器PaDIS,通过补丁得分及位置编码获取整图先验,提升内存与数据效率,在有限数据下优于现有方法,可解决多领域逆问题。
2025-08-22 cs.AI cs.CV
Adaptive Diffusion Priors for Accelerated MRI Reconstruction
Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center (UMRAM)(国家磁共振研究中心(UMRAM));ASELSAN Research Center(ASELSAN研究中心);Amasya University(阿马西亚大学)
本文提出首个自适应扩散先验方法 AdaDiff,通过对抗映射训练高效扩散先验,并结合快速扩散与自适应两阶段重建,在域偏移下优于现有条件与无条件 MRI 重建方法。
2023-09-17 cs.CV eess.IV
High-Quality Exposure Correction with Diffusion-Based Image Generation Priors
Huazhong University of Science and Technology(华中科技大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);National University of Defense Technology(国防科技大学);Xiaomi Communications Company Ltd.(小米通讯有限公司)
本文提出基于扩散先验的曝光校正框架DPEC,通过高效微调策略与联合交叉注意力模块,在多数据集上实现了优于现有方法的曝光校正性能。
2026-08-11 cs.CV
Text-driven Visual Synthesis with Latent Diffusion Prior
University of Maryland, College Park(马里兰大学帕克分校)
提出一种利用潜在扩散模型作为图像先验的通用视觉合成方法,通过引入特征匹配损失和KL散度损失提升性能,在文本到3D、StyleGAN适应和分层图像编辑任务中优于基线。
2023-04-03 cs.CV
Unsupervised Monocular 3D Keypoint Discovery from Multi-View Diffusion Priors
Yonsei University(延世大学)
本文提出KeyDiff3D框架,通过单张图像准确预测3D关键点,利用预训练的多视图扩散模型中的几何先验,将隐式3D先验转化为显式3D特征体,实现关键点估计和3D对象操控。
2026-06-04 cs.CV
GeoDream: Disentangling 2D and Geometric Priors for High-Fidelity and Consistent 3D Generation
Beijing Academy of Artificial Intelligence(北京人工智能研究院);BUPT(北京邮电大学);Tsinghua University(清华大学);Peking University(北京大学)
GeoDream通过解耦2D扩散先验与显式3D几何先验,利用多视图代价体与迭代细化机制,在保持多样性和保真度的同时解决文本到3D生成中的几何不一致与伪影问题,实现高分辨率且语义一致的3D生成。
2023-12-01 cs.CV
FreeCompose: Generic Zero-Shot Image Composition with Diffusion Prior
Zhejiang University(浙江大学)
本文提出FreeCompose,利用预训练扩散模型的生成先验,通过优化合成图像至高密度区域并引入掩码引导损失,实现通用的零样本图像合成,在物体移除和多概念定制等任务中展现出潜力。
2024-07-06 cs.CV
Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models
Johns Hopkins University(约翰斯·霍普金斯大学)
基于多模态先验的图像合成是近年来受到越来越多关注的一个有用且具有挑战性的任务。使用生成模型来完成这项任务的一个主要挑战是缺乏包含所有模态(即先验)和相应输出的配对数据。在最近的工作中,变分自动编码器(VAE)模型以弱监督的方式进行训练,以应对这一挑战。由于VAE的生成能力通常是有限的,这是很难为这种方法来合成属于复杂分布的图像。为此,我们提出了一种解决方案的基础上,去噪扩散概率模型的多模型先验下合成图像。基于扩散模型中每个时间步长上的分布是高斯分布的事实,在这项工作中,我们证明了存在一个封闭形式的表达式来生成对应于给定模态的图像。所提出的解决方案不需要对所有模态进行明确的再训练,并且可以根据不同的约束条件利用各个模态的输出来生成逼真的图像。我们在两个真实世界的数据集上进行研究,以证明我们的方法的有效性
2022-06-10 cs.CV
RMPrior: Bridging Propagation Priors and Diffusion Refinement for Efficient Radio Map Construction
Zhejiang University(浙江大学)
提出一种中起点采样策略,通过将传播先验扰动至中间扩散时间步,仅执行剩余反向步骤,在加速2.01倍的同时提升重建质量,并理论分析了初始化差距的上界及截断条件。
2026-06-02 cs.LG cs.SY eess.SY
JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement
University of Electronic Science and Technology of China(电子科技大学);Nankai University(南开大学);Tongji University(同济大学)
提出JoReS-Diff方法,将Retinex和语义先验作为条件融入扩散模型,通过预训练分解网络、调整网络、细化网络及语义注意力层实现低光照图像增强,实验验证其优越性。
2024-07-29 cs.CV