Smoothed Energy Guidance: Guiding Diffusion Models with Reduced Energy Curvature of Attention
University of Washington(华盛顿大学);Korea University(高丽大学)
本文提出平滑能量引导(SEG),一种无需训练和条件的扩散模型引导方法,通过降低自注意力能量景观曲率并引入查询模糊方法,在提升生成质量的同时减少副作用,实现帕累托改进。
2024-10-01 cs.AI cs.CV cs.LG
Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding
Academy for Engineering and Technology, Fudan University(复旦大学工程技术研究院);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
提出Isotropic3D,仅用单一CLIP嵌入通过两阶段微调扩散模型实现各向同性优化,生成高质量三维模型,减少畸变并保持参考相似性。
2024-03-15 cs.CV cs.LG
A Brief Survey of Recent Edge-Preserving Smoothing Algorithms on Digital Images
A.K.Choudhury School of Information Technology(A.K.乔杜里信息技术学院);Institute of Radio Physics and Electronics(无线电物理与电子研究所);University of Calcutta(加尔各答大学)
边缘保持滤波器在模糊图像的同时保持边缘及其信息。换句话说,它们用于平滑图像,同时减少边缘模糊效应,如光晕,幻影等。示例是双边滤波器、各向异性扩散滤波器、引导滤波器、三边滤波器等。因此,这些滤波器家族在降低图像中的噪声方面非常有用,使得图像在计算机视觉和计算摄影应用中非常苛刻,例如去噪、视频抽象、去马赛克、光流估计、立体匹配、色调映射、风格转移、本文从热扩散方程出发,具体介绍了从古到今的边缘保持滤波器,概述了它的许多应用,以及数学分析,各种有效和优化的实现方式及其相互关系,在噪声存在的情况下,重点保护边界、尖峰和峡谷。此外,它提供了一个现实的概念,有效的实施与研究范围的硬件实现进一步加速。
2015-03-25 cs.CV
DiffuseIR:Diffusion Models For Isotropic Reconstruction of 3D Microscopic Images
Peking University(北京大学)
DiffuseIR提出基于扩散模型的无监督方法,利用预训练学习组织结构分布,实现三维显微图像各向同性重建,无需重训即可处理未见轴向分辨率,性能达SoTA。
2023-06-21 cs.CV eess.IV
Relay Diffusion: Unifying diffusion process across resolutions for image synthesis
Tsinghua University(清华大学);Zhipu AI(智谱AI)
针对高分辨率图像生成挑战,提出 Relay Diffusion Model (RDM),通过模糊扩散和块噪声将低分辨率结果转换为等效高分辨率形式,实现跨分辨率无缝扩散,在 CelebA-HQ 和 ImageNet 256×256 上取得 SOTA 性能。
2023-09-04 cs.CV cs.LG
Spatiotemporal Diffusion Model with Paired Sampling for Accelerated Cardiac Cine MRI
United Imaging Intelligence(联合影像智能);Cedars-Sinai Medical Center(西奈山医学中心);UCLA(加州大学洛杉矶分校);Emory University(埃默里大学);UIH America, Inc.(UIH America公司)
针对加速心脏电影MRI重建中的时空模糊问题,提出一种基于现有重建的时空扩散增强模型与配对采样策略,提升图像清晰度并减少噪声。
2024-03-13 cs.CV eess.IV
Edge-preserving noise for diffusion models
Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Advanced Micro Devices(先进微器件)
本文提出一种边缘保留的扩散过程,通过混合噪声方案在边缘感知调度器中平滑过渡,提升结构细节捕捉能力,同时保持全局性能,并在图像生成和结构引导任务中取得改进。
2026-04-16 cs.AI cs.CV cs.GR
Reference-Free Isotropic 3D EM Reconstruction using Diffusion Models
Korea University(高丽大学)
针对电子显微镜图像的各向异性分辨率问题,提出一种基于扩散模型的无参考3D重建框架,利用2D扩散模型一致重建3D体积,在公开数据集上表现优于监督方法,并支持无需训练数据的自监督重建。
2023-08-03 cs.CV eess.IV
Clinically Feasible Diffusion Reconstruction for Highly-Accelerated Cardiac Cine MRI
United Imaging Intelligence(联影智能);Cedars-Sinai Medical Center(西达赛奈医疗中心);UCLA(加州大学洛杉矶分校);Emory University(埃默里大学);UIH America, Inc.(联影美国公司)
针对加速心脏电影MRI重建质量受限及处理时间长的问题,提出一种临床可行的扩散模型重建流程,采用多输入多输出扩散增强模型与快速推理,实现1.5秒/视频处理,减少空间和时间模糊,经专家验证可应用于临床。
2024-03-13 cs.CV eess.IV
f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation
Apple(苹果公司)
扩散模型(DM)最近已经作为SoTA工具出现,用于在各个领域中生成建模。标准DM可以被视为分层变分自编码器(VAE)的实例,其中潜变量从具有固定尺度和方差的以输入为中心的高斯分布推断。与VAE不同,这种提法限制了DM改变潜在空间和学习抽象表示。在这项工作中,我们提出了f-DM,广义家庭的DM,允许渐进的信号变换。更确切地说,我们扩展DM,将一组(手工设计或学习)的转换,其中转换后的输入是每个扩散步骤的平均值。我们提出了一个广义的配方,并推导出相应的去噪目标与修改后的采样算法。作为演示,我们将f-DM应用于具有一系列功能的图像生成任务,包括下采样,模糊和基于预训练VAE编码器的学习变换。此外,我们确定的重要性,调整噪声水平时,信号进行二次采样,并提出了一个简单的重新缩放配方。f-DM可以在FFHQ、AFHQ、LSUN和ImageNet等标准图像生成基准上生成高质量的样本,并具有更好的效率和语义解释。
2022-10-10 cs.CV cs.LG
Learning to Reconstruct Accelerated MRI Through K-space Cold Diffusion without Noise
Boston University(波士顿大学);Boston Medical Center(波士顿医疗中心);Boston University Chobanian & Avedisian School of Medicine(波士顿大学乔巴尼安与阿韦迪西安医学院)
针对加速 MRI 重建,本文提出无需高斯噪声、在 k 空间完成退化与恢复的 cold diffusion 模型,并在大型开源数据集上验证其可生成高质量重建图像。
2024-12-05 cs.CV cs.LG eess.IV
Ambient Diffusion Posterior Sampling: Solving Inverse Problems with Diffusion Models Trained on Corrupted Data
Stanford University(斯坦福大学);MIT(麻省理工学院);UT Austin(德克萨斯大学奥斯汀分校);IFML;UC Berkeley(加州大学伯克利分校);Bespoke Labs
本文提出环境扩散后验采样(A-DPS),利用从损坏数据训练的扩散模型解决逆问题,在MRI重建中优于全采样训练模型,并在自然图像恢复中展现速度与性能优势。
2025-04-21 cs.AI cs.CV cs.LG
gDDIM: Generalized denoising diffusion implicit models
Georgia Institute of Technology(佐治亚理工学院)
我们的目标是将去噪扩散隐式模型(DDIM)推广到各向同性扩散以外的一般扩散模型~(DM)。而不是在原来的DDIM构建一个非马尔可夫噪声过程中,我们从数值的角度研究DDIM的机制。我们发现,DDIM可以通过使用一些特定的近似的分数时,解决相应的随机微分方程。我们提出了一个解释DDIM的加速效应,也解释了一个确定性的采样方案的优势,快速采样的随机之一。在此基础上,我们将DDIM扩展到一般DM,即广义DDIM(gDDIM),在参数化评分网络时进行了一个小而微妙的修改。我们在两个非各向同性DM中验证了gDDIM:模糊扩散模型(BDM)和临界阻尼Langevin扩散模型(CLD)。我们在BDM中观察到超过20倍的加速度。在CLD中,一个扩散模型,通过增加扩散过程的速度,我们的算法实现了FID分数为2.26,在CIFAR 10上,只有50个分数函数评估~(NFE)和FID分数为2.86,只有27个NFE。代码可在https://github.com/qsh-zh/gDDIM上获得
2023-03-23 cs.LG
Addressing Vulnerabilities in AI-Image Detection: Challenges and Proposed Solutions
本研究针对AI生成图像滥用风险,评估CNN和DenseNet架构检测AI生成图像的效果,分析CIFAKE数据集变体中更新修改对检测准确率的影响,凸显当前检测漏洞并提出增强系统鲁棒性的策略。
2024-11-26 cs.AI cs.CV
Who Made This? Fake Detection and Source Attribution with Diffusion Features
Department of Information Engineering and Mathematics, University of Siena(信息工程与数学系,锡耶纳大学);AIGO, Italian Institute of Technology(AIGO,意大利理工学院)
FRIDA通过分析扩散特征,利用k-最近邻方法和紧凑神经分类器实现伪造图像检测与来源归因,达到跨生成器检测的最优性能。
2026-03-10 cs.CV
Unifying Autoregressive and Diffusion-Based Sequence Generation
ServiceNow Research(ServiceNow研究)
本文通过引入超调度和混合加噪过程,统一了自回归与扩散序列生成,实现了最先进的困惑度和高质量生成。
2025-10-06 cs.LG
DiffuEraser: A Diffusion Model for Video Inpainting
Tongyi Lab, Alibaba Group(阿里集团通义实验室)
针对现有视频修复算法处理大掩码时的模糊与时间不一致问题,提出基于Stable Diffusion的DiffuEraser模型,通过引入先验信息、扩展时间感受野等提升效果,在内容完整性和时间一致性上优于SOTA。
2025-01-17 cs.CV
FRAG: Frequency Adapting Group for Diffusion Video Editing
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对扩散视频编辑中因高频泄漏导致的模糊、闪烁等质量下降问题,提出无需额外训练的模型无关频率自适应组FRAG,通过保留高频成分提升质量,在TGVE、DAVIS基准验证有效。
2025-04-13 cs.CV
Rendering-Refined Stable Diffusion for Privacy Compliant Synthetic Data
University of California, Davis(加利福尼亚大学戴维斯分校);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Australian National University(澳大利亚国立大学);Sony AI, Sony Research(索尼人工智能,索尼研究院)
针对图像数据隐私保护需求,提出结合3D渲染与Stable Diffusion的RefSD流水线,可在保留人体姿态的同时可控生成假名化图像,配套HumanGenAI评估框架,实验证明其生成数据能提升检测与分类任务性能。
2024-12-09 cs.CV
GR-Diffusion: 3D Gaussian Representation Meets Diffusion in Whole-Body PET Reconstruction
Nanchang University(南昌大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
GR-Diffusion结合3D高斯表示与扩散模型,提升全身体PET重建的图像质量和细节保留能力。
2026-02-12 cs.CV
BlurDM: A Blur Diffusion Model for Image Deblurring
National Yang Ming Chiao Tung University(国家阳明交通大学);National Tsing Hua University(国立清华大学);National Chengchi University(国立成功大学);NVIDIA(英伟达)
BlurDM通过双扩散方案整合模糊形成过程,实现图像去模糊,提升去模糊效果。
2026-01-08 cs.AI cs.CV
JIGMARK: A Black-Box Approach for Enhancing Image Watermarks against Diffusion Model Edits
Northeastern University(东北大学);Virginia Tech(弗吉尼亚理工大学);Netflix(网飞公司);Eyeline Studios(Eyeline工作室);University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学)
针对图像水印易受扩散模型编辑破坏且梯度信息难以获取的问题,本文提出黑盒水印方法 JIGMARK,通过对比学习增强鲁棒性,并引入 HAV 分数量化编辑衍生图像,显著超越现有方案。
2024-06-06 cs.CV cs.MM
Structure-Guided Diffusion Models for High-Fidelity Portrait Shadow Removal
School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(教育部人工智能与先进计算重点实验室)
本文提出一种基于扩散模型的人像阴影去除方法,通过提取阴影无关结构图引导图像修复扩散模型去除阴影,并利用梯度指导训练细节恢复模型,在基准数据集上显著优于现有方法。
2025-07-14 cs.CV
Latent Watermark: Inject and Detect Watermarks in Latent Diffusion Space
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对图像质量与水印鲁棒性难以兼顾的困境,提出在潜在扩散空间中注入和检测水印的Latent Watermark方法,采用渐进式训练策略缓解二者矛盾,在多项指标和攻击测试下显著优于现有方法。
2024-09-26 cs.CV
DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion
The University of Hong Kong (HKU)(香港大学);Astribot(星动科技);Tencent(腾讯);University of Science and Technology of China (USTC)(中国科学技术大学);International Digital Economy Academy (IDEA)(国际数字经济学院)
提出DreamWaltz-G框架,通过骨架引导的分数蒸馏和混合3D高斯虚拟人表示,从文本生成高质量且具备富有表现力动画的3D虚拟人,在视觉质量和动画表现力上优于现有方法。
2024-09-25 cs.CV cs.GR cs.LG
CleanVideo: Adaptive Concept Erasure for Text-to-Video Diffusion Models
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);University of Electronic Science and Technology of China (UESTC)(电子科技大学);The Hong Kong University of Science and Technology (HKUST)(香港科技大学)
CleanVideo提出一种基于三模态门控的低维子空间干预框架,实现视频扩散模型中的自适应概念擦除,在保持视觉保真度与时间一致性的同时有效移除目标概念。
2026-11-04 cs.AI cs.CV
UniSegDiff: Boosting Unified Lesion Segmentation via a Staged Diffusion Model
Dalian University of Technology, Dalian, China(大连理工大学);Department of Urology, Affiliated Zhongshan Hospital of Dalian University, Dalian, China(大连大学附属中山医院泌尿外科部)
本文提出 UniSegDiff 分阶段扩散框架,通过动态预测目标与分割特征网络预训练,实现跨模态、跨器官的统一病灶分割,并在六个器官上显著超越已有 SOTA。
2025-07-24 cs.CV eess.IV
Diffusion Transformer Model With Compact Prior for Low-dose PET Reconstruction
Nanchang University(南昌大学)
本文提出一种由联合紧凑先验引导的扩散Transformer模型(DTM),融合扩散模型的分布映射能力与Transformer的长程依赖捕获能力,并引入病灶细化模块和PWLS,有效提升低剂量PET重建质量与临床信息保留。
2024-07-01 cs.CV
A ground-based dataset and a diffusion model for on-orbit low-light image enhancement
School of Automation, Nanjing University of Science and Technology(南京理工大学自动化学院)
针对在轨低光照图像增强缺乏空间数据的问题,构建北斗卫星硬件在环数据集,并提出带融合注意力的扩散模型,实验证明其增强效果优于已有方法。
2024-04-08 cs.CV
Factorized Diffusion: Perceptual Illusions by Noise Decomposition
University of Michigan(密歇根大学)
本文提出零样本 Factorized Diffusion 方法,将噪声估计按线性图像分量分解并组合去噪,从而用多个文本提示控制频率、颜色或模糊分量,生成随观看条件变化的感知混合图像,并可由真实图像求解逆问题。
2025-01-10 cs.CV
Training-free Diffusion Acceleration with Bottleneck Sampling
Peking University(北京大学);Bytedance(字节跳动)
提出无训练瓶颈采样框架,利用低分辨率先验加速扩散模型推理,在图像和视频生成中分别实现高达3倍和2.5倍加速,同时保持输出质量。
2025-03-27 cs.CV
GenLCA: 3D Diffusion for Full-Body Avatars from In-the-Wild Videos
Codec Avatars Lab, Meta(Meta Codec Avatars实验室)
本文提出GenLCA,一种基于扩散的生成模型,能从文本和图像输入生成逼真全身体素并进行编辑。通过利用预训练的avatar重建模型作为可动画的3D分词器,解决视频中部分观测导致的模糊或透明问题,提升生成质量与泛化能力。
2026-04-09 cs.CV
GBSD: Generative Bokeh with Stage Diffusion
University of Connecticut(康涅狄格大学);Baidu Research(百度研究院)
针对现有散景渲染方法存在伪影、灵活性不足等问题,提出结合潜在扩散模型与两阶段条件算法的GBSD模型,可在语义对象上渲染散景,在文生图和图生图场景均有效。
2024-04-17 cs.AI cs.CV
Toward 360-Degree Indoor Panorama Editing via Tuning-Free Diffusion Model with Refocusing Cross-Attention
提出FocusDiff框架,通过重聚焦交叉注意力实现免调优的精确区域编辑,并扩展到360度室内全景编辑,在局部编辑基准LIMB上优于现有零样本方法。
2026-06-15 cs.CV
Load--Reserve Wasserstein Propagation for Isotropic Diffusion Samplers
School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Innovation Institute(上海创新研究院)
本文提出了一种针对各向同性反向SDE窗口的适应性传播接口,通过认证学习漂移剖面生成线性尾运输成本,结合反射耦合和Hardy容量量化负载,以改进Wasserstein距离中的收缩率和尾坡。
2026-05-09 cs.LG
Single-Shell NODDI Using Dictionary Learner Estimated Isotropic Volume Fraction
University of Rochester(罗切斯特大学)
神经突方向弥散和密度成像(NODDI)能够从多壳层弥散MRI数据评估细胞内、细胞外和游离水信号。这是一个有见地的方法来表征脑组织的微观结构。NODDI参数的单壳重建在以前的研究中由于拟合失败而受到阻碍,特别是对于神经突密度指数(NDI)。在这里,我们研究了使用各向同性体积分数(fISO)作为先验,用单壳层数据创建鲁棒NODDI参数图的可能性。先验估计独立的NODDI模型约束,使用字典学习方法。首先,我们使用随机稀疏基于字典的网络(DictNet)来预测fISO,该网络是用从体内和模拟扩散MRI数据中获得的数据进行训练的。在单壳情况下,将平均扩散率(MD)和无扩散加权(S 0)的原始T2信号纳入词典中进行fISO估计。然后,NODDI框架与已知的fISO一起使用来估计NDI和取向分散指数(ODI)。在模拟中,我们的模型估计的fISO与其他fISO估计进行了比较。此外,使用合成数据模拟和在3 T扫描仪上收集的人类数据,我们比较了基于字典的学习先验NODDI(DLpN)与原始NODDI在单壳和多壳数据中的性能。我们的研究结果表明,DLpN衍生的NDI和ODI参数的单壳协议是与原始的多壳NODDI,和协议与b=2000 s/mm 2的表现最好(误差约5%的白质和灰质)。这可能允许NODDI通过对DictNet fISO训练的两个受试者进行多壳扫描来评估单壳数据的研究。
2021-04-04 cs.CV cs.LG eess.IV