UnlearnCanvas: Stylized Image Dataset for Enhanced Machine Unlearning Evaluation in Diffusion Models
Michigan State University(密歇根州立大学);IBM Research(IBM研究院);Cisco Research(思科研究院)
针对现有扩散模型机器遗忘评估体系的缺陷,研究提出高分辨率风格化图像数据集UnlearnCanvas,构建含7项指标的标准化评估框架,基准测试9种前沿方法并探索高难度遗忘场景,以推动更鲁棒的遗忘方法开发。
2024-10-29 cs.CV
Scene Text Image Super-resolution based on Text-conditional Diffusion Models
Toyota Motor Corporation(丰田汽车公司)
本文利用文本条件扩散模型进行场景文本图像超分辨率,提出由三个专用模型组成的框架合成LR-HR配对数据,显著提升STISR在TextZoom上的性能。
2023-12-22 cs.CV
A Recipe for Watermarking Diffusion Models
Singapore University of Technology and Design(新加坡科技设计大学);Sea AI Lab(Sea人工智能实验室);Tsinghua University(清华大学)
针对扩散模型版权保护与内容监控需求,提出高效水印配方,支持从头训练或微调,为后续研究奠定基础。
2023-10-15 cs.CR cs.CV cs.LG
Unsupervised Discovery of Semantic Latent Directions in Diffusion Models
Seoul National University(首尔国立大学);Yonsei University(延世大学)
尽管扩散模型(DM)取得了成功,但我们仍然缺乏对其潜在空间的透彻理解。虽然使用GANs的图像编辑建立在潜在空间上,但DM依赖于编辑文本提示等条件。我们提出了一个无监督的方法来发现可解释的编辑方向的潜变量$\mathbf{x}_t \in \mathcal{X}$的DM。我们的方法采用黎曼几何之间的$\mathcal{X}$和中间特征映射$\mathcal{H}$的U-网提供了一个深刻的理解的几何结构的$\mathcal{X}$。所发现的语义潜在方向大多产生分离的属性变化,并且它们在不同样本之间是全局一致的。此外,在较早的时间步中进行编辑会编辑粗略的属性,而在较晚的时间步中进行编辑则会关注高频细节。我们定义了样本之间线段的曲率,以表明$\mathcal{X}$是一个弯曲的流形。在不同基线和数据集上的实验证明了该方法在稳定扩散上的有效性。我们的源代码将公开提供给未来的研究人员。
2023-02-24 cs.CV
AdaDiffSR: Adaptive Region-aware Dynamic Acceleration Diffusion Model for Real-World Image Super-Resolution
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);Xi’an Jiaotong University(西安交通大学);Shaanxi Yulan Jiuzhou Intelligent Optoelectronic Tech. Co., Ltd(陕西玉兰九洲智能光电科技有限公司)
AdaDiffSR 提出动态时间步采样与渐进特征注入机制,通过感知去噪过程中的区域信息增益,在保持超分辨率性能的同时降低计算资源与推理时间。
2024-10-23 cs.CV
Sparse-to-Sparse Training of Diffusion Models
University of Luxembourg(卢森堡大学)
本文提出稀疏到稀疏训练范式,用于提升扩散模型在训练和推理效率上的性能,通过实验表明稀疏DMs在性能上优于密集模型,同时减少计算资源消耗。
2026-02-04 cs.CV cs.LG
Temporal-Consistent Video Restoration with Pre-trained Diffusion Models
University of Minnesota(明尼苏达大学);Amazon.com, Inc.(亚马逊公司)
针对现有基于预训练扩散模型的零样本视频修复存在反向扩散近似误差、时间一致性不足及计算量大的问题,提出将反向过程视为函数、在种子空间参数化视频帧的MAP框架,并结合双层时间一致性策略,在多项VR任务上取得了更优的视觉质量与时间一致性。
2025-03-19 cs.CV
Preserving Spectral Structure and Statistics in Diffusion Models
Department of Civil Engineering and Engineering Mechanics, Columbia University, NY, United States(土木工程与工程力学系,哥伦比亚大学,纽约,美国)
PreSS通过在谱空间中保持信息性先验和结构信号,提升扩散模型的生成质量和效率。
2026-02-06 cs.CV
Post-training Quantization on Diffusion Models
Illinois Institute of Technology(伊利诺伊理工学院);Houmo AI(后摩智能);Tencent AI Lab(腾讯人工智能实验室);Cisco Research(思科研究院)
去噪扩散(基于分数)生成模型最近在生成真实和多样化的数据方面取得了重大成就。这些方法定义了用于将数据转换为噪声的前向扩散过程和用于从噪声中采样数据的后向去噪过程。不幸的是,由于依赖于繁琐的神经网络的冗长的迭代噪声估计,当前去噪扩散模型的生成过程是非常缓慢的。它阻止了扩散模型的广泛部署,特别是在边缘设备上。以往的工作通过寻找更短而有效的采样轨迹来加速扩散模型(DM)的生成过程。然而,他们忽略了在每次迭代中使用重型网络进行噪声估计的成本。在这项工作中,我们从压缩噪声估计网络的角度加速生成。由于再训练DM的困难,我们排除了主流的训练感知压缩范例,并将训练后量化(PTQ)引入DM加速。然而,噪声估计网络的输出分布随时间步长而变化,使得以前的PTQ方法在DM中失败,因为它们是针对单时间步长场景设计的。为了设计一种针对DM的PTQ方法,我们从量化操作、校准数据集和校准度量三个方面探讨了DM的PTQ。我们总结和使用来自所有包容性的调查,制定我们的方法,特别是针对DM的独特的多时间步长结构的几个观察。实验上,我们的方法可以直接将全精度DM转换为8位模型,同时以免训练的方式保持甚至提高其性能。重要的是,我们的方法可以作为其他快速采样方法的即插即用模块,例如,DDIM。该代码可在https://github.com/42Shawn/PTQ4DM上获得。
2023-03-16 cs.CV
Preference Alignment on Diffusion Model: A Comprehensive Survey for Image Generation and Editing
University of Liverpool(利物浦大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of Edinburgh(爱丁堡大学);University of Bristol(布里斯托大学);University of Exeter(埃克塞特大学)
本文针对扩散模型与偏好对齐交叉领域缺乏系统综述的问题,全面调研了相关优化技术(如RLHF、DPO)及其在图像生成与编辑中的应用,是该主题首篇综述,为未来创新提供见解。
2025-02-10 cs.CV cs.LG
f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation
Apple(苹果公司)
扩散模型(DM)最近已经作为SoTA工具出现,用于在各个领域中生成建模。标准DM可以被视为分层变分自编码器(VAE)的实例,其中潜变量从具有固定尺度和方差的以输入为中心的高斯分布推断。与VAE不同,这种提法限制了DM改变潜在空间和学习抽象表示。在这项工作中,我们提出了f-DM,广义家庭的DM,允许渐进的信号变换。更确切地说,我们扩展DM,将一组(手工设计或学习)的转换,其中转换后的输入是每个扩散步骤的平均值。我们提出了一个广义的配方,并推导出相应的去噪目标与修改后的采样算法。作为演示,我们将f-DM应用于具有一系列功能的图像生成任务,包括下采样,模糊和基于预训练VAE编码器的学习变换。此外,我们确定的重要性,调整噪声水平时,信号进行二次采样,并提出了一个简单的重新缩放配方。f-DM可以在FFHQ、AFHQ、LSUN和ImageNet等标准图像生成基准上生成高质量的样本,并具有更好的效率和语义解释。
2022-10-10 cs.CV cs.LG
Understanding the Latent Space of Diffusion Models through the Lens of Riemannian Geometry
Korea Institute for Advanced Study(韩国高等研究院);Seoul National University(首尔大学);Yonsei University(延世大学)
本文从黎曼几何视角分析扩散模型的潜空间,通过拉回度量推导局部潜基底,首次实现无需额外训练、仅在特定时间步沿 $\mathbf{x}$-空间遍历的图像编辑,并揭示了潜结构随时间和文本条件演化的规律。
2023-10-27 cs.CV
High-Resolution Image Synthesis with Latent Diffusion Models
Ludwig Maximilian University of Munich(慕尼黑大学);Heidelberg University(海德堡大学);Runway ML(Runway ML公司)
通过将图像形成过程分解为去噪自动编码器的顺序应用,扩散模型(DM)在图像数据和其他数据上实现了最先进的合成结果。此外,它们的制定允许引导机制来控制图像生成过程而无需重新训练。然而,由于这些模型通常直接在像素空间中操作,因此对强大DM的优化通常会消耗数百个GPU天,并且由于顺序评估,推断是昂贵的。为了在有限的计算资源上进行DM训练,同时保持其质量和灵活性,我们将其应用于功能强大的预训练自动编码器的潜在空间中。与以前的工作相比,在这样的表示上训练扩散模型允许第一次在复杂性降低和细节保留之间达到接近最佳的点,大大提高了视觉保真度。通过在模型架构中引入交叉注意层,我们将扩散模型转变为强大而灵活的生成器,用于文本或边界框等一般条件输入,并以卷积方式实现高分辨率合成。我们的潜空间扩散模型(LDMs)实现了图像修补的最新技术水平,并在各种任务上具有高度竞争力的性能,包括无条件图像生成,语义场景合成和超分辨率,同时与基于像素的DM相比显着降低了计算要求。代码可在https://github.com/CompVis/latent-diffusion上获得。
2022-04-13 cs.CV
Can Diffusion Models Learn Hidden Inter-Feature Rules Behind Images?
University of YYY(YYY大学);Institute of WWW(WWW研究院);The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室)
本文研究扩散模型学习图像特征间隐藏规则的能力,发现其在细粒度规则上存在一致失败,并通过理论分析指出DSM目标与规则一致性不兼容,最后提出分类器引导采样方法以有限改进规则学习。
2025-02-07 cs.AI cs.CV
Improving image synthesis with diffusion-negative sampling
University of California San Diego(加利福尼亚大学圣迭戈分校)
针对扩散模型负提示词难以寻找的问题,提出扩散负采样(DNS)策略,通过采样最不符合提示的图像并生成负提示词,提升图像生成质量,无需训练且兼容多种模型。
2024-11-08 cs.CV
ACDC: Autoregressive Coherent Multimodal Generation using Diffusion Correction
KAIST(韩国科学技术院)
本研究提出零样本多模态生成方法ACDC,在推理阶段结合自回归模型的全局建模能力与扩散模型的局部生成优势,通过LLM记忆模块动态调整条件文本,有效缓解长序列误差累积,提升生成质量且不依赖特定模型架构。
2024-10-07 cs.CV cs.LG
Efficient Diffusion Models for Vision: A Survey
本综述聚焦视觉领域扩散模型的计算效率问题,梳理了近期提升模型效率的关键设计方案,旨在推动实用化高效扩散模型研究,并对该方向未来发展进行了展望。
2024-03-12 cs.AI cs.CV
FairGen: Enhancing Fairness in Text-to-Image Diffusion Models via Self-Discovering Latent Directions
MMLab, CUHK(香港中文大学MMLab);University of Bristol(布里斯托大学);SHIAE, CUHK(香港中文大学SHIAE)
FairGen提出一种即插即用的自发现潜在方向方法,无需参考数据集或重训练,通过属性适配器和分布指示器同时消除扩散模型中的性别、种族及交叉偏见,大幅超越现有最先进水平。
2025-10-23 cs.CV
Responsible Diffusion: A Comprehensive Survey on Safety, Ethics, and Trust in Diffusion Models
School of Cyber Science and Engineering, Southeast University(电子科技大学信息与通信工程学院);Data61, CSIRO(数据61,CSIRO);Zhejiang Laboratory(浙江省实验室);school of Computer Science and Artificial Intelligence, Wuhan University of Technology(计算机科学与人工智能学院,武汉理工大学);College of Computing and Data Science, Nanyang Technological University(计算科学与数据科学学院,南洋理工大学)
本综述围绕扩散模型的安全、伦理与信任问题,系统梳理其框架、潜在威胁、对应对策、实例与开放挑战,并展望未来研究方向。
2025-09-25 cs.CR cs.CV
Adversarial Example Does Good: Preventing Painting Imitation from Diffusion Models via Adversarial Examples
Shanghai Jiao Tong University(上海交通大学);cheer4creativity.ai;Queen’s University Belfast(贝尔法斯特女王大学);NYU(纽约大学)
针对扩散模型未经授权模仿绘画风格的版权问题,本文提出AdvDM算法,通过在反向过程潜变量上优化并进行蒙特卡洛估计生成对抗样本,有效阻止DM提取艺术图像特征。
2023-06-06 cs.AI cs.CR cs.CV
Slight Corruption in Pre-training Data Makes Better Diffusion Models
Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);RIKEN AIP(理化学研究所人工智能项目);The University of Tokyo(东京大学);William & Mary(威廉玛丽学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
该研究发现预训练数据的轻微损坏能提升扩散模型生成效果,通过理论证明其合理性,并提出条件嵌入扰动方法有效改进扩散模型的预训练与下游任务性能。
2024-10-30 cs.AI cs.CV cs.LG
On Error Propagation of Diffusion Models
University of Cambridge(剑桥大学)
本文提出刻画扩散模型误差传播的理论框架,证明累积误差影响生成质量,并通过可由 bootstrap 估计的上界正则项减轻误差传播、提升图像生成性能。
2024-01-18 cs.CV cs.LG
S$^2$Q-VDiT: Accurate Quantized Video Diffusion Transformer with Salient Data and Sparse Token Distillation
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(人工智能安全国家重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);ETH Zürich(苏黎世联邦理工学院)
S$^2$Q-VDiT通过显著数据选择和稀疏令牌蒸馏提升视频扩散变换器的量化性能,实现无损压缩和加速推理。
2026-03-07 cs.CV
VillanDiffusion: A Unified Backdoor Attack Framework for Diffusion Models
The Chinese University of Hong Kong(香港中文大学);IBM Research(IBM研究院)
本文提出VillanDiffusion,一个统一的后门攻击框架,覆盖主流无条件与条件扩散模型及免训练采样器,通过实验验证其有效性,并为基于标题的后门攻击提供新见解。
2023-12-29 cs.CR cs.CV cs.LG
Align Your Steps: Optimizing Sampling Schedules in Diffusion Models
University of Toronto(多伦多大学);NVIDIA(英伟达);Vector Institute(向量研究院)
本文提出了一种名为Align Your Steps的通用方法,通过随机 calculus 优化扩散模型的采样调度,在图像、视频及2D数据合成基准上,针对不同求解器和数据集找到最优调度,显著提升了少步合成质量并超越了手工启发式调度。
2024-04-22 cs.CV cs.LG
Watermark-embedded Adversarial Examples for Copyright Protection against Diffusion Models
LY Corporation(LY公司)
提出一种嵌入个人水印的对抗样本生成框架,通过条件对抗网络和三种损失函数,迫使扩散模型生成带可见水印的图像,从而有效保护版权,且训练高效、生成快速并具有良好的可迁移性。
2024-04-19 cs.AI cs.CV
Evaluating the Robustness of Text-to-image Diffusion Models against Real-world Attacks
Shanghai Jiao Tong University(上海交通大学);Chongqing University(重庆大学);University of California San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学)
本研究首次评估文本到图像扩散模型对真实世界攻击的鲁棒性,提出基于分布的黑盒攻击方法,利用人类常见错误(如拼写、字形、语音)构造攻击,实验揭示现有模型存在显著的鲁棒性问题。
2023-06-16 cs.AI cs.CR cs.CV
Frequency Domain-Based Diffusion Model for Unpaired Image Dehazing
Xi’an Jiaotong University(西安交通大学);Wuhan University(武汉大学);Insta360(影石);Nanjing University of Science and Technology(南京理工大学);University of California, Merced(加利福尼亚大学默塞德分校)
本文提出一种基于频域扩散模型的非成对图像去雾方法,通过幅度残差编码器和相位校正模块分别补偿幅度谱差距并消除伪影,在合成与真实数据集上取得最优性能。
2025-07-02 cs.CV
Towards the Detection of Diffusion Model Deepfakes
Ruhr University Bochum(波鸿鲁尔大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文评估现有GAN检测器对扩散模型生成图像的检测能力,发现重训练后可实现近乎完美检测且能泛化到GAN,并指出扩散模型因缺少网格状频率伪影而更难检测。
2024-01-22 cs.CV
Few-Shot-Based Modular Image-to-Video Adapter for Diffusion Models
Huawei Technologies Canada(华为加拿大技术有限公司);University of Waterloo(滑铁卢大学);University of British Columbia(不列颠哥伦比亚大学);University of Toronto(多伦多大学)
本文提出MIVA,一种轻量级模块化适配器,用于在扩散模型中实现更精确的运动控制,同时保持或提升生成质量。
2025-12-31 cs.CV
Balancing Act: Distribution-Guided Debiasing in Diffusion Models
Indian Institute of Science(印度科学学院);Meta Reality Labs(元宇宙实验室)
本文提出分布引导方法,利用去噪UNet潜在特征训练属性分布预测器,在不增加数据或重新训练的情况下实现扩散模型的公平生成,并显著优于基线。
2025-04-10 cs.CV
Binarized Diffusion Model for Image Super-Resolution
Shanghai Jiao Tong University(上海交通大学);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Westlake University(西湖大学)
针对现有二值化方法应用于图像超分辨率扩散模型时性能下降显著的问题,提出适配二值化的UNet结构与时间步感知激活调整策略的BI-DiffSR模型,实现了更优的二值化超分辨率扩散模型性能。
2024-10-31 cs.CV
Exploring Diffusion Models' Corruption Stage in Few-Shot Fine-tuning and Mitigating with Bayesian Neural Networks
Shanghai Jiao Tong University(上海交通大学);Queen’s University Belfast(女王学院 Belfast);Tsinghua University(清华大学);Stevens Institute of Technology(史蒂文斯理工学院)
本研究通过贝叶斯神经网络缓解扩散模型在少样本微调中的腐蚀阶段问题,提升生成图像质量。
2026-03-06 cs.AI cs.CV cs.LG
Enabling Local Editing in Diffusion Models by Joint and Individual Component Analysis
National Technical University of Athens(雅典国家技术大学);Archimedes AI, Athena RC(雅典娜研究中心阿基米德人工智能);National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);The Cyprus Institute(塞浦路斯研究所)
本文提出一种无监督方法,利用去噪网络雅可比矩阵分解潜在语义,解耦联合与个体成分,实现扩散模型中更局部化且高保真的图像编辑。
2024-09-02 cs.CV cs.LG
Meta-Unlearning on Diffusion Models: Preventing Relearning Unlearned Concepts
Sea AI Lab, Singapore(新加坡Sea AI实验室);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Jiao Tong University(上海交通大学);Nankai University(南开大学)
针对扩散模型去学习后易被恶意微调重新学习的问题,提出元去学习方法,通过在恶意微调时触发相关良性概念自我毁灭来防止重新学习,且与现有方法兼容。
2025-08-10 cs.CL cs.CR cs.CV
Image Restoration via Diffusion Models with Dynamic Resolution
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出通过动态分辨率模型将数据投影到低维子空间,以加速推理过程,改进了传统扩散模型在图像修复中的效率与质量。
2026-05-14 cs.AI cs.CV
Fast Diffusion Model
Sea AI Lab(Sea人工智能实验室);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
该研究提出Fast Diffusion Model(FDM),将动量引入扩散过程并通过阻尼振荡系统推导噪声扰动核,可适配VP、VE等主流扩散框架,在图像合成性能相当的同时将训练成本减半、采样步数减至1/3。
2023-10-04 cs.AI cs.CV cs.LG
FaceScore: Benchmarking and Enhancing Face Quality in Human Generation
Shanghai Jiao Tong University(上海交通大学);OPPO AI Center(OPPO人工智能中心)
针对扩散模型生成人脸质量低、现有指标与人类判断一致性差的问题,提出新型人脸质量指标FaceScore,可用于优化扩散模型以提升人脸生成质量。
2024-09-12 cs.CV
S$^{2}$-DMs:Skip-Step Diffusion Models
South China Normal University(华南师范大学)
针对扩散模型训练与采样步数不对称导致未采样步骤信息丢失的问题,提出带 L_skip 损失的 S²-DMs 训练方法,在 CIFAR10 和 CELEBA 上显著提升多种采样器的生成质量。
2024-01-23 cs.CV cs.LG eess.IV
Towards Realistic Scene Generation with LiDAR Diffusion Models
Carnegie Mellon University(卡内基梅隆大学);Toyota Research Institute(丰田研究所);University of Southern California(南加利福尼亚大学)
本文提出LiDAR扩散模型(LiDMs),通过曲线级压缩、点级坐标监督和块级编码,在潜在空间中生成具有模式、几何和对象真实感的LiDAR场景,实现高效且可控的生成性能。
2024-04-18 cs.AI cs.CV cs.RO
SERUM: Simple, Efficient, Robust, and Unifying Marking for Diffusion-based Image Generation
CISPA Helmholtz Center for Information Security(CISPA 情报安全中心)
SERUM通过在扩散模型生成的初始噪声中添加唯一水印噪声,并训练轻量级检测器识别水印图像,实现了高效且鲁棒的图像标记,同时保持图像质量影响极小。
2026-03-11 cs.CV
ProTIP: Probabilistic Robustness Verification on Text-to-Image Diffusion Models against Stochastic Perturbation
WMG, University of Warwick(华威大学WMG学院);University of Liverpool(利物浦大学)
针对文本生成图像扩散模型鲁棒性评估的现有方法局限,提出带统计保障的概率鲁棒性定义及ProTIP框架,通过序贯分析与自适应集中不等式降本提效,可用于防御方法排序。
2024-07-12 cs.AI cs.CV cs.LG
Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出通用框架Diff-Instruct,通过最小化积分KL散度,以无数据方式将预训练扩散模型的知识迁移到任意可微生成模型,在扩散模型蒸馏和GAN精炼任务中均取得显著提升。
2024-01-15 cs.CV cs.LG
Unleashing High-Quality Image Generation in Diffusion Sampling Using Second-Order Levenberg-Marquardt-Langevin
Zhejiang University(浙江大学);WeChat Vision, Tencent Inc(腾讯公司);Shanghai Jiao Tong University(上海交通大学);Tencent Lightspeed Studio(腾讯光年工作室)
针对扩散模型采样中二阶Hessian几何计算成本高的问题,提出无训练的Levenberg-Marquardt-Langevin方法,通过低秩近似和阻尼机制稳定Hessian,在可忽略的计算开销下显著提升图像生成质量。
2025-05-30 cs.CV cs.LG
Generating Content for HDR Deghosting from Frequency View
Northwestern Polytechnical University(西北工业大学);Macquarie University(麦考瑞大学)
本文提出低频感知扩散模型LF-Diff,通过在紧凑潜在空间中利用扩散模型生成低频先验,并结合动态HDR重建网络DHRNet,实现高效且高质量的无鬼影HDR成像,速度比以往扩散方法快10倍。
2024-04-01 cs.CV
Learning few-step posterior samplers by unfolding and distillation of diffusion models
Heriot-Watt University(赫瑞瓦特大学);University of Edinburgh(爱丁堡大学)
针对贝叶斯计算成像中扩散模型应用的现有策略缺陷,提出融合深度展开与模型蒸馏的框架,将DM转化为少步后验采样器,兼具高精度、高效率与前向模型适配灵活性。
2025-11-18 cs.CV cs.LG
Diffusion Models with Adaptive Negative Sampling Without External Resources
University of California, San Diego(加州大学圣地亚哥分校)
本工作提出ANSWER方法,利用扩散模型对否定的内部理解,从单一提示同时考虑正负条件进行自适应负采样,无需外部资源,训练免费且兼容CFG,在多个基准上优于基线,人类偏好度提升2倍。
2025-08-05 cs.CV
EVODiff: Entropy-aware Variance Optimized Diffusion Inference
EVODiff通过优化条件熵减少不确定性,提升扩散模型的推理效率和生成质量。
2026-02-03 cs.CV cs.IT cs.LG
Controllable Face Synthesis with Semantic Latent Diffusion Models
University of Parma(帕尔马大学)
本文提出一种基于新型潜在扩散模型架构的语义图像合成框架,利用SPADE归一化和交叉注意力层融合形状与风格信息,实现对人脸各语义部分的精确控制,并在质量和多样性上超越现有最先进方法。
2024-07-30 cs.CV
Score-based Membership Inference on Diffusion Models
Department of Computer Science(计算机科学系)
本文提出SimA攻击方法,通过预测噪声向量实现高效成员推断,优于现有多查询方法,在多个数据集上表现优异。
2026-08-11 cs.CV cs.LG
Repairing Catastrophic-Neglect in Text-to-Image Diffusion Models via Attention-Guided Feature Enhancement
Nanyang Technological University(南洋理工大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对T2I扩散模型生成图像时遗漏提示词关键对象的灾难性遗漏问题,提出自动化修复方法Patcher,通过注意力引导的特征增强修复被遗漏对象,使图像生成正确率较基线提升10.1%-16.3%。
2024-09-21 cs.AI cs.CV
LIME: Localized Image Editing via Attention Regularization in Diffusion Models
ETH Zürich(苏黎世联邦理工学院);Google Switzerland(谷歌瑞士分部);Technical University of Munich(慕尼黑工业大学)
本文提出 LIME,通过预训练特征、聚类、交叉注意力图细化及新型注意力正则化,在无需用户指定区域、额外文本或训练微调的情况下实现精确局部图像编辑。
2024-12-05 cs.CV
CipherDM: Secure Three-Party Inference for Diffusion Model Sampling
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
提出 CipherDM 安全 MPC 框架,通过定制 SoftMax、SiLU 和 Mish 协议实现扩散模型安全采样,并在 DDPM、DDIM 与 SD 上显著降低运行时间和通信开销。
2024-09-09 cs.AI cs.CR cs.CV
Seed-to-Seed: Unpaired Image Translation in Diffusion Seed Space
General Motors R&D(通用汽车研发中心);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出一种结合GAN和扩散模型的无配对图像翻译方法,通过利用预训练扩散模型的种子空间语义信息,实现复杂汽车场景的结构保持翻译,优于现有方法。
2026-06-28 cs.CV