The Evolving Nature of Latent Spaces: From GANs to Diffusion
University of Zurich(苏黎世大学);Max Planck Society(马克斯·普朗克学会)
本文通过区分严格与广义综合、结合逐层表征干预实验,论证扩散模型分散了表征负担并挑战统一潜在空间假设,从而提出生成式AI应被理解为专门化过程的涌现配置而非内容的直接综合。
2025-11-10 cs.CV cs.CY cs.LG
Latent Beam Diffusion Models for Generating Visual Sequences
NOVA LINCS, NOVA School of Science and Technology(NOVA LINCS、NOVA科学与技术学校)
本文提出BeamDiffusion,通过潜在空间束搜索与交叉注意力剪枝实现图像序列的条件生成,解决扩散模型在序列生成中的视觉一致性问题,实验证明其在连贯性、视觉连续性和文本对齐方面优于基线方法。
2025-09-20 cs.CV
Text-image guided Diffusion Model for generating Deepfake celebrity interactions
The University of Western Australia(西澳大学)
本文改造 stable diffusion 并结合图像锚定潜变量与 Dreambooth,实现文本-图像提示控制的高逼真多人名人互动深度伪造生成。
2023-09-26 cs.CV
Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI
FAIR at Meta(Meta 的 FAIR)
针对现有脑到图像解码方法依赖多阶段流程、压缩脑记录时间维度的问题,提出单阶段扩散模型Dynadiff,简化训练流程,在时间分辨fMRI图像重建任务上性能更优,可表征脑活动中图像表征的演化,为时间分辨脑解码奠基。
2025-05-20 cs.CV
Generating healthy counterfactuals with denoising diffusion bridge models
Athinoula A. Martinos Center for Biomedical Imaging(阿提诺拉A·马丁诺生物医学成像中心);Massachusetts General Hospital and Harvard Medical School(麻省总医院和哈佛医学院);ETH Zurich(苏黎世联邦理工学院);Computer Science & Artificial Intelligence Lab(计算机科学与人工智能实验室);Hawkes Institute(哈维斯研究所);University College London(伦敦大学学院)
提出利用去噪扩散桥模型(DDBMs)从病理图像生成健康反事实图像,以病理图像为结构先验,平衡异常去除与个体特征保留,在分割和异常检测任务上超越现有扩散模型与全监督方法。
2025-10-15 cs.CV
AmbiGen: Generating Ambigrams from Pre-trained Diffusion Model
Purdue University(普渡大学);University of Chicago(芝加哥大学)
本文提出 AmbiGen,通过蒸馏预训练扩散模型 DeepFloyd IF 优化字母轮廓,在两种观看方向下生成可读的双面字,并在常用词上显著提升准确率并降低编辑距离。
2023-12-05 cs.CV
Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL
Tencent Video(腾讯视频);The University of Hong Kong(香港大学)
针对联合音视频扩散模型在多奖励强化学习中固定路由和权重无法适应训练动态的问题,提出自适应奖励路由,通过跨模态影响引导定位更新和偏好保留重加权协调奖励,显著提升模态质量、语义一致性与音视频同步。
2026-09-30 cs.CV
UDiFF: Generating Conditional Unsigned Distance Fields with Optimal Wavelet Diffusion
School of Software Tsinghua University(清华大学软件学院);BAAI(北京智源人工智能研究院);Kuaishou Technology(快手科技);Department of Computer Science Wayne State University(韦恩州立大学计算机科学系)
本文提出 UDiFF,通过数据驱动学习最优小波变换,在空间—频率域中扩散生成 UDF,支持文本条件或无条件生成带纹理的开放表面三维形状。
2024-04-10 cs.CV
Climate Prompting: Generating the Madden-Julian Oscillation using Video Diffusion and Low-Dimensional Conditioning
School of Computing(计算学院)
本文提出利用视频扩散模型生成MJO序列,通过低维指标条件化生成MJO,并通过理想化条件分析其物理驱动机制,为热带大气预测提供新框架。
2026-03-23 cs.CV
DiffuGen: Adaptable Approach for Generating Labeled Image Datasets using Stable Diffusion Models
Drexel University(德雷塞尔大学)
DiffuGen提出一种利用稳定扩散模型生成带标签图像数据集的自适应方法,结合无监督与有监督标签技术及提示模板和文本反演,以高效、低成本地解决手动标注耗时昂贵的问题。
2023-09-01 cs.AI cs.CV
Visual Anagrams: Generating Multi-View Optical Illusions with Diffusion Models
University of Michigan(密歇根大学)
本文提出一种零样本方法,利用现成文本到图像扩散模型在反向扩散过程中组合不同视图的噪声估计,生成在翻转、旋转或像素置换下改变外观的多视图视错觉,并扩展至两个以上视图。
2024-04-02 cs.CV
fMRI-Diffusion: Generating fMRI Time Series Via a Temporal Transformer Diffusion Model for Major Depressive Disorder Diagnosis
School of Information and Communication Technology, Griffith University(信息与通信技术学院,格里菲斯大学)
提出fMRI-Diffusion框架,通过时间Transformer扩散模型合成ROI级fMRI时间序列而非功能连接矩阵,以保留时间信息并提升小样本下MDD诊断准确率。
2026-05-22 cs.CV
Generating High Fidelity Data from Low-density Regions using Diffusion Models
Princeton University(普林斯顿大学);Meta AI
我们的工作重点是解决常见的图像数据集的数据流形的低密度区域的样本不足。我们利用基于扩散过程的生成模型从低密度区域合成新颖的图像。我们观察到,从扩散模型的均匀采样主要是从数据流形的高密度区域采样。因此,我们修改了采样过程,以引导其朝向低密度区域,同时保持合成数据的保真度。我们严格证明了我们的过程成功地从低密度区域产生了新的高保真度样品。我们进一步研究了生成的样本,并表明该模型不会记住低密度数据,并且确实学会了从低密度区域生成新的样本。
2022-06-26 cs.CV cs.LG
Generating coherent comic with rich story using ChatGPT and Stable Diffusion
University of Toronto(多伦多大学)
本文利用 ChatGPT 生成故事与对话,并用 Stable Diffusion 结合 LoRA 和 ControlNet 微调生成连贯漫画,在角色保真度和艺术风格上达到 SOTA。
2023-05-19 cs.AI cs.CV cs.LG
LatentMan: Generating Consistent Animated Characters using Image Diffusion Models
KAUST(阿卜杜拉国王科技大学)
提出LatentMan零样本方法,利用文本动作扩散模型指导T2I模型生成连续动作动画角色视频,通过Spatial Latent Alignment和Pixel-Wise Guidance提升帧间时间一致性,优于现有零样本T2V方法。
2024-06-02 cs.CV cs.LG
Generating images of rare concepts using pre-trained diffusion models
Bar-Ilan University(巴伊兰大学);OriginAI;NVIDIA Research(英伟达研究院)
针对扩散模型难以生成稀有概念的问题,提出SeedSelect方法,通过噪声空间种子选择生成稀有图像,无需重训练,在生成质量与少样本识别增强上表现优越。
2023-12-27 cs.CV cs.LG
First Hitting Diffusion Models for Generating Manifold, Graph and Categorical Data
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个家庭的首次击中扩散模型(FHDM),深度生成模型,生成数据的扩散过程,终止于一个随机的首次击中时间。这产生了一个扩展的标准固定时间扩散模型,终止于一个预先指定的确定性的时间。虽然标准扩散模型是为连续无约束数据设计的,但FHDM自然被设计为学习连续以及一系列离散和结构域上的分布。此外,FHDM支持实例相关的终止时间,并加速扩散过程,以更少的扩散步骤采样更高质量的数据。从技术上讲,我们训练FHDM的最大似然估计的扩散轨迹扩大从观测数据与条件的第一击中过程(即,桥)基于Doob的$h$变换导出,偏离了常用的时间反转机制。我们应用FHDM来生成各个领域的数据,如点云(一般连续分布),地球上的气候和地理事件(球体上的连续分布),未加权图(二进制矩阵的分布)和2D图像的分割图(高维分类分布)。我们观察到相当大的改善相比,国家的最先进的方法在质量和速度。
2022-10-14 cs.CV cs.LG
AdvDiff: Generating Unrestricted Adversarial Examples using Diffusion Models
The Hong Kong Polytechnic University(香港理工大学)
针对现有无限制对抗攻击方法生成样本不真实、缺乏理论支撑的问题,提出AdvDiff方法,通过两种对抗引导技术在扩散模型逆向生成过程中实现对抗采样,在攻击性能和生成质量上超越现有最优方法。
2024-07-14 cs.CV cs.LG
CLIP-Diffusion-LM: Apply Diffusion Model on Image Captioning
Imperial College London(帝国理工学院)
图像描述任务已经被广泛研究的前期工作。然而,有限的实验集中在基于非自回归文本解码器生成字幕。受最近图像合成任务的去噪扩散模型的成功的启发,我们将去噪扩散概率模型应用于图像描述任务中的文本生成。我们表明,我们的CLIP扩散LM是能够生成图像字幕使用显着较少的推理步骤比自回归模型。在Flickr 8 k数据集上,该模型的BLEU-4得分为0.1876。通过在Flickr 8 k和Flickr 30 k数据集上进行训练,我们的模型获得了0.2470的BLEU-4分数。我们的代码可在https://github.com/xu-shitong/diffusion-image-captioning上获得。
2022-10-10 cs.CV cs.LG
Material Anything: Generating Materials for Any 3D Object via Diffusion
S-Lab, Nanyang Technological University(新加坡南洋理工大学S-Lab);Northwestern Polytechnical University(西北工业大学);Shanghai AI Lab(上海人工智能实验室)
提出Material Anything,一个基于预训练图像扩散模型的全自动统一框架,利用三头架构、渲染损失、置信度掩码和UV空间细化器,为任意3D对象生成高质量且可直接用于UV的物理材质。
2024-11-22 cs.CV cs.GR
FIFO-Diffusion: Generating Infinite Videos from Text without Training
Seoul National University(首尔大学)
本研究提出FIFO-Diffusion推理技术,通过对角去噪、潜变量划分和前瞻去噪,无需额外训练即可让预训练扩散模型生成无限长视频,内存占用恒定且支持多GPU并行。
2024-11-03 cs.AI cs.CV
GAOT: Generating Articulated Objects Through Text-Guided Diffusion Models
Harbin Institute of Technology(哈尔滨工业大学);University of New South Wales(新南威尔士大学)
GAOT通过文本引导的扩散模型和超图学习,实现从文本提示到拟人化物体的生成,取得优于现有方法的性能。
2025-12-03 cs.CV cs.MM
Analog Bits: Generating Discrete Data using Diffusion Models with Self-Conditioning
Google Research(谷歌研究院)
我们提出位扩散:一个简单而通用的方法,用于生成离散数据与连续状态和连续时间扩散模型。我们的方法背后的主要思想是首先将离散数据表示为二进制位,然后训练连续扩散模型以将这些位建模为我们称为模拟位的实数。为了生成样本,模型首先生成模拟位,然后对模拟位进行阈值处理以获得表示离散变量的位。我们进一步提出了两个简单的技术,即自调节和不对称的时间间隔,这导致了显着改善样本质量。尽管它的简单性,所提出的方法可以实现强大的性能在离散图像生成和图像描述任务。对于离散图像生成,我们显着改进了CIFAR-10(具有3 K离散8位令牌)和ImageNet-64 x64(具有12 K离散8位令牌)的现有技术,在样本质量(由FID测量)和效率方面都优于最佳自回归模型。对于MS-COCO数据集上的图像描述,与自回归模型相比,我们的方法取得了有竞争力的结果。
2023-03-01 cs.AI cs.CL cs.CV
Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs
Peking University(北京大学);Stanford University(斯坦福大学);Pika Labs(皮卡实验室)
提出免训练的RPG框架,利用多模态LLM思维链推理将复杂图像生成分解为子区域任务,结合互补区域扩散,显著提升文本到图像生成的组合性与语义对齐。
2024-05-05 cs.AI cs.CV cs.LG
DiffCap: Exploring Continuous Diffusion on Image Captioning
Peking University(北京大学);Fudan University(复旦大学)
本文提出DiffCap方法,首次将连续扩散模型应用于图像描述生成,通过自然转换离散词元并融合图像特征实现非自回归解码,在COCO数据集上以更简单结构取得与以往工作相当的结果,并显著提升了生成多样性。
2023-05-20 cs.AI cs.CV
MSDM: Generating Task-Specific Pathology Images with a Multimodal Conditioned Diffusion Model for Cell and Nuclei Segmentation
AstraZeneca Computational Pathology GmbH(阿斯利康计算病理学 GmbH)
本文提出多模态语义扩散模型MSDM,通过形态、颜色和元数据条件生成像素精确的病理图像-掩膜对,以增强数据并提升细胞与细胞核分割性能。
2025-10-20 cs.AI cs.CV
Flow Matching and Diffusion Models via PointNet for Generating Fluid Fields on Irregular Geometries
Stanford University(斯坦福大学)
通过PointNet生成不规则几何上流场的流匹配与扩散模型,提升流体预测精度和鲁棒性。
2026-01-11 cs.CV cs.LG physics.comp-ph
InterDiff: Generating 3D Human-Object Interactions with Physics-Informed Diffusion
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
InterDiff提出结合扩散模型与物理信息校正器,实现动态物体下的全身三维人-物交互预测,在多个数据集上验证了其生成逼真长期交互的有效性。
2023-08-31 cs.AI cs.CV cs.GR
Flexible Motion In-betweening with Diffusion Models
University of British Columbia(不列颠哥伦比亚大学);Tel-Aviv University(特拉维夫大学);Simon Fraser University(西蒙菲莎大学);NVIDIA(英伟达公司)
本文提出条件运动扩散插值(CondMDI)模型,利用扩散模型在关键帧和文本条件下生成多样且精确的人体运动,支持任意稀疏或密集的关键帧约束,并在HumanML3D数据集上验证了其有效性。
2024-05-23 cs.CV cs.GR cs.LG
On the Noise Scheduling for Generating Plausible Designs with Diffusion Models
BMW Group(宝马集团);LIACS, Leiden University(莱顿大学LIACS学院)
本文研究扩散模型噪声调度对结构设计合理性的影响,提出两种确定噪声范围的技术及新型参数化噪声调度,应用于 EDM 模型后,将合理设计比率提升至 93.5% 并显著改善 FID。
2023-11-19 cs.AI cs.CE cs.CV
Spot the fake lungs: Generating Synthetic Medical Images using Neural Diffusion Models
College of Science and Engineering, Hamad Bin Khalifa University(哈马德·本·哈利法大学科学与工程学院);Manchester University NHS Foundation Trust(曼彻斯特大学国民保健服务基金会信托)
生成模型在医学图像的合成中越来越受欢迎。最近,神经扩散模型已经证明了生成物体的照片级逼真图像的潜力。然而,它们生成医学图像的潜力尚未被探索。在这项工作中,我们探讨了使用神经扩散模型合成医学图像的可能性。首先,我们使用预训练的DALLE2模型从输入文本提示中生成肺部X射线和CT图像。其次,我们训练一个稳定的扩散模型与3165 X射线图像,并产生合成图像。我们通过定性分析来评估合成图像数据,其中两名独立的放射科医生将从生成的数据中随机选择的样本标记为真实,虚假或不确定。结果表明,使用扩散模型生成的图像可以转换胸部X射线或CT图像中特定于某些医疗状况的特征。仔细调整模型可能非常有希望。据我们所知,这是第一次尝试使用神经扩散模型生成肺部X射线和CT图像。这项工作旨在为医学成像引入人工智能的新维度。鉴于这是一个新的课题,本文将作为一个介绍和研究社区的动机,探索医学图像合成的扩散模型的潜力。我们已经在https://www.kaggle.com/datasets/hazrat/awesomelungs上发布了合成图像。
2022-11-02 cs.AI cs.CV cs.LG
Evolving Cache Schedules for Fast Diffusion Policy Inference
School of Telecommunications Engineering, Xidian University(西安电子科技大学通信工程学院);School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
研究针对扩散策略实时部署计算需求大的问题,提出演进缓存调度(EVO)框架,通过进化搜索全局调度缓存刷新,引入冗余感知初始化和目标条件早期停止,大幅减少计算量并保留性能,实现动作生成加速和FLOPs降低。
2026-07-23 cs.CV
Evolving Evocative 2D Views of Generated 3D Objects
MIT Media Lab(麻省理工学院媒体实验室)
我们提出了一种在不同视角下联合生成对象的3D模型和2D渲染的方法,该过程由ImageNet和基于CLIP的模型指导。我们的研究结果表明,它可以生成变形的对象,与渲染,既唤起目标标题,看起来视觉吸引力。
2021-11-08 cs.CV
Evolving Storytelling: Benchmarks and Methods for New Character Customization with Diffusion Models
Nanyang Technological University(南洋理工大学)
针对扩散模型在少样本视觉叙事中难以融入并保持新角色一致性的问题,本文构建 NewEpisode 基准并提出 EpicEvo,通过对抗性角色对齐与知识蒸馏实现单故事新角色定制。
2024-05-20 cs.CV
SD-NAE: Generating Natural Adversarial Examples with Stable Diffusion
Duke Kunshan University(昆山杜克大学);Duke University(杜克大学)
本研究提出SD-NAE方法,利用Stable Diffusion通过扰动指定类别token嵌入、以目标分类器损失梯度引导的方式主动合成自然对抗样本,经实验验证可有效生成实用的NAEs,助力模型鲁棒性评估与漏洞识别。
2024-05-14 cs.CV
Sculpt4D: Generating 4D Shapes via Sparse-Attention Diffusion Transformers
The University of Hong Kong(香港大学);ARC Lab, Tencent PCG(腾讯PCG实验室)
Sculpt4D通过在预训练的3D扩散变换器中集成高效时间建模,解决4D生成中的时间伪影和计算需求问题,实现高保真4D合成。
2026-04-23 cs.CV
Generating Driving Scenes with Diffusion
Zoox;Massachusetts Institute of Technology(麻省理工学院)
本文提出Scene Diffusion系统,结合扩散与目标检测直接生成自动驾驶感知输出中的边界框排列,并能适应美国不同区域生成逼真交通场景。
2023-05-29 cs.CV cs.LG
The Aging Multiverse: Generating Condition-Aware Facial Aging Tree via Training-Free Diffusion
UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland(马里兰大学);Lenovo(联想公司)
提出免训练扩散框架,从单图生成受环境、健康、生活方式条件约束的多条面部衰老轨迹,形成衰老树,兼顾身份保持、年龄准确性与条件控制,性能优于现有模型。
2025-08-06 cs.CV
An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion
Simon Fraser University(西蒙菲莎大学);City University of Hong Kong(香港城市大学)
本文提出将3D物体的几何、外观和面片结构编码为64x64像素的“物体图像”,从而利用扩散Transformer等图像生成模型直接生成带UV贴图的3D模型,并在ABO数据集上取得与近期3D生成模型相当的点云FID表现。
2024-08-06 cs.CV cs.GR cs.LG
HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion
Technical University of Munich(慕尼黑工业大学);Apple(苹果公司)
隐式神经场,通常由多层感知器(MLP)编码,该多层感知器(MLP)从坐标(例如,xyz)到信号(例如,符号距离),已经显示出作为高保真和紧凑表示的显著前景。然而,缺乏规则和显式的网格结构也使得直接在隐式神经场上应用生成建模以合成新数据具有挑战性。为此,我们提出了超扩散,一种新的方法,无条件生成的隐式神经场建模。HyperDiffusion直接对MLP权重进行操作,并生成由合成MLP参数编码的新神经隐式字段。具体而言,首先优化MLP的集合以忠实地表示各个数据样本。随后,在该MLP权重空间中训练扩散过程,以对神经隐场的底层分布进行建模。HyperDiffusion支持在一个统一的框架内,通过隐式、紧凑且高保真的方式,对3D形状和4D网格动画中的复杂信号进行扩散建模。
2023-03-29 cs.CV cs.LG