Controllable Histopathology Image Synthesis with Training-free Structural Initialization and Textural Modulation
School of Biomedical Engineering, Harbin Institute of Technology (Shenzhen), Shenzhen, China(哈尔滨工业大学(深圳)生物医学工程学院,深圳,中国)
提出CHIS框架,通过频率域结构初始化和小波域纹理调制,使无标签预训练扩散模型生成与先验结构掩码对齐且保持参考组织风格的图像,提升下游分割任务性能。
2026-07-01 cs.CV
Spatial-Aware Latent Initialization for Controllable Image Generation
The Hong Kong University of Science Technology(香港科技大学)
针对文本到图像扩散模型布局控制效果差的问题,提出基于空间感知初始化噪声的即插即用方法,可集成到免训练布局框架中,在Stable Diffusion和COCO上验证了其提升布局引导效果且保留生成质量的作用。
2024-01-29 cs.AI cs.CV
IS-Diff: Improving Diffusion-Based Inpainting with Better Initial Seed
School of Computer Science, Wuhan University(武汉大学计算机学院)
提出IS-Diff,一种无需训练的扩散模型修复方法,通过分布和谐种子和动态选择性精炼机制解决随机噪声导致的语义不匹配问题,在多个数据集上优于现有方法。
2026-10-09 cs.CV
Towards Highly-Constrained Human Motion Generation with Retrieval-Guided Diffusion Noise Optimization
Tsinghua University(清华大学);University of New South Wales(新南威尔士大学)
本文提出基于无训练扩散噪声优化框架的检索引导方法,通过关系任务解析和奖励引导掩码优化,解决高约束下的动作生成问题,提升虚拟代理行为合成能力。
2026-05-08 cs.CV
Weeding Out Bad Seeds: Initial-Noise-Robust Unlearning for Text-to-Image Diffusion Models
Sharif University of Technology(谢里夫理工大学);Hong Kong University of Science and Technology(香港科技大学)
针对文本到图像扩散模型遗忘对初始噪声敏感的问题,提出自适应概念条件采样策略,动态聚焦梯度更新,显著降低概念重现率并增强对抗鲁棒性。
2026-10-06 cs.CV
SceneDiffuser: Efficient and Controllable Driving Simulation Initialization and Rollout
Waymo LLC(Waymo公司)
SceneDiffuser提出一种场景级扩散先验,通过摊销扩散和广义硬约束实现高效可控的驾驶模拟初始化与滚动,在Waymo挑战中取得领先性能。
2024-12-05 cs.AI cs.CV cs.LG
InsertDiffusion: Identity Preserving Visualization of Objects through a Training-Free Diffusion Architecture
BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学);University of Augsburg(奥格斯堡大学)
针对无需大量训练就难以将物体逼真嵌入背景的问题,本文提出免训练扩散架构InsertDiffusion,使用现成模型无需微调,在图像真实感和条件对齐度上优于现有方法,可拓展扩散模型的实际应用能力。
2024-07-15 cs.CV
Photorealistic and Identity-Preserving Image-Based Emotion Manipulation with Latent Diffusion Models
National Technical University of Athens(雅典国立技术大学)
本文提出一种结合潜在扩散模型与CLIP潜在表示的图像情感操控方法,在AffectNet上验证其在图像质量和真实感方面优于多种GAN方法,并公开代码。
2023-08-06 cs.CV
ID$^3$: Identity-Preserving-yet-Diversified Diffusion Models for Synthetic Face Recognition
National University of Singapore(新加坡国立大学);Tencent Youtu Lab(腾讯优图实验室)
针对扩散式合成人脸识别难以泛化到真实人脸的问题,提出ID$^3$模型,通过身份保持损失与调整梯度向量场上的采样算法兼顾类间、类内多样性和身份一致性,并在五个基准上验证优势。
2024-10-24 cs.CV
CPDM: Content-Preserving Diffusion Model for Underwater Image Enhancement
Guangzhou University(广州大学)
针对水下图像增强中现有方法的性能瓶颈问题,提出结合条件输入模块与内容补偿模块的内容保持扩散模型CPDM,在主客观指标上均优于现有最优方法。
2024-01-28 cs.CV
On the Importance of Conditioning for Privacy-Preserving Data Augmentation
University of Augsburg(奥格斯堡大学)
本文揭示以深度图或边缘为条件的潜在扩散模型用于数据匿名化时存在隐私泄露风险,并通过对比学习和黑盒攻击验证其可被用于身份识别。
2025-04-08 cs.CV
Preserving Spectral Structure and Statistics in Diffusion Models
Department of Civil Engineering and Engineering Mechanics, Columbia University, NY, United States(土木工程与工程力学系,哥伦比亚大学,纽约,美国)
PreSS通过在谱空间中保持信息性先验和结构信号,提升扩散模型的生成质量和效率。
2026-02-06 cs.CV
DiffSwap++: 3D Latent-Controlled Diffusion for Identity-Preserving Face Swapping
UNC Charlotte(北卡罗来纳大学夏洛特分校)
本研究提出DiffSwap++,一种融入3D人脸潜在特征的扩散人脸交换方法,可在保留源身份的同时维持目标姿态表情,在多数据集实验及评估中性能优于现有方法。
2026-08-25 cs.CV
Face inpainting with Identity Preserving Latent Diffusion Models
Institute for Systems and Robotics(系统与机器人研究所)
本文提出ID-ControlNet,利用潜在扩散模型实现面部修复,通过身份嵌入保持身份一致性,实验表明其在CelebA-HQ等数据集上优于传统方法,接近最先进的身份感知方法。
2026-05-15 cs.CV
Structure-Preserving Zero-Shot Image Editing via Stage-Wise Latent Injection in Diffusion Models
Department of Image(图像系);Department of Artificial Intelligence(人工智能系)
本研究提出一种基于扩散模型的零样本图像编辑框架,通过阶段式潜变量注入策略与扩散反转等技术,在保留源图结构的同时实现精准细粒度编辑,无需微调即可统一文本与参考引导编辑,在多类编辑任务上达到SOTA性能。
2025-05-20 cs.CV
Structure Preserving Diffusion Models
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出结构保持扩散模型的新框架,通过补充必要条件并设计结构保持桥接模型,在对称分布学习、等变图像降噪和风格迁移等任务中验证了其有效性与实用性。
2025-03-11 cs.CV cs.LG
Incorporating Pre-trained Diffusion Models in Solving the Schrödinger Bridge Problem
Tsinghua University(清华大学);Southeast University(东南大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本文通过三种重参数化技术统一扩散模型(SGMs)与薛定谔桥(SB)问题,加速并稳定SB模型训练,还提出用预训练SGMs初始化SB模型的策略,结合两者优势提升性能,为生成模型研究铺路。
2025-08-25 cs.CV cs.LG
Multi-view Image Diffusion via Coordinate Noise and Fourier Attention
Meta Reality Labs(元宇宙现实实验室)
针对文本生成多视图图像的一致性难题,提出融合 Fourier 注意力、坐标深度噪声初始化与交叉注意力损失的扩散方法,提升多项指标并达到 SOTA。
2024-12-04 cs.AI cs.CV
VectorWorld: Efficient Streaming World Model via Diffusion Flow on Vector Graphs
University of Cambridge, Cambridge, United Kingdom(剑桥大学)
VectorWorld通过向量图上的扩散流实现高效的流式世界模型,解决了自动驾驶政策闭环评估中的初始化不匹配、采样延迟和运动可行性问题,提升了地图结构精度和闭环运行稳定性。
2026-03-18 cs.CV cs.RO
Efficient Diversity-Preserving Diffusion Alignment via Gradient-Informed GFlowNets
Mila, Université de Montréal(蒙特利尔大学Mila实验室);Max Planck Institute for Intelligent Systems - Tübingen(智能系统马克斯·普朗克研究所(图宾根));The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));University of Tübingen(图宾根大学);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
针对扩散模型奖励微调存在的样本多样性不足、先验保留差、收敛慢的问题,提出基于梯度感知GFlowNets的$\nabla$-GFlowNet方法,实现Stable Diffusion的快速、保多样性与先验的微调。
2025-05-17 cs.CV cs.LG
Initialization is Half the Battle: Generating Diverse Images from a Guidance Potential Posterior
University of California, Berkeley(加州大学伯克利分校);University of Tokyo(东京大学)
针对生成模型模式崩溃问题,提出从引导势后验中采样初始噪声的DivIn方法,利用朗之万动力学引导初始化远离崩溃区域,提升多样性且兼容扩散与流匹配模型。
2026-06-01 cs.AI cs.CV
Edge-preserving noise for diffusion models
Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Advanced Micro Devices(先进微器件)
本文提出一种边缘保留的扩散过程,通过混合噪声方案在边缘感知调度器中平滑过渡,提升结构细节捕捉能力,同时保持全局性能,并在图像生成和结构引导任务中取得改进。
2026-04-16 cs.AI cs.CV cs.GR
Tuning-free Instruction-based Video Editing Via Structural Noise Initialization and Guidance
JIUTIAN Research, China Mobile(中国移动极天研究院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室)
本文提出无需调优的指令式视频编辑框架,通过结构噪声初始化策略和噪声引导机制,提升视频编辑的视觉质量和性能。
2026-05-15 cs.AI cs.CV
Point-Based Shape Representation Generation with a Correspondence-Preserving Diffusion Model
University of Virginia(弗吉尼亚大学)
提出一种对应保持的扩散模型,生成具有点对应关系的逼真海马体形状,优于现有方法,并支持条件生成和疾病进展预测。
2025-08-05 cs.CV cs.LG
GaitCrafter: Diffusion Model for Biometric Preserving Gait Synthesis
CRCV, University of Central Florida(CRCV,中央佛罗里达大学)
本文提出 GaitCrafter,一个仅基于步态剪影数据从零训练的扩散模型框架,可生成身份一致、可控且保护隐私的步态序列,并支持生成新身份以提升步态识别性能。
2025-08-18 cs.AI cs.CV
Manifold Preserving Guided Diffusion
Carnegie Mellon University(卡内基梅隆大学);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团公司);Stanford University(斯坦福大学)
本文提出免训练条件生成框架MPGD,利用流形假设和捷径算法在低计算条件下实现高效条件图像生成,并在保持样本质量的同时获得最高3.8倍加速。
2023-11-28 cs.AI cs.CV cs.LG
Preserving Product Fidelity in Large Scale Image Recontextualization with Diffusion Models
Google DeepMind(谷歌DeepMind)
本文提出利用扩散模型和数据增强流程实现高保真产品图像重情境化,通过解耦产品表示提升生成质量,并在ABO及私有数据集上验证了其在电商等场景中的有效性。
2025-03-11 cs.AI cs.CV cs.LG
Re-initialization Free Level Set Evolution via Reaction Diffusion
The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
提出了一种新的隐式活动轮廓的反应扩散(RD)方法,该方法完全避免了水平集进化(LSE)中代价高昂的重新初始化过程。在最小二乘估计中引入扩散项,得到一个RD-LSE方程,并导出其分段常数解。为了得到基于RD的LSE方程的稳定数值解,我们提出了一种两步分裂法(TSSM)来迭代求解RD-LSE方程:先迭代LSE方程,再求解扩散方程.第二步对第一步中得到的水平集函数进行正则化,以保证稳定性,从而完全消除了LSE中复杂而昂贵的重新初始化过程。通过成功地将扩散应用于LSE,RD-LSE模型通过简单的有限差分方法是稳定的,这是非常容易实现的。该方法可以推广到求解变分水平集方法和偏微分方程水平集方法的最小二乘估计。RD-LSE方法具有很好的边界抗泄漏性能,可以很容易地推广到高维水平集方法。在合成图像和真实图像上的实验结果验证了RD-LSE方法的有效性。
2012-08-08 cs.CV
Training-free Guidance in Text-to-Video Generation via Multimodal Planning and Structured Noise Initialization
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出免训练的文本到视频引导方法Video-MSG,通过多模态规划生成Video Sketch时空草稿,并结合结构化噪声初始化引导扩散模型,在无需微调和额外注意力内存的情况下提升多个T2V骨干网络的文本对齐效果。
2025-04-11 cs.AI cs.CL cs.CV
On the Initialization of Long Short-Term Memory Networks
Biomediq A/S(Biomediq公司);Cerebriu A/S(Cerebriu公司);University of Copenhagen(哥本哈根大学);University College London(伦敦大学学院);King’s College London(伦敦国王学院)
权值初始化对于深度神经网络训练的快速收敛和稳定性非常重要。针对长短期记忆(LSTM)网络训练不稳定的问题,提出了一种鲁棒初始化方法。它基于网络权重的归一化随机初始化,旨在将网络输入和输出的方差保持在相同的范围内。该方法适用于单变量时间序列回归的标准LSTM和对多变量疾病进展建模的缺失值鲁棒的LSTM。结果表明,在所有情况下,所提出的初始化方法优于国家的最先进的初始化技术的训练收敛性和泛化性能的获得的解决方案。
2019-12-22 cs.CV cs.LG
Degradation-Aware and Structure-Preserving Diffusion for Real-World Image Super-Resolution
KUNBYTE(坤比特);GOLDMYE(金迈)
本文提出了一种考虑退化和保持结构的扩散框架,通过引入退化感知的token注入和空间非对称噪声注入,提升现实世界图像超分辨率的感知质量和结构保持性。
2026-04-13 cs.CV
FiDeSR: High-Fidelity and Detail-Preserving One-Step Diffusion Super-Resolution
Kyungpook National University;Korea Electronics Technology Institute
FiDeSR通过细节感知加权策略和残差-残差噪声细化,实现高保真且细节保留的一步扩散超分辨率
2026-03-03 cs.CV
APPLE: Attribute-Preserving Pseudo-Labeling for Diffusion-Based Face Swapping
KAIST AI(韩国科学技术院人工智能);SAMSUNG(三星)
本文提出APPLE框架,通过条件去模糊和属性感知反向方案提升面部交换中属性保留能力,实现高保真属性与身份转移。
2026-03-30 cs.CV
InpaintHuman: Reconstructing Occluded Humans with Multi-Scale UV Mapping and Identity-Preserving Diffusion Inpainting
Hangzhou Dianzi University(杭州电子科技大学);Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团);Wuhan University(武汉大学);University of Melbourne(墨尔本大学)
InpaintHuman通过多尺度UV映射和身份保持扩散修复技术,从被遮挡的单目视频中生成高保真、完整且可动画的3D人类化身。
2026-01-05 cs.CV
Picking Winning Tickets Before Training by Preserving Gradient Flow
University of Toronto(多伦多大学);Vector Institute(向量研究所)
过度参数化已被证明有利于神经网络的优化和推广,但大型网络在训练和测试时都需要大量资源。网络修剪可以减少测试时的资源需求,但通常应用于训练网络,因此无法避免昂贵的训练过程。我们的目标是在初始化时修剪网络,从而在训练时节省资源。具体来说,我们认为有效的训练需要保持通过网络的梯度流。这导致了一个简单但有效的修剪标准,我们称之为梯度信号保持(GraSP)。我们使用VGGNet和ResNet架构,在CIFAR-10,CIFAR-100,Tiny-ImageNet和ImageNet上进行了大量实验,实证研究了所提出方法的有效性。我们的方法可以在初始化时修剪ImageNet上VGG-16网络的80%权重,而top-1准确率仅下降1.6%。此外,我们的方法实现了显着更好的性能比基线在极端稀疏水平。
2020-08-07 cs.CV cs.LG stat.ML
A Good Start Matters: Enhancing Continual Learning with Data-Driven Weight Initialization
Rochester Institute of Technology(罗切斯特技术学院);University of Rochester(罗切斯特大学)
针对持续学习中分类器权重随机初始化导致初始损失峰值和训练不稳定的问题,提出一种基于神经坍缩理论的数据驱动权重初始化策略,利用最小二乘分类器公式对齐特征分布,有效缓解初始损失峰值并加速任务适应,在大规模实验中提升了CL性能。
2025-07-01 cs.CV cs.LG
ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
提出ScaleSweep方法,通过扫描可行块尺度候选并选择最小化目标函数的候选,优化NVFP4量化中的尺度初始化,理论推导扫描范围边界,在Llama和Qwen模型上提升量化性能,缩小与全精度的差距。
2026-05-30 cs.AI cs.CV cs.LG
Improving Deep Neural Network Random Initialization Through Neuronal Rewiring
University of São Paulo(圣保罗大学);Ghent University(根特大学)
深度学习文献不断更新新的架构和训练技术。然而,权重初始化被最近的研究所忽视,尽管有一些有趣的发现关于随机权重。另一方面,最近的工作已经接近网络科学,以了解训练后的人工神经网络(ANN)的结构和动力学。因此,在这项工作中,我们分析了随机初始化网络中神经元的中心性。我们发现,较高的神经元强度方差可能会降低性能,而较低的神经元强度方差通常会提高它,然后提出了一种新的方法来重新布线神经元连接根据优先连接(PA)规则的基础上,他们的强度,这显着减少了强度方差的层初始化的常见方法。从这个意义上说,PA重新布线仅重组连接,同时保留权重的大小和分布。我们通过对图像分类的广泛统计分析表明,在大多数情况下,无论是在训练还是测试过程中,当使用简单和复杂的架构和学习时间表时,性能都得到了提高。我们的研究结果表明,除了幅度之外,权重的组织也与深度ANN的更好初始化有关。
2022-07-17 cs.CV cs.LG cs.NE
Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的非线性维数和特征提取方法的基础上,拉普拉斯的图形数据。首先介绍了邻接矩阵、拉普拉斯矩阵的定义以及拉普拉斯算子的解释。然后,我们覆盖了图的切割和谱聚类,它应用于数据的子空间中的聚类。解释了拉普拉斯特征映射及其样本外扩展的不同优化变体。之后,我们引入了保局投影及其核变体作为拉普拉斯特征映射的线性特例。图嵌入的版本,然后解释这是广义版本的拉普拉斯特征映射和局部保持投影。最后介绍了一种基于数据的拉普拉斯算子和数据图上的随机游动的扩散映射方法。
2022-08-06 cs.CV cs.LG stat.ML
Pruning neural networks without any data by iteratively conserving synaptic flow
Stanford University(斯坦福大学)
修剪深度神经网络的参数已经产生了强烈的兴趣,因为在训练和测试期间可能节省时间,内存和能量。最近的工作已经确定,通过一个昂贵的序列的训练和修剪周期,中奖彩票或稀疏可训练的子网络在初始化的存在。这就提出了一个基本问题:我们能否在初始化时识别出高度稀疏的可训练子网络,而不需要训练,甚至不需要查看数据?我们通过理论驱动的算法设计对这个问题给出了肯定的回答。我们首先从数学上制定和实验验证的守恒定律,解释了为什么现有的基于梯度的修剪算法在初始化遭受层崩溃,过早修剪整个层呈现网络不可训练。该理论还阐明了如何完全避免层崩溃,激发了一种新的修剪算法迭代突触流修剪(SynFlow)。该算法可以被解释为在初始化时保持通过网络的突触强度的总流量受到稀疏性约束。值得注意的是,该算法没有参考训练数据,并且在初始化时在一系列模型(VGG和ResNet),数据集(CIFAR-10/100和Tiny ImageNet)和稀疏约束(高达99.99%)上始终与现有的最先进的修剪算法竞争或优于现有的修剪算法。因此,我们的数据无关的修剪算法挑战现有的范式,在初始化,数据必须被用来量化哪些突触是重要的。
2020-11-19 cond-mat.dis-nn cs.CV cs.LG