Latent Denoising Improves Visual Alignment in Large Multimodal Models
University of Southern California（南加州大学）；DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室）
本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解，采用掩码和高斯噪声混合腐蚀视觉token，并利用解码器恢复教师特征，提升模型在分布偏移下的鲁棒性。
2026-08-06 cs.CV
Learning Task-Oriented Flows to Mutually Guide Feature Alignment in Synthesized and Real Video Denoising
ETH Zürich（苏黎世联邦理工学院）；University of Wurzburg（维尔茨堡大学）；KU Leuven（鲁汶大学）
视频去噪的目的是去除视频中的噪声，恢复干净的视频。现有的一些工作表明，光流可以帮助去噪利用额外的时空线索从附近的帧。然而，流估计本身也对噪声敏感，并且在大的噪声水平下可能是不可用的。为此，我们提出了一种新的多尺度精细光流引导的视频去噪方法，该方法对不同的噪声水平具有更强的鲁棒性。我们的方法主要包括一个面向去噪的流细化（DFR）模块和一个流引导的相互去噪传播（FMDP）模块。与直接使用现成的流解决方案的先前工作不同，DFR首先学习鲁棒的多尺度光流，并且FMDP通过从低分辨率到高分辨率逐步引入和细化更多的流信息来利用流引导。结合真实噪声退化合成，所提出的多尺度流引导去噪网络在合成高斯去噪和真实视频去噪方面都实现了最先进的性能。这些守则将公开提供。
2023-03-25 cs.CV eess.IV
VCD-Texture: Variance Alignment based 3D-2D Co-Denoising for Text-Guided Texturing
DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Hupan Lab（湖畔实验室）
针对现有3D纹理合成方法存在的模态鸿沟问题，提出基于方差对齐的3D-2D协同去噪框架VCD-Texture，同时构建新评估集，实验证明其性能优于同类方法。
2024-08-15 cs.CV
Efficient Burst Raw Denoising with Variance Stabilization and Multi-frequency Denoising Network
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Centre for Perceptual and Interactive Intelligence Limited（感知与交互智能中心有限公司）
随着智能手机的日益普及，捕捉高质量的图像对智能手机至关重要。智能手机的摄像头具有小孔径和小传感器单元，这导致在弱光环境下的噪声图像。基于多个帧的突发的去噪通常优于单帧去噪，但具有更大的计算成本。在本文中，我们提出了一个高效而有效的突发去噪系统。我们采用了三个阶段的设计：噪声先验集成，多帧对齐和多帧去噪。首先，我们通过将原始信号预处理到方差稳定空间中来集成噪声先验，这允许使用小规模网络来实现有竞争力的性能。其次，我们观察到，采用显式对齐进行突发去噪是必要的，但没有必要集成基于学习的方法来执行多帧对齐。相反，我们采用了一种传统而有效的对齐方法，并将其与我们的多帧去噪网络相结合。最后，我们提出了一个去噪策略，顺序处理多帧。顺序去噪通过将多帧去噪分解为几个有效的子网络去噪来避免对大量帧进行滤波。对于每个子网络，我们提出了一个有效的多频去噪网络来去除不同频率的噪声。我们的三阶段设计是有效的，并显示出强大的性能，对突发去噪。在合成和真实原始数据集上的实验表明，我们的方法优于最先进的方法，具有更少的计算成本。此外，低复杂性和高质量的性能使得在智能手机上部署成为可能。
2022-05-10 cs.CV eess.IV
Asynchronous Denoising Diffusion Models for Aligning Text-to-Image Generation
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
本文提出异步扩散模型，通过为不同像素分配不同时间步以改进文本到图像生成的对齐效果。
2026-02-26 cs.CV
DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
DenseGRPO通过引入密集奖励机制，解决流匹配模型中稀疏奖励导致的反馈与贡献不匹配问题，提升文本到图像生成的人类偏好对齐效果。
2026-02-25 cs.CV
Low-dose CT Denoising with Language-engaged Dual-space Alignment
Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑智能科学与技术研究院）；Center for Biotechnology and Interdisciplinary Studies, Rensselaer Polytechnic Institute（伦斯勒理工学院生物技术与跨学科研究中心）
针对低剂量CT去噪深度学习方法存在的过度平滑、模糊及可解释性不足问题，提出即插即用的LEDA损失，利用LLM在双空间对齐图像，可提升现有去噪模型性能并提供可解释性。
2024-03-10 cs.CV eess.IV
CANDID: Correspondence AligNment for Deep-burst Image Denoising
University of Tübingen（图宾根大学）
针对深度连拍图像去噪问题，提出名为CANDID的方法，通过光流对应估计模块对齐帧、差异化预滤波、空间变化滤波核平滑后融合图像，实现了当前最优的去噪效果。
2023-06-16 cs.CV cs.LG
Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
本文提出端到端MDBA模型，通过多粒度噪声过滤与检测、输入输出双向分布对齐，解决显著图伪标签噪声及单类到多类场景泛化问题。
2023-05-09 cs.CV
Step-level Denoising-time Diffusion Alignment with Multiple Objectives
School of Electrical, Computer and Energy Engineering, Arizona State University（电气、计算机与能源工程学院，亚利桑那州立大学）
本文提出MSDDA框架，通过分步级强化学习对扩散模型进行多目标对齐，无需重新训练，实现闭式解的最优去噪分布，避免了现有方法的近似误差。
2026-04-15 cs.AI cs.CV cs.LG
V-Co: A Closer Look at Visual Representation Alignment via Co-Denoising
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；NYU（纽约大学）；Meta；AI2（人工智能研究院）
本文通过统一的JiT框架系统研究视觉去噪，揭示了四个关键要素：双流架构、结构化无条件预测、感知漂移混合损失和特征重缩放，从而在ImageNet-256上实现更高效的生成模型。
2026-09-02 cs.AI cs.CV
WIA-LD2ND: Wavelet-based Image Alignment for Self-supervised Low-Dose CT Denoising
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science, Central China Normal University（华中师范大学计算机学院）；University of Louisville（路易斯维尔大学）
本文提出仅用正常剂量CT数据的自监督低剂量CT去噪方法WIA-LD2ND，通过基于小波的图像对齐和频率感知多尺度损失，在两个公开数据集上超越现有弱监督与自监督方法。
2024-07-01 cs.CV eess.IV
On the Generalization of BasicVSR++ to Video Deblurring and Denoising
Nanyang Technological University（南洋理工大学）
长期信息的利用一直是视频恢复中的一个难题。最近的BasicVSR和BasicVSR++通过长期传播和有效对齐在视频超分辨率方面表现出了卓越的性能。他们的成功导致了一个问题，他们是否可以转移到不同的视频恢复任务。在这项工作中，我们将BasicVSR++扩展到视频恢复任务的通用框架。在输入和输出具有相同空间大小的任务中，输入分辨率通过步幅卷积来降低以保持效率。该框架仅对BasicVSR++进行了最小的更改，在各种视频恢复任务（包括视频去模糊和去噪）中实现了令人信服的性能。值得注意的是，BasicVSR++实现了与基于transformer的方法相当的性能，参数减少高达79%，加速44倍。这些有希望的结果表明了传播和对齐在视频恢复任务中的重要性，而不仅仅是视频超分辨率。代码和模型可在https://github.com/ckkelvinchan/BasicVSR_PlusPlus上获得。
2022-06-19 cs.CV
Diffusion-Sharpening: Fine-tuning Diffusion Models with Denoising Trajectory Sharpening
Peking University（北京大学）；Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
提出 Diffusion-Sharpening，通过路径积分框架利用奖励反馈优化去噪采样轨迹，在不增加推理 NFE 的情况下提升扩散模型微调的对齐效果与效率。
2025-02-17 cs.CV
DarkVRAI: Capture-Condition Conditioning and Burst-Order Selective Scan for Low-light RAW Video Denoising
Department of ECE, INMC, Seoul National University, Seoul, Korea（电子工程系，智能纳米材料中心，首尔国立大学，首尔，韩国）
针对低光照RAW视频因高增益、短曝光出现严重信号退化的问题，提出DarkVRAI框架，引入拍摄元数据条件调控与突发顺序选择性扫描机制，在AIM 2025挑战赛夺冠且达基准数据集SOTA性能。
2025-08-31 cs.CV
Native Audio-Visual Alignment for Generation
ERNIE Team, Baidu Inc.（百度公司ERNIE团队）
提出NAVA框架，通过原生音视频对齐和上下文条件联合去噪，实现高质量、同步且可控的音视频生成。
2026-05-28 cs.CV
UniPET: a universal network for high-quality PET image denoising across varied dose reduction factors
School of Biological Science and Medical Engineering（生物科学与医学工程学院）；State Key Laboratory of Software Development Environment（软件开发环境国家重点实验室）；Key Laboratory of Biomechanics, Mechanobiology of Ministry of Education（教育部生物力学与机械生物学重点实验室）；Beijing Advanced Innovation Centre for Biomedical Engineering, Beihang University（北京生物医学工程先进创新中心，北航）；Department of Biomedical Engineering（生物医学工程系）；Department of Gynecology Oncology（妇科肿瘤科）；National Cancer Center/National Clinical Research Center for Cancer/Cancer Hospital（国家癌症中心/国家癌症临床研究中心/癌症医院）；Chinese Academy of Medical Sciences（中国医学科学院）；Peking Union Medical College（北京协和医学院）；Xiaomi Corporation（小米公司）
针对现有PET去噪方法在剂量减少因子变化时性能下降的问题，提出UniPET网络，通过风格对齐网络和区域感知学习策略实现跨DRF的高质量去噪，性能达到最先进水平。
2026-06-09 cs.CV
Do Less, Achieve More: Do We Need Every-Step Optimization for RL Fine-tuning of Diffusion Models?
Peking University（北京大学）；Tsinghua University（清华大学）；Nanjing University（南京大学）；Stanford University（斯坦福大学）
本文研究了扩散模型强化学习微调中优化步骤的影响，提出AdaScope方法通过动态控制训练时机提升生成质量并降低计算成本。
2026-05-15 cs.CV
Denoise and Align: Diffusion-Driven Foreground Knowledge Prompting for Open-Vocabulary Temporal Action Detection
Institute of Information Engineering, Chinese Academy of Sciences School of Cyber Security, University of Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense Beijing China；Institute of Information Engineering, Chinese Academy of Sciences Beijing China；Hangzhou Dianzi University Hangzhou China；Institute of Information Engineering, Chinese Academy of Sciences\ Key Laboratory of Cyberspace Security Defense Beijing China；Engineering, Zhejiang University Hangzhou China；Institute of Information Engineering, Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense Beijing China；Institute of Information Engineering, Chinese Academy of Sciences School of Cyber Security, University of Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense；Institute of Information Engineering, Chinese Academy of Sciences；Hangzhou Dianzi University；Institute of Information Engineering, Chinese Academy of Sciences\ Key Laboratory of Cyberspace Security Defense；Engineering, Zhejiang University；Institute of Information Engineering, Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense
本文提出DFAlign框架，通过扩散去噪生成前景知识，解决开放词汇时序动作检测中语义不平衡问题，提升动作相关片段的判别性。
2026-04-20 cs.CV
Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification
The Guangdong Provincial Key Laboratory of Computational Intelligence and Cyberspace Information, the School of Computer Science and Engineering, South China University of Technology（广东省计算智能与网络信息重点实验室、计算机科学与工程学院、华南理工大学）；The Pazhou Laboratory（琶洲实验室）
本文提出TAHCD网络，通过自适应稳定子空间对齐和样本自适应置信度对齐，有效去除多模态噪声，提升多模态分类的鲁棒性和泛化能力。
2026-02-05 cs.CV
MoCam: Unified Novel View Synthesis via Structured Denoising Dynamics
Orange-3DV-Team（橙色3D视觉团队）
MoCam通过结构去噪动力学在扩散过程中协调从几何到外观的进展，统一静态和动态视角合成，优于现有方法，尤其在点云严重孔洞或失真时表现稳健。
2026-05-13 cs.CV cs.GR
Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model
Nanyang Technological University（南洋理工大学）
本文提出寄生式协同去噪范式，通过冻结视频扩散模型中间特征解码三维人体运动，以极少参数实现文本-运动对齐并同步生成视频与运动。
2026-10-05 cs.CV
Unified Video-Action Joint Denoising for Dexterous Action and Data Generation
Technical University of Munich（慕尼黑技术大学）；ByteDance（字节跳动）；Tsinghua University（清华大学）
提出Donk模型，通过联合建模交互视频与手部轨迹的分布，实现灵巧手的动作生成与数据增强。
2026-06-02 cs.CV
Revisiting Temporal Alignment for Video Restoration
The Chinese University of Hong Kong（香港中文大学）；Smartmore Corporation（思谋科技）
长距离时间对齐对于视频恢复任务是至关重要但又具有挑战性的。近年来，一些研究尝试将长路线划分为若干个子路线，并逐步进行处理。虽然这种操作有助于对远距离通信进行建模，但由于传播机制，误差积累是不可避免的。在这项工作中，我们提出了一种新的，通用的迭代对齐模块，采用逐步细化方案的子对齐，产生更准确的运动补偿。为了进一步提高对齐精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性是自适应评估的空间方式聚合。凭借所提出的策略，我们的模型在一系列视频恢复任务（包括视频超分辨率，去噪和去模糊）的多个基准上实现了最先进的性能。我们的项目在\url{https://github.com/redrock303/Revisiting-Temporal-Alignment-for-Video-Restoration.git}中可用。
2021-12-01 cs.CV
Preference Alignment for Diffusion Model via Explicit Denoised Distribution Estimation
Alibaba Group（阿里巴巴集团）
针对扩散模型偏好标签仅位于去噪轨迹末端、难以优化中间步骤的问题，本文提出DDE及逐步、单次两种估计策略，实现全轨迹偏好对齐并优先优化中段，实验表现优越。
2025-03-13 cs.AI cs.CL cs.CV
Efficient View Synthesis and 3D-based Multi-Frame Denoising with Multiplane Feature Representations
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出首个基于3D的多帧去噪方法，通过扩展多平面图像框架并引入在特征空间操作的可学习编码器-渲染器对，生成多平面特征表示，以更低计算需求显著优于2D方法。
2023-04-05 cs.CV
Beyond Few-Step Inference: Accelerating Video Diffusion Transformer Model Serving with Inter-Request Caching Reuse
Sun Yat-sen University, China（中山大学）；Independent Researcher（独立研究者）
本文提出Chorus方法，通过跨请求缓存重用加速视频扩散模型服务，实现45%的速度提升，特别在中间去噪步骤中结合Token-Guided Attention Amplification提升语义对齐。
2026-04-06 cs.CV
A Differentiable Two-stage Alignment Scheme for Burst Image Reconstruction with Large Shift
The Hong Kong Polytechnic University（香港理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
去噪和去马赛克是从原始数据重建清晰的全色图像的两个基本步骤。最近，针对突发图像的联合去噪和去马赛克（JDD），即JDD-B，通过使用在短时间内捕获的多个原始图像来重建单个高质量图像而引起了广泛关注。JDD-B的一个关键挑战在于图像帧的鲁棒对齐。现有的特征域对齐方法不能有效地利用突发图像的时间信息，其中由于相机和物体的运动通常存在较大的偏移。此外，更高的分辨率（例如，4K）导致帧之间的较大位移。为了解决这些问题，我们设计了一个可微的两阶段对齐方案，依次在补丁和像素级的有效JDD-B。该算法首先采用可微渐进块匹配方法对输入的突发图像进行块级对齐，以较小的计算代价估计出相距较远的帧之间的偏移量。然后，我们在全分辨率特征域中执行隐式逐像素对齐以细化对齐结果。这两个阶段以端到端的方式联合训练。大量的实验表明，我们的方法比现有的JDD-B方法显着改善。代码可在https://github.com/GuoShi28/2StageAlign上获得。
2022-03-17 cs.CV eess.IV
IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation
State University of New York at Buffalo（纽约州立大学布法罗分校）；Microsoft（微软公司）；Advanced Micro Devices（超威半导体公司）
针对以人为中心的视频-深度联合生成研究不足的问题，提出IDOL统一双模态潜在扩散模型，通过统一双模态U-Net和两种一致性损失实现高质量对齐生成，在多个数据集上性能超越现有方法。
2024-07-15 cs.CV
Denoise-then-Retrieve: Text-Conditioned Video Denoising for Video Moment Retrieval
Southeast University（东南大学）；The University of Adelaide（阿德莱德大学）；The Hong Kong Polytechnic University（香港理工大学）；The University of Western Australia（西澳大学）
针对现有文本驱动视频时刻检索方法编码无关片段影响对齐与优化的问题，提出先去噪再检索范式及DRNet网络，经实验验证在两个基准数据集上全指标超越SOTA，且范式可适配集成到先进VMR模型提升性能。
2025-08-15 cs.CV
Unified Long Video Inpainting and Outpainting via Overlapping High-Order Co-Denoising
提出重叠高阶协同去噪框架，利用LoRA和双区域损失将预训练文本到视频模型统一用于长视频修复与外扩，在InpaintBench上优于现有方法并支持800帧。
2026-09-09 cs.CV
DSAQuant: Denoising-Stage-Aligned Quantization-Aware Training for Video Generation
Robbyant（睿冰科技（Robbyant））；ZJU（浙江大学）；HKUST（香港科技大学）；PolyU（香港理工大学）
DSAQuant是面向VDMs的去噪阶段对齐量化感知训练框架，适配视频去噪阶段特性，在W3A3量化下将VBench平均分数提升最高6.60，优于SOTA基线。
2026-09-04 cs.CV
Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation
Fudan University（复旦大学）；Tencent Hunyuan（腾讯幻元）
提出Baton框架，通过VA-Planner生成语义对齐的模态感知规划令牌作为蓝图，注入扩散骨干以协调视频和音频去噪，解决现有方法因缺乏共享长期规划导致的跨模态对齐脆弱问题。
2026-06-01 cs.CV
Intermediate Text Representation Guided Text-to-Image Generation for Enhancing One-and-Only Alignment
The University of Melbourne（墨尔本大学）
针对文本到图像扩散模型在生成唯一性对象时因概念关联偏差导致对齐失败的问题，提出中间文本表示引导扩散方法，无需额外训练即可恢复被抑制的概念，在OAO-AttackBench上VQAScore提升高达19.1个百分点。
2026-06-29 cs.CV
EraseFlow: Learning Concept Erasure Policies via GFlowNet-Driven Alignment
Arizona State University（亚利桑那州立大学）；Capital One（Capital One公司）；Oracle（Oracle公司）；Soongsil University（顺天大学）
EraseFlow首次将概念擦除建模为去噪路径空间中的探索，并利用轨迹平衡GFlowNets学习随机策略，在无需精心设计奖励模型的情况下有效遗忘目标概念并保留模型先验。
2025-11-09 cs.CV cs.LG
Fine-Grained GRPO for Precise Preference Alignment in Flow Models
Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）
本文提出细粒度GRPO框架，通过细粒度评估和多粒度整合模块提升流模型中偏好对齐的精度与鲁棒性。
2025-11-22 cs.CV cs.LG
From Points to Clouds: Learning Robust Semantic Distributions for Multi-modal Prompts
China Agricultural University（中国农业大学）
本文提出P2C框架，通过动态去噪机制学习语义云分布，提升多模态提示学习的鲁棒性和泛化能力。
2025-11-28 cs.CV
LINA: Learning INterventions Adaptively for Physical Alignment and Generalization in Diffusion Models
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；Fudan University（复旦大学）
LINA通过学习适应性干预，提升扩散模型在物理对齐和超出分布指令跟随方面的性能。
2025-12-15 cs.AI cs.CV cs.LG
Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask
Texas A&M University（德克萨斯A&M大学）
在本文中，我们提出了一种基于学习的方法，用于对低光照条件下捕获的原始视频进行去噪。我们建议首先使用卷积神经网络（CNN）将相邻帧与当前帧显式对齐。然后，我们使用另一个CNN融合注册的帧，以获得最终的去噪帧。为了避免直接对齐时间上遥远的帧，我们在多个阶段执行对齐和融合两个过程。具体来说，在每个阶段，我们对三个连续的输入帧进行去噪处理，以生成中间去噪帧，然后将其作为输入传递到下一阶段。通过在多个阶段中执行该过程，我们可以有效地利用相邻帧的信息，而不直接对准时间上远离的帧。我们训练我们的多阶段系统使用对抗性损失与条件损失。具体来说，我们的条件下的软梯度掩模，以防止在平滑区域中引入高频伪影。我们表明，我们的系统是能够产生时间上连贯的视频与现实的细节。此外，我们通过大量的实验证明，我们的方法在数值和视觉上都优于最先进的图像和视频去噪方法。
2021-04-16 cs.CV eess.IV
ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts
Baidu Inc.（百度公司）；Wuhan University of Science and Technology（武汉科技大学）
扩散模型的最新进展彻底改变了流行的文本到图像生成技术。虽然现有的方法可以产生真实感的高分辨率图像与文本条件，仍然有一些开放的问题需要解决，这限制了图像保真度和文本相关性的进一步提高。在本文中，我们提出了ERNIE-ViLG 2.0，一个大规模的中文文本到图像的扩散模型，逐步升级生成的图像的质量：（1）结合细粒度的文本和视觉知识的关键元素在场景中，（2）利用不同的去噪专家在不同的去噪阶段。通过所提出的机制，ERNIE-ViLG 2.0不仅在MS-COCO上实现了最新的技术水平，zero-shot FID得分为6.75，而且在图像保真度和图文对齐方面明显优于最近的模型，并在双语提示集ViLG-300上进行了并排人工评估。
2023-03-28 cs.AI cs.CV
M3DM-NR: RGB-3D Noisy-Resistant Industrial Anomaly Detection via Multimodal Denoising
Shanghai Jiao Tong University（上海交通大学）；Youtu Lab（腾讯优图实验室）；Tencent（腾讯）
针对实际场景中数据集存在噪声的问题，本文提出抗噪框架M3DM-NR，利用CLIP的多模态判别能力，通过三阶段（疑似参考选择、多模态去噪、特征对齐与融合）实现RGB-3D工业异常检测与分割，优于现有方法。
2024-06-04 cs.CV
Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers
Alibaba Group（阿里巴巴集团）
本文提出Diffusion-APO，通过同步训练噪声与推理时的去噪路径，解决视频扩散模型与人类意图对齐的问题，采用统一的RLHF框架实现灵活的多阶段偏好对齐，提升视觉质量和指令遵循性能。
2026-05-08 cs.CV
Faster and Better Alignment for Flow Matching Models via Step-aware Advantages
Zhejiang University（浙江大学）；HiThink Research（HiThink研究）；Southern University of Science and Technology（南方科技大学）
TAFS GRPO通过步感知优势机制改进流匹配模型，实现更高效且更优的少步文本到图像生成与人类偏好对齐。
2026-08-07 cs.CV
Learning Model-Blind Temporal Denoisers without Ground Truths
Tsinghua University（清华大学）；Tencent Media Lab（腾讯媒体实验室）；Research Institute of Tsinghua University in Shenzhen（清华大学深圳研究院）
用合成数据训练的去噪器往往无法应对未知噪声的多样性，让位于那些可以适应现有噪声而不知道其真实情况的方法。以前的基于图像的方法如果直接应用于视频去噪器会导致噪声过拟合，并且在遮挡和光照变化方面具有不充分的时间信息管理，这大大阻碍了其去噪性能。在本文中，我们提出了一个视频去噪网络的通用框架，成功地解决了这些挑战。提出了一种新的双采样器，在不改变目标语义的前提下，通过解耦输入来组装训练数据，不仅有效地解决了噪声过拟合问题，而且通过检查光流一致性，有效地生成了更好的遮挡掩模。一个在线去噪方案和翘曲损失正则化更好的时间对齐。基于对齐帧的局部相似性来量化照明变化。我们的方法在多个噪声、数据集和网络架构上始终优于现有技术0.6-3.2dB PSNR。在降低模型盲视频噪声方面取得了先进的成果。进行了广泛的消融研究，以证明每个技术组件的重要性。
2021-03-31 cs.CV
Paired Diffusion: Generation of related, synthetic PET-CT-Segmentation scans using Linked Denoising Diffusion Probabilistic Models
University of Oxford（牛津大学）
提出一种基于配对网络和条件编码器的链接去噪扩散概率模型架构，通过时间步控制机制和噪声播种策略生成相关的 PET-CT-肿瘤掩码对，提升了合成图像对齐度与分割准确性。
2024-03-26 cs.CV eess.IV
Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think
KAIST（韩国科学技术院）；Korea University（高丽大学）；Scaled Foundations；New York University（纽约大学）
提出表示对齐（REPA）正则化，将扩散Transformer去噪网络的隐藏状态与外部预训练视觉编码器的干净图像表示对齐，显著提升训练效率（SiT加速超17.5倍）和生成质量（FID=1.42）。
2025-06-18 cs.CV cs.LG
Information Theoretic Text-to-Image Alignment
EURECOM（欧洲通信研究院）；Huawei Technologies SASU（华为技术法国公司）
针对文本到图像模型与用户意图对齐需繁琐试错的问题，提出基于互信息（MI）的方法，通过自监督微调及提示词与图像的逐点MI估计创建合成微调集，仅用模型自身预训练去噪网络估计MI，在保持图像质量的同时实现优于现有技术的对齐效果。
2025-02-11 cs.CV cs.LG
CHIME: Conditional Hallucination and Integrated Multi-scale Enhancement for Time Series Diffusion Model
Xi’an Jiaotong University（西安交通大学）
本文提出CHIME框架，通过多尺度分解集成和条件特征幻觉模块，解决时间序列扩散模型在跨实体与长时间尺度上的特征对齐和生成能力不足问题，并在少样本场景下取得最先进性能。
2025-07-04 cs.CV cs.SY eess.SY
LGDN: Language-Guided Denoising Network for Video-Language Modeling
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；The University of Hong Kong（香港大学）；JD Corporation（京东集团）
随着网络视频的快速增长，视频语言建模引起了人们的广泛关注。现有的视频语言建模方法大多假设视频帧和文本描述在语义上是相关的，并且集中在视频层的视频语言建模。然而，该假设通常由于两个原因而失败：（1）由于视频内容的丰富语义，难以用单个视频级描述覆盖所有帧;（2）原始视频通常具有噪声/无意义的信息（例如，布景镜头、过渡或预告片）。虽然最近的一些工作部署注意力机制，以减轻这个问题，无关/嘈杂的信息仍然使得它非常难以解决。为了克服这样的挑战，我们因此提出了一个高效和有效的模型，称为视频引导去噪网络（LGDN），视频语言建模。与大多数现有方法利用所有提取的视频帧不同，LGDN在语言监督下动态过滤掉不对齐或冗余的帧，并且每个视频仅获得2- 4个显著帧用于跨模态标记级对齐。在五个公共数据集上的广泛实验表明，我们的LGDN大幅优于最先进的技术。我们还提供了详细的消融研究，以揭示解决噪音问题的关键重要性，希望能启发未来的视频语言工作。
2022-12-05 cs.AI cs.CV cs.MM
Astra: General Interactive World Model with Autoregressive Denoising
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）
Astra提出了一种通用交互世界模型，通过自回归去噪和动作感知适配器实现长周期视频预测与多样化交互。
2026-01-27 cs.AI cs.CV cs.LG
MCLR: Improving Conditional Modeling via Inter-Class Likelihood-Ratio Maximization and Unifying Classifier-Free Guidance with Alignment Objectives
University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文提出MCLR，通过训练时最大化类间似然比来改进扩散模型的条件建模，实现无引导条件生成的提升，并理论证明CFG是MCLR目标的最优解。
2026-10-22 cs.AI cs.CV cs.LG
Zero-Shot Audio-Visual Editing via Cross-Modal Delta Denoising
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft（微软公司）
提出零样本音视频编辑任务及AvED-Bench基准，并设计跨模态增量去噪框架AvED，实现无需训练的同步连贯编辑，在多个数据集上验证优越性。
2025-03-26 cs.CV cs.LG cs.MM
E-GRPO: High Entropy Steps Drive Effective Reinforcement Learning for Flow Models
Tsinghua University（清华大学）
E-GRPO通过增加SDE采样步骤的熵，提升流模型强化学习的效果，通过合并低熵步骤为高熵步骤并引入多步群体归一化优势，提高探索效率和奖励信号清晰度。
2026-01-01 cs.AI cs.CV cs.LG
WiTUnet: A U-Shaped Architecture Integrating CNN and Transformer for Improved Feature Alignment and Local Information Fusion
College of Computer Science and Cyber Security, Chengdu University of Technology（成都理工大学计算机与网络安全学院）；College of Geophysics, Chengdu University of Technology（成都理工大学地球物理学院）；College of Mechanical and Vehicle Engineering, Changchun University（长春大学机械与车辆工程学院）
WiTUnet提出一种改进的U形LDCT去噪架构，通过嵌套密集跳跃路径、窗口化Transformer和LiPe模块增强特征对齐与局部信息融合，在PSNR、SSIM和RMSE上优于现有方法。
2024-04-29 cs.AI cs.CV cs.LG
