Flow-Guided Feature Aggregation for Video Object Detection
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
将最先进的对象检测器从图像扩展到视频是一项挑战。检测的准确性受到视频中退化的对象外观的影响，例如，运动模糊、视频散焦、罕见姿势等。现有的工作尝试在框级上利用时间信息，但是这样的方法不是端到端训练的。我们提出了流引导的特征聚合，一个准确的和端到端的视频目标检测的学习框架。相反，它利用特征级的时间一致性。它通过聚集运动路径上的邻近特征来改进每帧特征，从而提高视频识别的准确性。我们的方法显著改善了ImageNet VID中的强单帧基线，特别是对于更具挑战性的快速移动对象。我们的框架是原则性的，与赢得2016年ImageNet VID挑战赛的最佳工程系统不相上下，没有额外的铃铛和哨子。该方法与Deep Feature Flow一起为ImageNet VID挑战赛2017的获奖作品提供了动力。该代码可在https://github.com/msracver/Flow-Guided-Feature-Aggregation上获得。
2017-08-18 cs.CV
Diffusion-Guided Mask-Consistent Paired Mixing for Endoscopic Image Segmentation
School of Intelligent Engineering, Sun Yat-sen University (Shenzhen Campus)（中山大学智能工程学院）；Department of Otolaryngology, The First Affiliated Hospital of Sun Yat-sen University（中山大学附属第一医院耳鼻喉科）；School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
针对内窥镜图像分割中的数据增强问题，提出扩散引导的配对混合方法MCPMix，结合保留标签的混合与扩散合成多样性，并采用RLA自适应调整混合强度与损失权重，在多个数据集上实现了最先进的分割性能与鲁棒泛化能力。
2025-11-05 cs.CV
Guided Attention Network for Object Detection and Counting on Drones
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；JD Digits（京东数科）
目标检测和计数是相关但具有挑战性的问题，特别是对于具有小目标和杂乱背景的基于无人机的场景。在本文中，我们提出了一个新的引导注意力网络（GANet）处理目标检测和计数任务的基础上的特征金字塔。与以往的方法依赖于无监督注意力模块不同，我们融合不同尺度的特征图，通过使用提出的弱监督背景注意力（BA）之间的背景和对象的更多的语义特征表示。然后，前景注意力（FA）模块的开发，以考虑全局和局部外观的对象，以促进准确定位。此外，新的数据论证策略被设计用于训练在各种复杂场景下的鲁棒模型。在三个具有挑战性的基准上进行了广泛的实验（即，UAVDT、CARPK和PUCPR+）的实验结果表明，与现有方法相比，该方法具有最先进的检测和计数性能。
2019-09-25 cs.CV
Pose-Guided High-Resolution Appearance Transfer via Progressive Training
Carnegie Mellon University（卡内基梅隆大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Tencent（腾讯）；HKUST（香港科技大学）
我们提出了一种新型的姿势引导外观转移网络，用于以前所未有的图像分辨率（1024 * 1024）将给定的参考外观转移到目标姿势，分别给出参考人和目标人的图像。没有使用3D模型。相反，我们的网络利用密集的局部描述符，包括局部感知损失和局部判别器来细化细节，以从粗到细的方式逐步训练，以产生高分辨率输出，忠实地保留服装纹理和几何形状的复杂外观，同时无缝地产生幻觉，包括那些具有非遮挡的外观。我们的渐进式编码器-解码器架构可以在多个尺度上学习输入图像中固有的参考外观。在Human3.6M数据集、DeepFashion数据集和我们从YouTube收集的数据集上进行的大量实验结果表明，我们的模型可以生成高质量的图像，这些图像可以进一步用于有用的应用，例如人与人之间的服装转移和姿势引导的人类视频生成。
2022-11-25 cs.CV
Semi-Supervised Domain Generalization for Object Detection via Language-Guided Feature Alignment
University of Pittsburgh（匹兹堡大学）
本文首次研究目标检测的半监督域泛化，提出CDDMSL借助视觉-语言预训练在语言空间对齐跨域多尺度特征，在DG和DA设置下分别提升11.7%和7.5%。
2023-09-24 cs.CV
Consensus-Aware Multi-Source Fusion for Reference-Guided Camouflaged Object Detection
School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院）
针对参考引导的伪装目标检测中参考线索不一致和表示不对齐问题，提出共识感知多源融合框架，结合RCDF、跨参考共识聚合和层次化解码，实验验证其有效性。
2026-10-01 cs.CV
Uncertainty-Guided Appearance-Motion Association Network for Out-of-Distribution Action Detection
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
针对分布外动作检测任务，提出不确定性引导的外观-运动关联网络（UAAN），通过融合外观与运动特征并推理时空物体交互，显著优于现有方法。
2026-05-25 cs.CV
SAUF-Net: Structure--Appearance Representation Learning with Uncertainty Feedback for Semi-Supervised Medical Image Segmentation
Nanchang Hangkong University（南昌航空大学）
针对半监督医学图像分割中特征可靠性被忽略、伪标签不可靠的问题，提出SAUF-Net，通过结构-外观分解等模块及不确定性反馈机制，在ISIC-2016等数据集上优于现有最优方法，低标注场景下表现更佳。
2026-09-03 cs.AI cs.CV
Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos
本文提出AMOT方法，通过结合外观和运动线索，改进无人机视频中多目标跟踪的鲁棒性和稳定性。
2025-11-28 cs.CV
Owner3D: Ownership-Guided Style Writing for Training-Free Localized 3D Stylization
College of Computer Science, Sichuan University（四川大学计算机学院）
本研究针对LRM中本地化3D风格化的风格泄漏与边界模糊问题，提出无训练框架Owner3D，通过所有权引导风格写入、边界双槽及表面优先纹理读出实现更优的风格保真与外观保留。
2026-08-17 cs.CV
ActiveLang: Active Open-Vocabulary 3D Mapping with Semantic-Uncertainty-Guided Exploration
Stevens Institute of Technology（史蒂文斯理工学院）；Purdue University（普渡大学）；Goertek Alpha Labs（歌尔阿尔法实验室）
ActiveLang提出一种基于语义不确定性引导探索的主动开放词汇三维建图系统，通过在线语言特征自适应和高效视点规划，在Replica和ScanNet++上显著提升分割性能并降低建图成本。
2026-10-08 cs.CV cs.RO
ReStyle3D: Scene-Level Appearance Transfer with Semantic Correspondences
Stanford University（斯坦福大学）；NVIDIA Research（NVIDIA研究）；Zillow Group（Zillow集团）
ReStyle3D提出了一种场景级外观迁移框架，通过开放词汇分割建立实例级语义对应，结合扩散模型与变形细化网络，实现了精确且多视图一致的场景风格化。
2025-04-25 cs.CV cs.GR
CGCOD: Class-Guided Camouflaged Object Detection
Shanghai Institute of Technology（上海理工大学）；Dalian University of Technology（大连理工大学）
针对伪装目标检测中视觉特征不足的问题，本文提出类引导任务CGCOD、数据集CamoClass及多阶段框架CGNet，利用类级文本信息增强检测鲁棒性与准确性。
2025-01-15 cs.CV cs.LG
Layout2Scene: 3D Semantic Layout Guided Scene Generation via Geometry and Appearance Diffusion Priors
The Shenzhen Campus of Sun Yat-sen University, Sun Yat-sen University（中山大学深圳校区，中山大学）；National University of Defense Technology（国防科技大学）
针对文本条件3D场景生成缺乏精确位置控制的问题，本文提出Layout2Scene，利用语义布局并结合两阶段几何与外观扩散先验优化，生成更逼真、可灵活精确编辑的3D场景。
2025-01-05 cs.CV
Unsupervised Pose Flow Learning for Pose Guided Synthesis
姿态引导合成的目标是在任意目标姿态下生成新图像，同时保留源图像的外观细节。现有的方法依赖于硬编码的空间变换或3D身体建模。它们往往忽略了复杂的非刚性姿态变形或不匹配的遮挡区域，从而无法有效地保持外观信息。在本文中，我们提出了一个无监督的姿势流学习计划，学习从源图像中转移的外观细节。基于这种学习的姿势流，我们提出了GarmentNet和SynthesisNet，它们都使用多尺度特征域对齐进行粗到精的合成。在DeepFashion，MVC数据集和其他真实世界数据集上的实验表明，我们的方法与最先进的方法相比毫不逊色，并且可以推广到看不见的姿势和服装风格。
2019-09-30 cs.CV
TAPL: Dynamic Part-based Visual Tracking via Attention-guided Part Localization
Nanyang Technological University（南洋理工大学）；MediaTek, Inc.（联发科技股份有限公司）
基于整体对象表示的跟踪器在大的外观变化（如变形和遮挡）下性能下降。在这项工作中，我们提出了一个动态的部分为基础的跟踪器，并不断更新的目标部分表示，以适应对象的外观变化。此外，我们设计了一个注意力引导的零件定位网络，直接预测目标零件的位置，并确定最终的限界框与目标零件的分布。我们提出的跟踪器在各种基准测试中取得了令人鼓舞的结果：VOT 2018，OTB 100和GOT-10 k
2021-10-25 cs.CV
PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction
Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）
提出PGAHum框架，通过融合SMPL先验的隐式几何表示、先验引导采样和迭代后向变形策略，实现高保真可驱动人体的高质量几何重建与逼真新颖视图合成。
2024-04-22 cs.CV
LocRef-Diffusion:Tuning-Free Layout and Appearance-Guided Generation
MetaX
本文提出无需调优的LocRef-Diffusion模型，通过Layout-net和appearance-net分别控制实例位置与外观，在COCO和OpenImages上实现了布局与外观引导生成的最先进性能。
2024-11-22 cs.AI cs.CV
Pedestrian Detection by Exemplar-Guided Contrastive Learning
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong at Shenzhen（香港中文大学（深圳））
典型的行人检测方法集中在解决拥挤的行人之间的相互遮挡，或处理不同尺度的行人。检测具有大量外观变化的行人，例如不同的行人轮廓、不同的视点或不同的穿着，仍然是一个至关重要的挑战。而不是学习每个这些不同的行人外观特征，因为大多数现有的方法做，我们建议进行对比学习，以指导特征学习的方式，在学习的特征空间中，具有不同外观的行人之间的语义距离最小化，以消除外观的差异，而行人和背景之间的距离最大化。为了提高对比学习的效率和有效性，我们构建了一个具有代表性的行人外观作为先验知识的样本字典，以构建有效的对比训练对，从而指导对比学习。此外，构造的范例字典进一步利用行人建议在推理过程中的质量，通过测量建议和范例字典之间的语义距离。白天和夜间的行人检测实验验证了该方法的有效性。
2022-07-09 cs.CV
Semantically-Guided Video Object Segmentation
ETH Zürich（苏黎世联邦理工学院）
本文解决了半监督视频对象分割问题，即在第一帧中给定其掩码的情况下将对象分割成序列。在这种情况下的主要挑战之一是感兴趣的对象的外观的变化。另一方面，它们的语义没有变化。本文研究了如何利用这种不变性，通过引入一个语义先验，指导外观模型。具体来说，给定序列的第一帧的分割掩码，我们估计感兴趣的对象的语义，并在整个序列中传播该知识，以基于外观模型来改进结果。我们提出了语义引导的视频对象分割（SGV），它使用各种评估指标在两个不同的数据集上改进了先前的最新技术水平，同时每帧运行半秒。
2018-07-17 cs.CV
Video Anomaly Detection with Motion and Appearance Guided Patch Diffusion Model
Huazhong University of Science and Technology（华中科技大学）
针对现有视频异常检测扩散模型忽略异常形态、未兼顾小目标及外观运动偏差的问题，提出带运动与外观条件的补丁扩散模型，在四个数据集上表现优于多数现有方法。
2024-12-12 cs.CV
Text Guided Person Image Synthesis
Zhejiang University（浙江大学）；Nanjing University（南京大学）
提出了一种基于自然语言描述的人物图像视觉外观（姿态和属性）处理方法。我们的方法可以归结为两个阶段：1）文本引导的姿势生成和2）视觉外观转移图像合成。在第一阶段，我们的方法推断出一个合理的目标人体姿势的基础上的文本。在第二阶段，我们的方法合成一个现实和外观转移的人的形象，根据文本结合目标姿态。我们的方法从文本中提取了足够的信息，并建立了图像空间和语言空间之间的映射，使生成和编辑图像对应的描述成为可能。我们进行了大量的实验，以揭示我们的方法的有效性，以及使用VQA感知得分作为评估方法的度量。它首次表明，我们可以自动编辑的自然语言描述的人的形象。
2019-04-10 cs.CV
LineArt: A Knowledge-guided Training-free High-quality Appearance Transfer for Design Drawing with Diffusion Model
KTH Royal Institute of Technology（瑞典皇家理工学院）；Jilin University（吉林大学）；Tokyo Institute of Technology（东京工业大学）；Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学技术学院）
LineArt提出一种免训练、知识引导的外观迁移框架，通过多频率线条融合和两阶段绘画，在保持结构准确的同时提升设计图纸渲染的精度与真实感，并引入ProLines数据集验证其优于现有方法。
2024-12-16 cs.CV
Appearance Blur-driven AutoEncoder and Motion-guided Memory Module for Video Anomaly Detection
School of Computer Science and Engineering, Xi’an University of Technology（西安理工大学计算机科学与工程学院）
提出一种基于外观模糊和运动引导记忆模块的零样本跨数据集视频异常检测方法，通过构建全局伪异常并利用运动记忆项扩大正常与异常运动差异。
2024-09-26 cs.CV
Pose Guided Human Video Generation
CUHK-SenseTime Joint Lab（香港中文大学-商汤联合实验室）；SenseTime Research（商汤科技研究院）；Carnegie Mellon University（卡内基梅隆大学）
由于生成对抗网络的出现，视频合成技术取得了突破性的进展。然而，现有的方法缺乏一个适当的表示来显式地控制视频中的动态。另一方面，人体姿态可以内在地和可解释地表示运动模式，并且施加几何约束而不管外观如何。在本文中，我们提出了一种姿势指导的方法来合成人类视频在一个解开的方式：合理的运动预测和连贯的外观生成。在第一阶段中，姿态序列生成对抗网络（PSGAN）以对抗方式学习以产生以类别标签为条件的姿态序列。在第二阶段中，语义一致的生成对抗网络（SCGAN）从姿势生成视频帧，同时保留输入图像中的连贯外观。通过在高特征级别上执行生成的姿势和地面真实姿势之间的语义一致性，我们的SCGAN对噪声或异常姿势具有鲁棒性。在人体动作和人脸数据集上的大量实验表明，该方法优于其他国家的艺术。
2018-07-30 cs.CV
Deep LG-Track: An Enhanced Localization-Confidence-Guided Multi-Object Tracker
College of Mechanical and Vehicle Engineering, Chongqing University（重庆大学机械与运载工程学院）
本文提出 Deep LG-Track 多目标跟踪器，通过自适应 Kalman 滤波器、融合运动与外观信息的成本矩阵及动态外观特征更新策略，在 MOT17 和 MOT20 数据集上显著提升了跟踪准确性与鲁棒性。
2025-04-02 cs.CV
TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation
研究实时长格式数字人生成问题，提出TaoMate框架，通过锚点引导、内存桥接等方法，在保持稳定外观和视听同步下，实现少步联合音频-视频生成，且能跨块并行执行加速自回归推理。
2026-07-28 cs.CV
Pose-Guided Human Animation from a Single Image in the Wild
University of Minnesota（明尼苏达大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了一种新的姿势转移方法，从一个单一的图像控制的身体姿势序列的人合成的人类动画。现有的姿势转移方法表现出显着的视觉伪影时，适用于一个新的场景，导致在时间上的不一致性和失败，在保留的身份和纹理的人。为了解决这些限制，我们设计了一个组合神经网络，预测的轮廓，服装标签，和纹理。每个模块化网络明确专用于可以从合成数据学习的子任务。在推理时，我们利用经过训练的网络在UV坐标中生成外观及其标签的统一表示，该表示在各个姿势中保持不变。统一表示提供了不完整但强有力的指导，以响应于姿势变化生成外观。我们使用经过训练的网络来完成外观并将其与背景一起渲染。通过这些策略，我们能够合成人类动画，这些动画可以以时间连贯的方式保留人的身份和外观，而无需对测试场景中的网络进行任何微调。实验表明，我们的方法优于国家的最先进的合成质量，时间一致性，和泛化能力。
2021-11-22 cs.CV
Motion-guided small MAV detection in complex and non-planar scenes
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Engineering, Westlake University（西湖大学工学院）
本文提出一种运动引导的 MAV 检测器，通过运动特征增强、多目标跟踪与轨迹过滤消除误报，并结合外观分类器与检测器，在复杂非平面场景中实现了高精度的小型 MAV 检测。
2024-10-14 cs.CV
IGNOR: Image-guided Neural Object Rendering
Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
我们提出了一种学习的图像引导渲染技术，它结合了基于图像的渲染和基于GAN的图像合成的优点。我们的方法的目标是为虚拟和增强现实应用（例如，虚拟陈列室、虚拟游览和观光、历史文物的数字化检查）。我们工作的一个核心组成部分是处理视图相关效果。具体来说，我们直接训练对象特定的深度神经网络来合成对象的视图相关外观。作为输入数据，我们使用对象的RGB视频。该视频用于通过多视图立体视觉重建对象的代理几何。基于该3D代理，捕获的视图的外观可以被扭曲成新的目标视图，如在经典的基于图像的渲染中那样。这种扭曲假设漫反射表面，在依赖于视图的效果（如镜面反射高光）的情况下，它会导致伪影。为此，我们提出了一种深度神经网络，它可以预测视图相关的效果。基于这些估计，我们能够将观察到的图像转换为漫射图像。这些漫射图像可以投影到其他视图中。在目标视图中，我们的管道重新插入新的视图相关效果。为了将多个重新投影的图像合成为最终输出，我们学习了一个输出照片级逼真结果的合成网络。使用这种图像引导的方法，网络不必在“记住”对象外观上分配容量，而是学习如何组合捕获图像的外观。我们证明了我们的方法的有效性，定性和定量的合成以及真实的数据。
2020-01-15 cs.CV
SplatBright: Generalizable Low-Light Scene Reconstruction from Sparse Views via Physically-Guided Gaussian Enhancement
Shanghai Jiao Tong University（上海交通大学）；China DXR Technology CO.,Ltd（中国DXR技术有限公司）
SplatBright通过物理引导的照明建模和几何-外观解耦，实现了从稀疏视角进行低光照场景重建的通用3D高斯框架。
2025-12-21 cs.CV
MetaMorph: Learning Metamorphic Image Transformation With Appearance Changes
University of Virginia（弗吉尼亚大学）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；MIT（麻省理工学院）
本文提出了一种新的预测模型MetaMorph，用于具有外观变化的图像的变形配准（即，由脑肿瘤引起）。与以前的基于学习的配准方法相比，这些方法对外观变化几乎没有控制，我们的模型引入了一种新的正则化，可以有效地抑制外观变化区域的负面影响。特别是，我们通过学习异常区域的分割图，在非纯变换的切线空间（也称为初始速度场）上开发了一种分段正则化。几何变换和外观变化被视为共同的任务，是互利的。我们的模型MetaMorph在分割的指导下搜索最佳配准解决方案时更加鲁棒和准确，这反过来又通过提供适当增强的训练标签来提高分割性能。我们在真实的3D人脑肿瘤磁共振成像（MRI）扫描上验证MetaMorph。实验结果表明，我们的模型优于最先进的基于学习的注册模型。所提出的MetaMorph在各种图像引导的临床干预中具有巨大的潜力，例如，用于肿瘤切除手术的实时图像引导导航系统。
2023-03-08 cs.CV
Joint Quality Assessment and Example-Guided Image Processing by Disentangling Picture Appearance from Content
Meta Video Infrastructure（Meta视频基础设施）；National Science Foundation AI Institute for Foundations of Machine Learning (IFML)（国家科学基金会人工智能基础机器学习研究院（IFML））
针对低级图像处理任务中外观与内容分离的共性，提出自监督解纠缠表示学习方法，分解内容与外观特征并构建DisQUE质量预测模型，该模型在质量预测任务上达SOTA准确率，且特征可用于示例引导的HDR色调映射等任务。
2025-08-25 cs.CV eess.IV
Pose Guided Person Image Generation with Hidden p-Norm Regression
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的方法来解决姿态引导的人的图像生成任务。我们假设姿态和外观信息之间的关系可以通过隐藏空间中的简单矩阵运算来描述。基于这一假设，我们的方法估计一个姿态不变的特征矩阵为每个身份，并使用它来预测目标的外观条件下的目标姿态。估计过程被公式化为隐空间中的p-范数回归问题。通过利用该回归问题的解的微分，可以以端到端的方式训练整个框架的参数。虽然大多数以前的作品只适用于监督训练和单镜头生成场景，但我们的方法可以很容易地适应无监督训练和多镜头生成。在具有挑战性的Market-1501数据集上进行的大量实验表明，我们的方法在所有上述变体场景中都具有竞争力的性能。
2021-02-19 cs.CV
Localization-Guided Track: A Deep Association Multi-Object Tracking Framework Based on Localization Confidence of Detections
Chongqing University（重庆大学）；James Cook University（詹姆斯库克大学）
本文提出LG-Track框架，首次在多目标跟踪中引入定位置信度，结合外观清晰度与定位准确性设计深度关联机制，并在MOT17和MOT20上取得优于现有方法的性能。
2023-09-18 cs.CV
Semantix: An Energy Guided Sampler for Semantic Style Transfer
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）；The University of Sydney（悉尼大学）
本文提出Semantix，一种免训练的能量引导采样器，利用预训练扩散模型实现基于语义对应的图像和视频风格迁移，通过风格、空间和语义距离引导，超越现有方法。
2025-03-28 cs.CV
DriveEditor: A Unified 3D Information-Guided Framework for Controllable Object Editing in Driving Scenes
Huazhong University of Science and Technology（华中科技大学）；National Key Laboratory of Multispectral Information Intelligent Processing Technology（多光谱信息智能处理技术国家重点实验室）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
DriveEditor提出统一的扩散框架，通过三维边界框位置控制和单参考图像外观保持模块，实现驾驶视频中物体的重新定位、替换、删除和插入，并在nuScenes上验证了高保真可控编辑能力。
2024-12-30 cs.CV
Single-Image 3D Human Digitization with Shape-Guided Diffusion
Kuwait University（科威特大学）；Meta；University of Maryland（马里兰大学）
提出一种利用形状引导扩散模型，从单张图像生成一致、高分辨率、照片级真实的三维人体网格的方法，优于现有技术。
2023-11-15 cs.CV
UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
本文提出免调优框架 UniEdit，利用预训练文本到视频生成器及运动参考、重建分支与时空注意力注入，统一支持视频运动和外观编辑，并在实验中超过现有方法。
2024-04-07 cs.CV
Unbalanced optimal transport for robust longitudinal lesion evolution with registration-aware and appearance-guided priors
本文提出基于不平衡最优传输的稳健纵向病变演变方法，通过融合几何、注册信任和外观一致性来处理病变变化，提升边缘检测和病变状态评估性能。
2026-02-10 cs.AI cs.CV
PhyVLLM: Physics-Guided Video Language Model with Motion-Appearance Disentanglement
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）；Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）
PhyVLLM通过引入物理运动建模和运动-外观解耦，提升视频语言模型在物理推理和视频理解任务中的性能。
2025-12-04 cs.AI cs.CV
GaitTAKE: Gait Recognition by Temporal Attention and Keypoint-guided Embedding
University of Washington（华盛顿大学）；University of Science and Technology, University of Danang（岘港大学科技大学）；Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所（ETRI））
步态识别是指根据从远处捕获的视频数据，基于其身体形状和行走方式对人进行识别或识别，广泛应用于犯罪预防，法医鉴定和社会安全。然而，据我们所知，大多数现有的方法使用的外观，姿势和时间特征，而不考虑学习的时间注意力机制的全局和局部信息融合。在本文中，我们提出了一种新的步态识别框架，称为时间注意力和关键点引导嵌入（GaitTAKE），有效地融合了时间注意力的全局和局部外观特征和时间聚合的人体姿势特征。实验结果表明，我们提出的方法实现了一个新的SOTA在步态识别的秩-1准确率为98.0%（正常），97.5%（袋）和92.2%（大衣）的CASIA-B步态数据集上; 90.4%的准确率在OU-MVLP步态数据集。
2022-07-12 cs.CV
SmokeGS-R: Physics-Guided Pseudo-Clean 3DGS for Real-World Multi-View Smoke Restoration
University of Science and Technology of China（中国科学技术大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出SmokeGS-R，通过分离几何恢复与外观校正，利用改进的暗通道先验和引导滤波生成物理引导的伪清洁监督，训练纯清洁3D高斯点散布源模型，并通过几何均值参考聚合、LAB空间Reinhard传输和光高斯平滑和谐化其渲染结果，实现真实世界多视角烟雾修复。
2026-04-21 cs.CV
Geometry-aware Depth-guided Representation Learning for Structure-preserving Low-light Image Enhancement
School of Electrical Engineering, Guangxi University（广西大学电气工程学院）；School of Rail Transportation, Soochow University（苏州大学轨道交通学院）
针对低光图像增强中结构一致性问题，提出深度引导多尺度注意力网络，通过反射率与几何交互引入深度结构先验，经多尺度融合策略实现有效低光恢复并提升结构保留，还构建了增强数据集。
2026-07-07 cs.CV
Borrowing from anything: A generalizable framework for reference-guided instance editing
研究参考引导实例编辑中语义纠缠问题，提出GENIE框架，通过空间对齐模块、自适应残差缩放模块和渐进注意力融合机制，实现显式解缠，在AnyInsertion数据集实验中达到了最新的保真度和鲁棒性。
2026-09-29 cs.CV
MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion
Fudan University（复旦大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Microsoft Research Asia（微软亚洲研究院）；Carnegie Mellon University（卡内基梅隆大学）；Huya Inc.（虎牙公司）
本文提出MotionFollower，一种轻量级分数引导扩散模型，通过双分支架构和轻量级信号控制器实现视频运动编辑，在保留外观和背景的同时显著降低GPU内存占用并支持大相机移动。
2024-05-30 cs.CV
ManiTrans: Entity-Level Text-Guided Image Manipulation via Token-wise Semantic Alignment and Generation
Fudan University（复旦大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的文本引导的图像操作方法主要是在虚拟或简单的场景中对图像的外观进行修改或对少数对象进行编辑，离实际应用还很远。在这项工作中，我们研究了一个新的任务，在现实世界中的实体水平上的文本引导的图像操作。该任务提出了三个基本要求，（1）编辑与文本描述一致的实体，（2）保留文本无关区域，以及（3）将操纵的实体自然地合并到图像中。为此，我们提出了一种新的基于变换器的框架的基础上的两阶段的图像合成方法，即\textbf{ManiTrans}，它不仅可以编辑实体的外观，但也产生新的实体对应的文本指导。我们的框架采用了语义对齐模块来定位要操作的图像区域，以及语义损失来帮助对齐视觉和语言之间的关系。我们在真实数据集、CUB、Oxford和COCO数据集上进行了大量的实验，验证了我们的方法可以区分相关区域和不相关区域，与基线方法相比，可以实现更精确和灵活的操作。项目主页是\url{https://jawang19.github.io/manitrans}。
2022-04-09 cs.CV
Perturbation-Aware Diffusion-Guided Hybrid Segmentation for Robust and Annotation-Efficient Plant Stress Phenotyping
National Institute of Technology Delhi（德里国家技术学院）；Indian Institute of Technology Bombay（孟买印度理工学院）
研究针对农业图像语义分割实际部署问题，提出扩散引导混合分割框架，通过多种实验评估，结果显示最佳模型标注效率高，适应后模型可转移，表明合理配对主干和细化器并结合扰动感知再训练可提升分割效果和鲁棒性。
2026-07-28 cs.CV
Part-Guided Attention Learning for Vehicle Instance Retrieval
Tongji University（同济大学）；Shanghai Institute of Intelligent Science & Technology, Tongji University（同济大学上海智能科学与技术研究院）；The University of Adelaide（阿德莱德大学）
车辆实例检索通常需要识别车辆之间的细粒度视觉差异。除了车辆的整体外观容易受到视点变化和失真的影响外，车辆部件也提供了区分几乎相同的车辆的关键线索。受这些观察的启发，我们引入了一个部分引导注意力网络（PGAN）来定位突出的部分区域，并有效地结合全局和部分信息进行区分性特征学习。PGAN首先检测不同的零件组件和显着区域的位置，而不管车辆的身份，这作为自下而上的注意力，以缩小可能的搜索区域。为了估计检测到的部分的重要性，我们提出了一个部分注意力模块（PAM），以自适应地定位最具歧视性的地区与高关注权值和抑制分心的不相关的部分相对较低的权重。PAM由实例检索损失指导，因此提供了自上而下的注意力，使注意力能够在汽车部件和其他显著区域的水平上计算。最后，我们聚合的全局外观和部分功能，以进一步提高功能的性能。PGAN在端到端的框架中结合了部分引导的自下而上和自上而下的注意力、全局和部分视觉特征。大量的实验表明，该方法实现了新的国家的最先进的车辆实例检索性能的四个大规模的基准数据集。
2020-09-26 cs.CV
GuideFlow3D: Optimization-Guided Rectified Flow For Appearance Transfer
Stanford University（斯坦福大学）；ENPC, IP Paris（巴黎理工学院）
针对图像或文本条件下几何差异较大的3D外观迁移难题，提出免训练的优化引导校正流GuideFlow3D，通过周期性部件感知与自相似性损失引导采样，并以GPT排名和用户研究验证其效果。
2025-10-17 cs.AI cs.CV cs.GR
Low-Light Image Enhancement via Structure Modeling and Guidance
Zhejiang Lab（之江实验室）；Honor Device Co., Ltd.（荣耀终端有限公司）；SmartMore Corporation（思谋科技）
本文提出一种同时进行外观与结构建模的低光图像增强框架，利用结构特征引导外观增强，实现清晰真实结果，并在sRGB和RAW数据集上达到最先进性能。
2023-05-10 cs.CV
Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（机器智能与先进计算教育部重点实验室）；Pazhou Lab (HuangPu)（琶洲实验室（黄埔））
本文提出由粗到细潜在扩散方法CFLD，通过纯图像训练范式、感知精化解码器和混合粒度注意力模块解耦外观与姿态控制，在DeepFashion上取得领先的人物图像合成效果。
2024-04-09 cs.CV
Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model
Department of Industrial Engineering（工业工程系）
提出FPDM框架，通过对比学习显式对齐融合源-姿态嵌入与目标图像嵌入，并作为条件信号生成，解决姿态引导人物图像合成中纹理保真度和一致性问题。
2026-05-23 cs.AI cs.CV
A Variational U-Net for Conditional Appearance and Shape Generation
Heidelberg Collaboratory for Image Processing（海德堡图像处理协作实验室）；IWR, Heidelberg University, Germany（德国海德堡大学IWR研究所（注：根据机构粒度要求，提取到大学级别，此处IWR为海德堡大学下属研究机构，整体保留原机构名及大学级别信息））
深度生成模型在图像合成中表现出了出色的性能。然而，在空间变形的情况下，结果会恶化，因为它们直接生成对象的图像，而不是对其固有形状和外观的复杂相互作用进行建模。我们提出了一个有条件的U-网的形状引导图像生成，条件上的输出的变分自编码器的外观。该方法在图像上进行端到端的训练，而不需要具有不同姿势或外观的相同对象的样本。实验表明，该模型能够实现条件图像的生成和传输.因此，可以从查询图像中保留形状或外观，同时自由地改变另一个。此外，由于其随机潜在表示，外观可以被采样，同时保持形状。在对COCO、DeepFashion、鞋子、Market-1501和手袋的定量和定性实验中，该方法显示出比最先进的方法有显著的改进。
2018-04-12 cs.CV
