Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos
本文提出AMOT方法,通过结合外观和运动线索,改进无人机视频中多目标跟踪的鲁棒性和稳定性。
2025-11-28 cs.CV
Temporal Dynamic Appearance Modeling for Online Multi-Person Tracking
Beijing Institute of Technology(北京理工大学)
强大的在线多人跟踪需要在线检测响应与现有轨迹的正确关联。我们通过开发一种新的外观建模方法来解决这个问题,以提供准确的外观亲和力来指导数据关联。与大多数现有的只考虑人类外观的空间结构的算法相比,我们利用时间外观序列内的时间动态特性来区分不同的人。时间动态对特征空间中不同外观的空间结构进行了充分的补充,这显着提高了轨迹和检测之间的亲和力测量。我们提出了一个特征选择算法来描述的外观变化与中级语义功能,并证明其有用的时间动态外观建模。此外,通过交替地评估新观察到的外观并调整模型参数以适合于在线跟踪来增量地学习外观模型。在复杂场景中的多个人的可靠跟踪是通过将学习到的模型到一个在线跟踪检测框架。我们在具有挑战性的基准测试MOTChallenge 2015上的实验表明,我们的方法优于最先进的多人跟踪算法。
2015-10-10 cs.CV
Owner3D: Ownership-Guided Style Writing for Training-Free Localized 3D Stylization
College of Computer Science, Sichuan University(四川大学计算机学院)
本研究针对LRM中本地化3D风格化的风格泄漏与边界模糊问题,提出无训练框架Owner3D,通过所有权引导风格写入、边界双槽及表面优先纹理读出实现更优的风格保真与外观保留。
2026-08-17 cs.CV
Simple Online and Realtime Tracking with a Deep Association Metric
University of Koblenz-Landau(科布伦茨-兰道大学);Queensland University of Technology(昆士兰科技大学)
简单在线和实时跟踪(SORT)是一种实用的多目标跟踪方法,专注于简单,有效的算法。在本文中,我们整合外观信息,以提高SORT的性能。由于这种扩展,我们能够通过更长时间的遮挡来跟踪对象,有效地减少了身份切换的数量。本着原始框架的精神,我们将大部分计算复杂性放入离线预训练阶段,在此阶段,我们在大规模人员重新识别数据集上学习深度关联度量。在线应用时,我们在视觉外观空间中使用最近邻查询建立测量到跟踪的关联。实验评估表明,我们的扩展减少了45%的身份开关的数量,在高帧速率实现整体竞争力的性能。
2017-03-21 cs.CV
MessyTable: Instance Association in Multiple Camera Views
SenseTime Research(商汤科技研究院);Nanyang Technological University(南洋理工大学)
我们提供了一个有趣且具有挑战性的数据集,其中包含从多个相机视图捕获的大量场景和凌乱的表格。此数据集中的每个场景都非常复杂,包含多个对象实例,这些对象实例可能是相同的,堆叠的和被其他实例遮挡的。关键的挑战是在给定所有视图的RGB图像的情况下关联所有实例。这个看似简单的任务令人惊讶地失败了许多流行的方法或算法,我们假设在对象关联中具有良好的性能。该数据集挑战了现有的方法,挖掘细微的外观差异,基于上下文的推理,并融合外观与几何线索建立关联。我们报告了一些有趣的发现和一些流行的基线,并讨论了这个数据集如何帮助激发新的问题,并催化更强大的公式来解决现实世界的实例关联问题。项目页面:$\href{https://caizhongang.github.io/projects/MessyTable/}{\text{MessyTable}}$
2020-07-29 cs.CV
Adaptive Appearance Rendering
Simon Fraser University(西蒙菲莎大学)
我们提出了一种方法来生成所需的外观和姿势的人的图像。姿态和外观的分解表示对于处理所生成的图像中的复合可变性是必要的。因此,我们开发了一种基于姿态和外观的中间表示的方法:我们的姿态引导外观渲染网络首先使用编码器-解码器神经网络对目标的姿态进行编码。然后,通过使用全卷积网络学习自适应外观滤波器来编码目标的外观。最后,将这些滤波器放置在编码器-解码器神经网络中完成渲染。我们证明了我们的模型可以生成优于最先进方法的图像和视频,并且可以在图像和视频生成中处理姿势引导的外观渲染。
2021-04-24 cs.CV
Layout2Scene: 3D Semantic Layout Guided Scene Generation via Geometry and Appearance Diffusion Priors
The Shenzhen Campus of Sun Yat-sen University, Sun Yat-sen University(中山大学深圳校区,中山大学);National University of Defense Technology(国防科技大学)
针对文本条件3D场景生成缺乏精确位置控制的问题,本文提出Layout2Scene,利用语义布局并结合两阶段几何与外观扩散先验优化,生成更逼真、可灵活精确编辑的3D场景。
2025-01-05 cs.CV
Deep Multi-Shot Network for modelling Appearance Similarity in Multi-Person Tracking applications
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
多目标跟踪的自动化在真实的无约束场景中成为一项艰巨的任务,其中算法必须处理人群,交叉人群,遮挡,消失和视觉相似个体的存在。在这些情况下,传入检测与其对应的身份之间的数据关联可能会错过一些轨道或产生身份切换。为了减少这些跟踪错误,甚至减少它们在进一步帧中的传播,本文提出了一种深度多镜头神经模型,用于测量人观察之间的外观相似度(MS-DoAS)。该模型为个体的外观表示提供了时间一致性,并提供了一个亲和力度量来执行逐帧数据关联,从而允许在线跟踪。该模型经过精心训练,能够管理先前身份切换的存在和处理轨迹中的遗漏观测。为此,设计了一种新的数据生成工具来创建模拟这种情况的训练轨迹。该模型已被证明是一个高的能力,以辨别当一个新的观察对应于一个特定的轨道,实现了97%的分类准确率在硬测试中,模拟跟踪与以前的错误。此外,该模型在监视应用中的跟踪效率已经通过将其集成到检测跟踪算法的逐帧关联中来证明。
2020-04-07 cs.CV
Unsupervised Pose Flow Learning for Pose Guided Synthesis
姿态引导合成的目标是在任意目标姿态下生成新图像,同时保留源图像的外观细节。现有的方法依赖于硬编码的空间变换或3D身体建模。它们往往忽略了复杂的非刚性姿态变形或不匹配的遮挡区域,从而无法有效地保持外观信息。在本文中,我们提出了一个无监督的姿势流学习计划,学习从源图像中转移的外观细节。基于这种学习的姿势流,我们提出了GarmentNet和SynthesisNet,它们都使用多尺度特征域对齐进行粗到精的合成。在DeepFashion,MVC数据集和其他真实世界数据集上的实验表明,我们的方法与最先进的方法相比毫不逊色,并且可以推广到看不见的姿势和服装风格。
2019-09-30 cs.CV
Beyond Appearance: A Multi-cue Framework and Large-scale Benchmark for Pedestrian Association and Tracking on Mobile Aerial-Ground Platforms
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机科学学院);Ningbo Institute, Northwestern Polytechnical University(西北工业大学宁波研究院);National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology(国家空天地海一体化大数据应用技术工程实验室);Shenzhen University of Advanced Technology(深圳先进技术研究院)
该研究针对移动空地平台上行人关联与跟踪面临的视点变化问题,提出FUSION框架,含MAC和OMFS模块,还引入大规模基准测试RealMvMoAT,实验表明FUSION在多个测试中达领先性能,为相关研究提供了资源。
2026-07-28 cs.CV cs.MM
TAPL: Dynamic Part-based Visual Tracking via Attention-guided Part Localization
Nanyang Technological University(南洋理工大学);MediaTek, Inc.(联发科技股份有限公司)
基于整体对象表示的跟踪器在大的外观变化(如变形和遮挡)下性能下降。在这项工作中,我们提出了一个动态的部分为基础的跟踪器,并不断更新的目标部分表示,以适应对象的外观变化。此外,我们设计了一个注意力引导的零件定位网络,直接预测目标零件的位置,并确定最终的限界框与目标零件的分布。我们提出的跟踪器在各种基准测试中取得了令人鼓舞的结果:VOT 2018,OTB 100和GOT-10 k
2021-10-25 cs.CV
PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction
Jilin University(吉林大学);Nanyang Technological University(南洋理工大学)
提出PGAHum框架,通过融合SMPL先验的隐式几何表示、先验引导采样和迭代后向变形策略,实现高保真可驱动人体的高质量几何重建与逼真新颖视图合成。
2024-04-22 cs.CV
VISAGE: Video Instance Segmentation with Appearance-Guided Enhancement
Yonsei University(延世大学);Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
针对在线视频实例分割方法过度依赖位置信息导致物体关联错误的问题,提出外观引导的解码器扩展方案,同时构建合成数据集验证,最终在多个基准上取得SOTA结果。
2024-03-08 cs.CV
Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Cyber Science and Engineering, Huazhong University of Science and Technology(华中科技大学网络空间安全学院)
时间句子基础旨在根据给定的句子查询在未修剪的视频中对目标片段进行语义定位。以往的研究主要集中在学习整个视频中每一帧的帧级特征,并直接将其与文本信息进行匹配。这种帧级特征提取导致这些方法在区分具有复杂内容和细微外观差异的模糊视频帧时存在障碍,从而限制了它们的性能。为了区分连续帧之间的细粒度外观相似性,一些最先进的方法还采用了像Faster R-CNN这样的检测模型来获得每个帧中的详细对象级特征,以过滤掉冗余的背景内容。然而,由于Faster R-CNN中的目标检测模块缺乏时间建模,因此这些方法存在缺少运动分析的问题。为了缓解上述限制,在本文中,我们提出了一种新的运动和外观引导的三维语义推理网络(MA 3SRN),它结合了光流引导的运动感知,基于检测的外观感知,和三维感知的对象级别的功能,以更好地推理的时空对象关系,准确地建模连续帧之间的活动。具体来说,我们首先分别为运动、外观和3D编码开发三个单独的分支,以分别学习细粒度的运动引导、外观引导和3D感知对象特征。然后,将来自相应分支的运动和外观信息相关联,以增强最终精确接地的3D感知特征。在三个具有挑战性的数据集(ActivityNet Caption,Charades-STA和TACoS)上进行的大量实验表明,所提出的MA 3SRN模型达到了新的最先进水平。
2022-03-06 cs.CL cs.CV
Pedestrian Detection by Exemplar-Guided Contrastive Learning
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));The Chinese University of Hong Kong at Shenzhen(香港中文大学(深圳))
典型的行人检测方法集中在解决拥挤的行人之间的相互遮挡,或处理不同尺度的行人。检测具有大量外观变化的行人,例如不同的行人轮廓、不同的视点或不同的穿着,仍然是一个至关重要的挑战。而不是学习每个这些不同的行人外观特征,因为大多数现有的方法做,我们建议进行对比学习,以指导特征学习的方式,在学习的特征空间中,具有不同外观的行人之间的语义距离最小化,以消除外观的差异,而行人和背景之间的距离最大化。为了提高对比学习的效率和有效性,我们构建了一个具有代表性的行人外观作为先验知识的样本字典,以构建有效的对比训练对,从而指导对比学习。此外,构造的范例字典进一步利用行人建议在推理过程中的质量,通过测量建议和范例字典之间的语义距离。白天和夜间的行人检测实验验证了该方法的有效性。
2022-07-09 cs.CV
LocRef-Diffusion:Tuning-Free Layout and Appearance-Guided Generation
MetaX
本文提出无需调优的LocRef-Diffusion模型,通过Layout-net和appearance-net分别控制实例位置与外观,在COCO和OpenImages上实现了布局与外观引导生成的最先进性能。
2024-11-22 cs.AI cs.CV
Semantically-Guided Video Object Segmentation
ETH Zürich(苏黎世联邦理工学院)
本文解决了半监督视频对象分割问题,即在第一帧中给定其掩码的情况下将对象分割成序列。在这种情况下的主要挑战之一是感兴趣的对象的外观的变化。另一方面,它们的语义没有变化。本文研究了如何利用这种不变性,通过引入一个语义先验,指导外观模型。具体来说,给定序列的第一帧的分割掩码,我们估计感兴趣的对象的语义,并在整个序列中传播该知识,以基于外观模型来改进结果。我们提出了语义引导的视频对象分割(SGV),它使用各种评估指标在两个不同的数据集上改进了先前的最新技术水平,同时每帧运行半秒。
2018-07-17 cs.CV
Video Anomaly Detection with Motion and Appearance Guided Patch Diffusion Model
Huazhong University of Science and Technology(华中科技大学)
针对现有视频异常检测扩散模型忽略异常形态、未兼顾小目标及外观运动偏差的问题,提出带运动与外观条件的补丁扩散模型,在四个数据集上表现优于多数现有方法。
2024-12-12 cs.CV
Localization-Guided Track: A Deep Association Multi-Object Tracking Framework Based on Localization Confidence of Detections
Chongqing University(重庆大学);James Cook University(詹姆斯库克大学)
本文提出LG-Track框架,首次在多目标跟踪中引入定位置信度,结合外观清晰度与定位准确性设计深度关联机制,并在MOT17和MOT20上取得优于现有方法的性能。
2023-09-18 cs.CV
Online Multiple Pedestrians Tracking using Deep Temporal Appearance Matching Association
Hyundai Motor Company(现代汽车公司);RMIT University(皇家墨尔本理工大学);SI-Analytics Company, Ltd.(SI分析有限公司);GIST(韩国科学技术院)
在在线多目标跟踪中,行人视觉场景之间的外观和几何相似性建模非常重要。与几何模型相比,外观模型中的固有信息的更高维度在许多方面是有问题的。然而,由于最近基于深度学习的方法的成功,处理高维外观信息变得可行。在众多的深度神经网络中,具有三重丢失的连体网络作为一种有效的外观特征提取器被广泛采用。由于Siamese网络可以独立地提取每个输入的特征,因此可以更新和维护特定于目标的特征。但是,它不适用于需要与其他输入进行比较的多目标设置。为了解决这个问题,我们提出了一种新的轨迹外观模型的基础上的联合推理网络。所提出的方法使两个输入的比较用于自适应外观建模,并有助于消除目标观测匹配的歧义和身份一致性的巩固。不同的实验结果支持我们的方法的有效性。我们的工作在CVPR 2019举办的BMTT MOTChallenge 2019中被评为第三名。该代码可在https://github.com/yyc9268/Deep-TAMA上获得。
2020-10-09 cs.CV cs.LG eess.IV
Tracklet Association by Online Target-Specific Metric Learning and Coherent Dynamics Estimation
Nanyang Technological University(南洋理工大学)
在本文中,我们提出了一种新的方法的基础上在线特定目标的度量学习和相干动态估计的tracklet(跟踪片段)的关联网络流量优化在长期多人跟踪。我们提出的框架旨在利用外观和运动线索,以防止身份切换跟踪过程中,并恢复错过的检测。此外,目标特定的度量(外观线索)和运动动态(运动线索)提出学习和估计在线,即在跟踪过程中。我们的方法是有效的,即使当这些线索无法识别或跟踪目标,由于闭塞或对象到对象的相互作用。我们还建议学习这两个跟踪线索的权重,以有效地处理困难的情况,如严重的遮挡和对象到对象的相互作用。我们的方法已经在几个公共数据集上进行了验证,实验结果表明,它优于几个国家的最先进的跟踪方法。
2016-04-22 cs.CV
Text Guided Person Image Synthesis
Zhejiang University(浙江大学);Nanjing University(南京大学)
提出了一种基于自然语言描述的人物图像视觉外观(姿态和属性)处理方法。我们的方法可以归结为两个阶段:1)文本引导的姿势生成和2)视觉外观转移图像合成。在第一阶段,我们的方法推断出一个合理的目标人体姿势的基础上的文本。在第二阶段,我们的方法合成一个现实和外观转移的人的形象,根据文本结合目标姿态。我们的方法从文本中提取了足够的信息,并建立了图像空间和语言空间之间的映射,使生成和编辑图像对应的描述成为可能。我们进行了大量的实验,以揭示我们的方法的有效性,以及使用VQA感知得分作为评估方法的度量。它首次表明,我们可以自动编辑的自然语言描述的人的形象。
2019-04-10 cs.CV
VLA-ReID: Video-Level Association for Re-Identification in Multi-Object Tracking with Highly Similar Objects
Glasgow College, University of Electronic Science and Technology of China(电子科技大学格拉斯哥学院);Key Laboratory for Urban Habitat Environmental Science and Technology, School of Environment and Energy, Peking University Shenzhen Graduate School(北京大学深圳研究生院环境与能源学院城市人居环境科学与技术重点实验室);School of Management Science and Real Estate, Chongqing University(重庆大学管理科学与房地产学院)
针对多目标跟踪中对象外观相似时身份保持难的问题,提出VLA-ReID方法,将重新识别建模为视频级关联,通过聚合历史轨迹特征等进行全局关联优化,实验显示该方法有效提升多项指标并减少身份切换。
2026-07-21 cs.AI cs.CV
Enhancing the Association in Multi-Object Tracking via Neighbor Graph
National University of Defense Technology(国防科技大学)
大多数现代多目标跟踪(MOT)系统遵循检测跟踪范式。该方法首先对感兴趣的目标进行定位,然后提取其个体外观特征进行数据关联。然而,个体特征容易受到遮挡、光照变化和不准确检测等负面影响,从而导致关联推理中的失配。在这项工作中,我们建议通过充分利用相邻信息来处理这个问题。我们的动机来自于人们倾向于在一个群体中移动的观察。因此,当单个目标的外观发生严重变化时,我们仍然可以在其邻居的帮助下识别它。为此,我们首先利用跟踪自我产生的时空关系,有效地选择合适的邻居的目标。随后,我们构造目标和邻居的邻居图,然后使用图卷积网络(GCN)来学习图特征。据我们所知,这是第一次利用邻居线索通过GCN在MOT。最后,我们在MOT基准测试中测试了我们的方法,并在在线跟踪中实现了最先进的性能。
2020-07-01 cs.CV
LineArt: A Knowledge-guided Training-free High-quality Appearance Transfer for Design Drawing with Diffusion Model
KTH Royal Institute of Technology(瑞典皇家理工学院);Jilin University(吉林大学);Tokyo Institute of Technology(东京工业大学);Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学技术学院)
LineArt提出一种免训练、知识引导的外观迁移框架,通过多频率线条融合和两阶段绘画,在保持结构准确的同时提升设计图纸渲染的精度与真实感,并引入ProLines数据集验证其优于现有方法。
2024-12-16 cs.CV
DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance Inc.(字节跳动公司)
用于多对象跟踪(MOT)的典型流水线是使用用于对象定位的检测器,以及随后用于对象关联的重新识别(re-ID)。该流水线部分地由目标检测和重新ID两者的最新进展所激励,并且部分地由现有跟踪数据集中的偏差所激励,其中大多数对象倾向于具有区分的外观并且重新ID模型足以建立关联。针对这种偏差,我们要再次强调,当对象外观没有足够的区分力时,多对象跟踪的方法也应该起作用。为此,我们提出了一个大规模的多人跟踪数据集,其中人类具有相似的外观,不同的运动和极端的清晰度。由于该数据集主要包含群舞视频,因此我们将其命名为“DanceTrack”。我们希望DanceTrack能够提供一个更好的平台来开发更多的MOT算法,这些算法更少地依赖于视觉识别,更多地依赖于运动分析。我们在我们的数据集上对几个最先进的跟踪器进行了基准测试,并观察到与现有基准测试相比,DanceTrack的性能显着下降。数据集、项目代码和竞赛服务器发布于:\url{https://github.com/DanceTrack}。
2022-05-24 cs.CV
Appearance Blur-driven AutoEncoder and Motion-guided Memory Module for Video Anomaly Detection
School of Computer Science and Engineering, Xi’an University of Technology(西安理工大学计算机科学与工程学院)
提出一种基于外观模糊和运动引导记忆模块的零样本跨数据集视频异常检测方法,通过构建全局伪异常并利用运动记忆项扩大正常与异常运动差异。
2024-09-26 cs.CV
Exploring Object-Aware Attention Guided Frame Association for RGB-D SLAM
本研究针对RGB-D室内SLAM任务,提出将逐层物体注意力信息与CNN层表征融合的方法,有效提升了帧关联性能,为SLAM等视觉任务的性能优化提供了新的思路。
2023-03-13 cs.CV
Learning Target Candidate Association to Keep Track of What Not to Track
ETH Zürich(苏黎世联邦理工学院)
与被跟踪目标相似的物体的存在,对基于外观的视觉跟踪提出了根本性的挑战。这样的干扰对象很容易被误分类为目标本身,导致最终的跟踪失败。虽然大多数方法都试图通过更强大的外观模型来抑制干扰因素,但我们采用了另一种方法。我们建议保持跟踪的干扰对象,以继续跟踪目标。为此,我们引入了一个学习的关联网络,使我们能够从帧到帧传播所有目标候选者的身份。为了解决视觉跟踪中干扰物对象之间缺乏地面真实对应关系的问题,我们提出了一种将部分注释与自我监督相结合的训练策略。我们在几个具有挑战性的数据集上对我们的方法进行了全面的实验验证和分析。我们的跟踪器在六个基准上设置了新的最先进水平,在LaSOT上实现了67.1%的AUC得分,在OxUvA长期数据集上实现了+5.8%的绝对增益。
2021-08-18 cs.CV
AGPCNet: Attention-Guided Pyramid Context Networks for Infrared Small Target Detection
University of Electronic Science and Technology of China(电子科技大学)
红外小目标检测是对地观测、军事侦察、抢险救灾等领域的一个重要问题,近年来受到广泛关注。提出了一种基于注意力引导的金字塔上下文网络(AGPCNet)算法。它的主要组成部分是一个注意引导上下文块(AGCB),上下文金字塔模块(CPM)和非对称融合模块(AFM)。AGCB将特征图划分为小块来计算局部关联,并使用全局上下文注意力(GCA)来计算语义之间的全局关联,CPM从多尺度AGCB中集成特征,AFM从特征融合的角度集成低级和深层语义以提高特征的利用率。实验结果表明,AGPCNet取得了新的国家的最先进的性能在两个可用的红外小目标数据集。源代码可在https://github.com/Tianfang-Zhang/AGPCNet上获得。
2021-11-05 cs.CV
Pose Guided Human Video Generation
CUHK-SenseTime Joint Lab(香港中文大学-商汤联合实验室);SenseTime Research(商汤科技研究院);Carnegie Mellon University(卡内基梅隆大学)
由于生成对抗网络的出现,视频合成技术取得了突破性的进展。然而,现有的方法缺乏一个适当的表示来显式地控制视频中的动态。另一方面,人体姿态可以内在地和可解释地表示运动模式,并且施加几何约束而不管外观如何。在本文中,我们提出了一种姿势指导的方法来合成人类视频在一个解开的方式:合理的运动预测和连贯的外观生成。在第一阶段中,姿态序列生成对抗网络(PSGAN)以对抗方式学习以产生以类别标签为条件的姿态序列。在第二阶段中,语义一致的生成对抗网络(SCGAN)从姿势生成视频帧,同时保留输入图像中的连贯外观。通过在高特征级别上执行生成的姿势和地面真实姿势之间的语义一致性,我们的SCGAN对噪声或异常姿势具有鲁棒性。在人体动作和人脸数据集上的大量实验表明,该方法优于其他国家的艺术。
2018-07-30 cs.CV
Self-supervised Multi-view Person Association and Its Applications
Carnegie Mellon University(卡内基梅隆大学);Uber ATG(优步先进技术集团);Adobe Research(奥多比研究院);Amazon Lab 126(亚马逊Lab 126)
由于频繁的遮挡、强烈的视点和外观变化以及异步视频流,从多个移动摄像机对参与复杂群体活动的人进行可靠的无标记运动跟踪是具有挑战性的。为了解决这个问题,同一个人跨遥远的观点和时间实例的可靠关联是必不可少的。我们提出了一个自我监督的框架,通过利用运动跟踪,互斥约束和多视图几何形状来适应一个通用的人的外观描述符的未标记的视频。适应判别描述符中使用的跟踪聚类公式。我们验证了描述符学习在WILDTRACK [14]和三个新的复杂社交场景上的有效性,这些场景由多个摄像机拍摄,最多有60人“在野外”。我们报告了关联准确性(高达18%)和稳定连贯的3D人体骨骼跟踪(5至10倍)的基线显着改善。使用重建的3D骨架,我们将输入视频切割成多角度视频,其中指定人物的图像从最佳可见的前置摄像头显示。我们的算法检测人与人之间的遮挡,以确定相机切换时刻,同时仍然保持良好的动作流。
2020-04-18 cs.CV
SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes
Nanjing University(南京大学)
本文提出大规模多运动场景多目标跟踪数据集SportsMOT,并针对目标关联难题设计MixSort框架,通过融合外观与运动关联在SportsMOT和MOT17上取得领先性能。
2023-04-13 cs.CV
Deep LG-Track: An Enhanced Localization-Confidence-Guided Multi-Object Tracker
College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与运载工程学院)
本文提出 Deep LG-Track 多目标跟踪器,通过自适应 Kalman 滤波器、融合运动与外观信息的成本矩阵及动态外观特征更新策略,在 MOT17 和 MOT20 数据集上显著提升了跟踪准确性与鲁棒性。
2025-04-02 cs.CV
Audio-Visual Activity Guided Cross-Modal Identity Association for Active Speaker Detection
University of Southern California(南加州大学)
视频中的主动说话人检测解决了将视频帧中可见的源面部与音频模态中的底层语音相关联的问题。导出这样的语音-面部关系的两个主要信息源是i)视觉活动及其与语音信号的交互,以及ii)说话者的身份以面部和语音的形式跨模态的共同出现。这两种方法都有其局限性:视听活动模型与其他频繁发生的声音活动(如大笑和咀嚼)混淆,而说话人的基于身份的方法仅限于具有足够消歧信息的视频,以建立语音-面部关联。由于这两种方法是独立的,我们在这项工作中研究它们的互补性。我们提出了一种新的无监督框架,以指导说话人的跨模态身份与视听活动的主动说话人检测。通过对来自两个基准数据集的娱乐媒体视频的实验,AVA主动说话人(电影)和视觉人物聚类数据集(电视节目),我们表明,这两种方法的简单后期融合提高了主动说话人检测性能。
2022-12-01 cs.CV cs.MM
Multi-Object Tracking by Iteratively Associating Detections with Uniform Appearance for Trawl-Based Fishing Bycatch Monitoring
University of Washington(华盛顿大学);National Institute of Water and Atmospheric Research(国家水与大气研究所);BetterFishing Ltd.(BetterFishing有限公司)
本文针对拖网渔业监测中鱼类目标外观均匀、传统MOT方法不适用的难题,提出一种基于迭代关联模块的MOT方法,可嵌入现有跟踪算法,在水下鱼类数据集和MOT17上均优于现有方法且不增加延迟。
2023-04-10 cs.CV
SLAck: Semantic, Location, and Appearance Aware Open-Vocabulary Tracking
ETH Zürich(苏黎世联邦理工学院);INSAIT(INSAIT(国际计算机科学与技术研究所))
针对开放词汇多目标跟踪中现有方法未有效利用运动与语义线索的问题,提出SLAck框架,通过轻量级时空目标图早期融合语义、位置与外观先验,在相关基准新类别跟踪任务上取得最优性能。
2024-09-17 cs.CV
TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation
研究实时长格式数字人生成问题,提出TaoMate框架,通过锚点引导、内存桥接等方法,在保持稳定外观和视听同步下,实现少步联合音频-视频生成,且能跨块并行执行加速自回归推理。
2026-07-28 cs.CV
Exploring Motion and Appearance Information for Temporal Sentence Grounding
Huazhong University of Science and Technology(华中科技大学);Huawei Cloud(华为云);Harbin Institute of Technology(哈尔滨工业大学)
本文主要研究句子的时间背景。以前的作品通常通过学习帧级视频特征并将其与文本信息对齐来解决此任务。这些工作的一个主要限制是,他们无法区分模糊的视频帧与微妙的外观差异,由于帧级特征提取。最近,一些方法采用Faster R-CNN来提取每帧中的详细对象特征,以区分细粒度的外观相似性。然而,由于目标检测模型缺乏时间建模,因此Faster R-CNN提取的对象级特征会丢失运动分析。为了解决这个问题,我们提出了一种新的运动-外观推理网络(MARN),它结合了运动感知和外观感知的对象特征,以更好地推理对象关系,为连续帧之间的活动建模。具体来说,我们首先引入两个单独的视频编码器嵌入到相应的面向运动和外观方面的对象表示的视频。然后,我们开发单独的运动和外观分支,分别学习运动引导和外观引导的对象关系。最后,将两个分支的运动和外观信息相关联,以生成更具代表性的特征,为最终奠定基础。在两个具有挑战性的数据集(Charades-STA和TACoS)上进行的大量实验表明,我们提出的MARN显著优于以前的最先进的方法。
2022-01-03 cs.CV
Pose-Guided Human Animation from a Single Image in the Wild
University of Minnesota(明尼苏达大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
我们提出了一种新的姿势转移方法,从一个单一的图像控制的身体姿势序列的人合成的人类动画。现有的姿势转移方法表现出显着的视觉伪影时,适用于一个新的场景,导致在时间上的不一致性和失败,在保留的身份和纹理的人。为了解决这些限制,我们设计了一个组合神经网络,预测的轮廓,服装标签,和纹理。每个模块化网络明确专用于可以从合成数据学习的子任务。在推理时,我们利用经过训练的网络在UV坐标中生成外观及其标签的统一表示,该表示在各个姿势中保持不变。统一表示提供了不完整但强有力的指导,以响应于姿势变化生成外观。我们使用经过训练的网络来完成外观并将其与背景一起渲染。通过这些策略,我们能够合成人类动画,这些动画可以以时间连贯的方式保留人的身份和外观,而无需对测试场景中的网络进行任何微调。实验表明,我们的方法优于国家的最先进的合成质量,时间一致性,和泛化能力。
2021-11-22 cs.CV
ReWorld-Track: A Recursive Event World Model for Language-Guided Multi-Camera Tracking
Huazhong University of Science and Technology(华中科技大学);Jiangxi University of Water Resources and Electric Power(江西水利电力大学);Zhongnan University of Economics and Law(中南财经政法大学)
提出递归事件世界模型ReWorld-Track,通过携带关联不确定性并利用后验更新信念,在语言引导多摄像机跟踪中改善身份连续性,在CityFlowV2和MTMMC上取得领先HOTA分数。
2026-10-06 cs.CV
Low-latency Visual SLAM with Appearance-Enhanced Local Map Building
Georgia Institute of Technology(佐治亚理工学院)
在现代VO/VSLAM系统中,通常实现局部地图模块以改善数据关联和位姿估计。传统上,局部地图内容由共同可见性确定。虽然共同可见性建立起来很便宜,但它利用了相对较弱的时间先验(即以前看到的,现在可能看到的),因此允许更多的特征进入局部地图。本文描述了一种增强的共同可见性的本地地图建设,通过合并一个强大的外观先验,这导致了一个更紧凑的本地地图和延迟减少下游数据关联。从当前图像中收集的外观先验影响局部地图内容:只有与当前测量结果在视觉上相似的地图特征才可能对数据关联有用。为此,使用多索引哈希(MIH)对映射的要素进行索引和查询。提出了一种在线哈希表选择算法,进一步降低了MIH的查询开销和局部映射的大小。所提出的基于外观的本地地图构建方法被集成到一个国家的最先进的VO/VSLAM系统。当在两个公共基准上进行评估时,本地地图的大小以及VO/VSLAM中实时姿态跟踪的延迟显著降低。同时,VO/VSLAM平均性能得到保持或提高。
2019-05-19 cs.CV cs.RO
Motion-guided small MAV detection in complex and non-planar scenes
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Engineering, Westlake University(西湖大学工学院)
本文提出一种运动引导的 MAV 检测器,通过运动特征增强、多目标跟踪与轨迹过滤消除误报,并结合外观分类器与检测器,在复杂非平面场景中实现了高精度的小型 MAV 检测。
2024-10-14 cs.CV
IGNOR: Image-guided Neural Object Rendering
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学)
我们提出了一种学习的图像引导渲染技术,它结合了基于图像的渲染和基于GAN的图像合成的优点。我们的方法的目标是为虚拟和增强现实应用(例如,虚拟陈列室、虚拟游览和观光、历史文物的数字化检查)。我们工作的一个核心组成部分是处理视图相关效果。具体来说,我们直接训练对象特定的深度神经网络来合成对象的视图相关外观。作为输入数据,我们使用对象的RGB视频。该视频用于通过多视图立体视觉重建对象的代理几何。基于该3D代理,捕获的视图的外观可以被扭曲成新的目标视图,如在经典的基于图像的渲染中那样。这种扭曲假设漫反射表面,在依赖于视图的效果(如镜面反射高光)的情况下,它会导致伪影。为此,我们提出了一种深度神经网络,它可以预测视图相关的效果。基于这些估计,我们能够将观察到的图像转换为漫射图像。这些漫射图像可以投影到其他视图中。在目标视图中,我们的管道重新插入新的视图相关效果。为了将多个重新投影的图像合成为最终输出,我们学习了一个输出照片级逼真结果的合成网络。使用这种图像引导的方法,网络不必在“记住”对象外观上分配容量,而是学习如何组合捕获图像的外观。我们证明了我们的方法的有效性,定性和定量的合成以及真实的数据。
2020-01-15 cs.CV
Deep Person Re-identification for Probabilistic Data Association in Multiple Pedestrian Tracking
Cornell University(康奈尔大学)
我们提出了一种用于基于视觉的多行人跟踪的数据关联方法,使用深度卷积特征来根据外观区分不同的人。这些重新识别(re-ID)特征被学习,使得它们对于诸如旋转、平移和背景中的变化之类的变换是不变的,从而允许一致地识别移动通过场景的行人。我们将重新ID功能到一个通用的数据关联似然模型的多人跟踪,实验验证此模型,使用它来执行跟踪在两个评估视频序列,并检查性能的改善相比,获得了几个基线方法。我们的研究结果表明,使用深度人re-ID进行数据关联大大提高了跟踪鲁棒性,以应对遮挡和路径交叉等挑战。
2018-10-19 cs.CV
SplatBright: Generalizable Low-Light Scene Reconstruction from Sparse Views via Physically-Guided Gaussian Enhancement
Shanghai Jiao Tong University(上海交通大学);China DXR Technology CO.,Ltd(中国DXR技术有限公司)
SplatBright通过物理引导的照明建模和几何-外观解耦,实现了从稀疏视角进行低光照场景重建的通用3D高斯框架。
2025-12-21 cs.CV
Joint Quality Assessment and Example-Guided Image Processing by Disentangling Picture Appearance from Content
Meta Video Infrastructure(Meta视频基础设施);National Science Foundation AI Institute for Foundations of Machine Learning (IFML)(国家科学基金会人工智能基础机器学习研究院(IFML))
针对低级图像处理任务中外观与内容分离的共性,提出自监督解纠缠表示学习方法,分解内容与外观特征并构建DisQUE质量预测模型,该模型在质量预测任务上达SOTA准确率,且特征可用于示例引导的HDR色调映射等任务。
2025-08-25 cs.CV eess.IV
Pose Guided Person Image Generation with Hidden p-Norm Regression
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一种新的方法来解决姿态引导的人的图像生成任务。我们假设姿态和外观信息之间的关系可以通过隐藏空间中的简单矩阵运算来描述。基于这一假设,我们的方法估计一个姿态不变的特征矩阵为每个身份,并使用它来预测目标的外观条件下的目标姿态。估计过程被公式化为隐空间中的p-范数回归问题。通过利用该回归问题的解的微分,可以以端到端的方式训练整个框架的参数。虽然大多数以前的作品只适用于监督训练和单镜头生成场景,但我们的方法可以很容易地适应无监督训练和多镜头生成。在具有挑战性的Market-1501数据集上进行的大量实验表明,我们的方法在所有上述变体场景中都具有竞争力的性能。
2021-02-19 cs.CV
MVTrajecter: Multi-View Pedestrian Tracking with Trajectory Motion Cost and Trajectory Appearance Cost
NTT Human Informatics Laboratries, NTT Corporation(日本电报电话株式会社人机信息实验室)
针对现有端到端多视角行人跟踪方法仅利用相邻时刻信息、丢弃更早历史轨迹的问题,提出MVTrajecter方法,通过轨迹运动/外观代价及注意力机制融合多时刻历史信息,性能超越当前最优水平。
2025-09-01 cs.CV
Towards Real-Time Multi-Object Tracking
Tsinghua University(清华大学);Australian National University(澳大利亚国立大学)
现代多目标跟踪(MOT)系统通常遵循\emph{tracking-by-detection}范例。它有1)用于目标定位的检测模型和2)用于数据关联的外观嵌入模型。单独执行这两个模型可能会导致效率问题,因为运行时间只是两个步骤的总和,而没有调查它们之间可以共享的潜在结构。现有的实时的【形】MOT的研究工作主要集中在关联步骤上,因此它们本质上是实时的【形】关联方法,而不是实时的【形】MOT系统。在本文中,我们提出了一个MOT系统,允许目标检测和外观嵌入在一个共享的模型中学习。具体来说,我们将外观嵌入模型纳入到一个单次检测器中,这样模型就可以同时输出检测和相应的嵌入。我们进一步提出了一个简单而快速的关联方法,结合联合模型。与以前的MOT系统相比,这两个组件的计算成本都显著降低,从而为未来的实时的【形】MOT算法设计提供了一个整洁而快速的基线。据我们所知,这项工作报告了第一个(近)实时的【形】MOT系统,运行速度为22至40 FPS,具体取决于输入分辨率。同时,它的跟踪精度与体现单独检测和嵌入(嵌入)学习的最先进的跟踪器(MOT-16挑战中的$64.4\%$ MOTA \vs $66.1\%$ MOTA)相当。代码和模型可在\url{https://github.com/Zhongdao/Towards-Realtime-MOT}上找到。
2020-07-14 cs.CV
CIGTSurv: Clinical Information Guided Tri-modal Survival Prediction with Local Prototype Association and Global Feature Alignment
本研究针对临床信息未充分利用及多模态异质性问题,提出CIGTSurv框架,结合局部原型关联与全局特征对齐机制,在五个TCGA癌症队列上取得生存预测SOTA性能。
2026-08-05 cs.CL cs.CV
Semantix: An Energy Guided Sampler for Semantic Style Transfer
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学);University of Oxford(牛津大学);The University of Sydney(悉尼大学)
本文提出Semantix,一种免训练的能量引导采样器,利用预训练扩散模型实现基于语义对应的图像和视频风格迁移,通过风格、空间和语义距离引导,超越现有方法。
2025-03-28 cs.CV
Weakly-supervised HOI Detection via Prior-guided Bi-level Representation Learning
KU Leuven(鲁汶大学);ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
人机交互检测在以人为中心的场景理解中起着至关重要的作用,是许多视觉任务的基础。HOI检测的一个可推广和可扩展的策略是使用弱监督,仅从图像级注释学习。由于模糊的人-物体关联、检测HOI的大搜索空间和高噪声训练信号,这在本质上是具有挑战性的。解决这些挑战的一个有希望的策略是利用来自大规模预训练模型的知识(例如,CLIP),但直接知识蒸馏策略\citep{liao2022gen}在弱监督环境下表现不佳。相比之下,我们开发了一个CLIP引导的HOI表示,能够在图像级别和HOI实例级别结合先验知识,并采用自学机制来修剪不正确的人-对象关联。在HICO-DET和V-COCO上的实验结果表明,我们的方法比以前的作品有相当大的优势,显示了我们的HOI表示的有效性。
2023-03-02 cs.CV
Glance-MCMT: A General MCMT Framework with Glance Initialization and Progressive Association
提出一种多相机多目标跟踪框架Glance-MCMT,通过基于BoT-SORT的单相机跟踪、Glance初始化全局ID、优先级全局匹配策略及3D位置估计,实现跨视角一致的全局身份分配。
2025-07-14 cs.CV