Fusing Deep Learned and Hand-Crafted Features of Appearance, Shape, and Dynamics for Automatic Pain Estimation
University of Nottingham(诺丁汉大学)
从面部视频中自动连续时间、连续值评估患者的疼痛受到医学界的高度追捧。尽管深度学习的最新进展在许多领域取得了令人印象深刻的结果,但由于难以获得相当大的数据集,疼痛估计可能无法从中受益。在这项工作中,我们提出了手工制作和深度学习功能的组合,在小样本设置中充分利用了深度学习技术。通过对形状、外观和动态进行编码,我们的方法显著优于当前最先进的方法,在16级疼痛量表上获得了小于1分的RMSE误差,同时在我们预测的疼痛水平时间序列和地面真实值之间获得了67.3%的Pearson相关系数。
2017-01-17 cs.CV
Deep Temporal Appearance-Geometry Network for Facial Expression Recognition
Korea Advanced Institute of Science and Technology(韩国高等科学技术院);Electronics and Telecommunications Research Institute(电子通信研究院)
时间信息可以为识别面部表情提供有用的特征。然而,手动设计有用的功能需要大量的努力。在本文中,为了减少这种努力,深度学习技术,这被视为一种工具,自动提取有用的功能,从原始数据,采用。我们的深度网络基于两种不同的模型。第一个深度网络从时间面部标志点提取时间几何特征,而另一个深度网络从图像序列提取时间外观特征。这两个模型相结合,以提高面部表情识别的性能。通过实验证明了两种模型的协同性。因此,我们在CK+和Oulu-CASIA数据库中实现了优于其他最先进方法的性能。此外,本文的主要贡献之一是我们的深度网络自动捕获面部动作点。
2015-03-05 cs.CV
Robust Online Multi-target Visual Tracking using a HISP Filter with Discriminative Deep Appearance Learning
Lancaster University(兰卡斯特大学);University of Lincoln(林肯大学)
我们提出了一种新的在线多目标视觉跟踪器的基础上最近开发的假设和独立的随机人口(HISP)过滤器。HISP滤波器结合了MHT等传统跟踪方法和PHD滤波器等基于点过程的跟踪方法的优点,在保持跟踪身份的同时具有线性复杂度。我们应用此过滤器跟踪多个目标在不同的环境条件下获得的视频序列和目标密度使用跟踪检测方法。我们还通过在大规模人员重新识别数据集上训练验证识别网络(VerIdNet)来采用深度CNN外观表示。我们使用这种深度CNN外观特征和时空信息以原则性的方式构建增强的可能性。此外,我们解决了两个或多个目标具有相同的标签的问题,考虑每个已确认的假设传播的权重。在MOT16和MOT17基准数据集上进行的大量实验表明,我们的跟踪器在跟踪精度方面明显优于几种最先进的跟踪器。
2020-10-11 cs.CV
Robust pose tracking with a joint model of appearance and shape
Brown University(布朗大学)
我们提出了一种新的方法,用于估计的二维姿态的铰接对象的应用程序自动视频分析的小实验室动物。我们已经发现,为人类开发的可变形部件模型,例如柔性混合部件(FMP)模型,通常在挑战动物姿势时失败。我们认为,除了编码外观和空间关系,形状是需要克服缺乏独特的地标实验室动物的身体。在我们的方法中,形状一致的FMP(scFMP)模型计算有前途的姿势候选人后,一个标准的FMP模型被用来快速丢弃错误的部分检测。这种“级联”方法结合了空间关系、外观和形状表示的相对优势,并显示出比原始FMP模型以及具有代表性的深度神经网络基线有显著改进。
2018-06-28 cs.CV
MOANA: An Online Learned Adaptive Appearance Model for Robust Multiple Object Tracking in 3D
University of Washington(华盛顿大学)
多目标跟踪一直是一个具有挑战性的领域,主要是由于噪声检测集和身份切换所造成的遮挡和附近的目标之间的相似外观。以前的作品依赖于建立在单个或多个选定帧上的外观模型来进行特征的比较,但它们不能对姿势、视角和光照条件引起的长期外观变化进行编码。在这项工作中,我们提出了一个自适应模型,在线学习每个目标的相对长期的外观变化。该模型兼容任何固定维数的特征或它们的组合,其学习率通过自适应更新和空间加权方案来动态控制。为了处理遮挡和附近的物体共享相似的外观,我们还设计了交叉匹配和重新识别方案的基础上提出的自适应外观模型的应用。此外,3D几何信息有效地纳入我们的制定数据关联。所提出的方法优于所有国家的最先进的MOTChallenge 3D基准测试,并实现了实时计算,只有一个标准的桌面CPU。它还在MOTChallenge的2D基准测试中表现出了优于最先进技术的性能。
2019-03-07 cs.CV
Dual Recursive Feedback on Generation and Appearance Latents for Pose-Robust Text-to-Image Diffusion
Korea University(韩国大学);Sookmyung Women’s University(肃明女子大学)
本文提出一种无需训练的双重递归反馈(DRF)系统,通过外观反馈和生成反馈递归细化中间潜在变量,有效整合结构与外观属性,解决了可控T2I扩散模型难以保留空间结构及捕捉细粒度姿态条件的问题,实现了高质量且结构一致的图像生成。
2025-08-13 cs.CV
Directional Deep Embedding and Appearance Learning for Fast Video Object Segmentation
Research Center of Precision Sensing and Control, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所精密感知与控制研究中心)
最新的半监督视频对象分割(VOS)方法依赖于使用第一帧的给定掩模或后续帧的预测掩模在线微调深度卷积神经网络。然而,在线微调过程通常是耗时的,限制了这种方法的实际使用。我们提出了一种方向性深度嵌入和外观学习(DDEAL)方法,该方法无需在线微调过程,用于快速VOS。首先,提出了一个全局方向匹配模块,该模块可以通过并行卷积操作有效地实现,以学习语义像素嵌入作为内部指导。其次,提出了一种有效的基于统计的方向外观模型来表示VOS的球形嵌入空间上的目标和背景。DDEAL通过全局方向匹配模块和方向外观模型学习模块,从标记的第一帧中学习静态线索,并动态更新后续帧的线索进行对象分割。我们的方法具有最先进的VOS性能,而无需使用在线微调。具体而言,它在DAVIS 2017数据集上获得了74.8%的J & F平均得分,在大规模YouTube-VOS数据集上获得了71.3%的总得分G,同时使用单个NVIDIA TITAN Xp GPU保持了25 fps的速度。此外,我们更快的版本运行31 fps,只有一点精度损失。我们的代码和经过训练的网络可在https://github.com/YingjieYin/Directional-Deep-Embedding-and-Appearance-Learning-for-Fast-Video-Object-Segmentation上获得。
2020-02-17 cs.CV
Deep Learning-based Facial Appearance Simulation Driven by Surgically Planned Craniomaxillofacial Bony Movement
Rensselaer Polytechnic Institute(伦斯勒理工学院);Houston Methodist Research Institute(休斯顿卫理公会研究所);Baylor College of Medicine(贝勒医学院)
模拟颌骨移动后的面部外观变化是颌骨畸形患者正颌外科手术设计的关键步骤。传统的基于生物力学的方法,如有限元法(FEM)是劳动密集型的并且计算效率低。基于深度学习的方法由于其高计算效率和强大的建模能力而可能是有前途的替代方案。然而,现有的基于深度学习的方法忽略了面部软组织和骨段之间的物理对应关系,因此与FEM相比准确性明显降低。在这项工作中,我们提出了一个注意对应辅助运动变换网络(ACMT-Net)估计面部外观通过转换的骨骼运动,面部软组织通过一个点对点的注意对应矩阵。对颌骨畸形患者的实验结果表明,我们所提出的方法可以实现可比的面部变化预测精度相比,最先进的有限元为基础的方法,显着提高了计算效率。
2022-10-04 cs.CV
Deep Appearance Maps
我们提出了一种深层次的表象,即。例如,颜色、表面方向、观察者位置、材料和照明的关系。以前的方法使用深度学习来提取与反射模型参数(例如,例如,在一个实施例中,Phong)或照明(e.例如,在一个实施例中,HDR环境贴图)。我们建议直接表示外观本身作为一个网络,我们称之为深层外观地图(DAM)。这是一个在2D反射图上的4D概括,它保持了固定的视图方向。首先,我们展示了如何从图像或视频帧中学习DAM,然后在给定新的表面方向和观看者位置的情况下用于合成外观。其次,我们演示了如何使用另一个网络从图像或视频帧映射到DAM网络来重现这种外观,而不使用冗长的优化,如随机梯度下降(学习)。最后,我们展示了一个外观估计和分割任务的例子,从一个显示多种材料的图像映射到多个深度外观图。
2019-10-29 cs.CV cs.GR
Deep Learning of Appearance Models for Online Object Tracking
提出了一种基于深度学习的单目标视觉跟踪方法。我们解决这个问题,提出了一个网络架构,它需要输入的视频帧,并直接计算跟踪分数的任何候选目标位置,通过估计的概率分布的正面和负面的例子。这是通过在统一框架中将深度卷积神经网络与贝叶斯损失层相结合来实现的。为了处理有限数量的正训练样本,网络被预先离线训练用于通用图像特征表示,然后在多个步骤中进行微调。在线微调步骤在每一帧进行,以学习目标的外观。我们采用两阶段迭代算法来自适应地更新网络参数,并保持目标/非目标区域的概率密度。该跟踪器已经在标准跟踪基准上进行了测试,结果表明,所提出的解决方案达到了最先进的跟踪结果。
2016-07-09 cs.CV
Model-free Tracking with Deep Appearance and Motion Features Integration
Beihang University(北京航空航天大学);Ministry of Industry and Information Technology of China(中华人民共和国工业和信息化部);Beijing Advanced Innovation Center for Big Data-Based Precision Medicine(北京大数据精准医疗高精尖创新中心)
无模型跟踪器能够跟踪匿名对象,因此无论目标类型如何,都可以广泛应用。然而,设计这样一个通用的框架是缺乏面向对象的先验信息的挑战。作为一种解决方案,在这项工作中设计了一个实时的无模型的目标跟踪方法依赖于卷积神经网络(CNN)。为了克服以对象为中心的信息稀缺性,外观和运动特征都被所提出的AMNet深度整合,AMNet是一个端到端的离线训练双流网络。在两个并行流之间,ANet使用多尺度Siamese atrous CNN调查外观特征,从而实现匹配跟踪策略。MNet实现了深度运动检测,通过处理通用运动特征来定位匿名移动对象。通过融合来自两个子网络的输出响应图来生成每帧处的最终跟踪结果。拟议的AMNet报告了OTB和VOT基准数据集的领先性能,具有良好的实时处理速度。
2018-12-16 cs.CV
3D Appearance Super-Resolution with Deep Learning
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
我们解决的问题,检索高分辨率(HR)的对象,从多个视点捕获的纹理图。在多视图的情况下,基于模型的超分辨率(SR)方法最近已被证明恢复高质量的纹理图。另一方面,基于深度学习的方法的出现已经对视频和图像SR的问题产生了重大影响。然而,仍然缺少基于深度学习的方法来超分辨3D对象的外观。在多视图情况下利用深度学习技术的主要限制是缺乏数据。我们基于现有的ETH3D [42],SyB3R [31],MiddleBury以及我们从TUM [21],Fountain [51]和Relief [53]收集的3D场景引入了3D外观SR(3DASR)数据集。我们提供了高分辨率和低分辨率的纹理图,3D几何模型,图像和投影矩阵。我们利用2D学习为基础的SR方法的力量和设计适合于3D多视图的情况下的网络。我们通过引入法向图来融入几何信息,并进一步改进学习过程。实验结果表明,我们提出的网络成功地结合了三维几何信息和超分辨率的纹理映射。
2019-06-04 cs.CV
Beyond Appearance: Geometric Cues for Robust Video Instance Segmentation
Wuhan University(武汉大学)
本文通过策略性利用单目深度估计引入几何感知,系统研究了三种深度集成范式以增强视频实例分割的鲁棒性,其中EDC方法在OVIS基准上以56.2 AP达到最先进水平。
2025-07-14 cs.CV
Appearance-based Gaze Estimation With Deep Learning: A Review and Benchmark
Peng Cheng Laboratory(鹏城实验室);Beihang University(北京航空航天大学)
本文系统综述了基于深度学习的视线估计方法,总结数据处理流程并建立全面基准,为未来研究提供参考与指南。
2024-04-24 cs.CV
Rt-Track: Robust Tricks for Multi-Pedestrian Tracking
Yunnan Normal University(云南师范大学)
目标跟踪分为单目标跟踪(SOT)和多目标跟踪(MOT)。MOT的目标是在一系列连续的视频序列中保持多个对象的身份。近年来,MOT取得了长足的进步。然而,在复杂场景中建立物体的运动和外观模型仍然面临着各种挑战性的问题。本文提出了一种新的平滑轨迹预测的方向一致性方法(STP-DC),以提高运动信息的建模能力,克服以往方法在复杂场景下鲁棒性不足的缺点。现有的方法使用行人重新识别(Re-ID)来建模外观,但他们提取更多的背景信息,缺乏可区分的遮挡和拥挤的场景。我们提出了一个超粒度特征嵌入网络(HG-FEN),以加强外观模型的建模,从而产生强大的外观描述符。我们还提出了其他鲁棒性技术,包括CF-ECM存储强大的外观信息和SK-AS提高关联精度。为了实现国家的最先进的性能在MOT,我们提出了一个强大的跟踪器名为RT跟踪,结合各种技巧和技术。在MOT 17的测试集上,Rt-track的MOTA、IDF 1和HOTA分别达到79.5、76.0和62.1。在MOT 20的测试集上,Rt-track的MOTA、IDF 1和HOTA分别达到77.9、78.4和63.3,超过了所有已发表的方法。
2023-03-16 cs.CV
MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Osaka University(大阪大学)
基于学习的方法被认为对于无约束的注视估计(即,来自单目RGB相机的注视估计,而不需要关于用户、环境或相机的假设)工作良好。然而,目前的凝视数据集是在实验室条件下收集的,并且没有在多个数据集上评价方法。我们的工作为解决这些限制做出了三个贡献。首先,我们介绍了MPIIGaze,其中包含213,659张完整的面部图像和相应的地面实况凝视位置,这些图像是在几个月的日常笔记本电脑使用过程中从15名用户收集的。经验采样方法确保了连续的凝视和头部姿势以及眼睛外观和照明的真实变化。为了便于跨数据集评估,37,667张图像用眼角,嘴角和瞳孔中心手动注释。其次,我们提出了一个广泛的评估国家的最先进的凝视估计方法对目前的三个数据集,包括MPIIGaze。我们研究的关键挑战,包括目标凝视范围,照明条件,和面部外观的变化。我们发现,图像分辨率和使用两只眼睛影响凝视估计性能,而头部姿势和瞳孔中心的信息较少。最后,我们提出了GazeNet,这是第一个基于深度外观的凝视估计方法。对于最具挑战性的跨数据集评估,GazeNet将最先进的技术水平提高了22%(从13.9度的平均误差提高到10.8度)。
2017-11-24 cs.CV
Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos
本文提出AMOT方法,通过结合外观和运动线索,改进无人机视频中多目标跟踪的鲁棒性和稳定性。
2025-11-28 cs.CV
Deep Motion Features for Visual Tracking
Linköping University(林雪平大学)
鲁棒视觉跟踪是计算机视觉中一个具有挑战性的问题,有着广泛的应用前景。大多数现有的方法采用手工制作的外观特征,如HOG或颜色名称。最近,从卷积神经网络提取的深度RGB特征已成功应用于跟踪。尽管他们的成功,这些功能只捕捉外观信息。另一方面,运动提示提供了可以提高跟踪性能的鉴别和补充信息。与视觉跟踪相反,深度运动特征已成功应用于动作识别和视频分类任务。通常,通过在从大量标记视频提取的光流图像上训练CNN来学习运动特征。本文提出了一种调查的影响,深层运动功能的跟踪检测框架。我们进一步表明,手工制作,深RGB和深运动功能包含互补信息。据我们所知,我们是第一个提出融合外观信息与深度运动特征的视觉跟踪。综合实验清楚地表明,我们的深度运动特征融合方法优于仅依赖外观信息的标准方法。
2016-12-20 cs.CV
IntegralAction: Pose-driven Feature Integration for Robust Human Action Recognition in Videos
SNU ECE & ASRI(首尔国立大学电子与计算机工程系及ASRI);POSTECH CSE & AIGS(浦项科技大学计算机科学与工程系及AIGS)
目前大多数动作识别方法严重依赖于外观信息,将整个图像区域的RGB序列作为输入。虽然在利用人类周围的上下文信息方面是有效的,人类外观和场景类别,他们很容易被上下文与目标动作不完全匹配的上下文外动作视频所欺骗。相比之下,基于姿态的方法,它采取的一系列人类骨架作为输入,遭受不准确的姿态估计或模糊的人类姿态本身。事实证明,将这两种方法结合起来并不容易;同时训练外观和姿势的模型最终会对外观产生强烈的偏见,并且不能很好地推广到看不见的视频。为了解决这个问题,我们建议学习姿势驱动的功能集成,动态地结合外观和姿势流,通过观察姿势功能的飞行。其主要思想是让姿态流根据给定的姿态信息是否可靠来决定在集成中使用多少和哪些外观信息。我们表明,建议的IntegralAction在上下文和上下文外的动作视频数据集上实现了高度鲁棒的性能。这些代码可在https://github.com/mks0601/IntegralAction_RELEASE上获得。
2021-04-15 cs.CV
Deep Multi-Shot Network for modelling Appearance Similarity in Multi-Person Tracking applications
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
多目标跟踪的自动化在真实的无约束场景中成为一项艰巨的任务,其中算法必须处理人群,交叉人群,遮挡,消失和视觉相似个体的存在。在这些情况下,传入检测与其对应的身份之间的数据关联可能会错过一些轨道或产生身份切换。为了减少这些跟踪错误,甚至减少它们在进一步帧中的传播,本文提出了一种深度多镜头神经模型,用于测量人观察之间的外观相似度(MS-DoAS)。该模型为个体的外观表示提供了时间一致性,并提供了一个亲和力度量来执行逐帧数据关联,从而允许在线跟踪。该模型经过精心训练,能够管理先前身份切换的存在和处理轨迹中的遗漏观测。为此,设计了一种新的数据生成工具来创建模拟这种情况的训练轨迹。该模型已被证明是一个高的能力,以辨别当一个新的观察对应于一个特定的轨道,实现了97%的分类准确率在硬测试中,模拟跟踪与以前的错误。此外,该模型在监视应用中的跟踪效率已经通过将其集成到检测跟踪算法的逐帧关联中来证明。
2020-04-07 cs.CV
Efficient Two-Stream Motion and Appearance 3D CNNs for Video Classification
ESAT-KU Leuven(鲁汶大学ESAT);ETH Zurich(苏黎世联邦理工学院)
视频和动作分类通过深度神经网络得到了极大的发展,特别是使用RGB和光流作为输入的双流CNN,它们在视频分析方面表现出出色的性能。这些方法的缺点之一是处理运动信息抽取,这是在CNN之外完成的,并且在GPU上也相对耗时。因此,提出正在探索学习运动表示的端到端方法,如3D-CNN,可以实现更快,更准确的性能。我们提出了一些新的深度CNN,它们使用3D架构以一种有效的方式对动作和运动表示进行建模,以达到准确和实时的速度。我们的新网络通过学习网络内部的光流特征来学习独特的模型,将深度运动特征结合到外观模型中。
2016-09-02 cs.CV
Robust Facial Expression Classification Using Shape and Appearance Features
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
人脸表情识别有着广泛的应用前景,在过去的十年中引起了研究者的广泛关注。特征提取是表情分析中的一个重要步骤,它有助于快速准确地识别表情。本文提出了一种将形状和外观特征相结合形成混合特征向量的方法。我们提取了金字塔直方图的相似性(PHOG)作为形状描述符和本地二进制模式(LBP)的外观特征。建议的框架涉及到一种新的方法,从主动面部补丁提取混合功能。活动面部贴片位于在不同表情期间经历主要变化的面部区域上。在检测到面部标志之后,对活动补丁进行本地化,并从这些补丁计算混合特征。使用面部的小部分而不是整个面部来提取特征,降低了计算成本,并且防止了用于分类的特征的过拟合。首先利用线性判别分析对特征进行降维,然后利用支持向量机对降维后的特征进行分类。在两个公开数据库上的实验结果表明,在识别所有的表达类有前途的准确性。
2015-05-15 cs.CV
Robust 3D Action Recognition through Sampling Local Appearances and Global Distributions
Peking University(北京大学);Nanyang Technological University(南洋理工大学);University of Central Florida(中佛罗里达大学)
三维动作识别在人机交互、智能监控等领域有着广泛的应用。然而,识别类似的动作仍然具有挑战性,因为以前的文献未能有效地从嘈杂的深度数据中捕获运动和形状线索。在本文中,我们提出了一种新的两层视觉词袋(BoVW)模型,它抑制了噪声干扰,并联合编码的运动和形状线索。首先,通过针对深度数据设计的背景建模方法来去除背景杂波。然后,运动和形状线索联合使用,以产生强大的和独特的时空兴趣点(STIP):基于运动的STIP和基于形状的STIP。在模型的第一层,提出了一个多尺度3D局部导向核(M3DLSK)描述子来描述基于运动的STIP周围长方体的局部外观。在第二层中,提出了一个时空矢量(STV)描述符来描述基于形状的STIP的时空分布。使用视觉词袋(BoVW)模型,运动和形状线索相结合,形成一个融合的动作表示。与常用的STIP检测和描述方法相比,我们的模型表现良好。实验结果表明,该模型能有效区分相似动作,对背景杂波、局部遮挡和胡椒噪声具有较好的鲁棒性。
2017-12-07 cs.CV
Combining Local Appearance and Holistic View: Dual-Source Deep Neural Networks for Human Pose Estimation
University of South Carolina(南卡罗来纳大学)
我们提出了一种新的基于学习的方法,从一个单一的图像估计二维人体姿势,使用双源深度卷积神经网络(DS-CNN)。最近,已经开发了许多方法来估计人体姿势,通过使用姿势先验,估计从生理启发的图形模型或从整体的角度来看,学习。在本文中,我们建议将局部(身体)部分外观和每个局部部分的整体视图整合在一起,以获得更准确的人体姿势估计。具体来说,所提出的DS-CNN采用一组图像补丁(用于训练的类别独立对象建议和用于测试的多尺度滑动窗口)作为输入,然后通过考虑它们在全身的整体视图来学习每个局部部分的外观。使用DS-CNN,我们实现了关节检测和关节定位,关节检测确定图像补丁是否包含身体关节,关节定位找到图像补丁中关节的确切位置。最后,我们开发了一种算法,结合这些联合检测/定位结果,从所有的图像补丁估计的人的姿态。实验结果表明,所提出的方法的有效性,通过比较国家的最先进的人体姿态估计方法的基础上的姿势先验估计从生理启发的图形模型或从整体的角度来看。
2015-04-27 cs.CV
A Variational U-Net for Conditional Appearance and Shape Generation
Heidelberg Collaboratory for Image Processing(海德堡图像处理协作实验室);IWR, Heidelberg University, Germany(德国海德堡大学IWR研究所(注:根据机构粒度要求,提取到大学级别,此处IWR为海德堡大学下属研究机构,整体保留原机构名及大学级别信息))
深度生成模型在图像合成中表现出了出色的性能。然而,在空间变形的情况下,结果会恶化,因为它们直接生成对象的图像,而不是对其固有形状和外观的复杂相互作用进行建模。我们提出了一个有条件的U-网的形状引导图像生成,条件上的输出的变分自编码器的外观。该方法在图像上进行端到端的训练,而不需要具有不同姿势或外观的相同对象的样本。实验表明,该模型能够实现条件图像的生成和传输.因此,可以从查询图像中保留形状或外观,同时自由地改变另一个。此外,由于其随机潜在表示,外观可以被采样,同时保持形状。在对COCO、DeepFashion、鞋子、Market-1501和手袋的定量和定性实验中,该方法显示出比最先进的方法有显著的改进。
2018-04-12 cs.CV
Deep Similarity Metric Learning for Real-Time Pedestrian Tracking
检测跟踪是解决多目标跟踪问题的常用方法。在本文中,我们展示了学习深度相似性度量如何在多对象跟踪基准上改善行人跟踪的三个关键方面。我们训练一个卷积神经网络来学习一个大的人重新识别数据集上的连体结构中的嵌入函数。离线训练的嵌入网络被集成到跟踪公式中,以提高性能,同时保留实时的【形】性能。建议的跟踪器存储外观指标,而检测是强的,使用此外观信息:防止ID开关,通过闭塞相关联的tracklet,并提出新的检测检测器的信心是低的。该方法在评价中取得了有竞争力的结果,特别是在在线的、实时的【形】方法中。我们提出了一个消融研究,显示我们的深度外观指标的三种用途中的每一种的影响。
2019-11-11 cs.CV
Visual Tracking via Shallow and Deep Collaborative Model
Dalian University of Technology(大连理工大学)
在本文中,我们提出了一个强大的跟踪方法的基础上的生成模型和判别式分类器的合作,其中的特征分别由浅和深架构学习。对于生成模型,我们引入了一种基于块的增量学习方案,其中构造局部二值掩模来处理遮挡。该方法综合了局部面片与其对应子空间之间的相似度,建立了更精确的全局外观模型。在判别模型中,我们利用深度学习架构的进步来学习对背景杂波和前景外观变化都具有鲁棒性的通用特征。为此,我们首先从辅助视频序列中构建一个有区别的训练集。然后在该训练集上离线训练深度分类神经网络。通过在线微调,分层特征提取器和分类器都可以适应目标的外观变化,实现有效的在线跟踪。这两个模型的协作在处理遮挡和目标外观变化这两个视觉跟踪中矛盾的挑战性因素方面取得了很好的平衡。定量和定性评估对几个国家的最先进的算法上具有挑战性的图像序列证明了所提出的跟踪器的准确性和鲁棒性。
2016-07-27 cs.CV
Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis
SenseTime Research(商汤科技研究院);CUHK-SenseTime Joint Laboratory, CUHK(香港中文大学商汤联合实验室,香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
这项工作的目标是使用一个通用的深度学习框架来合成任意人类表演者的自由视点图像,只需要稀疏数量的相机视图作为输入,并根据情况进行微调。由关节式身体姿势、形状和服装类型引起的几何形状和外观的巨大变化是这项任务的关键瓶颈。为了克服这些挑战,我们提出了一个简单而强大的框架,名为Generalizable Neural Performer(GNR),它可以在各种几何形状和外观上学习一个可推广的和强大的神经身体表示。具体地说,我们从几何和外观两个方面将新视角人体绘制的光场压缩为条件隐式神经辐射场。首先,我们引入了一个隐式几何体嵌入策略,以提高鲁棒性的基础上参数化的三维人体模型和多视图图像的提示。我们进一步提出了一个屏幕空间遮挡感知外观混合技术,以保持高质量的外观,通过插值源视图的外观,以放松,但近似的几何指导的辐射场。为了评估我们的方法,我们提出了我们正在努力构建一个具有显着复杂性和多样性的数据集。数据集GeneBody-1.0包括370个主题的3.6亿多帧多视图摄像机捕获,执行各种姿势动作,以及各种体型,服装,配饰和发型。在GeneBody-1.0和ZJU-Mocap上的实验表明,在所有交叉数据集、看不见的主题和看不见的姿势设置中,我们的方法比最近最先进的可推广方法具有更好的鲁棒性。我们还展示了我们的模型的竞争力相比,尖端的情况下,具体的。数据集、代码和模型将公开提供。
2022-04-25 cs.CV
Adversarial Training for Adverse Conditions: Robust Metric Localisation using Appearance Transfer
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
我们提出了一种方法,提高视觉位置识别和度量定位下非常强烈的外观变化。我们学习了一个可逆的生成器,可以trans-form图像的条件,例如,从白天到晚上,夏天到冬天等。这个图像变换过滤器是明确设计的,以帮助和教唆特征匹配使用一个新的损失的基础上SURF检测器和密集的描述符地图。一个网络被训练成输出针对仅给定输入RGB图像的特征匹配而优化的合成图像,并且这些生成的图像被用于使用传统的稀疏匹配方法针对先前构建的地图来定位机器人。我们使用牛津RobotCar数据集在一年多的时间内进行多次遍历,使用一次遍历作为地图,另一次进行本地化,从而对结果进行基准测试。我们表明,这种方法显着提高了位置识别和定位在不断变化的和不利的条件下,同时减少了成功实现可靠的定位所需的映射运行的数量。
2018-03-09 cs.CV
Real-time visual tracking by deep reinforced decision making
Seoul National University(首尔大学);Chung-Ang University(中央大学)
无模型视觉跟踪问题的主要挑战之一是,我们的目标跟踪对象的外观不可预测的和剧烈的变化所带来的困难。现有的方法通过在线更新外观模型以适应外观的变化来解决这个问题。然而,尽管这些方法取得了成功,但外观模型的不准确和错误更新会导致跟踪器漂移。在本文中,我们介绍了一种新的实时的【形】视觉跟踪算法的基础上,通过深度强化学习方法构建的模板选择策略。跟踪算法利用这种策略来选择合适的模板来跟踪给定的帧。模板选择策略是通过利用一个简单的策略梯度方法在从跟踪基准数据集随机生成的大量训练片段上自学习的。我们提出的强化学习框架一般适用于其他基于置信图的跟踪算法。实验结果表明,该跟踪算法的实时的【形】运行速度为43 fps,所提出的策略网络能够有效地确定合适的模板,从而实现成功的视觉跟踪。
2018-08-17 cs.CV
Robust Instance Tracking via Uncertainty Flow
Carnegie Mellon University(卡内基梅隆大学)
当前最先进的跟踪器经常由于干扰和大对象外观变化而失败。在这项工作中,我们探讨了使用密集的光流,以提高跟踪的鲁棒性。我们的主要观点是,由于流量估计也可能存在误差,因此我们需要对流量不确定性进行估计,以实现鲁棒跟踪。我们提出了一种新的跟踪框架,它结合了外观和流动的不确定性信息,以跟踪具有挑战性的场景中的对象。我们通过实验验证了我们的框架提高了跟踪鲁棒性,从而获得了新的最先进的结果。此外,我们的实验消融显示了强大的跟踪流量的不确定性的重要性。
2020-10-09 cs.CV
Unified Graph based Multi-Cue Feature Fusion for Robust Visual Tracking
视觉跟踪是一个复杂的问题,由于不受约束的外观变化和动态环境。利用多特征从目标环境中提取互补信息,并对目标的外观变化进行自适应,是该研究的关键问题。为此,我们提出了一个强大的目标跟踪框架的基础上统一图融合(UGF)的多线索,以适应对象的外观。稀疏和密集特征的交叉扩散不仅抑制了单个特征的不足,而且还从多线索中提取了互补信息。这个迭代过程建立了鲁棒的统一特征,这些特征对对象变形、快速运动和遮挡是不变的。统一特征的鲁棒性还使得随机森林分类器能够精确地区分前景和背景,从而增加对背景杂波的恢复能力。此外,我们提出了一种新的基于内核的自适应策略,使用离群值检测和转导的可靠性度量。
2019-05-23 cs.CV
Looking Beyond Appearances: Synthetic Training Data for Deep CNNs in Re-identification
Norwegian University of Science and Technology(挪威科技大学);University of Verona(维罗纳大学);Sapienza Rome University(罗马第一大学)
重新识别通常是通过对一个对象的外观进行编码来进行的,这表明人们不会改变他们的服装。在本文中,我们克服了这一限制,提出了一个框架的基础上,深卷积神经网络,SOMAnet,另外模型的其他歧视方面,即,结构属性的人的身材(例如,身高,肥胖,性别)。我们的方法在许多方面都是独一无二的。首先,SOMAnet是基于Inception架构的,与通常的siamese框架不同。这节省了昂贵的数据准备(跨相机配对图像),并允许理解网络学习到的内容。其次,最值得注意的是,训练数据由合成的100K实例数据集SOMAset组成,SOMAset由真实感人体生成软件创建。合成数据代表了真实图像与样本的完全控制之间的良好折衷,真实图像通常不需要重新识别,因为监控摄像机捕获低分辨率轮廓,样本的完全控制对于定制w.r.t.当前的监控场景,例如种族。SOMAnet在SOMAset上进行了训练,并在最近的重新识别基准上进行了微调,其性能优于所有竞争对手,即使穿着不同的服装也能匹配受试者。合成数据与Inception架构的结合为重新识别开辟了新的研究途径。
2018-11-13 cs.CV
Robust Visual Tracking via Implicit Low-Rank Constraints and Structural Color Histograms
Jiangnan University(江南大学)
基于鉴别相关滤波器(DCF-)的跟踪方法由于其空间外观模型的有效性和鉴别性,近年来取得了很好的效果。然而,由于滤波器退化成为DCF框架中导致跟踪失败的重要因素,有效的时间外观模型的构建仍然具有挑战性。为了鼓励时间连续性和探索目标外观的平滑变化,我们建议增强学习滤波器的低秩结构,这可以通过将连续滤波器约束在$\ell_2$ -范数球内来实现。此外,我们设计了一个全局描述符,结构颜色直方图,提供补充支持的最终响应图,提高了稳定性和鲁棒性的DCF框架。在标准基准测试上的实验结果表明,我们的隐式低秩约束和结构颜色直方图(ILRCSCH)跟踪器优于最先进的方法。
2019-12-24 cs.CV
Deep LG-Track: An Enhanced Localization-Confidence-Guided Multi-Object Tracker
College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与运载工程学院)
本文提出 Deep LG-Track 多目标跟踪器,通过自适应 Kalman 滤波器、融合运动与外观信息的成本矩阵及动态外观特征更新策略,在 MOT17 和 MOT20 数据集上显著提升了跟踪准确性与鲁棒性。
2025-04-02 cs.CV
Online Multiple Pedestrians Tracking using Deep Temporal Appearance Matching Association
Hyundai Motor Company(现代汽车公司);RMIT University(皇家墨尔本理工大学);SI-Analytics Company, Ltd.(SI分析有限公司);GIST(韩国科学技术院)
在在线多目标跟踪中,行人视觉场景之间的外观和几何相似性建模非常重要。与几何模型相比,外观模型中的固有信息的更高维度在许多方面是有问题的。然而,由于最近基于深度学习的方法的成功,处理高维外观信息变得可行。在众多的深度神经网络中,具有三重丢失的连体网络作为一种有效的外观特征提取器被广泛采用。由于Siamese网络可以独立地提取每个输入的特征,因此可以更新和维护特定于目标的特征。但是,它不适用于需要与其他输入进行比较的多目标设置。为了解决这个问题,我们提出了一种新的轨迹外观模型的基础上的联合推理网络。所提出的方法使两个输入的比较用于自适应外观建模,并有助于消除目标观测匹配的歧义和身份一致性的巩固。不同的实验结果支持我们的方法的有效性。我们的工作在CVPR 2019举办的BMTT MOTChallenge 2019中被评为第三名。该代码可在https://github.com/yyc9268/Deep-TAMA上获得。
2020-10-09 cs.CV cs.LG eess.IV
Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification
Carnegie Mellon University(卡内基梅隆大学)
基于运动关联的多目标跟踪(MOT)最近重新取得了突出的崛起,强大的目标检测器。尽管如此,除了简单的启发式模型外,几乎没有做过什么工作来整合外观线索,这些模型对特征退化缺乏鲁棒性。在本文中,我们提出了一种新的方法来利用对象的外观自适应地集成到现有的高性能的基于运动的方法的外观匹配。在基于纯运动的方法OC-SORT的基础上,我们分别以63.9和64.9的HOTA在MOT 20和MOT 17上获得第一名和第二名。我们还在具有挑战性的DanceTrack基准测试中实现了61.3 HOTA,即使与更重设计的方法相比,也是一种新的最先进的方法。代码和型号可在\url{https://github.com/GerardMaggiolino/Deep-OC-SORT}上获得。
2023-02-23 cs.CV
Deep Learning Enables Large-Scale Shape and Appearance Modeling in Total-Body DXA Imaging
University of Hawaiʻi Cancer Center(夏威夷大学癌症中心);University of Hawaiʻi at Mānoa(夏威夷大学马诺阿分校);Pennington Biomedical Research Center(彭宁顿生物医学研究中心);Laboratory of Epidemiology and Population Sciences, NIA/NIH/IRP(美国国立卫生研究院国家老龄化研究所院内研究项目流行病学与人口科学实验室);Hologic, Inc.(豪洛捷公司)
本研究开发并验证了一种基于深度学习的自动基准点放置方法,在全身DXA成像中实现了大规模形状与外观建模,并揭示了其特征分布与多种健康生物标志物的关联。
2025-08-13 cs.CV
Primate vision reveals a missing principle for robust dynamic AI
该研究对比人类与猕猴视觉及相关神经网络,发现预测世界模型兼具跨外观泛化与高神经保真度,提出将运动逐步整合到物体表征是鲁棒动态视觉的关键原理。
2026-08-26 cs.CV q-bio.NC
Robust and Efficient 3D Gaussian Splatting for Urban Scene Reconstruction
Jinan University(济南大学);University of Macau(澳门大学)
本研究提出一种鲁棒高效的城市场景3D高斯泼溅重建框架,通过场景划分、可见性图像选择、可控LOD策略及外观变换等模块,实现城市级场景的快速重建与实时渲染,效率和质量均优于现有方法。
2025-07-30 cs.CV
DeepPFCN: Deep Parallel Feature Consensus Network For Person Re-Identification
IIT Gandhinagar(印度理工学院甘地纳加尔分校)
人物重新识别的目的是将同一个人在不同时间的多个非重叠相机视图上的图像相关联。依赖于人类操作员,在大型摄像机网络中手动重新识别非常耗时且错误。由于大规模分布式多摄像机系统的快速膨胀所产生的大量视觉数据,需要自动的人重新识别。最先进的工作集中在学习和因素化的人的外观特征为潜在的歧视因素在多个语义水平。我们提出了深度并行特征共识网络(DeepPFCN),这是一种新型的网络架构,使用卷积神经网络学习多尺度的人的外观特征。该模型将一个人的视觉外观分解为多个语义层次的潜在区分因素。最终达成共识。DeepPFCN学习的特征表示对于人员重新识别任务来说更鲁棒,因为我们学习了区分性的特定尺度特征,并在多尺度图像输入中最大化多尺度特征融合选择。我们进一步利用平均和最大池在单独的规模为个人特定的任务,区分功能的全球和本地。我们在三个基准数据集上展示了所提出的DeepPFCN模型相对于最先进的重新识别方法的重新识别优势:Market1501,DukeMTMCreID和CUHK03。我们在这些基准数据集上分别实现了75.8%,64.3%和52.6%的mAP结果。
2019-11-18 cs.CV
Boosting Deep Face Recognition via Disentangling Appearance and Geometry
West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一个框架,解开的外观和几何表示在人脸识别任务。为了实现这一目标,我们通过空间变换生成几何形状相同的面孔。我们证明了所提出的方法通过两种方式辅助训练过程来增强深度人脸识别模型的性能。首先,它强制早期和中间卷积层学习更多具有代表性的特征,以满足解纠缠嵌入的属性。其次,它通过几何改变面部来增加训练集。通过大量的实验,我们证明了将所提出的方法集成到最先进的人脸识别方法中,可以有效地提高其在具有挑战性的数据集(如LFW,YTF和MegaFace)上的性能。理论和实践方面的方法进行了严格的分析,有关消融研究和知识转移任务。此外,我们表明,所提出的方法学习的知识可以有利于其他人脸相关的任务,如属性预测。
2020-01-13 cs.CV cs.LG
Robust Depth-based Person Re-identification
Sun Yat-sen University(中山大学);National University of Defense Technology(国防科技大学)
人员重新识别(re-id)旨在匹配非重叠摄像机视图中的人员。到目前为止,基于RGB的外观在大多数现有作品中被广泛使用。然而,当人们出现在极端照明或改变衣服,基于RGB外观的re-id方法往往会失败。为了克服这个问题,我们建议利用深度信息提供更多的不变的身体形状和骨架信息,而不管照明和颜色的变化。更具体地说,我们利用深度体素协方差描述符,并进一步提出了一个局部旋转不变的深度形状描述符称为特征深度特征来描述行人的身体形状。我们证明了黎曼流形上任意两个协方差矩阵之间的距离等价于相应特征深度特征之间的欧氏距离。此外,我们提出了一个核化的隐式特征转移方案,估计特征深度特征时,深度信息是不可用的RGB图像隐式。我们发现,将估计的深度特征与基于RGB的外观特征相结合,有时可以帮助更好地减少由照明和相似的衣服引起的外观特征的视觉模糊性。我们的模型的有效性进行了验证,在公开的深度行人数据集相比,相关的方法进行人员重新识别。
2017-03-28 cs.CV
Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室);University of Minnesota(明尼苏达大学);FAIR, Meta AI(Meta人工智能基础研究实验室(FAIR))
尽管最近在开发可动画化的全身化身方面取得了进展,但服装的逼真建模-人类自我表达的核心方面之一-仍然是一个公开的挑战。最先进的物理模拟方法可以以交互速率生成逼真的服装几何形状。然而,对真实感外观建模通常需要基于基于物理的渲染,这对于交互式应用来说太昂贵了。另一方面,数据驱动的深度外观模型能够有效地产生逼真的外观,但在合成高度动态的服装的几何形状和处理具有挑战性的身体服装配置方面很困难。为此,我们引入了姿态驱动的化身与明确的服装建模,展示从现实世界的数据和现实的服装动态学来的逼真的外观。其关键思想是引入一个神经服装外观模型,该模型在显式几何结构之上运行:在训练时,我们使用高保真跟踪,而在动画时,我们依赖于物理模拟的几何结构。我们的核心贡献是一个物理启发的外观网络,能够生成逼真的外观与视图相关的动态阴影效果,即使是看不见的身体服装配置。我们对我们的模型进行了全面的评估,并在几个主题和不同类型的服装上展示了不同的动画效果。与以前的工作逼真的全身化身,我们的方法可以产生更丰富的动态和更逼真的变形,即使是许多宽松的衣服的例子。我们还证明,我们的配方自然允许服装与不同的人的化身一起使用,同时保持完全可动画化,从而首次实现具有新颖服装的逼真化身。
2022-09-19 cs.CV cs.GR
Online Metric-Weighted Linear Representations for Robust Visual Tracking
Zhejiang University(浙江大学);University of Adelaide(阿德莱德大学)
在本文中,我们提出了一个视觉跟踪器的基础上的外观的度量加权线性表示。为了捕捉不同的特征维度的相互依赖性,我们开发了两种在线距离度量学习方法,使用邻近比较信息和结构化输出学习。然后将学习的度量并入外观的线性表示中。我们表明,在线距离度量学习显着提高了跟踪器的鲁棒性,特别是对那些表现出剧烈的外观变化的序列。为了约束训练样本数量的增长,我们设计了一种时间加权的储层采样方法。此外,我们使我们的跟踪器自动执行对象识别过程中的对象跟踪,通过引入一个集合的静态模板样本属于几个感兴趣的对象类。整个视频序列的对象识别结果是通过系统地结合跟踪信息和视觉识别在每一帧。在具有挑战性的视频序列上的实验结果证明了该方法在帧间跟踪和目标识别方面的有效性。
2015-07-21 cs.CV
UrbanCDNet: Appearance-Robust and Boundary-Aware Bitemporal Change Detection for Korean Urban Building Monitoring
Department of Data Science, Graduate School of Kookmin University(韩国庆北大学数据科学系)
针对韩国城市建筑变化检测中变化稀疏、外观差异大、需精确边界的问题,提出UrbanCDNet,结合外观鲁棒多线索比较、对齐感知中尺度差分、轻量上下文精炼、场景校准和辅助边界监督,在韩国基准上F1达0.7511,优于基线。
2026-06-29 cs.CV
Deep Appearance Models for Face Rendering
Facebook Reality Labs(Facebook现实实验室)
我们引入了一个深度外观模型来渲染人脸。受Active Appearance Models的启发,我们开发了一个数据驱动的渲染管道,该管道可以从多视图捕获设置中学习面部几何形状和外观的联合表示。顶点位置和视图特定的纹理建模使用深度变分自编码器,捕捉复杂的非线性效应,同时产生平滑和紧凑的潜在表示。特定于视图的纹理可以对与视图相关的效果(如镜面反射)进行建模。此外,它还可以校正源自偏差或低分辨率估计的不完美几何形状。这与传统的图形管道有很大的不同,传统的图形管道需要高度精确的几何结构以及着色模型的所有元素,以通过物理启发的光传输来实现真实感。在实践中,获得如此高的准确度是困难的,特别是对于面部的复杂和复杂的部分,例如睫毛和口腔。我们的方法自然地处理这些问题,不依赖于几何形状的精确估计。相反,着色模型通过所采用的神经网络提供的灵活性来适应几何结构中的缺陷。在推理时,我们根据摄像机的视点来调节解码网络,以便生成用于渲染的适当纹理。由此产生的系统可以实现简单地使用现有的渲染引擎,通过动态纹理与平面照明。这种表示,再加上一种新的无监督技术,用于将图像映射到面部状态,导致系统自然适合于实时交互设置,如虚拟现实(VR)。
2018-08-01 cs.CV cs.GR
Coarse-to-Fine Object Tracking Using Deep Features and Correlation Filters
TELUQ University(加拿大远程大学(TELUQ大学));University of Bahrain(巴林大学)
在过去的几年里,深度学习跟踪器取得了令人兴奋的成果,同时带来了解决跟踪问题的有趣想法。这一进展主要是由于使用了通过在大型图像数据库上训练深度卷积神经网络(CNN)获得的学习深度特征。但由于CNN最初是为图像分类开发的,因此其深层提供的外观建模可能不足以区分跟踪任务。事实上,这些特征表示高级信息,其与对象类别的相关性大于与对象的特定实例的相关性。基于这一观察结果,以及判别相关滤波器(DCF)可以提供互补的低级别信息的事实,我们提出了一种新的跟踪算法,利用这两种方法。我们制定的跟踪任务作为一个两阶段的程序。首先,我们利用深度特征的泛化能力来粗略估计目标平移,同时确保对外观变化的不变性。然后,我们利用相关滤波器的鉴别能力,精确定位跟踪对象。此外,我们设计了一个更新控制机制,学习外观变化,同时避免模型漂移。我们评估了所提出的跟踪对象跟踪基准。实验结果表明,我们的算法的鲁棒性,表现出良好的CNN和基于DCF的跟踪器。代码可在:https://github.com/AhmedZgaren/Coarse-to-fine-Tracker
2020-12-23 cs.CV
Robust Visual Tracking via Hierarchical Convolutional Features
Shanghai Jiao Tong University(上海交通大学);Australian Centre for Robotic Vision, The University of Adelaide(阿德莱德大学澳大利亚机器人视觉中心);Virginia Tech(弗吉尼亚理工学院暨州立大学);University of California, Merced(加州大学默塞德分校)
在本文中,我们提出利用深度卷积神经网络的丰富层次特征来提高视觉跟踪的准确性和鲁棒性。在对象识别数据集上训练的深度神经网络由多个卷积层组成。这些层用不同的抽象级别对目标外观进行编码。例如,最后一个卷积层的输出对目标的语义信息进行编码,并且这种表示对于显著的外观变化是不变的。然而,它们的空间分辨率太粗糙,无法精确定位目标。相比之下,早期卷积层的特征提供了更精确的定位,但对外观变化的不稳定性较低。我们将卷积层的分层特征解释为图像金字塔表示的非线性对应物,并明确利用这些多层次的抽象来表示目标对象。具体来说,我们在每个卷积层的输出上学习自适应相关滤波器来编码目标外观。我们推断每一层的最大响应,以粗到细的方式定位目标。为了进一步处理尺度估计和重新检测目标对象的问题,从跟踪失败所造成的严重遮挡或out-of-the-view运动,我们保守地学习另一个相关滤波器,保持目标外观的长期记忆,作为一个判别分类器。我们将分类器应用于两种类型的对象建议:(1)具有小步长并且紧密围绕估计位置进行尺度估计的建议;以及(2)具有大步长并且跨越整个图像进行目标重新检测的建议。大规模基准数据集上的实验结果表明,该算法对最先进的跟踪方法表现良好。
2018-08-11 cs.CV
Appearance Based Deep Domain Adaptation for the Classification of Aerial Images
Leibniz University Hannover(莱布尼茨汉诺威大学)
本文讨论了领域自适应的遥感数据的像素分类,使用深度神经网络(DNN)作为一种策略,以减少DNN的要求方面的训练数据的可用性。我们专注于设置标记的数据仅在源域DS中可用,但在目标域DT中不可用。我们的方法基于对外观自适应网络(AAN)的对抗性训练,该网络将DS中的图像进行变换,使其看起来像DT中的图像。与来自DS的原始标签映射一起,转换后的图像用于使DNN适应DT。我们提出了一个联合训练策略的AAN和分类器,约束AAN变换图像,使它们被正确分类。通过这种方式,某个类的对象被改变,使得它们类似于DT中相同类的对象。为了进一步提高自适应性能,我们提出了一种新的正则化损失用于域对抗训练的神经网络。我们还解决了找到训练的网络参数的最佳值的问题,提出了一个无监督的基于熵的参数选择标准,该标准补偿了DT中没有可以监视的验证集的事实。作为一个小小的贡献,我们提出了一个新的加权策略的交叉熵损失,解决不平衡的类分布的问题。我们的方法进行了评估,在42个适应方案,使用数据集从7个城市,所有组成的高分辨率数字正射影像和高度数据。它在所有情况下都实现了正迁移,并且平均而言,它在目标域中的性能提高了4.3%。在ISPRS语义标签基准数据集之间的适应场景中,我们的方法在平均交集上比最近出版物的方法高出10-20%。
2021-08-17 cs.CV
Deep Lucas-Kanade Homography for Multimodal Image Alignment
Worcester Polytechnic Institute(伍斯特理工学院)
估计单应性以对准由不同传感器捕获的图像对或具有大的外观变化的图像对是许多计算机视觉应用的重要且普遍的挑战。与其他人相比,我们提出了一个通用的解决方案,以像素方式对齐多模态图像对扩展传统的卢卡斯-Kanade算法与网络。在我们的方法中的关键贡献是我们如何构建特征映射,命名为深卢卡斯Kanade特征映射(DLKFM)。学习的DLKFM可以自发地识别各种外观变化条件下的不变特征。它还具有Lucas-Kanade算法的两个很好的特性:(1)模板特征图与输入特征图保持亮度一致性,因此颜色差异很小,同时它们对齐良好。(2)在DLKFM上建立的Lucas-Kanade目标函数在地面真值单应性参数周围具有平滑的景观,因此Lucas-Kanade的迭代解可以容易地收敛到地面真值。有了这些属性,直接在我们的特征图上更新Lucas-Kanade算法将精确地对齐具有较大外观变化的图像对。我们在线共享数据集、代码和演示视频。
2021-04-22 cs.CV
AdaptVPR: Route-Aware Hard Positive Generation for Robust Visual Place Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Shandong Computer Science Center, Qilu University of Technology(齐鲁工业大学山东省计算中心)
提出AdaptVPR框架生成难正样本,构建AdaptCities数据集,提升VPR在域偏移场景下的鲁棒性,R@1最高提升9.2%
2026-09-07 cs.CV
Face Age Verification Vulnerabilities Under Simple Appearance Manipulations
Information Technologies Institute, Centre for Research and Technology Hellas(信息技术研究所,希腊研究与技术中心)
研究简单外观操纵下面部年龄验证的漏洞,评估七个模型在三个数据集及四种操纵类型下的情况,发现胡茬操纵影响大,不同人口统计特征受影响有差异,还探索了用偏差缓解方法减轻偏差。
2026-07-28 cs.CV
Learning Fast and Robust Target Models for Video Object Segmentation
Linköping University(林雪平大学);ETH Zurich(苏黎世联邦理工学院);IIAI
视频对象分割(VOS)是一个极具挑战性的问题,因为定义目标对象的初始掩码仅在测试时给出。主要困难是有效地处理外观变化和相似的背景对象,同时保持准确的分割。大多数以前的方法在第一帧上微调分割网络,导致不切实际的帧速率和过拟合的风险。最近的方法集成了生成目标外观模型,但要么实现有限的鲁棒性,要么需要大量的训练数据。我们提出了一种新的VOS架构,由两个网络组件。目标外观模型由一个轻量级模块组成,该模块在推理阶段使用快速优化技术进行学习,以预测粗糙但鲁棒的目标分割。分割模型是专门离线训练的,旨在将粗略的分数处理成高质量的分割掩码。我们的方法是快速的,易于训练,并在有限的训练数据的情况下仍然非常有效。我们在具有挑战性的YouTube-VOS和DAVIS数据集上进行了广泛的实验。我们的网络实现了良好的性能,同时以比最先进的更高的帧速率运行。代码和训练模型可在https://github.com/andr345/frtm-vos上获得。
2020-03-31 cs.CV