KineST: A Kinematics-guided Spatiotemporal State Space Model for Human Motion Tracking from Sparse Signals
KineST通过运动学引导的状态空间模型，有效提取时空依赖性，提升稀疏信号下的人体动作跟踪精度与时间一致性。
2025-12-18 cs.AI cs.CV
BioTracker: An Open-Source Computer Vision Framework for Visual Animal Tracking
Freie Universität Berlin（柏林自由大学）；University of Applied Science Kempten（肯普滕应用科学大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Leibniz-Institute of Freshwater Ecology and Inland Fisheries（莱布尼茨淡水生态与内陆渔业研究所）
动物行为的研究越来越依赖于从视频或图片数据中提取相关行为特征的（半）自动方法。迄今为止，存在几种专门的软件产品来检测和跟踪动物在简单（实验室）环境中的位置。然而，在动物的自然环境中跟踪动物通常需要针对特定问题的图像特征对图像处理算法进行大量定制。在这里，我们介绍BioTracker，一个开源的计算机视觉框架，它为程序员提供了核心功能，这些功能是跟踪软件的重要组成部分，例如视频I/O，图形叠加以及鼠标和键盘接口。BioTracker还提供了许多不同的跟踪算法，适用于各种图像记录条件。然而，BioTracker的主要功能是直接实现新的特定问题跟踪模块和视觉算法，这些模块和算法可以建立在BioTracker的核心功能之上。有了这个开源框架，科学界可以加速他们的研究，并专注于新视觉算法的开发。
2018-03-21 cs.CV
Monocular Biomechanical Tracking of Fingers with Inverse Kinematics to Foundation Models
Shirley Ryan AbilityLab Department of PM\&R Northwestern University；Shirley Ryan AbilityLab Department of Biomedical Engineering Northwestern University
本文提出结合SAM 3D Body基础模型与逆运动学优化的方法，实现单目视频中手指关节角度的生物力学追踪，验证结果表明在多视角重建中误差较小，扩展了单目生物力学分析的应用范围。
2026-05-10 cs.AI cs.CV
Going Deeper than Tracking: a Survey of Computer-Vision Based Recognition of Animal Pain and Affective States
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Haifa（海法大学）；University of São Paulo（圣保罗大学）；Swedish University of Agricultural Sciences（瑞典农业科学大学）；Universiteit Utrecht（乌得勒支大学）；University of Glasgow（格拉斯哥大学）；Silo AI；Boğaziçi University（博阿齐奇大学）
动物运动跟踪和姿态识别的进展已经改变了动物行为研究的游戏规则。最近，越来越多的作品比跟踪更“深入”，并解决了动物内部状态的自动识别，如情绪和疼痛，目的是改善动物福利，使其成为该领域系统化的及时时机。本文提供了一个全面的调查计算机视觉为基础的研究，对动物的情感状态和疼痛的识别，解决面部和身体行为分析。我们总结了到目前为止在这个主题中所做的努力-将它们分类到不同的维度，突出挑战和研究差距，并为推进该领域提供最佳实践建议，以及一些未来的研究方向。
2022-06-16 cs.CV
Real-time Tracking Based on Neuromrophic Vision
Tsinghua University（清华大学）
实时的【形】跟踪是计算机视觉中的一个重要问题，目前大多数方法都是基于传统的摄像机。神经形态视觉是将神经形态视觉传感器如硅视网膜结合到视觉处理系统中而定义的概念。近年来，随着硅技术的发展，基于事件的非同步硅视网膜被开发出来，模拟神经生物学结构。在这项工作中，我们结合计算机视觉的视觉跟踪算法与基于事件的传感器的信息编码机制，这是灵感来自神经速率编码机制。实现了对单个目标的实时的【形】跟踪，具有每秒100个时间点的速度快的优点。该方法表明，计算机视觉方法可以用于神经形态视觉处理，与传统的摄像机相比，神经形态视觉传感器可以实现快速的实时的【形】跟踪。
2015-10-18 cs.CV
Detection, Recognition, and Tracking: A Survey
对于人类来说，目标检测、识别和跟踪是与生俱来的。这些为人类提供感知其环境和其环境中的对象的能力。然而，这种能力在计算机中并不适用。在计算机视觉和多媒体中，检测、识别和跟踪图像和/或视频中的对象变得越来越重要。这些应用中的许多应用，诸如面部识别、监视、动画，用于跟踪特征和/或人。然而，这些任务对计算机来说是一个挑战，因为有大量的数据需要解析。因此，需要许多技术和算法，并因此研究试图实现类似人类的感知。在这篇文献综述中，我们集中在目标检测和识别的一些新技术，以及如何将跟踪算法应用于检测到的特征来跟踪目标的运动。
2022-03-22 cs.CV
Real Time Object Tracking Based on Inter-frame Coding: A Review
RK. University（RK大学）
帧间编码在视频压缩和计算机视觉中起着重要的作用。计算机视觉系统已经被结合在许多现实生活中的应用中（例如，监视系统、医学成像、机器人导航和身份验证系统）。目标跟踪是计算机视觉的一个重要课题，其目的是从视频序列中检测出运动目标的位置。帧间编码在低帧速率视频和低分辨率视频中的应用。基于自顶向下的各种方法，如基于核或均值漂移技术，用于跟踪视频的对象，因此，帧间编码算法被广泛采用的视频编码标准，主要是由于其简单和良好的失真性能的对象跟踪。
2014-05-17 cs.CV
A Survey of Semen Quality Evaluation in Microscopic Videos Using Computer Assisted Sperm Analysis
Northeastern University（东北大学）；University of Washington (Seattle Campus)（华盛顿大学（西雅图校区））；University of Luebeck（吕贝克大学）；Chengdu University of Information Technology（成都信息工程大学）
计算机辅助精子分析（CASA）在男性生殖健康诊断和不育治疗中起着至关重要的作用。近年来，随着计算机工业的发展，提出了大量精确的算法。在这些新算法的帮助下，CASA可以实现更快和更高质量的结果。图像处理是CASA的技术基础，包括预处理、特征提取、目标检测和跟踪等，是CASA处理的重要技术步骤。本文对近30年来（1988年以来）有关计算机辅助精子分析方法的各项工作进行了全面的介绍和分析。为了便于理解，按照精子分析的一般步骤顺序分析了所涉及的方法。换句话说，首先分析与精子检测（定位）相关的方法，然后分析精子跟踪的方法。并对CASA的现状和未来进行了分析和展望。根据我们的工作，说明了本文所提到的方法应用于精子显微视频的可行性。此外，显微镜视频中的目标检测和跟踪的现有挑战是潜在的，以解决本次调查的启发。
2022-02-17 cs.CV eess.IV
Pedestrian Tracking by Probabilistic Data Association and Correspondence Embeddings
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
本文研究了运动学（位置和速度）和外观线索之间的相互作用，以建立多目标行人跟踪的对应关系。我们研究了基于深度学习检测器、联合集成概率数据关联（JIPDA）和基于外观的深度对应嵌入跟踪的检测跟踪方法。我们首先通过微调卷积检测器来实现准确的行人检测，并将其与仅运动学的JIPDA相结合来解决固定摄像头设置。最终提交的作品在3DMOT 2015基准中排名第一。然而，在具有移动相机和未知自我运动的序列中，我们通过用深度对应嵌入的全局最近邻跟踪替换运动学线索来实现最佳结果。我们通过使用由边际项扩展的角度损失来微调ResNet-18第二块的特征来训练嵌入。我们注意到，直接在JIPDA中集成深度对应嵌入并没有带来显着的改进。看来，软数据关联的深度对应嵌入的几何结构需要进一步研究，以便从两个世界中获得最佳效果。
2019-07-16 cs.CV cs.LG cs.RO
Limitation of Acyclic Oriented Graphs Matching as Cell Tracking Accuracy Measure when Evaluating Mitosis
Vanderbilt University（范德堡大学）
计算机视觉中的多目标跟踪（MOT）和生物医学图像分析中的细胞跟踪是两个相似的研究领域，其共同目标是实现实例级的目标检测/分割，并将这些目标在不同的视频帧中关联起来。然而，这两个任务之间的一个主要区别是，细胞跟踪还旨在检测有丝分裂（细胞分裂），这通常不在MOT任务中考虑。因此，非循环定向图匹配（AOGM）已被用作细胞跟踪的事实标准评价指标，而不是直接使用计算机视觉中的评价指标，如多目标跟踪精度（MOTA），ID开关（IDS），ID F1分数（IDF 1）等。然而，基于我们的实验，我们意识到，AOGM并不总是像预期的有丝分裂事件。在本文中，我们表现出的局限性，评估有丝分裂与AOGM使用模拟和真实的细胞跟踪数据。
2020-12-22 cs.CV eess.IV q-bio.QM
Using Computer Vision to Automate Hand Detection and Tracking of Surgeon Movements in Videos of Open Surgery
Harvard University（哈佛大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）
开放手术或非腹腔镜手术占所有手术室手术的绝大多数，但很少有工具可以客观地评估这些技术。目前的努力涉及基于人类专家的视觉评估。我们利用计算机视觉的进步，引入一种自动化的方法来分析手术执行的视频。一个国家的最先进的卷积神经网络架构的目标检测被用来检测开放手术视频中的手术手。通过将模型预测与快速对象跟踪器相结合来扩展自动评估，以实现外科医生特定的手部跟踪。为了训练我们的模型，我们使用了YouTube上公开的开放手术视频，并用手术手的空间边界框对这些视频进行了注释。我们的模型对操作手的空间检测显著优于使用预先存在的手检测数据集实现的检测，并允许洞察术中运动模式和运动经济性。
2020-12-13 cs.CV
Computer methods for 3D motion tracking in real-time
本论文致力于无标记三维人体运动跟踪在校准和同步多摄像机系统。姿态估计基于3D模型，该3D模型被变换到图像平面，然后被渲染。由于精心设计的技术，通过动态优化或动态贝叶斯滤波实时的【形】实现了对全身的跟踪。粒子群优化算法的目标函数和粒子滤波器的观察模型是基于所需姿势的渲染3D模型与表示所提取的人的图像特征之间的匹配。在这种方法中，计算过载的主要部分与假设姿态中的3D模型的渲染以及目标函数的值的确定相关联。研究了在OpenGL支持下实现三维模型实时的【形】绘制的有效方法以及在GPU上确定目标函数的并行方法。精心设计的解决方案允许对全身运动进行实时的【形】3D跟踪。
2017-07-05 cs.CV
A Computer Vision Framework for Multi-Class Detection and Tracking in Soccer Broadcast Footage
本文提出了一种基于计算机视觉的多类检测与跟踪框架，利用单一摄像头从足球转播视频中提取球员、裁判等信息，实现低成本的足球数据分析。
2026-02-17 cs.AI cs.CV
Concurrent validity of computer-vision artificial intelligence player tracking software using broadcast footage
Australian Catholic University（澳大利亚天主教大学）；Leeds Beckett University（利兹贝克特大学）；Fédération Internationale de Football Association (FIFA)（国际足球联合会（FIFA））；Sheffield Hallam University（谢菲尔德哈勒姆大学）；Victoria University（维多利亚大学）
本研究评估了基于广播画面的计算机视觉AI球员追踪软件在2022年世界杯比赛中的准确性，发现其位置和速度误差范围较大，并指出使用战术信号源可提高检测率与精度。
2025-08-26 cs.AI cs.CV
Edge-Aware Thermal Infrared UAV Swarm Tracking
The University of Melbourne（墨尔本大学）
研究在视觉退化环境中热红外无人机群跟踪难题，提出以自适应运动卡尔曼滤波器为中心的边缘感知在线跟踪管道，结合相关技术提升轨迹连续性，通过实验联合评估性能与效率，为实时部署提供见解。
2026-07-15 cs.CV cs.RO
Computer vision based vehicle tracking as a complementary and scalable approach to RFID tagging
Bhabha Atomic Research Centre（巴巴原子研究中心）
记录进出车辆可作为分析根本原因的关键信息，以打击各种敏感组织中的安全漏洞事件。RFID标签阻碍了车辆跟踪解决方案在物流和技术方面的可扩展性。例如，要求每辆进入的车辆（部门或私人）都有RFID标签是一个严重的限制，将视频分析与RFID结合起来检测异常车辆运动是非常重要的。我们利用公开的计算机视觉算法的实现，开发一个可解释的车辆跟踪算法，使用有限状态机的形式主义。状态机消耗来自级联目标检测和光学字符识别（OCR）模型的输入以用于状态转换。我们评估了所提出的方法对75个视频剪辑的285辆车从我们的系统部署现场。我们观察到，检测率受车速和车辆类型的影响最大。当车辆移动被限制为在检查站遵循类似于RFID标签的移动限制（SOP）时，可以实现最高的检测率。我们进一步分析了700个车辆跟踪预测的实时数据，并确定大多数车辆号码预测错误是由于模糊的文本，图像模糊，文本遮挡和车辆号码中的单词字母。对于系统部署和性能增强，我们希望我们正在进行的系统监测提供证据，以建立一个更高的车辆吞吐量SOP在安全检查站，以及驱动微调部署的计算机视觉模型和状态机，建立所提出的方法作为一个有前途的替代RFID标签。
2022-09-13 cs.CV
Semi-Automated Computer Vision based Tracking of Multiple Industrial Entities -- A Framework and Dataset Creation Approach
TU Dortmund University（多特蒙德工业大学）
本文提出TOMIE框架及数据集，利用六台RGB相机实现工业实体连续跟踪，创建包含超11万帧标注的数据集，并验证三种跟踪算法的有效性。
2023-04-03 cs.CV
A Survey on Eye-Gaze Tracking Techniques
Sri Jayachamarajendra College of Engineering（斯里贾亚查马拉詹德拉工程学院）；University of North Texas（北德克萨斯大学）
眼动研究是人机交互研究的重要内容。视线跟踪是计算机视觉领域最具挑战性的问题之一.本文的目的是提出一个审查的最新研究，在这种持续增长的远程眼睛注视跟踪。这一概述包括基本定义和术语，在该领域的最新进展，最后在该领域的未来发展的需要。
2013-12-22 cs.CV
New approach for solar tracking systems based on computer vision, low cost hardware and deep learning
CIESOL Research Centre for Solar Energy（CIESOL太阳能研究中心）；University of Almería（阿尔梅里亚大学）
在这项工作中，太阳跟踪系统的一种新方法。由于当前系统在成本和操作问题方面的限制，已经开发了一种基于低成本、计算机视觉开放硬件和深度学习的新方法。在Plataforma solar de Almeria（PSA）成功进行的初步测试显示了巨大的潜力，并显示新方法是传统系统的良好替代品。所提出的方法可以为太阳跟踪系统控制提供关键变量，如云运动预测，块和阴影检测，大气衰减或集中的太阳辐射的措施，这可以改善系统的控制策略，从而提高系统的性能。
2018-09-19 cs.CV cs.LG stat.ML
Video Object Tracking and Analysis for Computer Assisted Surgery
Cochin University of Science & Technology（科钦科学技术大学）
椎弓根螺钉置入技术使脊柱骨折和脊柱疾病的外科治疗发生了革命性的变化。虽然基于X射线透视的导航很流行，但存在长时间暴露于X射线辐射的风险。具有较低辐射风险的系统通常相当昂贵。在椎弓根螺钉固定中，钻头的位置和方向在临床上非常重要。在本文中，使用基于模式识别的方法，使用从CCD摄像机拍摄的输入视频序列获得的几何特征来确定钻头上的标记的位置和取向。然后在预处理后的视频帧上执行搜索，以获得钻头的精确位置和取向。然后，显示钻头的瞬时位置和方向的动画图形叠加在处理后的视频上，用于实时的钻头控制和导航。
2012-03-12 cs.CV
BU-CVKit: Extendable Computer Vision Framework for Species Independent Tracking and Analysis
Boston University（波士顿大学）
本文提出可扩展计算机视觉框架BU-CVKit，通过可链式Processor与插件机制促进模型复用，并配套MuSeqPose Kit支持姿态估计及行为神经科学研究流水线。
2023-06-07 cs.CV
Occlusion-robust Visual Markerless Bone Tracking for Computer-Assisted Orthopaedic Surgery
Imperial College London（伦敦帝国理工学院）
传统的计算机辅助骨科导航系统依赖于对患者姿势的专用光学标记的跟踪，这使得手术工作流程更具侵入性、繁琐且昂贵。最近提出了视觉跟踪，以无标记和轻松的方式测量目标解剖结构，但现有的方法在术中干预引起的真实世界闭塞下失败。此外，这样的方法是硬件特定的，并且对于外科应用不够准确。在本文中，我们提出了一种基于RGB-D感知的无标记跟踪方法，该方法对遮挡具有鲁棒性。我们设计了一个新的分割网络，具有动态区域的兴趣预测和强大的3D点云分割。由于收集包含遮挡实例的大规模训练数据的成本很高，我们还提出了一种新的方法来创建用于网络训练的合成RGB-D图像。实验结果表明，我们提出的无标记跟踪方法优于最近的国家的最先进的方法，由一个大的利润，特别是当遮挡存在。此外，我们的方法可以很好地推广到新的相机和新的目标模型，包括尸体，而不需要网络重新训练。实际应用中，通过使用高质量的商用RGB-D相机，我们提出的视觉跟踪方法在模型膝关节上实现了1-2度和2-4 mm的精度，满足临床应用标准。
2021-08-24 cs.CV cs.LG cs.RO
Personalization of Wearable Sensor-Based Joint Kinematic Estimation Using Computer Vision for Hip Exoskeleton Applications
Carnegie Mellon University（卡内基梅隆大学）；University of Lille（里尔大学）
针对穿戴式传感器关节运动学估计难以适应新步态且摄像头不可用的问题，提出基于计算机视觉的深度学习自适应框架，仅需1–2个步态周期即可通过迁移学习将TCN适配到僵硬膝步态，显著降低估计误差，并有望用于外骨骼等穿戴式机器人。
2024-11-22 cs.CV cs.RO
Marrying Optimal Transport and ODEs for Unified Continuous-Time 4D Reconstruction and Tracking
Macau University of Science and Technology（澳门科技大学）；The University of Queensland（昆士兰大学）；Great Bay University（大湾区大学）；Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
本文提出Uni4R框架，通过最优传输与常微分方程协同学习连续速度场，结合流匹配引导解码器与积分一致性训练策略，实现统一连续时间4D重建与点跟踪，在相关任务及新基准上达SOTA性能。
2026-10-14 cs.CV
Tracking and Mapping in Medical Computer Vision: A Review
The University of British Columbia（不列颠哥伦比亚大学）；Intuitive Surgical（直觉外科公司）；The University of California（加利福尼亚大学）
该综述梳理了医学计算机视觉中基于相机的手术与诊断场景跟踪建图研究，纳入515篇论文，总结前沿进展、数据集与算法，指出需研发适配可变形环境的方法并重视数据集建设。
2024-03-01 cs.CV
A Collaborative Computer Aided Diagnosis (C-CAD) System with Eye-Tracking, Sparse Attentional Model, and Deep Learning
University of Central Florida（中佛罗里达大学）；National Institutes of Health（美国国立卫生研究院）
在放射学筛查中存在至少两类错误，其可导致次优诊断决策和干预：（i）人的易错性和（ii）视觉搜索的复杂性。计算机辅助诊断（CAD）工具的开发，以帮助放射科医生，以弥补这些错误中的一些。然而，尽管它们比传统的筛选策略有了显着的改进，但大多数CAD系统并没有超越它们作为第二意见工具的用途，因为它们会产生大量的误报，而人工翻译需要纠正这些误报。与放射学扫描的计算机化分析的努力平行，一些研究人员检查了放射科医生在筛选医学图像时的行为，以更好地了解他们如何以及为什么错过肿瘤，他们如何与图像中的信息相互作用，以及他们如何在图像中搜索未知的病理。眼动追踪工具一直在探索这些基本问题的答案。在本文中，我们的目标是开发一个范式转移的CAD系统，称为协同CAD（C-CAD），统一了上述两个研究线：CAD和眼动追踪。我们设计了一个眼动追踪界面，为放射科医生提供一个真正的放射学阅览室体验。然后，我们提出了一种新的算法，结合眼动追踪数据和CAD系统。具体来说，我们提出了一个新的基于图的聚类和稀疏化算法转换眼动追踪数据（凝视）到一个信号模型来解释凝视模式定量和定性。拟议的C-CAD通过眼动追踪技术与放射科医生合作，并帮助他们改善诊断决策。C-CAD通过处理放射科医生的凝视模式来学习他们的搜索效率。为此，C-CAD在新设计的多任务学习平台中使用深度学习算法，同时分割和诊断癌症。
2018-04-28 cs.AI cs.CV cs.LG
Human Motion Tracking by Registering an Articulated Surface to 3-D Points and Normals
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔罗纳-阿尔卑斯中心）；University of Oulu（奥卢大学）；Infotech Oulu（奥卢信息科技中心）
提出一种通过将铰接式表面配准到3-D点和法线的人体运动跟踪方法，迭代计算运动学参数的最大似然估计和数据分配概率，引入基于椭球体混合的新度量，适用于visual-hull或visual-shape观测。
2023-11-20 cs.CV
Multiple Object Trackers in OpenCV: A Benchmark
Alpen-Adria-Universität Klagenfurt（阿尔卑斯-亚得里亚大学克拉根福分校）；University of Sarajevo（萨拉热窝大学）
目标跟踪是计算机视觉中最重要和最基础的学科之一。许多计算机视觉应用都需要特定的对象跟踪功能，包括自主和智能车辆、视频监控、医疗等。OpenCV作为计算机视觉最受欢迎的库之一，包含数百种计算机视觉算法。库中的对象跟踪任务可以大致聚集在单个和多个对象跟踪器中。该库被广泛用于实时应用，但仍有很多问题没有得到解决，例如何时使用特定的跟踪器，如何评估其性能，以及跟踪器对什么样的对象会产生最佳结果？在本文中，我们评估了OpenCV中针对MOT20数据集实现的7个跟踪器。结果基于多目标跟踪精度（MOTA）和多目标跟踪精度（MOTP）指标显示。
2021-10-11 cs.AI cs.CV cs.LG
A Video Database of Human Faces under Near Infra-Red Illumination for Human Computer Interaction Aplications
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
人机交互（HCI）是计算机和人类之间的连贯通信的一个不断发展的研究领域。一些重要的应用HCI在文献中报道的人脸检测，人脸姿态估计，人脸跟踪和眼睛凝视估计。这些应用程序的算法开发是一个活跃的研究领域。然而，标准数据库的可用性，以验证这些算法是不够的。本文讨论了创建这样一个数据库下创建近红外（NIR）照明。近红外照明已经在夜间模式应用中得到普及，因为长时间暴露于红光（IR）照明可能导致许多健康问题。该数据库包含60名受试者在不同的头部方向和不同的面部表情，面部遮挡和照明变化的近红外视频。这个新的数据库可以是一个非常有价值的资源，用于开发和评估近红外照明中的人脸检测，眼睛检测，头部跟踪，眼睛注视跟踪等算法。
2015-05-15 cs.CV
Towards in-store multi-person tracking using head detection and track heatmaps
Sunmi US Inc.（商米美国公司）；Shanghai Sunmi Technology Co., Ltd（上海商米科技有限公司）
计算机视觉算法正在广泛的行业中实施，以实现技术创新。本文研究了零售业中基于计算机视觉的客户跟踪问题。为此，我们引入了一个数据集，从一个摄像头在办公室环境中，参与者模仿各种行为的客户在超市收集。此外，我们描述了一个说明性的例子，使用该数据集的头部跟踪模型的基础上跟踪参与者，努力减少由于遮挡的错误。此外，我们提出了一个模型来识别客户和工作人员的移动模式的基础上。该模型使用24小时内在超市收集的真实世界数据集进行评估，在训练期间达到98%的准确率，在评估期间达到93%的准确率。
2020-07-02 cs.CV
Image based Eye Gaze Tracking and its Applications
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
眼动在感知世界中起着至关重要的作用。眼睛注视可以给出用户关注点的直接指示，这在改善人机交互中是有用的。以非侵入方式进行注视估计可以使人机交互更加自然。眼动追踪可用于多种应用，例如疲劳检测、生物特征认证、疾病诊断、活动识别、警觉水平估计、视情况注视显示、人机交互等。尽管眼动跟踪技术已经存在了几十年，但在消费者应用中还没有发现太多用途。主要原因是眼动追踪硬件成本高，缺乏消费级应用。在这项工作中，我们试图解决这两个问题。在这项工作的第一部分，基于图像的算法开发的视线跟踪，其中包括一个新的两阶段虹膜中心定位算法。我们已经开发了一种新的算法，它的作品在具有挑战性的条件下，如运动模糊，闪烁，和不同的照明水平。还开发了使用卷积神经网络的人独立的注视方向分类框架，其消除了对用户特定校准的要求。在这项工作的第二部分，我们已经开发了两个应用程序，可以受益于眼动追踪数据。提出了一种基于眼动参数的生物特征识别方法。活动识别的框架，使用从头戴式眼动仪的凝视数据也被开发出来。从凝视数据，自我运动，和视觉特征的信息被集成到分类的活动。
2019-07-09 cs.CV
Investigating Natural Image Pleasantness Recognition using Deep Features and Eye Tracking for Loosely Controlled Human-computer Interaction
Aalto University（阿尔托大学）；University of Oulu（奥卢大学）
本文通过使用深度卷积神经网络和负担得起的眼动仪来重新审视自然图像愉悦度的识别。存在几种识别图像愉悦性的方法：（1）计算机视觉，和（2）心理物理信号。对于自然图像，计算机视觉方法并不像抽象绘画那样成功，并且落后于眼动等心理物理信号。尽管结果更好，但眼睛运动的可扩展性受到传感器成本的不利影响。虽然引入负担得起的传感器，通过使传感器更容易访问，有助于可扩展性问题，这样的传感器在一个松散的控制人机交互设置的应用程序尚未研究情感图像标记。另一方面，近年来，深度卷积神经网络显著提高了基于视觉的技术的性能。为了研究情感图像标记的现状，我们（1）使用负担得起的眼动仪引入新的眼动数据集，（2）研究使用深度神经网络进行愉快识别，（3）研究深度特征和眼动之间的差距。为了达到这些目的，我们在一个控制较少的设置中记录眼球运动，类似于日常的人机交互。我们从眼动、视觉特征及其组合来评估特征。我们的研究结果表明：（1）在较少限制的设置下，从眼动中识别自然图像的愉快是困难的，以前使用的技术容易失败，（2）视觉类别是预测愉快的强有力线索，由于它们与情绪的相关性，有必要仔细研究这种现象。后一个发现是值得警惕的，因为一些深度学习方法可能适合类别偏见。
2017-04-07 cs.CV
Deep-Learning-Based Computer Vision Approach For The Segmentation Of Ball Deliveries And Tracking In Cricket
The University of Karachi（卡拉奇大学）；Victoria University（维多利亚大学）
最近，板球技术的采用有了显着增加。这种趋势已经产生了在类似的基于计算机视觉的研究工作中重复工作的问题。我们的研究试图通过使用深度学习模型、MobileNet和YOLO来分割板球广播中的球传递来解决其中一个问题，从而使研究人员能够将我们的工作作为他们研究的数据集。我们的研究结果可以被板球教练和球员用来分析比赛中的投球。本文提出了一种方法来分割和提取视频镜头中，只有球正在交付。视频镜头是一系列连续的帧，组成了整个视频场景。应用目标检测模型以在正确提取视频镜头方面达到高水平的准确度。提出了构建用于球交付的视频镜头的大型数据集的概念证明，这为进一步处理这些镜头以提取语义铺平了道路。这些视频镜头中的球跟踪也是使用单独的RetinaNet模型来完成的，作为建议数据集有用性的样本。板球场上球落地的位置也通过沿y轴跟踪球来提取。然后，视频镜头被分类为完整的音高，良好的长度或短音高交付。
2022-11-22 cs.AI cs.CV
Tracking Noisy Targets: A Review of Recent Object Tracking Approaches
Kyungpook National University（庆北国立大学）；Qatar University（卡塔尔大学）
视觉对象跟踪是一个重要的计算机视觉问题，具有许多现实世界的应用，包括人机交互，自主车辆，机器人，基于运动的识别，视频索引，监控和安全。在本文中，我们的目标是广泛审查的最新趋势和跟踪算法的进展，并评估跟踪器的鲁棒性存在噪声。这项工作的第一部分包括最近提出的跟踪算法的全面调查。我们广泛地将跟踪器分类为基于相关滤波器的跟踪器和其他非相关滤波器跟踪器。每个类别进一步分为各种类型的跟踪器的基础上的跟踪机制的架构。在这项工作的第二部分中，我们实验评估跟踪算法的鲁棒性存在加性高斯白噪声。在2015年的目标跟踪基准测试（OTB）中加入了多个层次的加性噪声，并对跟踪算法的精度和成功率进行了评估。一些算法比其他算法遭受更多的性能下降，这揭示了跟踪算法的一个以前未探索的方面。基于基准数据集上的性能的算法的相对排名可能会在存在噪声的情况下发生变化。我们的研究得出结论，没有一个单一的跟踪器是能够实现相同的效率，在噪声的存在下，在无噪声的条件下，因此，有必要包括一个参数的鲁棒性噪声时，评估新提出的跟踪算法。
2018-02-14 cs.CV
Gaze Gestures and Their Applications in human-computer interaction with a head-mounted display
盔装显示器（HMD）是便携式和交互式显示器。随着5G技术的发展，未来可能会成为通用计算平台。近年来，用于HMD的人机交互（HCI）技术也受到了极大的关注。除了跟踪手势和语音之外，跟踪人眼作为一种交互手段也非常有效。在本文中，我们提出了两个基于UnityEyes的卷积神经网络模型，UEGazeNet和UEGazeNet*，它们可以分别用于低分辨率和高分辨率的输入图像。这些模型可以通过对视线轨迹（GT）进行分类来进行快速交互，并使用我们的视线跟踪方法建立了包含15个人的10，200个“眼睛绘画手势”数据的GT手势数据集。通过室内和室外的性能测试，UEGazeNet的性能分别比现有网络好52%和67%。我们的GT手势数据集使用各种凝视跟踪模型的泛化能力进行了评估，并通过我们的方法获得了96.71%的平均识别率。
2019-10-16 cs.CV cs.HC
Szloca: towards a framework for full 3D tracking through a single camera in context of interactive arts
RMIT（皇家墨尔本理工大学）
大面积中的对象和人类存在的实时虚拟数据在实现各种行业中的许多体验和应用方面具有重要的关键，并且随着人工智能的技术发展的指数增长，计算机视觉已经扩展了仅通过视频输入来跟踪和分类事物的可能性，这也超越了传统上已知的用于检测人的姿态和位置的最流行和常见的硬件设置的限制，例如低视场和有限的跟踪能力。在应用程序开发中使用计算机视觉的好处很大，因为它增强了传统的输入源（如视频流），并且可以集成在许多环境和平台中。在新媒体互动艺术的背景下，基于物理运动和扩展到大面积或画廊，本研究提出了一种新的方法和框架，以获得数据和虚拟表示的对象/人-如三维位置，姿态/姿势和面具从一个单一的rgb相机。通过一些最近的发展和在计算机视觉领域中的现有研究的基础上观察现有技术，本文还提出了一种从单目图像获得三维位置数据的原始方法，该模型不依赖于计算机视觉系统的复杂训练，而是结合了现有的计算机视觉研究并增加了表示z深度的能力，即表示来自2D输入源3轴上的世界位置。
2022-06-26 cs.CV cs.HC cs.MM
A Computer Vision Pipeline for Iterative Bullet Hole Tracking in Rifle Zeroing
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；United States Military Academy（美国军事学院）
本文提出了一种基于计算机视觉的流水线，用于在步枪校准中实现迭代弹孔追踪，通过YOLOv8和IoU分析提高检测精度，并利用数据增强和预处理技术提升模型性能。
2026-01-22 cs.AI cs.CV
Tracking-by-detection in Multi-object Tracking: Survey and Experiments
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本综述系统回顾检测跟踪范式下的多目标跟踪技术，从最简基线出发公平评估各模块贡献，建立强基线并为实际部署提供设计基础。
2026-09-09 cs.CV
Tracking the Dynamics of the Tear Film Lipid Layer
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；University of Michigan（密歇根大学）
干眼病（DED）是最常见的眼部疾病之一：超过5%的美国成年人患有DED。泪膜不稳定性是DED的已知因素，并且被认为在很大程度上由覆盖并稳定泪膜的薄脂质层调节。为了帮助眼睛相关疾病的诊断，这项工作提出了一种新的范例，使用计算机视觉技术，以数字分析泪膜脂质层（TFLL）的蔓延。用显微干涉仪收集泪膜脂质层扩散的11个视频，并对子集进行注释。提出了一种基于多种支柱式计算机视觉技术的目标跟踪算法。我们的方法可以在https://easytear-dev.github.io/上找到。
2022-12-07 cs.CV
Robust Multi-body Feature Tracker: A Segmentation-free Approach
ANU（澳大利亚国立大学）；EPFL（洛桑联邦理工学院）
特征跟踪是计算机视觉中的一个基本问题，在许多计算机视觉任务中有应用，例如视觉SLAM和动作识别。本文介绍了一种新的多体特征跟踪器，利用多体刚性假设，以提高跟踪鲁棒性下的一般透视相机模型。解决这个问题的传统方法将包括在解决两个子任务之间交替：运动分割和每个段的刚性约束下的特征跟踪。然而，这种方法需要知道运动的数量，以及将点分配给运动组，这通常对运动估计敏感。相比之下，在这里，我们引入了一个无分割的多体特征跟踪解决方案，绕过了运动分配步骤，并减少到解决一系列具有封闭形式的解决方案的子问题。我们的实验证明了我们的方法在跟踪精度和对噪声的鲁棒性方面的好处。
2016-03-15 cs.CV
Consistent multi-animal pose estimation in cattle using dynamic Kalman filter based tracking
KU Leuven（鲁汶大学）；Ghent University（根特大学）
针对多动物姿态估计中关键点时间一致性不足的问题，本文提出无边界框的 KeySORT 自适应卡尔曼滤波跟踪方法，在牛群上实现高精度关键点检测并显著提升骨架时序稳定性。
2025-03-13 cs.CV
Video Object Segmentation and Tracking: A Survey
China University of Mining and Technology（中国矿业大学）；Nanyang Technological University（南洋理工大学）
目标分割和跟踪是计算机视觉领域的基础研究领域。这两个主题很难处理一些常见的挑战，如遮挡，变形，运动模糊和尺度变化。前者包括异质对象、交互对象、边缘模糊性和形状复杂性。而后者在处理快速运动、视野外和实时处理方面存在困难。将视频对象分割和跟踪（VOST）这两个问题结合起来，可以克服各自的困难，提高其性能。VOST可广泛应用于视频摘要、高清视频压缩、人机交互、自动驾驶汽车等实际应用中。本文旨在提供一个全面的审查国家的最先进的跟踪方法，并将这些方法分为不同的类别，并确定新的趋势。首先，我们提供了一个分层分类现有的方法，包括无监督的VOS，半监督的VOS，交互式VOS，弱监督的VOS，和基于分割的跟踪方法。其次，我们提供了一个详细的讨论和概述的技术特点的不同方法。第三，总结了相关视频数据集的特点，并给出了各种评价指标。最后，我们指出了一组有趣的未来工作，并得出我们自己的结论。
2019-04-26 cs.CV
The Object Projection Feature Estimation Problem in Unsupervised Markerless 3D Motion Tracking
University of Granada（格拉纳达大学）
三维运动跟踪是许多计算机视觉应用中的关键任务。现有的3D运动跟踪技术需要大量的目标对象的知识或特定的硬件。这些要求阻碍了基于3D运动跟踪的商业应用的广泛传播。不需要关于目标对象的知识并且在单个低预算相机上运行的3D运动跟踪系统需要对象投影特征（即，面积和位置）的估计。在本文中，我们定义了对象投影特征估计问题，我们提出了一种新的3D运动跟踪系统，不需要对目标对象的知识，只需要一个低预算的相机，安装在大多数计算机和智能手机。我们的系统实时的估计一个非建模的未标记对象的三维位置，该对象可能是非刚性的、非凸的、部分遮挡的、自遮挡的或运动模糊的，假定它是不透明的、均匀着色的，并且与每帧中的背景有足够的对比度。我们的系统还能够确定在屏幕中要跟踪的最相关对象。我们的3D运动跟踪系统不会施加硬性限制，因此它允许在市场范围内实施使用3D运动跟踪的应用。
2011-11-18 cs.CV cs.GR
Derivation of a Constant Velocity Motion Model for Visual Tracking
School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院）
运动模型在视觉跟踪应用中起着重要的作用，它可以预测目标在下一帧中的可能位置。与雷达或航空航天领域的目标跟踪只考虑点不同，计算机视觉中的目标跟踪涉及到目标的大小。等速运动模型是视觉跟踪中应用最广泛的运动模型，但对于新加入该研究领域的研究者来说，还没有一个清晰易懂的关于物体大小的推导。在本文中，我们推导出了包含物体大小的恒速运动模型，我们认为这可以帮助新的研究人员很快适应它。
2020-10-20 cs.CV
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois（伊利诺伊大学）
本文是一篇文献综述，梳理了Transformer从自然语言处理到计算机视觉的应用演进，重点分析了其在多目标跟踪（MOT）领域的研究进展，指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
SKINOPATHY AI: Smartphone-Based Ophthalmic Screening and Longitudinal Tracking Using Lightweight Computer Vision
SKINOPATHY AI利用智能手机轻量级计算机视觉技术，实现多信号眼科筛查与纵向追踪，无需云端AI推理，为移动眼底检查工具奠定基础。
2026-02-26 cs.CV cs.LG
CVPR19 Tracking and Detection Challenge: How crowded can it get?
Australian Institute for Machine Learning（澳大利亚机器学习研究院）；University of Adelaide（阿德莱德大学）；Amazon（亚马逊）；ETH Zurich（苏黎世联邦理工学院）；Technische Universität Darmstadt（达姆施塔特工业大学）
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大，但基准往往提供了最客观的业绩衡量标准，因此是研究的重要指南。MOTChallenge是多目标跟踪的基准，其目标是建立多目标跟踪方法的标准化评估。挑战的重点是多人跟踪，因为行人在跟踪社区中得到了很好的研究，精确的跟踪和检测具有很高的实际意义。自第一个版本以来，MOT15，MOT16和MOT17通过引入一个干净的数据集和精确的框架来对多对象跟踪器进行基准测试，为社区做出了巨大贡献。在本文中，我们提出了我们的CVPR 19基准，由8个新的序列描绘非常拥挤的具有挑战性的场景。该基准将在2019年计算机视觉和模式识别会议（CVPR）的第四届BMTT MOT挑战研讨会上展示，并将评估处理极端拥挤场景时多目标跟踪的最新技术水平。
2019-06-10 cs.CV cs.LG
Autonomous Apple Fruitlet Sizing and Growth Rate Tracking using Computer Vision
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出基于手持立体相机与计算机视觉的苹果幼果尺寸测量和跨日生长速率追踪方法，可在脱落率预测误差3.5%以内实现6倍提速，并验证田间机器人应用前景。
2023-12-06 cs.CV cs.RO
Virtual Worlds as Proxy for Multi-Object Tracking Analysis
Xerox Research Center Europe（施乐欧洲研究中心）；Arizona State University（亚利桑那州立大学）；German Aerospace Center（德国航空航天中心）
现代计算机视觉算法通常需要昂贵的数据采集和精确的手动标记。在这项工作中，我们利用计算机图形学的最新进展来生成完全标记的，动态的和照片般逼真的代理虚拟世界。我们提出了一种有效的真实到虚拟世界的克隆方法，并通过构建和公开发布一个新的视频数据集来验证我们的方法，该数据集称为Virtual KITTI（参见http：//www.xrce.xerox.com/Research-Development/Computer-Vision/Proxy-Virtual-Worlds），该数据集自动标记有用于目标检测、跟踪、场景和实例分割、深度和光流的准确地面实况。我们提供了定量的实验证据，表明（i）在真实数据上预训练的现代深度学习算法在真实和虚拟世界中的行为相似，（ii）在虚拟数据上预训练可以提高性能。由于真实世界和虚拟世界之间的差距很小，虚拟世界可以测量各种天气和成像条件对识别性能的影响，所有其他条件都相同。我们表明，这些因素可能会严重影响其他高性能的深度跟踪模型。
2016-05-20 cs.CV cs.LG cs.NE
Gaze2Segment: A Pilot Study for Integrating Eye-Tracking Technology into Medical Image Segmentation
University of Central Florida（中佛罗里达大学）；National Institutes of Health（美国国立卫生研究院）；Soochow University（苏州大学）
本研究介绍了一种名为Gaze2Segment的新型系统，该系统集成了生物和计算机视觉技术，以支持放射科医生的自动图像分割任务的阅读体验。在肺部CT扫描的诊断评估期间，放射科医师的凝视信息被用于创建视觉注意力图。然后将该图与从灰度CT图像中提取的计算机衍生的显著性图相结合。视觉注意力图被用作用于粗略地指示感兴趣对象的位置的输入。另一方面，通过计算机获得的显著性信息，我们的目标是找到感兴趣对象的前景和背景线索。在最后一步，这些线索被用来启动一个基于种子的划定过程。建议的Gaze2Segment分割精度被发现是86%与骰子相似系数和1.45毫米与Hausdorff距离。据我们所知，Gaze2Segment是第一个将眼动追踪技术真正集成到医学图像分割任务中的产品，无需任何进一步的用户交互。
2016-08-10 cs.AI cs.CV
HumanTracker: Towards Comprehensive and Human-Aligned Motion Tracking Benchmark
Nankai University（南开大学）；Tsinghua University（清华大学）；Galbot；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Shanghai Qi Zhi Institute（上海启智研究院）
针对人形运动跟踪评估与人类感知不符、基准多样性不足的问题，提出HumanTracker基准及偏好对齐指标HumanScore，该指标可更好预测人类偏好并揭示运动学指标遗漏的接触与稳定性故障。
2026-08-14 cs.AI cs.CV cs.RO
An On-line Variational Bayesian Model for Multi-Person Tracking from Cluttered Scenes
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯研究中心）；University of Trento（特伦托大学）
目标跟踪是一个普遍存在的问题，出现在许多应用中，如遥感，音频处理，计算机视觉，人机界面，人机交互等，虽然在计算机视觉彻底调查，跟踪随时间变化的人数仍然是一个具有挑战性的开放问题。在本文中，我们提出了一个在线变分贝叶斯模型的多人跟踪从杂乱的视觉观察提供的人检测器。本文的贡献如下。首先，我们提出了一个变分贝叶斯框架跟踪未知和变化的人数。其次，我们的模型产生了变分期望最大化（VEM）算法，该算法具有潜变量后验分布和模型参数估计的封闭形式表达式。第三，所提出的模型利用来自多个检测器的观测，因此它本质上是多模态的。最后，我们建议嵌入对象的出生和对象的可见性过程，努力鲁棒地处理人的出现和消失随着时间的推移。在经典的多人跟踪数据集上进行评估，我们的方法显示出与最先进的多目标跟踪模型（例如概率假设密度（PHD）滤波器等）相比具有竞争力的结果。
2016-06-30 cs.CV stat.ML
A Standalone Markerless 3D Tracker for Handheld Augmented Reality
Federal University of Pernambuco（伯南布哥联邦大学）
本文提出了一种针对Windows Mobile Pocket PC平台的无标记跟踪技术的实现。这项工作的主要目的是让独立的增强现实应用程序的手持设备的基础上自然特征跟踪的发展。为了实现这一目标，将两个计算机视觉库的子集移植到Pocket PC平台。他们还适应使用定点数学，目的是提高例程的整体性能。这些库的端口打开了在移动平台上执行其他计算机视觉任务的可能性。采用了一种基于模型的跟踪方法，依赖于边缘信息。由于它不需要很高的处理能力，因此适用于手持设备等受限设备。OpenGL ES图形库被用来执行计算机视觉任务，利用现有的图形硬件加速。一个增强现实应用程序创建使用的实现技术和评估进行了跟踪性能和准确性
2009-02-12 cs.CV cs.GR cs.MM
Tracking Skiers from the Top to the Bottom
University of Udine（乌迪内大学）
针对滑雪领域计算机视觉研究数据与方法不足的问题，本文构建了滑雪领域最大规模标注数据集SkiTB，测试了多种追踪算法并提出滑雪者优化基线，为滑雪视觉分析提供支撑。
2023-12-15 cs.AI cs.CV
