A Top-down Approach to Articulated Human Pose Estimation and Tracking
JD.com Silicon Valley Research Center（京东硅谷研究中心）
视频中的多人姿态估计和姿态跟踪任务都是相当具有挑战性的。现有的方法可分为两类：自上而下和自下而上的方法。在本文中，遵循自顶向下的方法，我们的目标是建立一个强大的基线系统，三个模块：人体候选人检测器，单人姿势估计器和人体姿势跟踪器。首先，我们选择一个通用的对象检测器中的国家的最先进的方法来检测人类候选人。然后，使用级联金字塔网络来估计相应的人体姿态。最后，我们使用基于流的姿势跟踪器来渲染跨帧的关键点关联，即，为了多目标姿态跟踪的目的，为每个人类候选者分配唯一的和时间上一致的ID。我们进行了广泛的烧蚀实验，以验证各种选择的模型和配置。我们参加了两个ECCV 18 PoseTrack挑战：姿态估计和姿态跟踪。
2019-01-23 cs.CV
Interactively Test Driving an Object Detector: Estimating Performance on Unlabeled Data
Arizona State University（亚利桑那州立大学）
在本文中，我们研究了检测器的“试驾”问题，即允许人类用户快速了解检测器对他们的特定要求的概括程度。为此，我们提出了第一个系统，估计检测器的性能交互式没有广泛的地面使用人在回路中的真实。我们的做法，这是一个估计比例的问题，并表明，它是可以作出准确的推断，在一个大的数据汇集内的类或组的比例，只观察$5-10\%$的样本数据。在估计错误检测（为了精确）时，仔细地选择样本，使得保留数据汇集的总体特征。接下来，受其在估计疾病传播中的使用的启发，我们应用合并测试方法来估计来自数据集的遗漏检测（用于召回）。这样获得的估计接近于使用地面实况获得的估计，从而减少了对昂贵且耗时的大量标记的需要。
2014-06-21 cs.CV
Diagnosing Human-object Interaction Detectors
Northeastern University（东北大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出HOI检测诊断工具箱，通过错误分解、人物对检测与交互分类的定量分析，揭示模型性能差异原因，并发现RLIPv2的优势主要来自多标签交互分类准确率的显著提升。
2023-12-01 cs.CV
Human Instance Segmentation and Tracking via Data Association and Single-stage Detector
Donghua University（东华大学）
人体视频实例分割在计算机理解人体活动中起着重要作用，广泛应用于视频处理、视频监控、虚拟现实中的人体建模等领域。目前大部分VIS方法都是基于Mask-RCNN框架的，其中用于数据匹配的目标外观和运动信息会增加计算成本并对分割实时性能产生影响;另一方面，现有的VIS数据集较少关注视频中出现的所有人。针对上述问题，本文提出了一种基于单级检测器的人体视频实例分割方法。为了在视频中跟踪实例，我们采用了数据关联策略来匹配视频序列中的同一实例，其中我们以端到端的方式联合学习一对视频帧中的目标实例外观及其亲和力。为了提高实例的嵌入提取能力，我们还采用了质心采样策略，即在实例掩码重叠严重的情况下，将实例位置偏向每个实例掩码的内部。结果，即使角色活动存在突然变化，实例位置也不会移出掩码，从而可以缓解由两个不同实例表示同一实例的问题。最后，我们通过组装多个视频实例分割数据集来收集PVIS数据集，以填补目前缺乏专门用于人类视频分割的数据集的空白。基于这样的数据集进行了广泛的模拟。仿真结果验证了所提出的工作的有效性和效率。
2022-03-31 cs.AI cs.CV
Human keypoint detection for close proximity human-robot interaction
Czech Technical University in Prague（布拉格捷克理工大学）
我们研究了最先进的人类关键点检测器在近距离人机交互的背景下的性能。这种情况下的检测是特定的，因为只有身体部位的子集（诸如手和躯干）在视场中。特别是，（i）我们从近距离图像的角度调查现有的带有人体姿势注释的数据集，并准备和公开提供一个新的近距离人体（HiCP）数据集;（ii）我们定量和定性地比较了最先进的人体全身2D关键点检测方法（iii）由于手和手指的准确检测在具有手指的应用中是至关重要的，因此我们评估MediaPipe手检测器的性能;（iv）我们将算法部署在头部带有RGB-D相机的人形机器人上，并评估3D人体关键点检测的性能。以运动捕捉系统为参考。近距离表现最好的全身关键点检测器是MMPose和AlphaPose，但两者都难以进行手指检测。因此，我们提出了一个组合的MMPose或AlphaPose的身体和MediaPipe的手在一个单一的框架提供最准确和强大的检测。我们还分析了各个检测器的故障模式-例如，图像中没有人的头部会在多大程度上降低性能。最后，我们展示了框架的情况下，一个人形机器人与一个人使用检测到的3D关键点全身回避演习。
2023-02-09 cs.CV cs.RO
OpenM3D: Open Vocabulary Multi-view Indoor 3D Object Detection without Human Annotations
National Tsing Hua University（国立清华大学）；Amazon（亚马逊）；Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）
OpenM3D提出无需人工标注的开放词汇多视角室内3D目标检测方法，通过图嵌入生成高质量3D伪框并结合CLIP特征对齐训练单阶段检测器，在ScanNet200和ARKitScenes上以更快速度超越现有方法。
2025-08-27 cs.CV
SaccadeNet: A Fast and Accurate Object Detector
University of Maryland, College Park（马里兰大学帕克分校）；Wormpex AI Research（沃姆派克斯人工智能研究院）
目标检测是实现整体场景理解的重要步骤。大多数现有的目标检测算法只关注特定的目标区域，然后预测目标位置。然而，神经科学家已经揭示，人类并不是以固定的稳定状态看着场景。相反，人眼四处移动，定位信息部分以理解对象位置。这种主动感知运动的过程称为\textit{saccade}。受此启发，本文提出了一种快速准确的目标检测器\textit{SaccadeNet}。它包含四个主要模块，\cenam，\coram，\atm和\aggatt，这使得它能够处理不同的信息对象关键点，并从粗到细预测对象位置。\coram ~仅在训练期间使用，以提取更多信息的角点特征，从而带来免费午餐性能提升。在MS COCO数据集上，我们在28 FPS和118 FPS下分别实现了40.4mAP和30.5mAP的性能。在所有的实时对象检测器中，%，可以运行速度超过25 FPS，我们的SaccadeNet实现了最好的检测性能，这证明了所提出的检测机制的有效性。
2020-03-26 cs.CV
MonoSOWA: Scalable monocular 3D Object detector Without human Annotations
Dept. of Cybernetics FEE, Czech Technical University（控制系，捷克技术大学）
提出MonoSOWA，一种无需人工标注的单目3D物体检测方法，利用局部物体运动模型解耦运动，速度快700倍，在三个数据集上显著优于先前工作，并可作为预训练工具。
2025-06-19 cs.AI cs.CV cs.LG
Learning Transferable 3D Adversarial Cloaks for Deep Trained Detectors
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种新的基于补丁的对抗攻击管道，在三维人体网格上训练对抗补丁。我们在参考人体网格上采样三角形面部，并在这些面部上创建对抗性纹理图谱。对抗性纹理被转移到各种姿势的人类网格中，这些网格被渲染到真实世界背景图像的集合上。与传统的基于补丁的对抗攻击相反，先前的工作试图使用附加的对抗补丁来欺骗训练的对象检测器，这种新形式的攻击被映射到3D对象世界，并通过可微分渲染反向传播到纹理图谱。因此，对抗补丁在与真实世界材料一致的变形下进行训练。此外，与现有的对抗补丁不同，我们的新3D对抗补丁被证明可以在不同的视图下稳健地欺骗最先进的深度对象检测器，这可能导致在物理世界中持续强大的攻击方案。
2021-04-22 cs.AI cs.CV
Show, Don't Tell: Detecting Novel Objects by Watching Human Videos
本文提出一种自监督系统，通过自动创建的数据集训练定制物体检测器，无需复杂语言描述和昂贵的提示工程，从而快速训练适合人类任务演示中观察到的特定物体的检测器。
2026-03-13 cs.CV cs.LG cs.RO
ClickBAIT-v2: Training an Object Detector in Real-Time
Carnegie Mellon University（卡内基梅隆大学）
用于图像分类和目标检测的现代深度卷积神经网络（CNN）通常在大型静态数据集上进行离线训练。然而，某些应用需要在实时视频流上进行实时的【形】训练，并具有人在回路。我们将这类问题称为时间排序在线训练（ToOT）。这些问题将需要考虑的不仅是传入的训练数据的数量，但所需的人力注释和使用it. We演示和评估一个系统，专门训练对象检测器的实时视频流与最小的输入从人类操作员。我们表明，我们可以获得限界框注释从弱监督单点点击，通过交互式分割。此外，通过对象跟踪利用视频流的时间顺序特性，我们可以将人类交互的平均训练效益提高3-4倍。
2018-03-27 cs.CV cs.LG cs.RO
UAV-Based Human Body Detector Selection and Fusion for Geolocated Saliency Map Generation
Linköping University（林雪平大学）
本研究针对无人机搜救等场景，提出一种系统上下文视觉检测器选择与融合方法，通过离线评估自动选择在线检测算法，并利用新颖传感器模型融合检测结果生成地理定位显著性地图，经模拟和真实飞行实验验证有效。
2024-08-29 cs.CV cs.RO
Track and Transfer: Watching Videos to Simulate Strong Human Supervision for Weakly-Supervised Object Detection
University of California, Davis（加州大学戴维斯分校）
训练对象检测器的现状方法需要昂贵的限界框注释。我们的框架采取了一个明显不同的方向：我们将跟踪的对象框从弱标记视频转移到弱标记图像，以自动生成伪地面实况框，取代手动注释的边界框。我们首先在弱标记图像集合中挖掘经常/很少出现在正/负像中的区分区域。然后，我们将这些区域与视频进行匹配，并检索相应的跟踪对象框。最后，我们设计了一个霍夫变换算法来投票选出最好的盒子作为每个图像的伪GT，并使用它们来训练目标检测器。总之，这些导致了PASCAL 2007和2010数据集上最先进的弱监督检测结果。
2016-04-19 cs.CV
I-MPN: Inductive Message Passing Network for Efficient Human-in-the-Loop Annotation of Mobile Eye Tracking Data
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；University of Science, VNU-HCM（胡志明市国家大学科学大学）；Quy Nhon AI Research and Development Center, FPT Software（FPT软件归仁人工智能研发中心）；Max Planck Research School for Intelligent Systems (IMPRS-IS)（马克斯·普朗克智能系统研究院）
本文提出融合目标检测器与空间关系感知I-MPN的人在环学习方法，以少量用户反馈标注实现移动眼动追踪数据中的自动目标识别，并在三个视频序列上验证其性能与标注效率。
2024-07-07 cs.CV
AIParsing: Anchor-free Instance-level Human Parsing
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Georgia Tech Shenzhen Institute, Tianjin University（天津大学佐治亚理工深圳学院）；Sun Yat-sen University（中山大学）；Futurewei Technologies（未来技术公司）；Tsinghua University（清华大学）
大多数最先进的实例级人类句法分析模型采用两阶段基于锚的检测器，因此，不能避免启发式锚盒设计和缺乏像素级的分析。为了解决这两个问题，我们设计了一个实例级的人类解析网络，这是锚免费和解决的像素级。它由两个简单的子网络：一个锚无检测头的限界框预测和一个边缘引导的分析头的人体分割。无锚探测器头继承了像素级的优点，并有效地避免了超参数的敏感性，如在目标检测应用中所证明的。通过引入部分感知的边界线索，边缘引导的解析头能够在单个人体实例中，甚至在重叠的实例中，将相邻的人体部分彼此区分开多达58个部分。同时，一个细化头综合框级得分和部分级的分析质量，以提高分析结果的质量。在两个多人解析数据集上的实验（即，CIHP和LV-MHP-v2.0）和一个视频实例级人工解析数据集（即，VIP）表明，我们的方法实现了最好的全局级和实例级的性能比国家的最先进的一阶段自顶向下的替代品。
2022-07-14 cs.CV
Real-time Human-Centric Segmentation for Complex Video Scenes
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Northwestern University（西北大学）
现有的大多数与“人”相关的视频任务都集中在显著人物的分割上，而忽略了视频中未指定的其他人。很少有研究集中在分割和跟踪复杂视频中的所有人，包括行人和其他状态的人（例如，坐着的、骑着的或闭塞的）。在本文中，我们提出了一个新的框架，简称HVISNet，分割和跟踪所有提出的人在给定的视频的基础上一个阶段的检测器。为了更好地评估复杂的场景，我们提供了一个新的基准称为HVIS（人类视频实例分割），其中包括1447人的实例面具在805个高分辨率的视频在不同的场景。大量的实验表明，我们提出的HVISNet优于国家的最先进的方法在准确性方面的实时的【形】推理速度（30 FPS），特别是在复杂的视频场景。我们还注意到，使用限界框的中心来区分不同的个体严重恶化了分割精度，特别是在严重遮挡的条件下。这种常见的现象被称为模糊正样本问题。为了缓解这个问题，我们提出了一种名为内部中心采样的机制，以提高实例分割的准确性。这种即插即用的内中心采样机制可以结合在任何基于一级检测器的实例分割模型中，以提高性能。特别是，它获得了4.1 mAP的最先进的方法在闭塞的人的情况下的改善。代码和数据可在https://github.com/IIGROUP/HVISNet上获得。
2021-08-16 cs.CV
Unsupervised Learning of Edges
数据驱动的边缘检测方法已被证明是有效的，并在现代基准测试中取得了最佳结果。然而，所有当前的数据驱动的边缘检测器需要人工监督，以手工标记的区域段或对象边界的形式进行训练。具体来说，人类注释器标记语义上有意义的边缘，随后用于训练。这种强有力的、高水平的监督形式对于学习准确检测边缘真的是必要的吗？在这项工作中，我们提出了一个简单而有效的方法来训练边缘检测器没有人的监督。为此，我们利用运动，更具体地说，我们的方法的唯一输入是帧之间的噪声半密集匹配。我们仅从边缘的基本知识（以图像梯度的形式）开始，并依次在改进运动估计和边缘检测之间交替。使用大量的视频数据，我们表明，使用我们的无监督方案训练的边缘检测器接近使用完全监督训练的相同方法的性能（在3-5%内）。最后，我们证明了当使用深度网络进行边缘检测时，我们的方法为目标检测提供了一种新的预训练方案。
2016-04-10 cs.CV
Using Frequency Attention to Make Adversarial Patch Powerful Against Person Detector
Guilin University of Electronic Technology（桂林电子科技大学）
深度神经网络（DNN）容易受到对抗攻击的攻击。具体地，对象检测器可以通过将特定的对抗补丁应用于图像而被攻击。然而，由于补丁在预处理过程中收缩，大多数现有的方法，采用对抗补丁攻击对象检测器将降低攻击成功率的小型和中型目标。本文提出了一个频率模块（FRAN），一个频域注意力模块，用于指导补丁生成。这是第一个引入频域注意力来优化对抗补丁攻击能力的研究。我们的方法将小型和中型目标的攻击成功率分别提高了4.18%和3.89%，而不是在攻击YOLOv3的同时欺骗人类检测器的最先进的攻击方法，而不会降低大型目标的攻击成功率。
2022-05-11 cs.CV
Event Camera as Region Proposal Network
Technical University Dortmund（多特蒙德工业大学）
受人类视杆细胞充当视觉区域候选网络的启发，本研究用事件相机替换detectron2中Mask R-CNN的RPN来生成运动物体候选，在精度相当的情况下提升了检测速度、降低了计算成本。
2023-05-01 cs.CV
PONet: Robust 3D Human Pose Estimation via Learning Orientations Only
传统的3D人体姿态估计依赖于首先检测2D身体关键点，然后解决2D到3D的对应问题。尽管结果很有希望，但这种学习范式高度依赖于2D关键点检测器的质量，这不可避免地容易受到遮挡和图像外缺失的影响。在本文中，我们提出了一种新的姿态方向网络（PONet），它能够鲁棒地估计3D姿态，通过学习方向，从而绕过容易出错的关键点检测器，在缺乏图像证据。对于部分不可见肢体的图像，PONet通过利用局部图像证据来估计这些肢体的3D方位，以恢复3D姿态。此外，PONet能够通过利用可见肢体之间的方位相关性来补充估计的姿态，从而即使从完全不可见肢体的图像中也能够推断出完整的3D姿态，我们在多个数据集上对我们的方法进行了评估，包括Human3.6M，MPII，MPI-INF-3DHP和3DPW。我们的方法在理想环境中实现了与最先进技术相当的结果，但显着消除了对关键点检测器的依赖性和相应的计算负担。在高度挑战性的情况下，如截断和擦除，我们的方法表现非常稳健，并产生更优越的结果相比，最先进的，展示了其在现实世界中的应用潜力。
2021-12-21 cs.AI cs.CV cs.LG
SSMI: How to Make Objects of Interest Disappear without Accessing Object Detectors?
Ocean University of China（中国海洋大学）
针对对象检测器的大多数黑盒对抗攻击方案主要面临两个缺点：需要访问目标模型和生成低效的对抗示例（无法使对象大量消失）。为了克服这些缺点，我们提出了一种基于语义分割和模型反演的黑盒对抗攻击方案（SSMI）。我们首先使用语义分割技术定位目标对象的位置。然后，我们设计了一个邻域背景像素替换，用背景像素替换目标区域像素，以确保像素修改不容易被人类视觉检测到。最后，我们重建一个机器可识别的例子，并使用掩码矩阵来选择重建的例子中的像素修改良性图像生成一个敌对的例子。详细的实验结果表明，SSMI可以生成有效的对抗性示例，以逃避人眼的感知，并使感兴趣的对象消失。更重要的是，SSMI优于现有的同类攻击。新标签和消失标签的最大增加为16%，目标检测的mAP度量的最大减少为36%。
2022-06-22 cs.AI cs.CV
Exploring Structure-aware Transformer over Interaction Proposals for Human-Object Interaction Detection
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；The Hong Kong Polytechnic University（香港理工大学）
最近的高性能人-对象交互（HOI）检测技术受到基于变换器的对象检测器（即，DETR）。然而，他们中的大多数直接映射参数交互查询到一组HOI预测通过香草Transformer在一个阶段的方式。这使得丰富的内部或内部交互结构未得到充分利用。在这项工作中，我们设计了一种新的变压器式HOI检测器，即，用于HOI检测的结构感知Transformer over Interaction Proposals（STIP）。这种设计将HOI集合预测的过程分解为两个后续阶段，即，首先执行交互建议生成，然后通过结构感知的Transformer将非参数交互建议转换为HOI预测。结构感知的Transformer通过额外编码交互提议之间的整体语义结构以及每个交互提议中的人/物体的局部空间结构来升级香草Transformer，以加强HOI预测。在V-COCO和HICO-DET基准上进行的大量实验证明了STIP的有效性，并且与最先进的HOI检测器相比，报告了优越的结果。源代码可从\url{https://github.com/zyong812/STIP}获得。
2022-06-13 cs.AI cs.CV cs.MM
Graph-Structured Visual Imitation
Carnegie Mellon University（卡内基梅隆大学）
我们把视觉模仿看作是一个视觉对应问题。我们的机器人代理奖励时，它的行动导致在其工作空间和教师的演示中检测到相应的视觉实体的相对空间配置更好的匹配。我们基于计算机视觉的最新进展，例如人类手指关键点检测器，使用合成增强训练的对象检测器，以及由视点变化监督的点检测器，并在没有人类注释或机器人交互的情况下为每个演示学习多个视觉实体检测器。我们的经验表明，提出的因素化的视觉表示的实体和他们的空间安排驱动成功模仿的各种操作技能在几分钟内，使用一个单一的演示，没有任何环境仪器。它对背景杂波具有鲁棒性，并且可以有效地概括演示者和模仿者之间的环境变化，大大优于以前作品的非结构化非因子分解全帧CNN编码。
2020-03-05 cs.AI cs.CV cs.RO
A survey of top-down approaches for human pose estimation
Norwegian University of Science and Technology（挪威科技大学）
二维图像视频中的人体姿态估计由于其在行为识别、运动捕捉和增强现实、机器人训练、运动跟踪等方面的巨大优势和潜在应用前景，成为近年来计算机视觉领域的研究热点。使用深度学习实现的许多最先进的方法已经解决了几个挑战，并在人体姿态估计领域取得了巨大的显着成果。方法分为两种：两步框架（自顶向下的方法）和基于部分的框架（自底向上的方法）。虽然两步框架首先结合了一个人检测器，然后独立地估计每个盒子内的姿势，但在基于部分的框架中检测图像中的所有身体部分并将属于不同人的部分相关联。本文旨在为新手提供基于深度学习方法的2D图像识别方法的广泛回顾，自2016年以来，该方法只关注自上而下的方法。通过本文的讨论提出了重要的检测器和估计器，这取决于数学背景，挑战和限制，基准数据集，评估指标以及方法之间的比较。
2022-02-05 cs.AI cs.CV cs.LG
Synthetic Data-based Detection of Zebras in Drone Imagery
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
针对野生斑马航拍图像真实标注数据集匮乏的问题，本研究利用GRADE框架生成合成斑马数据集，从头训练YOLO检测器，经真实数据验证实现了仅用合成数据训练的航拍斑马检测，且相关资源全部开源。
2023-07-04 cs.CV cs.RO
Sharp Eyes: A Salient Object Detector Working The Same Way as Human Visual Characteristics
Heilongjiang University（黑龙江大学）；Shandong Artificial Intelligence Institute（山东人工智能研究院）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））
现有的显著性特征提取方法通过聚合多层次特征或引入边缘和骨架来获得更精细的显著性图。然而，很少有人关注如何在杂乱背景中获得完整的显著目标，其中目标通常在颜色和纹理上与背景相似。为了处理这种复杂的场景，我们提出了一种锐利的眼睛网络（SENet），它首先将物体从场景中分离出来，然后对其进行精细分割，这符合人类的视觉特性，即，先看再集中注意力与以往直接结合边缘或骨架来补充对象缺陷的方法不同，该方法旨在利用扩展后的对象来指导网络获得完整的预测。具体来说，SENet主要由目标分离（TS）分支和对象分割（OS）分支组成，通过最小化新的分层差异感知（HDA）损失来训练。在TS分支中，我们构造了一个分形结构，通过扩展的地面真值的监督来产生具有扩展边界的显著性特征，这可以扩大前景和背景之间的细节差异。在OS分支中，我们首先聚合多层特征以自适应地选择互补成分，然后将具有扩展边界的显著性特征馈送到聚合特征中以引导网络获得完全预测。此外，我们提出了HDA损失，以进一步提高结构的完整性和局部细节的显着对象，它分配权重的每个像素，根据其距离边界分层。在边界区域中具有相似外观的硬像素将被给予更多的层次关注，以强调它们在完整性预测中的重要性。在五个数据集上的综合实验结果表明，所提出的方法在定量和定性上都优于最先进的方法。
2023-01-18 cs.AI cs.CV cs.MM
Online Learning via Memory: Retrieval-Augmented Detector Adaptation
Microsoft Corp（微软公司）
本研究提出一种无需训练的检索增强在线学习方法，通过记忆库与RAC模块让现成目标检测器快速适配新域，仅需每类10张图像的记忆库即可显著优于基线。
2024-09-16 cs.CV cs.IR cs.LG
MixedPeds: Pedestrian Detection in Unannotated Videos using Synthetically Generated Human-agents for Training
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了一种新的方法来训练行人检测器上的一组未注释的图像。我们生成了一个混合现实数据集，该数据集由真实世界的背景图像和综合生成的静态人类代理组成。我们的方法是通用的，鲁棒的，并没有其他关于行人的数量或位置的未注释的数据集的假设。我们自动从数据集中提取：i）消失点来校准虚拟相机，ii）行人的尺度来生成Spawn概率图，这是一个新的概念，指导我们的算法将行人放置在适当的位置。在将合成的人类智能体放在未注释的图像中之后，我们使用这些增强的图像来训练行人检测器，其中注释与合成智能体一起生成。我们使用Faster R-CNN进行了实验，通过比较使用我们的方法训练的检测器和使用其他手动标记数据集训练的检测器在未注释数据集上的检测结果。我们表明，我们的方法比这些检测器的平均精度提高了5-13%。
2017-11-11 cs.CV
Utilizing Uncertainty in 2D Pose Detectors for Probabilistic 3D Human Mesh Recovery
Leibniz University Hannover（汉诺威莱布尼茨大学）；Linköping University（林雪平大学）
本文提出利用2D姿态检测器热图中的分布监督和人体分割掩码训练约束，改进基于归一化流的概率性3D人体网格恢复，在3DPW和EMDB上超越现有方法。
2024-11-25 cs.CV
Human detectors are surprisingly powerful reward models
Meta；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出 HuDA 模型，通过简单奖励函数提升视频生成中的人体运动质量，胜率高达 73%。
2026-01-21 cs.CV
Detecting Human-Object Contact in Images
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Amsterdam（阿姆斯特丹大学）；Beijing Institute of General Artificial Intelligence（北京通用人工智能研究院）
本文提出HOT数据集以检测图像中全身与物体的接触，结合PROX等数据源进行标注，并训练带有部位注意力分支的接触检测器，在定量评估中优于基线且具良好泛化能力。
2023-04-04 cs.CV
Diagnosis of Human Object Interaction Detectors for Real World Educational Applications
Vanderbilt University（范德堡大学）
提出一种诊断驱动框架，结合三元组级HOI错误分类与错误因素归因分析，通过针对性改进将预训练CDN模型在CCATT数据集上的宏F1分数从48.6提升至90.2。
2026-06-01 cs.CV
Visual Compiler: Synthesizing a Scene-Specific Pedestrian Detector and Pose Estimator
University of Oxford（牛津大学）；Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）；Volvo Construction（沃尔沃建筑设备公司）
我们引入的概念，产生一个场景特定的行人检测器和姿态估计，没有任何行人的观察。给定单个图像和以相机参数和场景的几何布局的形式的辅助场景信息，视觉建模器首先通过使用计算机图形绘制来推断该场景中的人的几何和光度精确图像。使用这些渲染，我们学习一个场景和区域特定的空间变化的完全卷积神经网络，同时检测，姿态估计和分割的行人。我们证明，当真正的人类注释数据是稀缺的或不存在的，我们的数据生成策略可以提供一个很好的解决方案，引导人体检测和姿态估计。实验结果表明，我们的方法优于现成的最先进的行人检测器和姿势估计器，在真实数据上训练。
2016-12-15 cs.CV
Scriboora: Rethinking Human Pose Forecasting
University of Augsburg（奥尔堡大学）
Scriboora通过类比语音理解任务，改进姿态预测性能，并引入噪声数据集评估模型鲁棒性。
2026-09-29 cs.CV
Orchestrating the Symphony of Prompt Distribution Learning for Human-Object Interaction Detection
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Alibaba Group（阿里巴巴集团）
针对基于查询-Transformer的人-物交互检测器在罕见模式识别与模糊交互区分上的难题，提出InterProDa方法，通过软提示学习类别分布并融合查询，在基准上取得有竞争力的性能，且可低参数量集成到同类检测器中提升效果。
2024-12-11 cs.CV
Exploring Hyperspectral Anomaly Detection with Human Vision: A Small Target Aware Detector
State Key Laboratory of Integrated Services Networks, Xidian University（西安电子科技大学综合业务网理论及关键技术国家重点实验室）
本文提出小目标感知检测器STAD，通过引入显著性图和滤波器将高光谱异常检测转移到更鲁棒的特征空间，并采用知识蒸馏策略适配边缘设备，实验证明其性能优异。
2024-01-02 cs.CV
Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models
Southeast University（东南大学）；Nanjing Enbo Tech.（南京恩博科技）；University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）
针对开放世界HOI识别难题，提出UniHOI方法，结合HO提示学习、HOPD模块与GPT解读，释放VL基础模型和LLM潜力，在监督与零样本设置下均显著超越现有方法。
2023-11-07 cs.CV
Human-AI Ensembles Improve Deepfake Detection in Low-to-Medium Quality Videos
研究通过对比人类与AI检测器在DF40和CharadesDF数据集上的表现，发现人类在低质量视频中检测深度伪造更有效，且人类-人工智能组合能减少高置信度错误。
2026-03-15 cs.AI cs.CV
Physics-Based Adversarial Attack on Near-Infrared Human Detector for Nighttime Surveillance Camera Systems
The University of Tokyo（东京大学）；National Institute of Informatics（情报通信研究机构情报学研究所）
本文揭示了夜间监控中近红外图像理解的漏洞，利用反光和绝缘胶带在物理世界操纵NIR图像强度，对YOLO人体检测器实施隐蔽的被动攻击，突显了监控系统的可靠性隐患。
2024-12-18 cs.CV
Feature Extraction of Human Lip Prints
Calcutta University（加尔各答大学）；Institute Of Engineering & Management（工程与管理学院）
通过识别唇纹来识别人的身份的方法已经被使用。人的嘴唇有许多隆起和凹陷的特征，称为唇印，唇印的检查被称为唇镜检查。每个人的唇印都是独一无二的，就像人类的许多其他特征一样。本文首先利用高斯滤波器对唇纹进行平滑处理。接着使用Sobel边缘检测器和Canny边缘检测器检测嘴唇中的垂直和水平凹槽图案。这种识别方法在刑事取证和个人身份识别方面都将是有用的。我们的假设是，唇印及其类型的研究与以更好的方式播放歌曲有很好的联系，这是爱听歌曲的人所接受的。
2013-12-03 cs.CV
Rapid Online Analysis of Local Feature Detectors and Their Complementarity
University of Essex（埃塞克斯大学）
一个视觉系统，可以评估自己的表现，并采取适当的行动，在线最大限度地提高其效率将是一个步骤，实现长期以来的目标，模仿人类。本文提出了一种方法进行在线性能分析的局部特征检测器，许多实际的视觉系统的初级阶段。它提倡的空间分布的本地图像功能作为一个很好的性能指标，并提出了一个度量，可以快速计算，符合人类视觉评估，并补充现有的离线措施，如可重复性。的度量提供了一个测量的互补性检测器的组合，正确地反映了个别检测器的基本原则。基于所提出的措施，几个国家的最先进的检测器的完善的数据集上的定性结果。使用假设检验方法和新获得的更大的图像数据库，识别出显著的性能差异。不同的检测器对和三胞胎进行了定量研究，其结果提供了一个有用的指导方针相结合的应用程序，需要一个合理的空间分布的图像特征的检测器。在这些应用中结合特征检测器的原则框架。计时结果揭示了在线应用程序的度量的潜力。
2015-10-17 cs.CV
CycleHOI: Improving Human-Object Interaction Detection with Cycle Consistency of Detection and Generation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
CycleHOI通过引入检测-生成循环一致性损失，结合扩散模型知识蒸馏与数据增强，显著提升了基于DETR的人-物交互检测性能。
2024-07-16 cs.CV
RoboFake: Are Deepfake Detectors Ready for Humanoid Face Robots?
本文提出RoboFake（一种记录真实机器人的无像素编辑面部伪造），测试6个深度伪造检测器对机器人面部的表现，发现其标记机器人是因面部非人类，而非识别伪造。
2026-10-21 cs.CR cs.CV cs.RO
In-the-Wild Camouflage Attack on Vehicle Detectors through Controllable Image Editing
Carnegie Mellon University（卡内基梅隆大学）；DEVCOM Army Research Laboratory（陆军研究实验室）；Florida State University（佛罗里达州立大学）
本文提出了一种将车辆伪装攻击视为条件图像编辑问题的新框架，通过图像级和场景级生成策略提升攻击效果，实验表明其在COCO和LINZ数据集上显著降低检测器性能，同时保持车辆结构和提升人类感知的隐蔽性。
2026-03-19 cs.CV
Radio-Assisted Human Detection
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个无线电辅助人体检测框架，将无线电信息纳入最先进的检测方法，包括基于锚的onstage检测器和两阶段检测器。我们从无线电信号中提取无线电定位和身份信息来辅助人体检测，由于这一点，假阳性和假阴性的问题可以大大缓解。对于这两种检测器，我们使用的无线电定位的基础上的置信度得分修订，以提高检测性能。对于两阶段检测方法，我们建议利用从无线电定位产生的区域建议，而不是依赖于区域建议网络（RPN）。此外，利用无线电标识符信息，还提出了具有无线电定位约束的非最大值抑制方法，以进一步抑制误检测并减少误检测。在模拟的Microsoft COCO数据集和Caltech行人数据集上的实验表明，无线电信息的辅助可以提高现有检测方法的平均精度（mAP）和误检率。最后，我们在真实世界的场景中进行实验，以证明我们提出的方法在实践中的可行性。
2021-12-16 cs.CV
Harnessing the Deep Net Object Models for Enhancing Human Action Recognition
University of Canberra（堪培拉大学）；Australian National University（澳大利亚国立大学）
在这项研究中，对象的影响，在人类行为识别的情况下，大量的类。我们假设人类正在交互的对象在确定正在执行的动作时具有很好的发言权。特别是，如果对象是非移动的，例如出现在背景中的对象，诸如时空兴趣点的特征，密集轨迹可能无法检测到它们。因此，我们建议在每一帧中静态地使用预先训练的对象检测器来检测对象。经过训练的深度网络模型被用作对象检测器。结合不同的编码技术，从不同的层的信息进行了广泛的研究，以获得最丰富的特征向量。观察到该技术在HMDB 51和UCF 101数据集上产生了最先进的性能。
2015-12-24 cs.CV
UKPGAN: A General Self-Supervised Keypoint Detector
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
关键点检测是物体配准和对齐的重要组成部分。在这项工作中，我们认为关键点检测是信息压缩，并迫使模型提取出一个对象的无关点。在此基础上，我们提出了UKPGAN，一个通用的自监督3D关键点检测器，检测关键点，使它们能够重建原始对象的形状。提出了两个模块：基于GAN的关键点稀疏控制和显著信息提取模块来定位这些重要的关键点。大量的实验表明，我们的关键点对齐以及人类注释的关键点标签，并可以应用于SMPL人体各种非刚性变形。此外，我们在干净的对象集合上训练的关键点检测器可以很好地推广到现实世界的场景，从而在与现成的点描述符相结合时进一步提高几何配准。重复性实验表明，我们的模型是稳定的刚性和非刚性变换下，与本地参考系估计。我们的代码可以在https://github.com/qq456cvb/UKPGAN上找到。
2022-03-09 cs.CV
HOIBlender: Blending Lightweight Detection with Vision-Language Priors for Efficient Human-Object Interaction Detection
The University of Electro-Communications（电气通信大学）
HOIBlender提出一种高效人-物交互检测方法，通过轻量级解码流程融合检测器接地视觉标记、空间推理和BLIP-2语义先验，在HICO-DET上以9个训练周期达到44.49 mAP，超越现有方法。
2026-09-30 cs.CV
Relational Learning for Joint Head and Human Detection
Institute of Electronics, Chinese Academy of Sciences（中国科学院电子学研究所）；CBSR & NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所生物识别与安全技术研究中心及模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
随着深度卷积神经网络的发展，头部和人体检测得到了迅速改善。然而，这两个任务往往被单独研究，而没有考虑其内在的相关性，导致1）头部检测往往被困在更多的误报，和2）人类检测器的性能经常急剧下降，在人群场景。为了解决这两个问题，我们提出了一种新的联合头部和人体检测网络，即JointDet，它可以有效地同时检测头部和人体。此外，我们还设计了一个头-身关系判别模块来进行头和人体之间的关系学习，并利用这种学习到的关系来恢复被抑制的人体检测，减少头部误报。为了验证所提出的方法的有效性，我们注释的CityPersons和Caltech-USA数据集的头部边界框，并进行了广泛的实验CrowdHuman，CityPersons和Caltech-USA数据集。因此，所提出的JointDet检测器在这三个基准上实现了最先进的性能。为了促进对头部和人体检测问题的进一步研究，所有新的注释、源代码和训练模型都将公开。
2019-09-24 cs.CV
TruEye: Fine-Grained Detection of AI-Generated Human Subjects in Images
Vanderbilt University（范德堡大学）
提出TruEye模型，通过掩码条件双流Transformer区分五种合成内容类别，实现AI生成或篡改人物与场景的细粒度检测和定位，无需大型语言模型，速度提升百倍。
2026-06-29 cs.CV
Human-Object Interaction Detection via Weak Supervision
University of Amsterdam（阿姆斯特丹大学）
本文的目标是人-物交互（HO-I）检测。HO-I检测的目的是从图像中发现相互作用的人-物体区域并分类它们的相互作用。近年来，研究人员依靠[5]的强HO-I对齐监督获得了显着的改进。HO-I对齐监督将人与他们交互的对象配对，然后将人-对象对与他们的交互类别对齐。由于收集这样的注释是昂贵的，在本文中，我们建议检测HO-I没有对齐监督。相反，我们依赖于图像级的监督，它只列举图像中现有的交互，而不指出它们发生的位置。我们的论文做出了三个贡献：i）我们提出了Align-Former，一种基于视觉变换器的CNN，可以仅通过图像级监督来检测HO-I。ii）配向形成器配备有HO-I配向层，其可以学习选择适当的目标以允许检测器监督。iii）我们在HICO-DET [5]和V-COCO [13]上评估了Align-Former，并表明Align-Former的性能大大优于现有的图像级监督HO-I检测器（HICO-DET [5]上的mAP从16.14%提高到20.85%，提高了4.71%）。
2021-12-01 cs.CV
Robustness of AI-Art Detectors under Generator Shift
San Jose State University（圣何塞州立大学）
该研究针对生成器偏移问题，在SD3.5m数据集上评估了五个AI艺术检测器的鲁棒性，发现模型在跨生成器场景下泛化能力不足，CLIP ViT-L/14表现最优，为分层防御检测器的开发提供了依据。
2026-08-13 cs.CV cs.LG
Synthesizing Artifact Dataset for Pixel-level Detection
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电子与计算机工程系）；Meta
本文提出一种自动注入伪影的流水线，无需人工标注即可生成像素级伪影数据集，训练检测器在ConvNeXt和Swin-T上分别提升13.2%和3.7%，为可扩展伪影标注迈出初步一步。
2025-09-23 cs.CV
3D Anchor-Free Lesion Detector on Computed Tomography Scans
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
病变是人体内的损伤和异常组织。在3D计算机断层扫描（CT）扫描中检测病变可能非常耗时，即使是非常有经验的医生和放射科医生。近年来，基于CNN的病变检测器显示出巨大的潜力。大多数当前最先进的病变检测器采用锚点来枚举关于处理中的数据集的所有可能的边界框。这种锚机制在极大地提高检测性能的同时，也限制了检测器的泛化能力。在本文中，我们提出了一个无锚病变检测器。锚机制被移除，病变被形式化为单个关键点。通过这样做，我们见证了一个相当大的性能增益方面的准确性和推理速度相比，基于锚的基线
2019-08-29 cs.CV
