Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出部分时空学习框架，通过中心空间掩码和运动注意力时间掩码构建部分骨架序列，利用无负样本三元流结构学习局部关系，在多个数据集上达到SOTA并具鲁棒性。
2023-02-22 cs.CV
Skeleton-Contrastive 3D Action Representation Learning
University of Amsterdam（阿姆斯特丹大学）
本文致力于自监督学习的特征空间，适合基于动作识别。我们的建议是建立在学习不变性输入骨架表示和各种骨架增强通过噪声对比估计。特别是，我们提出了骨架间对比学习，它以交叉对比的方式从多个不同的输入骨架表示中学习。此外，我们还提供了几个特定于骨架的空间和时间增强，进一步鼓励模型学习骨架数据的时空动态。通过学习不同骨架表示之间的相似性以及相同序列的增强视图，鼓励网络学习骨架数据的更高级别的语义，而不是只使用增强视图。我们的方法实现了最先进的性能自监督学习从骨架数据上具有挑战性的PKU和NTU数据集与多个下游任务，包括动作识别，动作检索和半监督学习。代码可在https://github.com/fmthoker/skeleton-contrast上获得。
2021-08-08 cs.CV
Zero-shot Skeleton-based Action Recognition via Mutual Information Estimation and Maximization
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；Stanford University（斯坦福大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出一种基于互信息估计与最大化的零样本骨架动作识别方法，通过最大化视觉与语义空间互信息实现分布对齐，并利用时间信息提升互信息估计，在三个大规模数据集上验证了有效性。
2023-08-07 cs.CV cs.MM
PoseBridge: Bridging the Skeletonization Gap for Zero-Shot Skeleton-Based Action Recognition
School of Computer Science and Engineering（计算机科学与工程学院）
PoseBridge通过整合姿态估计表示与骨架-文本对齐，提升零样本骨架基动作识别性能，在多个数据集上取得显著改进，尤其在野外视频数据集上表现突出。
2026-09-29 cs.CV
Actionlet-Dependent Contrastive Learning for Unsupervised Skeleton-Based Action Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
自我监督预训练范式在基于动作识别的动作识别中取得了巨大的成功。然而，这些方法对运动和静止部分一视同仁，缺乏针对不同部分的自适应设计，对动作识别的准确性产生了负面影响。为了实现两部分的自适应动作建模，我们提出了一种基于小样本的对比学习方法（Actlets）。定义为人体骨架的判别子集的actionlet，有效地分解运动区域，以更好地进行动作建模。详细地说，通过与没有运动的静态锚对比，我们以无监督的方式提取骨架数据的运动区域，作为actionlet。然后，以actionlet为核心，提出了一种运动自适应的数据转换方法。不同的数据转换应用于actionlet和non-actionlet区域，以在保持其自身特征的同时引入更多的多样性。同时，我们提出了一种语义感知的特征池方法，以区别的方式建立运动和静态区域之间的特征表示。在NTU RGB+D和PKUMMD上的实验表明，该方法具有良好的动作识别性能。更多的可视化和定量实验证明了我们的方法的有效性。我们的项目网站是https://langlandslin.github.io/projects/ActCLR/
2023-03-21 cs.CV
GenPrior: Unleashing Text-to-Motion Generative Priors for Zero-Shot Skeleton-based Action Recognition
School of Cyber Science and Engineering, Southeast University（东南大学网络空间安全学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Purple Mountain Laboratories（紫金山实验室）
GenPrior是首个利用预训练T2M模型生成先验的ZSAR框架，通过分散门控特征融合和生成原型细化，在NTU-60等数据集上实现零样本及广义零样本动作识别的SOTA性能。
2026-08-04 cs.CV
Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition
The University of Sydney（悉尼大学）；SenseTime Computer Vision Research Group（商汤科技计算机视觉研究组）；University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）
时空图已被广泛用于基于混沌的动作识别算法来建模人类动作动态。为了从这些图中捕获鲁棒的运动模式，长范围和多尺度上下文聚合以及时空依赖建模是功能强大的特征提取器的关键方面。然而，现有的方法在实现（1）多尺度算子下的无偏远程联合关系建模和（2）用于捕获复杂时空依赖性的无障碍跨时空信息流方面存在局限性。在这项工作中，我们提出了（1）一个简单的方法来解开多尺度图卷积和（2）一个统一的时空图卷积算子命名为G3 D。所提出的多尺度聚合方案解开了有效的远程建模在不同的街区节点的重要性。建议的G3 D模块利用密集的跨时空边缘作为跳过连接，用于跨时空图的直接信息传播。通过耦合这些建议，我们开发了一个功能强大的特征提取器名为MS-G3 D的基础上，我们的模型优于以前的国家的最先进的方法在三个大规模的数据集：NTU RGB+D 60，NTU RGB+D 120，和动力学骨架400。
2020-05-19 cs.CV
Learning Salient Boundary Feature for Anchor-free Temporal Action Localization
Tencent（腾讯）；Fudan University（复旦大学）
时间动作定位是视频理解中一项重要而又具有挑战性的任务。通常情况下，这样的任务的目的是推断的动作类别和定位的开始和结束帧的每个动作实例在一个长的，untrimmed video.While大多数当前的模型实现了良好的效果，通过使用预定义的锚和众多的actionness，这样的方法可以与大量的输出和沉重的调整的位置和大小对应于不同的锚。相反，无锚方法更轻，摆脱了冗余的超参数，但很少受到关注。在本文中，我们提出了第一个纯粹的锚无时间定位方法，这是高效和有效的。我们的模型包括（i）一个端到端的可训练基本预测器，（ii）一个基于显着性的细化模块，用于通过新的边界池为每个建议收集更有价值的边界特征，以及（iii）几个一致性约束，以确保我们的模型可以在任意建议的情况下找到准确的边界。大量的实验表明，我们的方法击败了所有基于锚点和动作指导的方法，在THUMOS 14上具有显着的优势，实现了最先进的结果，并且在ActivityNet v1.3上具有可比性。代码可在https://github.com/TencentYoutuResearch/ActionDetection-AFSD上获得。
2021-03-24 cs.AI cs.CV
Elevating Skeleton-Based Action Recognition with Efficient Multi-Modality Self-Supervision
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人形机器人与机器人研究所）；Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究所）；School of Robotics, Hunan University（湖南大学机器人学院）
本文针对基于骨架的动作识别中多模态自监督学习的模态性能差异和模态单一问题，提出隐式知识交换模块、三种新模态以及关系型跨模态知识蒸馏框架，在提升性能的同时保持高效。
2024-01-11 cs.CV cs.MM cs.RO
M3GCLR: Multi-View Mini-Max Infinite Skeleton-Data Game Contrastive Learning For Skeleton-Based Action Recognition
M3GCLR通过多视角最小-最大无限骨架-数据游戏对比学习，提升骨架动作识别的准确性和鲁棒性。
2026-03-10 cs.AI cs.CV
Skeleton Based Action Recognition using a Stacked Denoising Autoencoder with Constraints of Privileged Information
Hefei University（合肥学院）；School of Artificial Intelligence and Big Data, Hefei University（合肥学院人工智能与大数据学院）；Institute of Applied Optimization, School of Artificial Intelligence and Big Data, Hefei University（合肥学院人工智能与大数据学院应用优化研究所）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
最近，随着具有成本效益的深度相机与实时骨架估计的可用性，在基于机器人的人类动作识别的兴趣被重新唤起。现有的骨骼表示方法大多使用关节位置或动力学模型。与以往的研究不同，我们提出了一种新的方法，称为去噪自动编码器与时间和类别的约束（DAE_CTC）}的骨架表示的骨架重建的角度进行研究。基于特权信息下学习的概念，我们在训练阶段将动作类别和时间坐标集成到堆栈去噪自动编码器中，以保留类别和时间特征，同时从骨架中学习隐藏表示。因此，我们能够提高隐藏表示的区分有效性。为了减轻由于临时不对准而引起的变化，提出了一种新的时间配准方法，称为局部扭曲序列配准（LWSR），用于配准类间和类内动作的序列。最后，我们表示的序列使用傅立叶时间金字塔（FTP）表示，并使用LWSR注册，FTP表示，和线性支持向量机（SVM）的组合进行分类。在三个动作数据集，即MSR-ARM 3D，UTKinect-Action和Florence 3D-Action上的实验结果表明，我们的建议比许多现有的方法表现得更好，并符合最先进的水平。
2020-03-12 cs.CV
Learning by Neighbor-Aware Semantics, Deciding by Open-form Flows: Towards Robust Zero-Shot Skeleton Action Recognition
The Hong Kong Polytechnic University（香港理工大学）；China University of Geoscience（中国地质大学）；Hong Kong University of Science and Technology（香港科技大学）
本文提出Flora方法，通过灵活调整文本语义和开放形式分布感知流分类器，解决零样本骨架动作识别中的语义对齐和分类器鲁棒性问题，实验验证其有效性。
2026-04-01 cs.CV
Skeleton-Split Framework using Spatial Temporal Graph Convolutional Networks for Action Recogntion
University College London（伦敦大学学院）；King Abdulaziz City for Science and Technology（阿卜杜勒阿齐兹国王科技城）
上传到互联网的视频及其相关内容的数量急剧增加。因此，需要有效的算法来分析大量的数据，吸引了大量的研究兴趣。基于人体运动的动作识别系统已被证明可以准确地解释视频内容。这项工作的目的是识别活动的日常生活中使用的ST-GCN模型，提供了四种不同的分区策略之间的比较：空间配置分区，全距离分裂，连接分裂，索引分裂。为了实现这一目标，我们提出了HMDB-51数据集上的ST-GCN框架的第一个实现。我们已经取得了48.88%的top-1的准确性，通过使用连接分裂分区的方法。通过实验模拟，我们表明，我们的建议已经取得了最高的准确性性能的UCF-101数据集使用ST-GCN框架比国家的最先进的方法。最后，采用索引分割策略，top-1的准确率达到了73.25%.
2021-11-04 cs.AI cs.CV
Accurate Anchor Free Tracking
Tongji University（同济大学）
视觉目标跟踪是计算机视觉的一个重要应用。最近，基于暹罗的跟踪器已经实现了良好的准确性。然而，大多数基于暹罗的跟踪器效率不高，因为它们穷尽地搜索潜在的对象位置以定义锚，然后对每个锚进行分类（即，限界框）。本文提出了第一个无锚连体网络（AFSN）。具体地，目标对象由限界框中心、跟踪偏移和对象大小定义。所有这三个回归的暹罗网络没有额外的分类或区域的建议，并执行一次为每个帧。我们还调整了Siamese网络的步幅和感受野，并进一步进行消融实验，以定量地说明我们的AFSN的有效性。我们使用五个最常用的基准测试来评估AFSN，并将其与每个基准测试的最佳基于锚的跟踪器进行比较。AFSN比这些最好的基于锚的跟踪器快3-425倍。AFSN在基准集OTB 2015、VOT 2015、VOT 2016、VOT 2018和TrackingNet的所有指标方面的准确度也高出5.97%至12.4%，除了SiamRPN++在VOT 2018上的预期平均重叠（EAO）方面比AFSN高出4%（但SiamRPN++慢3.9倍）。
2020-06-13 cs.CV
Shifting Perspective to See Difference: A Novel Multi-View Method for Skeleton based Action Recognition
Zhejiang University（浙江大学）；Bournemouth University（伯恩茅斯大学）
提出一种多视角骨架动作识别方法，通过SAP模块学习不同视角并利用角度表示放大细微差异，显著提升分类性能并超越现有最先进方法。
2022-09-07 cs.CV cs.LG eess.IV
iPay: Integrated Payment Action Recognition via Multimodal Networks and Adaptive Spatial Prior Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Capital District Transportation Authority（卡特里奇交通局）
本文提出iPay框架，结合多模态混合专家架构和自适应空间先验学习，提升公共交通车内支付动作识别的准确性和效率。
2026-05-11 cs.AI cs.CV
The 1st-place Solution for ECCV 2022 Multiple People Tracking in Group Dance Challenge
MEGVII Technology（旷视科技）；Shanghai Jiao Tong University（上海交通大学）
我们提出了我们的第一位解决方案，以集体舞多人跟踪挑战。根据MOTR：使用Transformer的端到端多对象跟踪，我们探索：1）检测查询作为锚点，2）跟踪作为查询去噪，3）在CrowdHuman数据集生成的伪视频片段上进行联合训练，以及4）使用YOLOX检测建议进行检测查询的锚点初始化。我们的方法在DanceTrack测试集上实现了73.4%HOTA，超过了第二名的解决方案+6.8%HOTA。
2022-10-27 cs.CV
Relaxed Transformer Decoders for Direct Action Proposal Generation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
时间动作建议生成是视频理解中一项重要且具有挑战性的任务，其目的是检测包含感兴趣动作实例的所有时间段。现有的建议生成方法一般是基于预定义的锚窗口或启发式自底向上的边界匹配策略。本文提出了一个简单而有效的框架（RTD-Net）的直接行动建议生成，通过重新利用类似的变压器架构。为了解决时间和空间之间的本质视觉差异，我们对原始的Transformer检测框架（DETR）进行了三个重要的改进。首先，为了处理视频中的慢度先验，我们用边界关注模块代替了原始的Transformer编码器，以更好地捕获长范围的时间信息。其次，由于模糊的时间边界和相对稀疏的注释，我们提出了一个宽松的匹配方案，以减轻严格的标准，单一分配到每个地面实况。最后，我们设计了一个三分支头显式预测其完整性，以进一步提高建议的信心估计。在THUMOS 14和ActivityNet-1.3基准上的大量实验证明了RTD-Net在时间动作建议生成和时间动作检测两个任务上的有效性。此外，由于其简单的设计，我们的框架是更有效的比以前的建议生成方法，没有非最大抑制后处理。代码和模型可在https://github.com/MCG-NJU/RTD-Action上获得。
2021-08-19 cs.CV
FA-RPN: Floating Region Proposals for Face Detection
我们提出了一种新的方法来生成区域的建议进行人脸检测。我们采用基于池化的方法来生成区域建议，而不是使用卷积特征图中像素的特征对锚框进行分类。然而，汇集数十万个锚，这些锚被评估用于生成建议，成为推理过程中的计算瓶颈。为此，提出了一种有效的锚放置策略，以减少锚盒的数量。然后，我们表明，我们的网络（浮动锚区域建议网络，FA-RPN）生成的建议是优于RPN生成区域建议的人脸检测。我们讨论了FA-RPN建议的几个有益功能，如迭代细化，分数锚点的放置和更改锚点，这些功能可以在不对训练模型进行任何更改的情况下启用。我们基于FA-RPN的人脸检测器在WIDER数据集上获得了89.4%的mAP，具有ResNet-50骨干。
2018-12-13 cs.CV
An Anchor-Free Region Proposal Network for Faster R-CNN based Text Detection Approaches
South China University of Technology（华南理工大学）；Microsoft Research Asia（微软亚洲研究院）
Faster R-CNN和SSD框架的锚机制被认为对场景文本检测不够有效，这可以归因于其基于锚和地面真值框之间的IoU匹配标准。为了更好地包围各种形状的场景文本实例，需要人工设计各种尺度、长宽比甚至方向的锚点，这使得基于锚点的方法复杂且效率低下。在本文中，我们提出了一种新的无锚区域建议网络（AF-RPN）来取代Faster R-CNN框架中原始的基于锚的RPN，以解决上述问题。与普通RPN和FPN-RPN相比，AF-RPN可以摆脱复杂的锚点设计，在大规模COCO-Text数据集上获得更高的召回率。由于高质量的文本提案，我们基于Faster R-CNN的两阶段文本检测方法在ICDAR-2017 MLT，ICDAR-2015和ICDAR-2013文本检测基准测试中仅使用单尺度和单模型（ResNet 50）测试时获得了最先进的结果。
2018-04-24 cs.CV
SiamCorners: Siamese Corner Networks for Visual Tracking
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
目前基于区域建议网络（RPN）的连体网络由于其良好的跟踪精度和高效性，在视觉跟踪中受到了广泛的关注。然而，RPN的设计涉及锚箱的数量、比例和长宽比的选择，这将影响模型的适用性和便利性。此外，这些锚框需要复杂的计算，例如使用地面真值边界框计算它们的交集。由于锚框相关的问题，我们提出了一个简单而有效的无锚跟踪器（命名为Siamese corner networks，SiamCorners），它是在大规模图像对上进行端到端离线训练的。具体来说，我们引入了一个修改的角池层，将目标的限界框估计转换为一对角预测（右下角和左上角）。通过将目标作为一对角来跟踪，我们避免了设计锚盒的需要。这将使整个跟踪算法比基于锚点的跟踪器更灵活和简单。在我们的网络设计中，我们进一步引入了逐层特征聚合策略，使角池模块能够预测深度网络中跟踪目标的多个角。然后，我们引入了一个新的惩罚项，用于在这些候选角点中选择最佳跟踪框。最后，SiamCorners实现了与最先进的跟踪器相媲美的实验结果，同时保持了高运行速度。特别是，SiamCorners在NFS30上实现了53.7%的AUC，在UAV 123上实现了61.4%的AUC，同时仍然以42帧每秒（FPS）运行。
2021-04-15 cs.CV
Region Proposal by Guided Anchoring
The Chinese University of Hong Kong（香港中文大学）；Amazon Rekognition（亚马逊 Rekognition）；Nanyang Technological University（南洋理工大学）
区域锚是现代目标检测技术的基石。最先进的检测器主要依赖于密集的锚定方案，其中锚点在空间域上以预定义的尺度和纵横比的集合均匀地采样。在本文中，我们将重新审视这一基础阶段。我们的研究表明，它可以做得更有效和更高效。具体来说，我们提出了一种替代方案，命名为引导锚定，它利用语义功能来指导锚定。所提出的方法联合预测感兴趣的对象的中心可能存在的位置，以及在不同的位置的尺度和长宽比。在预测的锚形状之上，我们用特征自适应模块减轻了特征不一致。我们还研究了使用高质量的建议，以提高检测性能。锚定方案可以无缝集成到建议方法和检测器中。通过引导式匹配，我们在MS COCO上实现了9.1%的高召回率，锚点比RPN基线少90%。我们还在Fast R-CNN，Faster R-CNN和RetinaNet中采用了Guided训练，分别将检测mAP提高了2.2%，2.7%和1.2%。代码将在https://github.com/open-mmlab/mmdetection上提供。
2019-04-12 cs.CV
Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对传统区域建议网络（Cascade Region Proposal Network，Cascade RPN）将\textit{heuristically defines}作为锚点，将\textit{aligns}作为特征点的局限性，提出了一种基于\textit{systematically}的区域建议网络（Cascade RPN）结构。首先，Cascade RPN不使用具有预定义比例和纵横比的多个锚点，而是依赖于每个位置的\textit{single anchor}并执行多级细化。每个阶段在定义阳性样本时逐渐更加严格，从无锚点度量开始，然后在随后的阶段中使用基于锚点的度量。其次，为了在整个阶段中实现特征和锚点之间的对齐，提出了\textit{adaptive convolution}，该方法将锚点以及图像特征作为其输入，并学习由锚点引导的采样特征。一个简单的实施两阶段级联RPN实现AR 13.4点高于传统的RPN，超过任何现有的区域建议的方法。当采用Fast R-CNN和Faster R-CNN时，Cascade RPN可以分别将检测mAP提高3.1和3.5个点。该代码可在\url{https://github.com/thangvubk/Cascade-RPN.git}上公开获取。
2019-12-04 cs.CV
Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking
Temple University（天普大学）
区域建议网络（RPN）最近已与暹罗网络相结合，用于跟踪，并显示出良好的精度和高效率。然而，以前提出的一个阶段的暹罗RPN跟踪退化存在类似的干扰和大规模的变化。针对这些问题，我们提出了一个多阶段的跟踪框架，暹罗级联RPN（C-RPN），它由一系列的RPN级联从深层次的高层到浅层次的低层次的暹罗网络。与以前的解决方案相比，C-RPN有几个优点：（1）每个RPN都是使用前一阶段RPN的输出进行训练的。这样的过程刺激了硬负采样，导致更平衡的训练样本。因此，RPN在区分困难背景（即，类似的干扰物）。(2)通过针对每个RPN的新颖的特征传递块（FTB）充分利用多级特征，进一步使用高级语义和低级空间信息来提高C-RPN的可辨别性。(3)通过多步回归，C-RPN利用前一阶段调整的锚框逐步细化每个RPN中目标的位置和形状，使定位更加准确。C-RPN使用多任务损失函数进行端到端训练。在推理中，C-RPN被部署为实时的【形】跟踪，而没有任何时间适应。在OTB-2013、OTB-2015、VOT-2016、VOT-2017、LaSOT和TrackingNet上进行的大量实验中，C-RPN始终实现最先进的结果并实时的【形】运行。
2018-12-14 cs.CV
Towards High-Quality Temporal Action Detection with Sparse Proposals
The University of Hong Kong（香港大学）；TCL Corporate Research（TCL企业研究）；HKU-TCL Joint Research Centre for Artificial Intelligence（港大-TCL人工智能联合研究中心）
时间动作检测是视频理解中一个重要而又具有挑战性的研究课题，旨在定位包含人类动作实例的时间片段并预测动作类别。以前的作品在很大程度上依赖于密集的候选人，要么通过设计不同的锚点，要么枚举视频序列上的所有边界组合;因此，它们与复杂的管道和敏感的手工设计有关。近年来，随着Transformer的兴起，基于查询的方法以其简单性和灵活性成为新兴的解决方案。然而，基于查询的方法和成熟的方法之间仍然存在性能差距。在本文中，我们确定了主要的挑战在于动作持续时间的大变量和模糊的边界短动作实例;然而，二次计算的全局注意力阻止了基于查询的方法来构建多尺度特征映射。为了实现高质量的时间动作检测，我们引入了稀疏建议与分层特征进行交互。在我们的方法中，命名为SP-100，每个建议出席的时间特征金字塔中的一个局部段功能。本地交互使得能够利用高分辨率特征来保留动作实例细节。大量的实验表明，我们的方法的有效性，特别是在高tIoU阈值。例如，在一个示例中，我们在THUMOS 14上实现了最先进的性能（mAP@0.6上为45.7%，mAP@0.7上为33.4%，mAP@Avg上为53.5%），在ActivityNet-1.3上实现了竞争性结果（mAP@Avg上为32.99%）。代码将在https://github.com/wjn922/SP-TAD上提供。
2021-09-18 cs.CV
Class-specific Anchoring Proposal for 3D Object Recognition in LIDAR and RGB Images
Purdue University（普渡大学）；Figure Eight Technology Inc（Figure Eight技术公司）
在现实生活应用的背景下，检测二维设置中的对象通常是不够的，在现实生活应用中，周围环境需要在三维（3D）中被准确地识别和定向，例如在自动驾驶车辆的情况下。因此，在三维环境中准确且有效地检测对象正变得与广泛的工业应用越来越相关，并且因此逐渐吸引研究人员的注意。然而，构建检测3D对象的系统是一项具有挑战性的任务，因为它依赖于来自不同来源的数据的多模态融合。在本文中，我们研究了锚定的影响，使用当前国家的最先进的3D对象检测器，并提出了类特定的锚定建议（CAP）的基础上，基于对象的大小和纵横比的聚类锚的策略。所提出的锚定策略显著提高了检测精度的7.19%，8.13%和8.8%的行人类的容易，中等和困难的设置，2.19%，2.17%和1.27%的汽车类的容易，中等和困难的设置和12.1%的自行车类的容易设置。我们还表明，锚定过程中的聚类也提高了区域提案网络在提出感兴趣的区域显着的性能。最后，我们为KITTI数据集中的每类对象提出了最佳聚类数，显著提高了检测模型的性能。
2019-07-22 cs.CV
Skeleton-Guided Sparse Anchors for Rotated Instance Segmentation in Cell Microscopy
Aier Institute of Digital Ophthalmology and Visual Science（爱尔数字眼科学与视觉科学研究所）；Changsha Aier Eye Hospital（长沙爱尔眼科医院）；Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）；Obstetrics and Gynecology Hospital, Institute of Reproduction and Development, Fudan University（复旦大学附属妇产科医院 生殖与发育研究院）
本文提出A2B-IS单阶段框架，利用高斯骨架图引导稀疏锚点并解耦掩码与旋转框预测，结合空洞注意力块和半监督学习，解决细胞显微镜中任意方向重叠实例的分割难题，在两大数据集上超越多数现有方法。
2026-09-09 cs.CV
Corner Proposal Network for Anchor-free, Two-stage Object Detection
University of Chinese Academy of Sciences（中国科学院大学）；Huawei Inc.（华为公司）；Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）
目标检测的目标是确定图像中目标的类别和位置。本文提出了一种新的无锚，两个阶段的框架，首先提取了一些对象的建议，通过寻找潜在的角点组合，然后分配一个类标签，每个建议由一个独立的分类阶段。我们证明了这两个阶段分别是提高查全率和查准率的有效解决方案，它们可以集成到端到端网络中。我们的方法，被称为角落建议网络（CPN），享有检测各种规模的对象的能力，也避免了被混淆的大量假阳性的建议。在MS-COCO数据集上，CPN实现了49.2%的AP，这在最先进的目标检测方法中具有竞争力。CPN也符合计算效率的场景，在26.2/43.3 FPS下实现了41.6%/39.7%的AP，超过了具有相同推理速度的大多数竞争对手。代码可在https://github.com/Duankaiwen/CPNDet上获得
2020-07-27 cs.CV
ProphNet: Efficient Agent-Centric Motion Forecasting with Anchor-Informed Proposals
QCraft（轻舟智航）
本文提出ProphNet，一种基于锚点告知提议的以智能体为中心的运动预测模型，通过模态无关策略统一编码输入并融合目标导向锚点生成多模态轨迹，在保持高预测精度的同时实现了场景中心级别的低推理延迟。
2023-06-28 cs.CV cs.RO
Anchor-free Oriented Proposal Generator for Object Detection
Northwestern Polytechnical University（西北工业大学）；Zhengzhou Institute of Surveying and Mapping（郑州测绘学院）
有向目标检测是遥感图像判读中一项具有实际意义和挑战性的任务。目前，定向检测器多以水平盒为中介，由水平盒派生定向盒。然而，水平的盒子倾向于得到小的交集超过工会（IoU）与地面真理，这可能会有一些不良的影响，如引入冗余噪声，地面真理不匹配，减损检测器的鲁棒性等。在本文中，我们提出了一种新的无锚定向建议生成器（AOPG），放弃了水平盒相关的操作从网络架构。AOPG首先通过粗定位模块（CLM）以无锚的方式产生粗定向框，然后将其细化为高质量的定向建议。在AOPG之后，我们应用Fast R-CNN头来产生最终的检测结果。此外，大规模数据集的缺乏也阻碍了面向目标检测的发展。为了缓解数据不足的问题，我们在DIOR数据集的基础上发布了一个新的数据集，并将其命名为DIOR-R。大量的实验证明了AOPG的有效性。特别是，在没有花里胡哨的情况下，我们在DIOR-R，DOTA和HRSC 2016数据集上分别实现了64.41%，75.24%和96.22%mAP的准确率。代码和型号可在https://github.com/jbwang1997/AOPG上获得。
2022-04-26 cs.CV
Scene Text Detection with Selected Anchor
Wuhan University of Technology（武汉理工大学）
场景文本检测经常使用密集锚定方案的对象建议技术来实现高召回率。该方法在精度上有了很大的提高，但在计算搜索、回归和分类等方面存在一定的浪费。在本文中，我们提出了一个基于锚点选择的区域建议网络（AS-RPN）使用有效的选择锚点，而不是密集的锚点来提取文本建议。锚点的中心、尺度、长宽比和方向是可学习的，而不是固定的，这导致了高召回率和大大减少的锚点数量。通过在Faster RCNN中替换基于锚点的RPN，基于AS-RPN的Faster RCNN可以在标准基准测试中实现与以前最先进的文本检测方法相当的性能，包括COCO-Text，ICDAR 2013，ICDAR 2015和MSRA-TD 500，仅使用单尺度和单模型（ResNet 50）测试。
2020-08-19 cs.CV cs.LG eess.IV
Skeleton Split Strategies for Spatial Temporal Graph Convolution Networks
University College London（伦敦大学学院）
人体的骨架表示已被证明是有效的这项任务。骨架以图形形式呈现。然而，图的拓扑结构不像基于欧几里得的数据那样结构化。因此，提出了一套对骨架图进行卷积运算的新方法。我们的建议是基于Yan等人提出的ST-GCN框架。[1]。在这项研究中，我们提出了一套改进的标签映射方法的ST-GCN框架。我们介绍了三个分裂过程（全距离分裂，连接分裂和索引分裂）作为卷积操作的替代方法。为了评估性能，本研究中的实验使用两个基准数据集进行了训练：NTU-RGB+D和Kinetics。我们的结果表明，我们所有的分裂过程优于以前的分区策略，在训练过程中更稳定，而不使用边缘重要性加权额外的训练参数。因此，我们的建议可以提供一个更现实的解决方案，为实时应用集中在日常生活识别系统的活动，室内环境。
2021-08-03 cs.AI cs.CV
RRPN++: Guidance Towards More Accurate Scene Text Detection
RRPN是一种优秀的场景文本检测方法，但人工设计的锚点和粗糙的建议细化使其性能仍然很不完美。在本文中，我们提出了RRPN++开发的RRPN为基础的模型的潜力，通过几个改进。在RRPN的基础上，提出了无锚金字塔建议网络（APPN）来生成第一阶段建议，该网络采用无锚设计来减少建议数量，加快推理速度。在我们的第二阶段，检测分支和识别分支都被合并来执行多任务学习。在推理阶段，检测分支输出建议细化，识别分支预测细化文本区域的转录本。此外，识别分支还通过联合过滤策略帮助对建议进行重新评分并消除假阳性建议。通过这些增强功能，与RRPN相比，我们通过ICDAR 2015中F测量的$6\%$提高了检测结果。在其他基准上进行的实验也说明了我们的模型的优越性能和效率。
2020-09-28 cs.CV
Siamese Object Tracking for Vision-Based UAM Approaching with Pairwise Scale-Channel Attention
Tongji University（同济大学）；Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
虽然无人机的操纵已经得到了广泛的研究，基于视觉的无人机接近，这是后续操作的关键，一般缺乏有效的设计。视觉UAM方法的关键在于对象跟踪，而当前UAM跟踪通常依赖于昂贵的基于模型的方法。此外，UAM方法往往面临更严重的目标尺度变化问题，这使得它不适合直接采用最先进的无模型Siamese为基础的方法从目标跟踪领域。为了解决上述问题，这项工作提出了一种新的连体网络与成对尺度通道注意力（SiamSA）的基于视觉的UAM接近。具体来说，SiamSA由成对尺度通道注意力网络（PSAN）和尺度感知锚点建议网络（SA-APN）组成。PSAN获取有价值的尺度信息用于特征处理，而SA-APN主要将尺度感知附加到锚点建议中。此外，一个新的跟踪基准UAM接近，即UAMT 100，被记录在一个飞行的UAM平台上的35 K帧进行评估。在基准测试和实际测试上的详尽实验验证了SiamSA的效率和实用性，具有良好的速度。代码和UAMT 100基准现在都可以在https://github.com/vision4robotics/SiamSA上获得。
2022-11-26 cs.CV cs.RO
CPN: Complementary Proposal Network for Unconstrained Text Detection
Shopee Pte. Ltd.（Shopee 私人有限公司）
针对场景文本检测中基于分割和基于锚框方法各自的优缺点，提出互补候选框网络（CPN），通过整合语义与几何候选框及交错特征注意力模块，在相当的计算成本下显著提升了三个基准上的检测性能。
2024-02-18 cs.CV
Double Anchor R-CNN for Human Detection in a Crowd
Megvii Inc. (Face++)（旷视科技（Face++））；Tsinghua University（清华大学）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University（浙江大学）
由于遮挡模式的不确定性，在人群中检测人是一个具有挑战性的问题。在本文中，我们提出了利用头部来处理人群遮挡问题的人体检测。双锚RPN用于成对捕获身体和头部。一个建议交叉策略被引入到生成高质量的建议，这两个部分作为一个训练增强。耦合的建议的功能，然后有效地聚合，以利用固有的关系。最后，开发了一个联合NMS模块，用于鲁棒的后处理。该框架被称为Double Anchor R-CNN，能够在拥挤的场景中同时检测每个人的身体和头部。国家的最先进的结果报告具有挑战性的人类检测数据集。我们的模型在CrowdHuman上产生的对数平均未命中率（MR）为51.79pp，在COCOPersons~（拥挤子数据集）上为55.01pp，在CrowdPose~（拥挤子数据集）上为40.02pp，分别比以前的基线检测器高出3.57pp，3.82pp和4.24pp。我们希望我们简单而有效的方法将作为一个坚实的基线，并有助于缓解未来拥挤的人体检测研究。
2019-09-22 cs.CV
Weakly Supervised Temporal Sentence Grounding via Positive Sample Mining
University of Science and Technology of China（中国科学技术大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Beihang University（北京航空航天大学）；State Key Laboratory for Novel Software Technology（国家软件创新科技重点实验室）；Nanjing University（南京大学）；Shenzhen Key Laboratory of Computer Vision and Pattern Recognition（深圳计算机视觉与模式识别重点实验室）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）；Chinese Academy of Sciences（中国科学院）
针对弱监督时序句子定位中相似样本被误作负样本的问题，提出 PSM 框架挖掘语义相似正样本，并结合对比损失与排序损失增强判别监督。
2025-05-10 cs.CV
Proposal-free One-stage Referring Expression via Grid-Word Cross-Attention
Northwestern Polytechnical University（西北工业大学）；University of Adelaide（阿德莱德大学）
指称表达理解（REC）是视觉问答等视觉和语言任务的关键步骤，已成为视觉推理中最重要的任务之一。然而，由于两阶段方法计算量大，不可避免的误差积累，以及一阶段方法需要依赖大量的超参数（如锚点）来生成限界框，使得该方法在许多后续任务中没有得到广泛应用。在本文中，我们提出了一个无建议的一阶段（PFOS）模型，能够回归的区域的兴趣从图像，基于文本查询，在一个端到端的方式。而不是使用主导锚提案的时尚，我们直接采取密集的网格图像作为输入的交叉注意力Transformer，学习网格词的对应关系。直接从图像预测最终的限界框，而不像以前的方法那样需要耗时的锚点选择过程。我们的模型在四个引用表达式数据集上实现了最先进的性能，与以前最好的一阶段和两阶段方法相比，具有更高的效率。
2021-05-05 cs.CV
TraMNet - Transition Matrix Network for Efficient Action Tube Proposals
Oxford Brookes University（牛津布鲁克斯大学）
当前最先进的方法通过将2D锚扩展到帧堆栈上的3D长方体建议来解决时空动作定位，以生成称为\textit{action micro-tubes}的时间连接的边界框的集合。然而，他们没有考虑到，潜在的锚提议假设也应该从一帧到另一帧移动（过渡），就像演员或摄像机一样。假设我们评估每个帧中的$n$ 2D锚点，则对于$f$连续帧的序列，从每个2D锚点到下一个的可能转换的数量是$O(n^f)$的数量级，即使对于小的$f$值也是昂贵的。为了避免这个问题，我们引入了一个基于转换矩阵的网络（TraMNet），它依赖于计算锚点建议之间的转换概率，同时最大化它们与跨帧的地面真值边界框的重叠，并通过转换阈值强制稀疏。由于所得到的转移矩阵是稀疏和随机的，这将建议假设搜索空间从$O(n^f)$减少到阈值化矩阵的基数。在训练时，转换特定于特征图的单元位置，使得稀疏（有效）转换矩阵用于训练网络。在测试时，可以通过降低阈值或通过向其添加源自任何单元位置的所有相对转换来获得更密集的转换矩阵，从而允许网络处理测试数据中可能不存在于训练数据中的转换，并使检测不变性。最后，我们证明了我们的网络可以处理稀疏注释，例如DALY数据集中可用的注释。我们报告了对DALY，UCF 101 -24和Transformed-UCF 101 -24数据集的广泛实验，以支持我们的主张。
2018-08-01 cs.CV cs.RO eess.IV
Boundary Proposal Network for Two-Stage Natural Language Video Localization
Zhejiang University（浙江大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Rochester（罗切斯特大学）；National University of Singapore（新加坡国立大学）；Zhejiang University of Science and Technology（浙江科技大学）
我们的目标是解决自然语言视频定位（NLVL）的问题-本地化的视频片段对应于一个自然语言描述在一个长的和未修剪的视频。现有技术的NLVL方法几乎是单阶段方式，其通常可以分为两类：1）基于锚点的方法：其首先预定义一系列视频段候选（例如，通过滑动窗口），然后对每个候选进行分类; 2）无锚方法：它直接预测每个视频帧作为正段内的边界或中间帧的概率。然而，这两种单阶段方法都有固有的缺点：基于锚点的方法容易受到启发式规则的影响，进一步限制了处理不同长度视频的能力。而无锚点方法未能利用段级交互，从而实现较差的结果。在本文中，我们提出了一种新的边界建议网络（BPNet），一个通用的两阶段框架，摆脱了上述问题。具体来说，在第一阶段，BPNet利用无锚模型生成一组具有边界的高质量候选视频片段。在第二阶段中，提出了一个视觉语言融合层，以联合建模的候选人和语言查询之间的多模态交互，其次是匹配分数评级层，输出每个候选人的对齐分数。我们在三个具有挑战性的NLVL基准（即，Charades-STA、TACoS和ActivityNet-Captions）。对这些数据集的广泛实验和消融研究表明，BPNet的性能优于最先进的方法。
2022-11-02 cs.CV
Shape Anchor Guided Holistic Indoor Scene Understanding
Wuhan University（武汉大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出形状锚点引导学习策略AncLearn，通过动态贴合实例表面的锚点减少检测与重建中的噪声和离群点，并嵌入AncRec系统，在ScanNetv2上取得3D检测、布局估计和形状重建的最优性能。
2023-09-20 cs.CV
Bounding Maps for Universal Lesion Detection
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
计算机断层扫描中的通用病变检测（ULD）在计算机辅助诊断系统中起着至关重要的作用。许多检测方法使用可能的边界框（或锚点）作为建议，实现了ULD的出色结果。然而，经验证据表明，使用基于锚点的建议会导致较高的假阳性（FP）率。在本文中，我们提出了一个盒映射方法来表示一个限界框与三个软连续映射的边界在x，y和xy方向。边界映射（BM）用于两阶段基于锚的ULD框架，以降低FP率。在区域提议网络的第一阶段中，我们用对应的xy方向BM替换锚点的尖锐的二进制地面实况标签，因此现在对正锚点进行分级。在第二阶段，我们添加了一个分支，它在x和y方向上进行连续的BM，以额外监督详细的位置。我们的方法，当嵌入到三个最先进的两阶段基于锚点的检测方法中时，带来了免费的检测精度提高（例如，4次FP时灵敏度提高1.68%至3.85%），无需额外的推理时间。
2020-07-18 cs.CV cs.LG eess.IV
Region Proposal Rectification Towards Robust Instance Segmentation of Biological Images
Rutgers University（罗格斯大学）；Yale University（耶鲁大学）；SenseBrain Research（SenseBrain研究院）
自顶向下的实例分割框架在目标检测中显示了其相对于自底向上框架的优越性。虽然自顶向下的实例分割在解决过度分割方面是有效的，但它存在过度裁剪问题。然而，一个完整的分割掩模是至关重要的生物图像分析，因为它提供了重要的形态学属性，如形状和体积。在本文中，我们提出了一个区域建议纠正（RPR）模块来解决这个具有挑战性的不完整分割问题。特别是，我们提供了一个渐进的ROIAlign模块，逐步引入邻居信息到一系列的ROI。ROI特征被馈送到一个专注的前馈网络（FFN），用于建议框回归。与额外的邻居信息，建议RPR模块显示出显着的改善，在纠正区域建议的位置，从而表现出良好的实例分割性能的三个生物图像数据集相比，国家的最先进的基线方法。实验结果表明，所提出的RPR模块在基于锚点和无锚点的自顶向下实例分割方法中都是有效的，表明所提出的方法可以应用于一般自顶向下的生物图像实例分割。
2022-11-03 cs.CV
Isolated Sign Language Recognition based on Tree Structure Skeleton Images
Tecnologico de Monterrey（蒙特雷科技大学）；Universidad Peruana Cayetano Heredia（秘鲁卡耶塔诺·埃雷迪亚大学）
本文提出将树结构骨架图像（TSSI）作为时空骨架表示输入DenseNet-121进行孤立手语识别，在WLASL、AUTSL和LSM数据集上取得优于或媲美现有基于骨架及RGB模型的结果。
2023-04-10 cs.CV
Estimation of Reliable Proposal Quality for Temporal Action Detection
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
时间动作检测的目的是在未经裁剪的视频中定位和识别动作。无锚点方法已经取得了显著的进展，它主要将锚点划分为两个任务：分类和定位。本文揭示了这两项任务之间的时间错位阻碍了进一步的进展。为了解决这个问题，我们提出了一种新的方法，使洞察时刻和区域的观点，同时通过获得可靠的建议质量，以调整这两个任务。从瞬时角度出发，设计了边界评价模块（BEM），该模块从局部外观和运动演化两个方面评价边界质量，并采用多尺度方式处理不同的动作持续时间。对于区域的角度来看，我们引入了区域评估模块（REM），它使用了一种新的和有效的采样方法的建议特征表示包含更多的上下文信息相比，点特征，以细化类别得分和建议的边界。所提出的边界评估模块和区域评估模块（BREM）是通用的，它们可以很容易地与其他无锚点插值方法集成，以实现更好的性能。在我们的实验中，BREM与两种不同的框架相结合，并将THUMOS 14的性能分别提高了3.6%和1.0%，达到了新的最先进水平（平均63.6% mAP）。同时，随着BREM的不断改进，ActivityNet-1.3的平均mAP达到了36.2%的竞争结果。代码发布于https://github.com/Junshan233/BREM。
2022-11-21 cs.CV
SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild
University of Verona（维罗纳大学）；Università di Modena e Reggio Emilia（摩德纳雷焦艾米利亚大学）；University of Central Florida（中佛罗里达大学）；University of Science, Ho Chi Minh City（胡志明市科学大学）
手势识别是一种基本工具，可以在各种应用场景中实现新颖的交互模式，如混合现实环境，非接触式公共信息亭，娱乐系统等。手势的识别现在可以直接从由低成本跟踪器（Ultraleap）和MR头戴式耳机（Hololens，Oculus Quest）提供的软件或视频处理软件模块（例如Google Mediapipe）估计的手骨架流执行。尽管最近在骨架的手势和动作识别方面取得了进展，但目前还不清楚当前最先进的技术在现实世界中识别大量异构手势的情况下的表现如何，因为许多基准测试不测试在线识别并且使用有限的字典。这激发了SHREC 2021的提案：追踪野外基于伊顿的手势识别。对于这次比赛，我们创建了一个具有不同类型和持续时间的异构手势的新颖数据集。这些手势必须在在线识别场景中的序列中找到。本文介绍了比赛结果，展示了四个研究小组在这项具有挑战性的任务上提出的技术与简单基线方法相比的性能。
2021-06-21 cs.CV cs.LG
Zoom Out-and-In Network with Map Attention Decision for Region Proposal and Object Detection
The Chinese University of Hong Kong（香港中文大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一个缩小和放大网络生成对象的建议。一个关键的观察结果是，很难用同一组特征对不同尺寸的锚钉进行分类。不同大小的盒子应该根据网络内的不同深度相应地放置：高分辨率层上的较小盒子具有较小的步幅，而低分辨率层上的较大盒子具有较大的步幅。受conv/deconv结构的启发，我们充分利用两个特征映射流的低级别局部细节和高级别区域语义，它们是互补的，以识别图像中的对象。进一步提出了一个映射注意决策（MAD）单元，以积极地搜索两个流之间的神经元激活，并参加最有贡献的特征学习的最终损失。该单元用作决策器，以自适应地激活沿着某些通道的映射，其唯一目的是优化整体训练损失。MAD的一个优点是，在每个特征通道上执行的学习权重是基于输入上下文实时预测的，这比卷积核的固定执行更合适。在PASCAL VOC 2007、ImageNet DET、MS COCO三个数据集上的实验结果表明，该算法在区域建议的平均查全率（AR）和目标检测的平均查准率（AP）方面优于其他现有算法.
2018-06-08 cs.CV
DisARM: Displacement Aware Relation Module for 3D Detection
National University of Defense Technology（国防科技大学）
我们介绍了位移感知关系模块（DisARM），一种新的神经网络模块，用于提高点云场景中的三维目标检测的性能。我们的方法的核心思想是，上下文信息是至关重要的，告诉差异时，实例几何不完整或无特征。我们发现，建议之间的关系提供了一个很好的表示来描述的背景。然而，采用所有对象或补丁建议之间的关系进行检测是低效的，并且局部和全局关系的不平衡组合会带来额外的噪声，可能会误导训练。我们发现，只使用最具代表性的关系或锚点之间的关系进行训练，而不是使用所有关系，可以显着提高检测性能。一个好的锚应该是语义感知的，没有歧义，并且独立于其他锚。为了找到锚，我们首先执行一个初步的关系锚模块与对象感知的采样方法，然后设计一个基于位移的模块，用于权衡关系的重要性，更好地利用上下文信息。当插入到最先进的检测器中时，这种轻量级的关系模块可以显著提高对象实例检测的准确性。对真实场景的公共基准测试的评估表明，我们的方法在SUN RGB-D和ScanNet V2上都达到了最先进的性能。
2022-03-02 cs.CV cs.GR
Accurate Temporal Action Proposal Generation with Relation-Aware Pyramid Network
CloudWalk Technology Co., Ltd（云从科技股份有限公司）；Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
准确的时间动作建议在从未修剪的视频中检测动作方面起着重要作用。现有的方法在捕获全局上下文信息和同时定位具有不同持续时间的动作方面存在困难。为此，我们提出了一个可感知的金字塔网络（RapNet）来生成高度准确的时间行动建议。在RapNet中，引入了一种新的关系感知模块，利用局部特征之间的双向长程关系进行上下文提取。这个嵌入式模块增强了RapNet在其多粒度的时间建议生成能力，给定预定义的锚框。我们进一步引入了一个两阶段的调整计划，以细化建议的边界，并衡量他们的信心，在包含一个动作与片段级的动作。在具有挑战性的ActivityNet和THUMOS 14基准测试上进行的大量实验表明，我们的RapNet比现有的最先进的方法生成更精确的建议。
2020-03-09 cs.CV
SRF-Net: Selective Receptive Field Network for Anchor-Free Temporal Action Detection
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
时间动作检测是一个具有挑战性的任务，其目的是在时间上定位和识别未修剪的视频中的人的动作。当前主流的一阶段的锚定方法依赖于预定义的锚定，其中的位置和规模的动作实例是由设计师设置的本地化和分类的行动建议。显然，这种基于锚点的训练方法限制了其泛化能力，并且当视频包含丰富的动作变化时会导致性能下降。在这项研究中，我们探讨删除的要求，预先定义的锚的锚的方法。提出了一种新的分类器模型--选择性感受场网络（SRF-Net），该模型可以直接在特征图中估计每个时间位置的位置偏移量和分类得分，并以端到端的方式训练SRF-Net。创新性地，专门设计了称为选择性感受野卷积（SRFC）的构建块，其能够根据特征图中每个时间位置处的输入信息的多个尺度自适应地调整其感受野大小。在THUMOS 14数据集上进行了广泛的实验，并报告了与最先进的方法相比具有优越性的结果。
2021-06-29 cs.CV
ASAP-NMS: Accelerating Non-Maximum Suppression Using Spatially Aware Priors
Cornell University（康奈尔大学）；University of Maryland（马里兰大学）；Axogyan AI
广泛采用的非最大抑制（或贪婪NMS）的顺序变体是对象检测管道的关键模块。不幸的是，对于两级/多级检测器的区域建议阶段，NMS由于其顺序性质而成为延迟瓶颈。在本文中，我们仔细分析了Greedy-NMS迭代，发现大部分计算都浪费在比较已经很遥远的提议上，并且彼此抑制的机会很小。我们解决这个问题，比较只有那些建议，从附近的锚。锚格的不变性属性提供了一个查找表的生成，这提供了一个有效的访问附近的建议，在NMS期间。这导致了加速NMS算法，该算法利用空间感知先验或ASAP-NMS，并将NMS步骤的延迟从13.6ms提高到1.2ms，而不会牺牲COCO和VOC数据集上最先进的两级检测器的准确性。重要的是，ASAP-NMS与图像分辨率无关，可以在推理过程中用作简单的插入式模块。仅在运行时使用ASAP-NMS，我们在具有V100 GPU的COCO数据集上获得44.2\%@25Hz的mAP。
2020-08-21 cs.CV
SPGroup3D: Superpoint Grouping Network for Indoor 3D Object Detection
Nanjing University of Science and Technology（南京理工大学）；Northwestern Polytechnical University（西北工业大学）
提出SPGroup3D，一种基于超点分组的室内无锚单阶段3D物体检测网络，通过几何感知投票和超点-体素融合提升提议质量，在多个基准上达到最先进性能。
2023-12-21 cs.CV
RepPoints: Point Set Representation for Object Detection
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
现代的目标检测器在很大程度上依赖于矩形边界框，如锚，建议和最终预测，以表示在各个识别阶段的对象。限界框使用方便，但仅提供对象的粗略定位，并导致对象特征的相应粗略提取。在本文中，我们提出了\textbf{RepPoints}（代表点），一个新的更精细的表示对象作为一组样本点的定位和识别有用。给定用于训练的地面实况定位和识别目标，RepPoint学习以限制对象的空间范围并指示语义上重要的局部区域的方式自动排列自己。此外，它们不需要使用锚来对边界框的空间进行采样。我们表明，基于RepPoints的无锚对象检测器可以与最先进的基于锚的检测方法一样有效，使用ResNet-101模型，在COCO测试开发检测基准上具有46.5 AP和67.4 $AP_{50}$。代码可在https://github.com/microsoft/RepPoints上获得。
2019-08-19 cs.CV
Revisiting the Current Frame: Physical-Trace-Guided Network Output Correction for Video Restoration
本研究提出模型无关框架ANCHOR，通过物理轨迹估计空间置信场以自适应平衡修复提案与原始观测，在高动态范围视频重建和去雨任务中提升了多种先进修复模型的性能。
2026-08-11 cs.CV
