Hierarchical Feature Aggregation Networks for Video Action Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Computer Vision Center（计算机视觉中心）；University of Barcelona（巴塞罗那大学）
大多数动作识别方法基于a）使用平均池化、最大池化或RNN等的帧级CNN特征的后期聚合，或b）经由3D卷积的时空聚合。第一个假设帧之间的独立性达到一定程度的抽象，然后执行更高级别的聚合，而第二个提取的时空特征分组帧作为早期融合。在本文中，我们探索这两者之间的空间，让相邻的功能分支相互作用，因为它们发展到更高层次的表示。在层次结构的每个级别上，特征差异和平均之间发生相互作用，并且它具有卷积结构，该结构学习在本地选择适当的模式，而不是以前的作品，这些作品将全局模式之一（例如特征差异）作为设计选择。我们进一步将这种相互作用约束为保守的，例如，一个分支中的局部特征减法通过另一个分支上的加法来补偿，从而保留总特征流。我们评估了我们的建议在一些现有的模型，即TSN，TRN和ECO的性能，以显示其灵活性和有效性，在提高动作识别性能。
2019-05-29 cs.CV
DeepFH Segmentations for Superpixel-based Object Proposal Refinement
University of Hamburg（汉堡大学）
类无关对象建议生成是许多目标检测流水线中重要的第一步。然而，现代系统的对象建议在分割方面是相当不准确的，并且仅粗略地遵守对象边界。由于典型的细化步骤通常不适用于成千上万的建议，我们提出了一个基于超像素的细化系统的对象建议生成系统。利用深度特征上的精确超像素和超像素池，我们在端到端的学习系统中改进了初始的粗略建议。此外，我们提出了一种新的DeepFH分割，它丰富了经典的Felzenszwalb和Huttenlocher（FH）分割，具有深度特征，从而改善了分割结果和更好的对象建议细化。在带有LVIS注释的COCO数据集上，我们证明了我们基于DeepFH超像素的改进优于最先进的方法，并导致更精确的对象建议。
2021-08-07 cs.CV
Siamese Anchor Proposal Network for High-Speed Aerial Tracking
Tongji University（同济大学）；New York University（纽约大学）
在视觉跟踪领域，大多数基于深度学习的跟踪器都强调准确性，但忽略了效率。因此，它们在移动平台（如无人机（UAV））上的实际部署受到阻碍。在这项工作中，提出了一种新的两阶段暹罗网络为基础的方法，空中跟踪，\textit{i.e.}，阶段1的高质量的锚建议的产生，阶段2细化锚建议。与基于锚点的方法具有许多预定义的固定大小的锚点不同，我们的无先验方法可以：1）根据自适应锚点生成，在复杂场景下提高对不同大小的不同对象的鲁棒性和泛化能力，特别是对小的，遮挡的和快速移动的对象，2）由于锚点数量的大幅减少，使计算变得可行。此外，与无锚方法相比，我们的框架由于在第2阶段的细化而具有更好的性能。在三个基准上的综合实验证明了我们的方法的优越性能，速度约为200帧/秒。
2021-07-30 cs.CV
Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanchang Hangkong University（南昌航空大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
图卷积网络（GCN）在基于卷积的动作识别中得到了广泛的应用并取得了显著的效果。在GCN中，图的拓扑结构支配着特征聚合，因此是提取代表性特征的关键。在这项工作中，我们提出了一种新的逐层拓扑细化图卷积（CTR-GC），动态学习不同的拓扑结构，并有效地聚合联合功能在不同的通道，基于卷积的动作识别。所提出的CTR-GC通过学习共享拓扑作为所有通道的通用先验并使用每个通道的通道特定相关性对其进行细化来对通道拓扑进行建模。我们的改进方法引入了一些额外的参数，并显着降低了建模通道的拓扑结构的难度。此外，通过将图卷积转化为统一的形式，我们发现CTR-GC放松了图卷积的严格约束，从而具有更强的表示能力。结合CTR-GC与时间建模模块，我们开发了一个强大的图卷积网络命名为CTR-GCN，显着优于国家的最先进的方法在NTU RGB+D，NTU RGB+D 120，和NW-UCLA数据集。
2021-08-23 cs.CV
3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation
RWTH Aachen University（亚琛工业大学）；Google（谷歌）；Technical University Munich（慕尼黑工业大学）
提出了一种基于三维点云的实例分割方法3D-MPA。给定一个输入点云，我们提出了一个以对象为中心的方法，每个点投票的对象中心。我们从预测的对象中心采样对象建议。然后，我们从投票支持同一对象中心的分组点特征中学习提案特征。图卷积网络引入了建议间关系，除了较低级别的点特征之外，还提供了更高级别的特征学习。每个建议包括一个语义标签，一组相关的点，我们定义了一个前景-背景掩码，对象得分和聚合功能。以前的工作通常执行非最大抑制（NMS）的建议，以获得最终的目标检测或语义实例。然而，NMS可以丢弃潜在正确的预测。相反，我们的方法保留了所有建议，并根据学习到的聚合特性将它们分组在一起。我们表明，分组建议改善了NMS和优于以前的国家的最先进的方法的任务上的三维目标检测和语义实例分割的ScanNetV 2基准和S3 DIS数据集。
2020-03-30 cs.CV
Superpixel-based Refinement for Object Proposal Generation
University of Hamburg（汉堡大学）
对象的精确分割是类无关对象建议生成或实例分割等任务中的重要问题。由于CNN中固有的下采样，基于深度学习的系统通常基于粗略的特征图生成对象的分割。这导致分割边界不能很好地粘附到图像中的对象边界。为了解决这个问题，我们引入了一个新的基于超像素的细化方法的最先进的对象建议系统AttentionMask的顶部。该细化利用用于特征提取的超像素池化和新颖的超像素分类器来确定高精度超像素是否属于对象。我们的实验表明，与原始AttentionMask相比，平均召回率提高了26.0%。此外，分割的定性和定量分析揭示了与各种基于深度学习的最先进的对象提议生成系统相比，所提出的改进在边界粘附方面的显著改进。
2021-01-12 cs.CV
DCAN: Improving Temporal Action Detection via Dual Context Aggregation
State Key Lab for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
时间动作检测的目的是定位视频中动作的边界。目前的方法基于边界匹配枚举和计算所有可能的边界匹配生成建议。然而，这些方法忽略了边界预测中的长程上下文聚合。同时，由于相邻匹配的语义相似，密集生成的匹配的局部语义聚集不能提高语义丰富度和区分度。在本文中，我们提出了端到端的建议生成方法命名为双上下文聚合网络（DCAN）聚合上下文的两个层次上，即边界层和建议的水平，产生高质量的行动建议，从而提高性能的时间动作检测。具体而言，我们设计了多路径时间上下文聚合（MTCA），以实现平滑的边界级上下文聚合和精确的边界评估。对于匹配评估，Coarse-to-fine Matching（CFM）被设计为在建议级别上聚合上下文，并从粗到细细化匹配图。我们在ActivityNet v1.3和THUMOS-14上进行了广泛的实验。DCAN在ActivityNet v1.3上的平均mAP为35.39%，在THUMOS-14上的IoU@0.5时达到mAP 54.14%，这表明DCAN可以生成高质量的提案并实现最先进的性能。我们在https://github.com/cg1177/DCAN上发布代码。
2021-12-07 cs.CV
Feature Aggregation and Refinement Network for 2D AnatomicalLandmark Detection
University of Electronic Science and Technology of China（电子科技大学）
解剖标志的定位对于临床诊断、治疗计划和研究是必不可少的。在本文中，我们提出了一种新的深度网络，命名为特征聚合和细化网络（FARNet），用于自动检测解剖标志。为了缓解医学领域训练数据有限的问题，我们的网络采用了在自然图像上预训练的深度网络作为骨干网络，并对几种流行的网络进行了比较。我们的FARNet还包括用于多尺度特征融合的多尺度特征聚合模块和用于高分辨率热图回归的特征细化模块。两个模块均采用由粗到细的监管方式，便于端到端的培训。我们进一步提出了一种新的损失函数，称为指数加权中心损失，用于精确的热图回归，该损失集中在地标附近的像素的损失，并抑制来自远处的像素的损失。我们的网络已经在三个公开可用的解剖标志检测数据集上进行了评估，包括头影测量X线照片，手部X线照片和脊柱X线照片，并在所有三个数据集上实现了最先进的性能。代码可在：\url{https://github.com/JuvenileInWind/FARNet}获得
2021-11-01 cs.CV
DiffRef3D: A Diffusion-based Proposal Refinement Framework for 3D Object Detection
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出DiffRef3D框架，首次将扩散过程应用于点云3D目标检测，将两阶段检测器的提案优化建模为条件扩散过程，通过迭代去噪生成准确边界框，在KITTI基准上显著提升了现有模型性能。
2023-10-25 cs.CV
Joint 3D Proposal Generation and Object Detection from View Aggregation
University of Waterloo（滑铁卢大学）
我们提出了AVOD，一个聚合视图目标检测网络的自动驾驶场景。所提出的神经网络架构使用激光雷达点云和RGB图像来生成由两个子网络共享的特征：区域建议网络（RPN）和第二阶段检测器网络。建议的RPN使用一种新的架构，能够执行多模态特征融合的高分辨率特征图，以生成可靠的3D对象建议，在道路场景中的多个对象类。使用这些建议，第二阶段检测网络执行精确定向的3D限界框回归和类别分类，以预测3D空间中对象的范围、方向和分类。我们提出的架构在KITTI 3D目标检测基准测试中产生了最先进的结果，同时以低内存占用实时的运行，使其成为部署在自动驾驶汽车上的合适候选者。代码在：https://github.com/kujason/avod
2018-07-12 cs.CV
4D-StOP: Panoptic Segmentation of 4D LiDAR using Spatio-temporal Object Proposal Generation and Aggregation
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）
在这项工作中，我们提出了一种新的范例，称为4D-StOP，以解决4D Panoptic LiDAR分割的任务。4D-StOP首先使用基于投票的中心预测生成时空建议，其中4D体积中的每个点投票对应的中心。这些tracklet建议使用学习的几何特征进一步聚合。轨迹片段聚合方法有效地在整个时空体积上生成视频级4D场景表示。这与使用由高斯概率分布表示的时空嵌入的现有端到端可训练的最先进方法形成对比。与使用高斯概率分布对整个4D体积进行建模相比，我们基于投票的tracklet生成方法以及基于几何特征的聚合生成了显着改善的全景LiDAR分割质量。当应用于SemanticKITTI测试数据集时，4D-StOP达到了新的最先进水平，LSTQ得分为63.9，与当前性能最好的端到端可训练方法相比，这是一个很大的改进（+7%）。代码和预训练模型可在https://github.com/LarsKreuzberg/4D-StOP上获得。
2022-09-29 cs.CV
PReMVOS: Proposal-generation, Refinement and Merging for Video Object Segmentation
RWTH Aachen University（亚琛工业大学）
我们解决了半监督视频对象分割，自动生成准确和一致的像素掩模的视频序列中的对象，给定的第一帧地面实况注释的任务。为了实现这一目标，我们提出了PReMVOS算法（建议生成，细化和合并视频对象分割）。我们的方法将这个问题分为两个步骤，首先为每个视频帧生成一组准确的对象分割掩码建议，然后选择这些建议并将其合并为视频序列上准确且时间上一致的像素级对象轨迹，其目的是专门解决跨视频序列分割多个对象所涉及的困难挑战。我们的方法超越了DAVIS 2017视频对象分割基准测试的所有先前最先进的结果，在测试开发数据集上的J & F平均得分为71.6，并在DAVIS 2018视频对象分割挑战赛和YouTube-VOS第一次大规模视频对象分割挑战赛中获得第一名。
2018-11-03 cs.CV
R-Pred: Two-Stage Motion Prediction Via Tube-Query Attention-Based Trajectory Refinement
Hanyang University（汉阳大学）；Qualcomm（高通公司）
提出两阶段运动预测方法 R-Pred，通过初始轨迹提议与融合 TQSA、PIA 的轨迹精修网络利用场景和交互上下文，在 Argoverse、nuScenes 上显著优于单阶段基线。
2023-07-14 cs.CV
Pose Proposal Critic: Robust Pose Refinement by Learning Reprojection Errors
Chalmers University of Technology（查尔姆斯理工大学）
近年来，已经取得了相当大的进展，从一个单一的RGB图像的刚性物体姿态估计的任务，但实现部分遮挡的鲁棒性仍然是一个具有挑战性的问题。通过渲染的姿势细化已经显示出希望，以实现改进的结果，特别是当数据稀缺时。在本文中，我们把注意力集中在姿态优化上，并展示了如何在部分遮挡的情况下进一步推动最先进的姿态优化。所提出的姿势细化方法利用简化的学习任务，其中训练CNN以估计观察到的图像和渲染图像之间的重投影误差。我们通过对纯合成数据以及合成数据和真实数据的混合进行训练来进行实验。在闭塞LINEMOD基准测试的三个指标中，有两个指标优于当前最先进的结果，而最终指标的表现则与之相当。
2020-05-14 cs.CV
Deep Stereo Matching with Explicit Cost Aggregation Sub-Architecture
Beijing Institute of Technology（北京理工大学）；Kandao Australia Research Center（看到科技澳大利亚研究中心）
深度神经网络在立体匹配方面表现出了优异的性能。许多工作集中在匹配代价计算步骤的特征提取和相似性度量上，而对立体匹配至关重要的代价聚合关注较少。在本文中，我们提出了一种基于学习的成本聚合方法的立体匹配的一个新的子架构中的端到端的可训练的管道。我们重新制定的成本汇总作为一个学习过程的生成和选择的成本汇总的建议，表明可能的成本汇总的结果。成本汇总子架构由两个流网络实现：一个用于生成成本汇总建议，另一个用于选择建议。用于选择的标准由从光卷积网络获得的低级结构信息确定。双流网络提供了一个全局视图的指导成本聚合，以纠正源于匹配成本计算的有限视图的不匹配值。在KITTI和Scene Flow等挑战数据集上的综合实验表明，该方法的性能优于现有方法。
2018-01-12 cs.CV
MAPRPose: Mask-Aware Proposal and Amodal Refinement for Multi-Object 6D Pose Estimation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）；School of Civil Engineering, Harbin Institute of Technology（土木工程学院，哈尔滨工业大学）；Shenzhen Infinite Meta Robot Co., Ltd（深圳无限元机器人有限公司）
提出MAPRPose两阶段框架，通过掩膜感知对应关系生成姿态提议和模态补全驱动的ROI预测实现鲁棒精化，在BOP基准上达到76.5%平均召回率，比FoundationPose高3.1%且多目标推理加速43倍。
2026-08-06 cs.CV
Few-Shot Object Detection with Proposal Balance Refinement
Korea University（高丽大学）
近年来，Few-Shot目标检测得到了极大的关注，因为它有可能大大减少对大量手动注释边界框的依赖。虽然大多数现有的Few-Shot目标检测文献主要集中在限界框分类，通过获得尽可能有区别的特征嵌入，我们强调处理缺乏交叉-联合（IoU）的变化引起的新样本的有偏分布的必要性。在本文中，我们分析了由相对大量的低质量区域提案引起的IoU不平衡，并揭示了它在提高少样本学习能力方面起着至关重要的作用。众所周知的两阶段微调技术导致新的正样本的质量和数量不足，这阻碍了未见过的新类别的有效目标检测。为了缓解这个问题，我们提出了一个Few-Shot目标检测模型与建议平衡细化，一个简单而有效的方法在学习对象的建议，使用辅助顺序限界框细化过程。这个过程使检测器能够通过额外的新类样本在各种IoU分数上进行优化。为了充分利用我们的顺序阶段架构，我们修改了微调策略，并将区域建议网络暴露给新的类，以便为感兴趣区域（RoI）分类器和回归器提供更多的学习机会。我们对PASCAL VOC和COCO的广泛评估表明，我们的框架大大优于其他现有的Few-Shot目标检测方法。
2022-04-22 cs.CV
Distilling Knowledge from Refinement in Multiple Instance Detection Networks
Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）
弱监督目标检测（WSOD）的目的是解决目标检测的问题，只使用标记的图像类别作为监督。WSOD中用于处理缺乏本地化信息的常见方法是多实例学习，近年来，方法开始采用多实例检测网络（MIDN），它允许以端到端的方式进行训练。一般来说，这些方法的工作原理是从候选实例池中选择最佳实例，然后根据相似性聚合其他实例。在这项工作中，我们声称，仔细选择的聚合标准可以大大提高学习检测器的准确性。我们首先提出了一个额外的细化步骤，现有的方法（OICR），我们称之为细化知识蒸馏。然后，我们提出了一个自适应的监督聚合功能，动态地改变聚合标准的选择框相关的地面实况类，背景，甚至忽略在每个细化模块的监督生成。在Pascal VOC 2007中的实验表明，我们的知识蒸馏和平滑聚合函数显著提高了OICR在弱监督目标检测和弱监督目标定位任务中的性能。这些改进使Boosted-OICR与其他最先进的方法相比再次具有竞争力。
2020-04-23 cs.CV
A Pose Proposal and Refinement Network for Better Object Pose Estimation
Department of Computer Science, Colorado State University（科罗拉多州立大学计算机科学系）
在本文中，我们提出了一种新的，端到端的6D对象姿态估计方法，对RGB输入操作。我们的方法由2个主要部分组成：第一部分对输入图像中的对象进行分类，并通过多任务，基于CNN的编码器/多解码器模块提出初始6D姿态估计。第二组件，细化模块，包括渲染器和多注意姿势细化网络，其通过利用外观特征和流向量两者来迭代地细化所估计的姿势。我们的改进器利用混合表示的初始姿态估计来预测相对于目标姿态的相对误差。它进一步增强了空间多注意块，强调对象的区别性特征部分。在三个6D姿态估计基准上的实验表明，我们提出的流水线优于最先进的基于RGB的方法，具有竞争力的运行时性能。
2020-10-07 cs.CV
Object Detection in Video with Spatial-temporal Context Aggregation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics Inc.（地平线机器人公司）
用于视频目标检测的最新前沿特征聚合范例依赖于推断特征对应性。由于图像质量差、运动模糊等，特征对应估计问题从根本上是困难的，并且特征对应估计的结果是不稳定的。为了避免这个问题，我们提出了一个简单而有效的功能聚合框架，它在对象提议级别上运行。它通过对一个帧内和相邻帧之间的对象建议之间的语义和时空关系建模来学习增强每个建议的功能。在ImageNet VID数据集上进行了实验。在没有任何额外功能的情况下，我们的方法在ImageNet VID数据集上获得了80.3\%的mAP，这优于以前的最先进技术。所提出的特征聚合机制将单帧Faster RCNN基线提高了5.8% mAP。此外，在没有时间后处理的设置下，我们的方法比以前的最先进的1.4%mAP。
2019-07-11 cs.CV
PointRGCN: Graph Convolution Networks for 3D Vehicles Detection Refinement
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
在自动驾驶管道中，感知模块提供对周围道路场景的视觉理解。在感知任务中，车辆检测对于安全驾驶至关重要，因为它识别共享道路的其他智能体的位置。在我们的工作中，我们提出了PointRGCN：一个基于图卷积网络（GCN）的基于图的3D目标检测管道，它只在3D LiDAR点云上运行。为了执行更准确的3D目标检测，我们利用一个图形表示，执行建议功能和上下文聚合。我们将残余GCN集成在两阶段的3D目标检测流水线中，其中使用新的图形表示来细化3D对象提案。特别地，R-GCN是对3D提案进行分类和回归的残差GCN，并且C-GCN是通过在多个提案之间共享上下文信息来进一步细化提案的上下文GCN。我们将我们的细化模块集成到一个新的3D检测流水线，PointRGCN，并实现了最先进的性能上的简单困难的鸟瞰图检测任务。
2019-11-27 cs.CV
Spatio-Temporal Learnable Proposals for End-to-End Video Object Detection
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
本文提出了一种新的思想，通过利用视频目标检测的时间信息生成对象的建议。现代基于区域的视频对象检测器中的特征聚合严重依赖于从单帧RPN生成的学习建议。这迫切需要引入额外的组件，如NMS，并在低质量帧上产生不可靠的建议。为了解决这些限制，我们提出了SparseVOD，这是一种新颖的视频目标检测流水线，它采用稀疏R-CNN来利用时间信息。特别地，我们在Sparse R-CNN的动态头中引入了两个模块。首先，在时域RoI对齐操作的基础上增加时域特征提取模块，提取RoI提案特征。其次，出于序列级语义聚合的动机，我们将注意力引导的语义建议特征聚合模块，以增强检测前的对象特征表示。所提出的SparseVOD有效地减少了复杂的后处理方法的开销，并使整个管道端到端可训练。大量的实验表明，我们的方法在mAP中将单帧稀疏RCNN显著提高了8%-9%。此外，除了在具有ResNet-50主干的ImageNet VID数据集上实现最先进的80.3% mAP之外，我们的SparseVOD在增加IoU阈值（IoU > 0.5）方面明显优于现有的基于提议的方法。
2022-10-07 cs.CV
Proposal Refinement for Few-Shot Object Detection
State Key Laboratory of Integrated Services Networks, Xidian University（西安电子科技大学综合业务网理论及关键技术国家重点实验室）
针对少样本检测中区域提议在基类和新类间分布不均的问题，提出分阶段提议细化方法，通过基类训练阶段的细化损失和微调阶段的细化分支重新平衡提议分布，在基准上提升1%~6%且不增加推理时间。
2026-06-08 cs.AI cs.CV
Path Aggregation Network for Instance Segmentation
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）；SenseTime Research（商汤科技研究院）
信息在神经网络中的传播方式非常重要。在本文中，我们提出了路径聚合网络（PANet），旨在促进信息流的建议为基础的实例分割框架。具体来说，我们通过自下而上的路径增强，在较低层中使用准确的定位信号来增强整个特征层次结构，从而缩短了较低层和最顶层特征之间的信息路径。提出了自适应特征池，将特征网格与各个特征层次联系起来，使每个特征层次上的有用信息直接传播到后续的建议子网络。为每个建议创建捕获不同视图的互补分支，以进一步改进掩码预测。这些改进很容易实现，只会带来细微的额外计算开销。我们的PANet在未经大批量训练的情况下在COCO 2017挑战赛实例分割任务中获得第一名，在目标检测任务中获得第二名。它在MVD和Cityscapes上也是最先进的。代码可在https://github.com/ShuLiu1993/PANet上获得
2018-09-18 cs.CV
Unsupervised Semantic-based Aggregation of Deep Convolutional Features
在本文中，我们提出了一个简单而有效的基于语义的聚合（SBA）方法。所提出的SBA利用深卷积层的判别滤波器作为语义检测器。此外，我们提出了有效的无监督策略来选择一些语义检测器来生成“概率建议”，突出了对象的某些歧视性模式，并抑制了背景噪声。然后，可以通过聚合由对应于各种语义内容的所选择的“概率建议”加权的区域表示来获得最终的全局SBA表示。我们的无监督SBA很容易推广，并在各种任务上取得了优异的性能。我们进行了全面的实验，并表明我们的无监督SBA优于国家的最先进的无监督和监督聚合方法的图像检索，地点识别和云分类。
2018-04-03 cs.CV
A Proposal-Based Solution to Spatio-Temporal Action Detection in Untrimmed Videos
University of Maryland, College Park（马里兰大学帕克分校）
现有的时空动作检测方法受到动作的空间范围和持续时间的限制。在本文中，我们提出了一个模块化的时空动作检测系统在未修剪的安全视频。我们提出了一个两阶段的方法。第一阶段使用分层聚类和时间抖动技术对逐帧目标检测生成密集的时空建议。第二阶段是时间细化I3 D（TRI-3D）网络，对生成的建议执行动作分类和时间细化。基于目标检测的建议生成步骤有助于检测在视频帧的小空间区域中发生的动作，而时间抖动和细化有助于检测可变长度的动作。在时空动作检测数据集DIVA上的实验结果表明了该系统的有效性。为了进行比较，我们的系统的性能也进行了评估的THUMOS 14时间动作检测数据集。
2018-11-23 cs.CV
Adversarial Soft-detection-based Aggregation Network for Image Retrieval
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所（CASIA））
近年来，基于卷积神经网络（CNN）激活的紧致表示在图像检索中取得了显著的效果。然而，检索一些感兴趣的对象，只占整个图像的一小部分仍然是一个具有挑战性的问题。因此，提取包含关键小目标区域信息的判别式表示具有重要意义。本文提出了一种新的基于对抗检测器和软区域建议层的无限界框标注的对抗性软检测聚合（ASDA）图像检索方法。我们的可训练对抗性检测器基于对抗性擦除策略生成语义映射，以保留更多有区别的详细信息。我们的软区域建议是基于对应于各种判别模式和语义内容的语义图计算的，它是任意形状的，而不仅仅是矩形，它反映了对象的重要性。基于可训练软区域建议的聚合突出了有区别的语义内容，抑制了背景噪声。我们在标准图像检索数据集上进行了全面的实验。我们的弱监督ASDA方法在大多数数据集上实现了最先进的性能。实验结果表明，该方法是一种有效的图像检索方法.
2019-03-29 cs.CV
From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
从LiDAR点云数据中检测三维目标检测是三维场景理解中的一个具有挑战性的问题，有着广泛的实际应用。在本文中，我们将我们的初步工作PointRCNN扩展到一个新的，强大的基于点云的3D目标检测框架，部分感知和聚合神经网络（部分- $A^2$网）。整个框架由部件感知阶段和部件聚合阶段组成。首先，部件感知阶段首次充分利用来自3D地面实况框的免费部件监督，同时预测高质量的3D建议和准确的对象内部件位置。同一提案中的预测对象内部分位置由我们新设计的RoI感知点云池化模块分组，这导致有效的表示来编码每个3D提案的几何特定特征。然后，部件聚合阶段学习对框重新评分，并通过探索池化的对象内部件位置的空间关系来细化框位置。进行了大量的实验，以证明我们提出的框架的每个组件的性能改进。我们的Part- $A^2$网络优于所有现有的3D检测方法，并通过仅利用LiDAR点云数据在KITTI 3D目标检测数据集上实现了新的最先进技术。代码可在https://github.com/sshaoshuai/PointCloudDet3D上获得。
2020-03-16 cs.CV
Reversible Recursive Instance-level Object Segmentation
National University of Singapore（新加坡国立大学）；Sun Yat-sen University（中山大学）；Adobe Research（奥多比研究院）
在这项工作中，我们提出了一种新的可逆递归实例级对象分割（R2-IOS）框架，以解决具有挑战性的实例级对象分割任务。R2-IOS由一个可逆的建议细化子网络和一个实例级分割子网络组成，前者预测用于细化对象建议位置的限界框偏移，后者生成每个建议中主要对象实例的前景遮罩。通过递归，R2-IOS在联合训练期间迭代优化两个子网络，其中细化的对象建议和改进的分割预测交替输入彼此，以逐步提高网络能力。通过可逆，建议细化子网络自适应地确定在训练和测试期间每个建议所需的优化迭代的最佳数量。此外，为了处理提案中的多个重叠实例，将实例感知的去噪自动编码器引入到分割子网络中，以将主导对象与其他分散注意力的实例区分开。在具有挑战性的PASCAL VOC 2012基准上进行的大量实验充分证明了R2-IOS优于其他最先进的方法。特别是，$0.5$ IoU上的$\text{AP}^r$ over $20$类实现了$66.7\%$，其性能显著优于$58.7\%$的PFN~ \cite{PFN}和$46.3\%$的~ \cite{liu2015multi}。
2015-11-18 cs.CV
PCL: Proposal Cluster Learning for Weakly Supervised Object Detection
Huazhong University of Science and Technology（华中科技大学）；University of Oxford（牛津大学）；Shanghai University（上海大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
弱监督目标检测（WSOD），仅使用图像级注释来训练目标检测器，在目标识别中越来越重要。在本文中，我们为WSOD提出了一种新的深度网络。与以前的网络，目标检测问题转移到一个图像分类问题，使用多实例学习（MIL），我们的策略产生建议集群学习细化实例分类器的迭代过程。同一集群中的建议在空间上相邻并且与同一对象相关联。这可以防止网络过于集中于对象的部分而不是整个对象。我们首先表明，实例可以直接分配对象或背景标签的建议集群的基础上，例如分类器的改进，然后表明，对待每个集群作为一个小的新袋产生更少的歧义比直接分配标签的方法。使用卷积神经网络中的多个流在线实现迭代实例分类器细化，其中第一个是MIL网络，并且其他的是例如由前一个监督的分类器细化。实验在PASCAL VOC，ImageNet检测和MS-COCO基准上进行。结果表明，我们的方法优于以前的最先进的显着。
2018-10-13 cs.CV
PANet: LiDAR Panoptic Segmentation with Sparse Instance Proposal and Aggregation
Zhejiang University（浙江大学）；Institute of Cyber-Systems and Control（网络系统与控制研究所）
本文提出PANet框架，通过非学习的稀疏实例提议模块和实例聚合模块，消除了对偏移分支的依赖，解决了大物体过度分割问题，在SemanticKITTI和nuScenes上实现了最先进的LiDAR全景分割性能。
2023-06-27 cs.AI cs.CV
Radar-Camera Sensor Fusion for Joint Object Detection and Distance Estimation in Autonomous Vehicles
The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
在本文中，我们提出了一种新的雷达-摄像机传感器融合框架，用于自动驾驶场景中的精确目标检测和距离估计。该架构采用中间融合的方法来融合雷达点云和RGB图像。我们的雷达对象建议网络使用雷达点云从一组3D先验框中生成3D建议。这些建议被映射到图像，并输入到雷达建议细化（RPR）网络中，以进行对象分数预测和框细化。RPR网络利用雷达信息和图像特征地图来生成准确的目标建议和距离估计。基于雷达的建议与基于图像的建议相结合，由修改后的区域建议网络（RPN）生成。RPN有一个距离回归层，用于估计每个生成的建议的距离。基于雷达和基于图像的建议被合并并用于下一阶段的物体分类。在具有挑战性的nuScenes数据集上的实验表明，我们的方法在2D目标检测任务中优于其他现有的雷达-相机融合方法，同时准确地估计物体的距离。
2020-09-17 cs.CV
Attention-based Proposals Refinement for 3D Object Detection
Nantes Université（南特大学）；École Centrale de Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）
3D目标检测的最新进展是通过开发基于体素的区域提议网络（RPN）的细化阶段来更好地在准确性和效率之间取得平衡。在最先进的框架中，一种流行的方法是将建议或感兴趣区域（ROI）划分为网格，并在合成它们以形成ROI特征之前提取每个网格位置的特征。在实现令人印象深刻的性能的同时，这种方法涉及几个手工制作的组件（例如网格采样，集合抽象），需要正确调整专业知识。本文提出了一种数据驱动的ROI特征计算方法APRO 3D-Net，该方法由基于体素的RPN和向量注意力的细化阶段组成。与原始的多头注意力不同，矢量注意力为点特征内的不同通道分配不同的权重，从而能够捕获池点和ROI之间更复杂的关系。我们的方法在KITTI和NuScenes的验证集上以中等难度实现了84.85 AP的Car类具有竞争力的性能（平均超过10个类），同时与密切相关的方法相比具有最少的参数，并在NVIDIA V100 GPU上实现了15 FPS的推理速度。代码发布于https://github.com/quan-dao/APRO3D-Net。
2022-05-25 cs.CV cs.RO
BCRNet: Enhancing Landmark Detection in Laparoscopic Liver Surgery via Bezier Curve Refinement
National University of Singapore, Singapore（新加坡国立大学）；Harbin Institute of Technology, Harbin, China（哈尔滨工业大学）
BCRNet通过贝塞尔曲线细化策略，结合多模态特征提取、自适应曲线提议初始化和层次化曲线细化机制，显著提升了腹腔镜肝脏手术中曲线解剖地标的检测精度，在L3D和P2ILF数据集上优于现有方法。
2025-06-18 cs.CV
ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation
Incheon National University（仁川国立大学）
针对半导体划痕检测难题，提出ScratNet框架，集成改进Swin Transformer主干与定制解码器，含多尺度扩张聚合等模块，经阶段自适应特征聚合和边界感知细化，在检测薄且不规则缺陷上精度高，优于现有方法。
2026-07-14 cs.CV
Region Proposals for Saliency Map Refinement for Weakly-supervised Disease Localisation and Classification
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Institute for Systems and Robotics, Instituto Superior Tecnico（高等技术学院系统与机器人研究所）
部署自动化系统从医学图像诊断疾病的挑战是需要定位诊断的疾病，以证明或解释分类决策。这一要求很难满足，因为大多数可用于开发这些系统的训练集只包含全局注释，使得疾病定位成为一种弱监督方法。为弱监督疾病分类和定位而设计的主要方法依赖于未专门针对定位进行训练的显着性或注意力地图，或者无法细化以产生准确检测的区域建议。在本文中，我们引入了一种新模型，该模型结合了区域建议和显着性检测，以克服弱监督疾病分类和定位的局限性。使用ChestX-ray 14数据集，我们证明了我们提出的模型为弱监督疾病诊断和定位建立了新的最先进技术。
2020-05-22 cs.CV cs.LG
Training-free Boost for Open-Vocabulary Object Detection with Confidence Aggregation
Zhejiang University（浙江大学）
针对开放词汇目标检测中新类别实例因分数低被抑制的问题，提出免训练后处理方案AggDet，通过聚合定位质量与文本引导相似度调整置信度，在OV-COCO和OV-LVIS基准上分别提升3.3%和1.5%的性能。
2024-04-12 cs.CV
DFR-Net: Density Feature Refinement Network for Image Dehazing Utilizing Haze Density Difference
East China University of Science and Technology（华东理工大学）
针对图像去雾中未充分利用雾密度差异的问题，提出密度特征细化网络（DFR-Net），通过生成提议图像并利用全局与局部分支提取和细化密度差异特征，在多个数据集上取得了超越SOTA的去雾性能。
2023-07-26 cs.CV
Row-wise LiDAR Lane Detection Network with Lane Correlation Refinement
Korea Advanced Institute of Science and Technology（韩国科学技术院）
车道线检测是自动驾驶的重要功能之一。近年来，基于深度学习的RGB摄像头图像车道检测网络表现出了良好的性能。然而，基于相机的方法固有地易受不利照明条件（例如，不良或耀眼的照明）的影响。与相机不同，LiDAR传感器对照明条件具有鲁棒性。在这项工作中，我们提出了一种新的两阶段激光雷达车道检测网络与逐行检测方法。第一阶段网络通过全局特征相关器主干和行式检测头产生车道建议。同时，第二阶段网络通过基于注意力的机制在车道建议周围的局部特征之间细化第一阶段网络的特征图，并输出一组新的车道建议。在K-Lane数据集上的实验结果表明，该网络在F1分数方面取得了最新进展，GFLOPs减少了30%。此外，第二阶段的网络被发现是特别强大的车道阻塞，从而证明了所提出的网络在拥挤的环境中驾驶的鲁棒性。
2022-10-17 cs.CV
Video Depth Estimation by Fusing Flow-to-Depth Proposals
HKUST（香港科技大学）；Nuro Inc.（努罗公司）；Scale AI（Scale人工智能公司）
单目视频的深度可以让数十亿台设备和机器人通过一个摄像头看到3D世界。在本文中，我们提出了一种方法与可微的流到深度层的视频深度估计。该模型包括一个流到深度层，一个相机姿态细化模块，和一个深度融合网络。给定光流和相机姿态，我们的流到深度层通过显式地解决对极几何优化问题来生成深度建议和相应的置信度图。我们的流到深度层是可区分的，因此我们可以通过最大化相机姿势细化模块中的聚合置信度来细化相机姿势。我们的深度融合网络可以利用从不同相邻帧推断的深度建议及其置信度图来产生最终的深度图。此外，深度融合网络还可以采用其他方法生成的深度建议来进一步改进结果。在三个公共数据集上的实验表明，我们的方法优于最先进的深度估计方法，并且具有合理的跨数据集泛化能力：我们在KITTI上训练的模型在看不见的Waymo数据集上仍然表现良好。
2020-03-03 cs.CV
LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement
University of Florida（佛罗里达大学）；Middle Tennessee State University（中田纳西州立大学）
针对LoRA与联邦学习结合时存在的服务器端聚合偏差和客户端初始化滞后问题，提出LoRA-FAIR方法，通过在服务器端引入校正项同时解决两者，提升了聚合效率与准确性，并在大规模数据集上取得优异性能。
2025-10-12 cs.CV cs.LG
GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本文提出了一种新的用于点云数据实例分割的三维物体建议方法--生成形状建议网络（GSPN）。而不是把对象的建议作为一个直接的限界框回归问题，我们采取的分析合成策略，并生成建议重建的形状从嘈杂的观察场景。我们将GSPN到一个新的三维实例分割框架命名为基于区域的PointNet（R-PointNet），它允许灵活的建议细化和实例分割生成。我们在几个3D实例分割任务上实现了最先进的性能。GSPN的成功很大程度上来自于它强调对象建议过程中的几何理解，这大大减少了低对象性的建议。
2018-12-08 cs.CV
DFIR-DETR: Frequency-Domain Iterative Refinement and Dynamic Feature Aggregation for Small Object Detection
School of Information Engineering, Beijing Institute of Graphic Communication（信息工程学院，北京印刷学院）；School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
针对小目标检测中注意力均匀、上采样特征漂移及高频边缘平滑问题，提出频域迭代细化与动态特征聚合的DFIR-DETR方法，在NEU-DET和VisDrone上以11.7M参数和47.2 GFLOPs实现92.9%和51.6% mAP50。
2026-05-22 cs.CV cs.LG
Transformer-based Multi-Instance Learning for Weakly Supervised Object Detection
Southeast University（东南大学）；The University of Newcastle（纽卡斯尔大学）
弱监督目标检测（WSOD）允许仅使用图像级注释来训练目标检测模型。最先进的WSOD检测器通常依赖于多实例学习（MIL）作为其检测器的骨干，并假设图像的限界框建议是相互独立的。然而，由于这种方法只利用最高分的建议，并放弃了潜在的有用信息，从其他建议，其独立的MIL骨干往往限制模型的突出部分的对象，或导致他们只能检测一个对象的类。为了解决上述问题，我们提出了一种新的骨干WSOD的基础上，我们定制的视觉Transformer命名为弱监督Transformer检测网络（WSTDN）。我们的算法不仅是第一个证明，自我注意模块，考虑实例间的关系是有效的骨干WSOD，但我们也引入了一种新的限界框挖掘方法（BBM）集成的内存传输细化（MTR）过程，利用实例的依赖关系，促进实例细化。在PASCAL VOC2007和VOC2012基准测试上的实验结果证明了我们提出的WSTDN和改进的实例精化模块的有效性。
2023-03-27 cs.CV
Patch2Pix: Epipolar-Guided Pixel-Level Correspondences
Technical University of Munich（慕尼黑工业大学）；CIIRC Czech Technical University in Prague（布拉格捷克技术大学CIIRC）
用于视觉定位的经典匹配流水线通常涉及三个步骤：（i）局部特征检测和描述，（ii）特征匹配，以及（iii）离群值拒绝。最近出现的对应网络提出在单个网络内执行这些步骤，但由于内存瓶颈而遭受低匹配分辨率。在这项工作中，我们提出了一个新的角度来估计对应的检测到细化的方式，我们首先预测补丁级匹配的建议，然后完善它们。我们提出了Patch2Pix，一种新的细化网络，通过从这些建议定义的局部区域回归像素级匹配，并联合拒绝离群匹配与置信度得分来细化匹配建议。Patch2Pix是弱监督的，以学习与输入图像对的对极几何一致的对应关系。我们表明，我们的细化网络显着提高了图像匹配，单应性估计和定位任务的对应网络的性能。此外，我们还证明了我们的学习细化可以推广到完全监督的方法，而无需重新训练，这使我们获得了最先进的本地化性能。该代码可在https://github.com/GrumpyZhou/patch2pix上获得。
2021-03-26 cs.CV
Multi-scale Activation, Refinement, and Aggregation: Exploring Diverse Cues for Fine-Grained Bird Recognition
Nanjing University of Science and Technology（南京理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对普通ViT模型在细粒度鸟类识别（FGBR）中感受野有限、易受尺度变化影响的问题，提出多尺度多样线索建模（MDCM）框架，通过激活、选择、聚合多尺度线索提升识别性能，在多个基准上优于CNN和ViT方法。
2025-04-12 cs.CV cs.MM
MCTS with Refinement for Proposals Selection Games in Scene Understanding
Institute for Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形与视觉研究所）；Université Paris-Est（巴黎东大学）；École des Ponts ParisTech（巴黎路桥学院）
我们提出了一种新的方法，适用于许多场景理解的问题，适应的蒙特卡罗树搜索（MCTS）算法，最初设计的学习玩游戏的高状态复杂性。从生成的提案池中，我们的方法共同选择和优化提案，最大限度地减少目标项。在我们的第一个从点云重建平面图的应用程序中，我们的方法通过优化目标函数，结合深度网络预测的适应度和房间形状的正则化项，选择和细化建模为2D多边形的房间建议。我们还介绍了一种新的微分方法来渲染这些建议的多边形形状。我们对最近和具有挑战性的Structured 3D和Floor-SP数据集的评估显示，在最先进的技术水平上有了显着的改进，而没有对平面图配置施加硬约束或假设。在我们的第二个应用程序中，我们扩展了我们的方法，从彩色图像重建一般的3D房间布局，并获得准确的房间布局。我们还表明，我们的微分渲染器可以很容易地扩展渲染3D平面多边形和多边形嵌入。我们的方法在Matterport 3D-Layout数据集上显示出高性能，而不会对房间布局配置引入硬约束。
2022-07-07 cs.AI cs.CV cs.GT
Spatio-temporal Tubelet Feature Aggregation and Object Linking in Videos
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术单一研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）
本文研究了如何利用视频中的时空信息来提高目标检测精度的问题。我们提出了一个两阶段的对象检测器称为FANet的基础上，短期的时空特征聚合，以提供第一个检测集，和长期的对象链接，以完善这些检测。首先，我们生成一组包含对象在$N$连续帧的短tubelet建议。然后，我们通过tubelet使用时间池化算子聚合ROI池化深度特征，该算子总结了具有独立于输入帧数量的固定大小输出的信息。最重要的是，我们定义了一个双头实现，我们饲料与时空聚合信息的时空对象分类，并从当前帧中提取的空间信息的对象定位和空间分类。此外，我们还专门每个头分支架构，以更好地执行每个任务，同时考虑到输入数据。最后，一个长期的连接方法建立长管使用以前计算的短管，以克服检测误差。我们在广泛使用的ImageNet VID数据集中评估了我们的模型，实现了80.9%的mAP，这是单个模型的最新结果。此外，在具有挑战性的小目标检测数据集USC-GRAD-STDdb中，我们的建议优于单帧基线5.4%mAP。
2020-11-06 cs.CV
Post-interactive Multimodal Trajectory Prediction for Autonomous Driving
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与通信工程学院）；College of Mechanical and Vehicle Engineering, Hunan University（湖南大学机械与运载工程学院）；Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）；Department of Civil Engineering, Monash University（莫纳什大学土木工程系）
本文提出Pioformer，一种由粗到细的Transformer模型，通过显式提取后交互特征并结合三阶段训练，在Argoverse 1数据集上显著降低多模态轨迹预测误差。
2025-03-12 cs.CV
Multi-view Aggregation Network for Dichotomous Image Segmentation
Dalian University of Technology（大连理工大学）
针对二分类图像分割中感受野与细节精度的平衡难题，提出多视图聚合网络MVANet，通过多视图互补模块实现长距离视觉交互，在DIS-5K数据集上精度与速度均超现有最优方法。
2024-04-11 cs.CV
Coarse-to-Fine Proposal Refinement Framework for Audio Temporal Forgery Detection and Localization
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）；Alibaba Group（阿里巴巴集团）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间科学与技术学院）
针对音频部分伪造检测无法精确定位时间戳的问题，提出由粗到细提案细化框架CFPRF，结合帧级检测网络与提案细化网络，并设计差异感知与边界感知特征模块，在多个数据集上实现了最先进的伪造检测与定位性能。
2024-07-23 cs.CV cs.MM cs.SD
SurgAtt-Tracker: Online Surgical Attention Tracking via Temporal Proposal Reranking and Motion-Aware Refinement
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学电子工程系）；Division of Gastrointestinal Surgery, Shenzhen People's Hospital, China（深圳人民医院胃肠外科）；College of Mechatronics and Control Engineering, Shenzhen University, China（深圳大学机电与控制工程学院）；Department of Mechanical Engineering, The University of Hong Kong, Hong Kong SAR, China（香港大学机械工程系）；Department of Electronic and Electrical Engineering, Southern University of Science and Technology（南方科技大学电子与电气工程系）
SurgAtt-Tracker通过时间提案重排和运动感知细化实现手术注意力跟踪，提供帧级视野指导以支持机器人规划和自动摄像头控制。
2026-02-24 cs.AI cs.CV
CF-YOLO: Context-Aware Feature Refinement for Camouflaged Industrial Micro-Defect Detection
School of Information Engineering, Huzhou University（湖州大学信息工程学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
针对工业微缺陷检测中伪装导致的误漏检问题，提出CF-YOLO框架，含CPAM与FARM模块，在CTDD数据集上较YOLOv11实现性能提升，兼具高精度与实时性。
2026-08-31 cs.CV
Deformable PV-RCNN: Improving 3D Object Detection with Learned Deformations
University of Waterloo（滑铁卢大学）
我们提出了可变形PV-RCNN，这是一种基于点云的高性能3D对象检测器。目前，国家的最先进的两阶段检测器所使用的建议细化方法不能充分适应不同的对象尺度，变化的点云密度，部分变形和杂波。我们提出了一个提案细化模块，灵感来自2D可变形卷积网络，可以自适应地从信息内容存在的位置收集特定于实例的特征。我们还提出了一个简单的上下文门控机制，允许关键点选择相关的上下文信息的细化阶段。我们展示了KITTI数据集上最先进的结果。
2020-08-20 cs.CV cs.LG
