UVO Challenge on Video-based Open-World Segmentation 2021: 1st Place Solution
Ecole des Ponts, Univ Gustave Eiffel, CNRS（法国国立路桥学校、古斯塔夫·埃菲尔大学、法国国家科学研究中心）；Inria, Univ. Grenoble Alpes, CNRS, Grenoble INP（法国国家信息与自动化研究所、格勒诺布尔-阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔理工学院）
在这份报告中，我们介绍了我们的（非常直接）两步“检测然后匹配”的视频实例分割方法。第一步对每一帧进行实例分割，得到大量的实例掩码建议。第二步是在光流的帮助下进行帧间实例掩码匹配。我们证明了高质量的掩模建议，一个简单的匹配机制是足够好的跟踪。我们的方法在UVO 2021基于视频的开放世界分割挑战赛中获得第一名。
2021-11-01 cs.CV
Event Camera as Region Proposal Network
Technical University Dortmund（多特蒙德工业大学）
受人类视杆细胞充当视觉区域候选网络的启发，本研究用事件相机替换detectron2中Mask R-CNN的RPN来生成运动物体候选，在精度相当的情况下提升了检测速度、降低了计算成本。
2023-05-01 cs.CV
H3DNet: 3D Object Detection Using Hybrid Geometric Primitives
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们引入H3 DNet，它以无色的3D点云作为输入，并输出一组面向对象的边界框（或BB）及其语义标签。H3 DNet的关键思想是预测几何图元的混合集，即，BB中心、BB面中心和BB边中心。我们展示了如何通过定义对象和几何图元之间的距离函数将预测的几何图元转换为对象建议。该距离函数能够持续优化对象建议，其局部最小值提供高保真对象建议。然后，H3 DNet利用匹配和细化模块将对象建议分类为检测到的对象，并微调检测到的对象的几何参数。几何基元的混合集合不仅比使用单一类型的几何基元为目标检测提供更准确的信号，而且还提供了对所得到的3D布局的过完备约束集合。因此，H3 DNet可以容忍预测几何图元中的离群值。我们的模型在两个具有真实3D扫描的大型数据集ScanNet和SUN RGB-D上实现了最先进的3D检测结果。
2020-07-23 cs.CV
Tube Convolutional Neural Network (T-CNN) for Action Detection in Videos
Center for Research in Computer Vision (CRCV), University of Central Florida (UCF)（中佛罗里达大学计算机视觉研究中心）
深度学习已被证明在图像分类和目标检测方面取得了优异的效果。然而，由于视频数据的复杂性和缺乏注释，深度学习对视频分析（例如动作检测和识别）的影响有限。先前基于卷积神经网络（CNN）的视频动作检测方法通常包括两个主要步骤：帧级动作提议检测和跨帧提议的关联。此外，这些方法采用双流CNN框架来分别处理空间和时间特征。在本文中，我们提出了一种端到端的深度网络，称为管状卷积神经网络（T-CNN），用于视频中的动作检测。所提出的架构是一个统一的网络，能够识别和定位基于3D卷积特征的动作。视频首先被分成等长的片段，然后基于3D卷积网络（ConvNet）功能为每个片段生成一组管道建议。最后，不同剪辑的管道建议链接在一起，采用网络流和时空动作检测使用这些链接的视频建议。对多个视频数据集进行的广泛实验表明，与最先进的技术相比，T-CNN在对修剪和未修剪视频中的动作进行分类和定位方面具有卓越的性能。
2017-08-02 cs.CV
Zoom Out-and-In Network with Map Attention Decision for Region Proposal and Object Detection
The Chinese University of Hong Kong（香港中文大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一个缩小和放大网络生成对象的建议。一个关键的观察结果是，很难用同一组特征对不同尺寸的锚钉进行分类。不同大小的盒子应该根据网络内的不同深度相应地放置：高分辨率层上的较小盒子具有较小的步幅，而低分辨率层上的较大盒子具有较大的步幅。受conv/deconv结构的启发，我们充分利用两个特征映射流的低级别局部细节和高级别区域语义，它们是互补的，以识别图像中的对象。进一步提出了一个映射注意决策（MAD）单元，以积极地搜索两个流之间的神经元激活，并参加最有贡献的特征学习的最终损失。该单元用作决策器，以自适应地激活沿着某些通道的映射，其唯一目的是优化整体训练损失。MAD的一个优点是，在每个特征通道上执行的学习权重是基于输入上下文实时预测的，这比卷积核的固定执行更合适。在PASCAL VOC 2007、ImageNet DET、MS COCO三个数据集上的实验结果表明，该算法在区域建议的平均查全率（AR）和目标检测的平均查准率（AP）方面优于其他现有算法.
2018-06-08 cs.CV
Objectness Scoring and Detection Proposals in Forward-Looking Sonar Images with Convolutional Neural Networks
Heriot-Watt University（赫瑞瓦特大学）
前视声纳可以捕获水下场景的高分辨率图像，但其解释是复杂的。这种图像中的通用目标检测尚未解决，特别是在小的和未知的目标的情况下。相比之下，检测建议算法在现实世界的彩色图像中产生了性能最好的对象检测器。在这项工作中，我们开发了一个卷积神经网络，可以可靠地得分在前视声纳图像和阈值对象的图像窗口的对象，我们生成检测建议。在我们的海洋垃圾对象数据集中，我们获得了94%的召回率，每个图像生成约60个建议。我们的方法最大的优点是它可以推广到以前看不见的对象。我们通过检测链环、墙壁和扳手来证明这一点，而这些物体之前没有受过训练。我们坚信我们的方法可以用于类无关的目标检测，与许多现实世界的应用，如链跟踪和地雷检测。
2017-09-08 cs.CV cs.RO
Efficient Video Instance Segmentation via Tracklet Query and Proposal
State University of New York at Buffalo（纽约州立大学布法罗分校）；Amazon（亚马逊）
视频实例分割（VIS）的目标是同时对视频中的多个对象实例进行分类、分割和跟踪。最近的剪辑级VIS每次都将短视频剪辑作为输入，表现出比帧级VIS（分段跟踪）更强的性能，因为利用了来自多个帧的更多时间上下文。然而，大多数剪辑级方法既不是端到端可学习的，也不是实时的。最近的VIS Transformer（VisTR）解决了这些限制，它在剪辑内执行VIS端到端。然而，VisTR由于其逐帧密集注意力而遭受长训练时间。此外，VisTR不能在多个视频片段中完全端到端学习，因为它需要手工构建的数据关联来链接连续片段之间的实例轨迹。本文提出了EfficientVIS，这是一个具有高效训练和推理的完全端到端框架。核心是tracklet查询和tracklet建议，通过迭代查询-视频交互在空间和时间上关联和分割感兴趣区域（ROI）。我们进一步提出了一个对应学习，使片段之间的tracklet链接端到端的学习。与VisTR相比，EfficientVIS所需的训练时间减少了15倍，同时在YouTube-VIS基准测试中达到了最先进的准确性。同时，我们的方法使整个视频实例分割在一个单一的端到端的通过没有数据关联在所有。
2022-03-03 cs.CV
Details Matter for Indoor Open-vocabulary 3D Instance Segmentation
University of Washington（华盛顿大学）；Amazon Lab126（亚马逊实验室126）；National Tsing Hua University（国立清华大学）
针对开放词汇3D实例分割任务，本研究整合互补思路，提出包含基于3D跟踪的候选框聚合、Alpha-CLIP分类及SMS分数归一化的两阶段框架，在多个基准上实现了超越端到端封闭词汇方法的最优性能。
2025-07-30 cs.CV
Deterministic Mode Proposals: An Efficient Alternative to Generative Sampling for Ambiguous Segmentation
KTH Royal Institute of Technology（皇家理工学院）
本文提出确定性模式提案模型，通过单次前向传递生成固定数量的提案掩码，减少推理时间并提高真实覆盖度，同时无需完整分布信息即可训练。
2026-03-20 cs.CV
Uncertainty Aware Proposal Segmentation for Unknown Object Detection
George Mason University（乔治梅森大学）
最近在部署深度神经网络用于现实世界应用（例如自动驾驶）中的目标检测的努力假设在训练期间已经观察到所有相关的对象类。当测试数据未在训练集中表示时，量化这些模型在设置中的性能主要集中在针对语义分割训练的模型的像素级不确定性估计技术上。本文提出了利用额外的预测的语义分割模型和量化其置信度，其次是分类的对象假设为已知与未知，分布对象。我们使用区域建议网络（RPN）生成的对象建议和适应距离感知不确定性估计的语义分割使用径向基函数网络（RBFN）的类无关对象掩码预测。然后，使用增强的对象建议来训练已知对象类别与未知对象类别的分类器。实验结果表明，该方法在未知目标检测方面达到了与现有方法并行的性能，并能有效降低目标检测器的误报率。我们的方法是非常适合的应用程序中获得的语义分割的非对象背景类别的预测是可靠的。
2021-11-25 cs.CV
Fusing Saliency Maps with Region Proposals for Unsupervised Object Localization
KTH Royal Institute of Technology（瑞典皇家理工学院）
在本文中，我们解决的问题，在单一的图像对象的无监督定位。与以前的最先进的方法相比，我们的方法是完全无监督的，在这个意义上，没有关于图像的先验实例级或类别级信息。此外，我们单独对待每个图像，不依赖于任何相邻图像的相似性。我们采用基于深度学习的显着图和区域建议的生成来解决这个问题。使用编码器/解码器架构来确定图像中的第一显著区域。所得到的显着图与来自类别不可知区域提议网络的区域提议相匹配，以粗略地定位候选对象区域。这些区域基于重叠和相似性比率被进一步细化。我们在基准数据集上的实验评估表明，该方法在定位精度方面接近当前最先进的方法，即使这些方法使用多帧。此外，我们创建了一个更具挑战性和现实的数据集，具有多个对象类别和不同的视点和照明条件，用于评估该方法在现实世界场景中的性能。
2018-04-11 cs.CV
Learning to Discover and Detect Objects
Microsoft Azure AI（微软Azure人工智能）；Technical University of Munich（慕尼黑工业大学）；Carnegie Mellon University（卡内基梅隆大学）
我们解决了新的类发现和本地化（NCDL）的问题。在此设置中，我们假设源数据集仅对某些对象类进行监督。其他类别的分类需要在没有任何人为监督的情况下基于视觉相似性自动发现、分类和定位。为了解决NCDL，我们提出了一个两阶段的目标检测网络基于区域的NCDL（RNCDL），使用区域建议网络定位感兴趣的区域（ROI）。然后，我们训练我们的网络来学习对每个RoI进行分类，要么作为源数据集中的已知类之一，要么作为新类之一，对类分配进行长尾分布约束，反映现实世界中类的自然频率。通过以端到端的方式训练我们的检测网络，它可以学习对各种类别的所有区域建议进行分类，包括那些不属于标记对象类别词汇的区域。我们使用COCO和LVIS数据集进行的实验表明，我们的方法比依赖于传统聚类算法的多级管道更有效。此外，我们通过将我们的方法应用于大规模的Visual Genome数据集来证明我们方法的通用性，在该数据集中，我们的网络成功地学会了在没有直接监督的情况下检测各种语义类。
2022-11-30 cs.CV
Revisiting Open World Object Detection
Beihang University（北京航空航天大学）
开放世界目标检测（OWOD）模拟知识不断增长的真实动态世界，试图检测已知和未知类，并逐步学习识别出的未知类。我们发现，虽然只有以前的OWOD工作建设性地提出了OWOD的定义，实验设置是不合理的，不合理的基准，混乱的度量计算，和不适当的方法。在本文中，我们重新思考OWOD的实验设置，并提出了五个基本的基准原则，以指导OWOD基准建设。此外，我们还针对OWOD问题设计了两个公平的评估协议，填补了从未知类的角度进行评估的空白。此外，我们引入了一个新的和有效的OWOD框架包含一个辅助建议ADvisor（PAD）和类特定的驱逐分类器（CEC）。非参数PAD可以帮助RPN在没有监督的情况下识别准确的未知建议，而CEC则可以校准过度自信的激活边界，并通过特定于类的驱逐函数过滤掉令人困惑的预测。在我们的公平基准上进行的综合实验表明，我们的方法在现有的和我们的新指标方面优于其他最先进的目标检测方法。我们的基准测试和代码可以在https://github.com/RE-OWOD/RE-OWOD上找到。
2022-01-04 cs.CV
Towards Universal Vision-language Omni-supervised Segmentation
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的开放世界通用分割方法通常利用CLIP和预先计算的提案掩码将开放世界分割任务视为提案分类。然而，1）这些工作不能以端到端的方式处理通用分割，以及2）全景数据集的有限规模限制了事物类上的开放世界分割能力。在本文中，我们提出了视觉语言全监督分割（VLOSS）。VLOSS从带有CLIP文本编码器的Mask 2Former通用分割框架开始。为了提高开放世界分割能力，我们利用全监督数据（即，全景分割数据、目标检测数据和图像-文本对数据）进行训练，从而丰富了开放世界分割能力并实现了更好的分割精度。为了更好地提高训练效率，充分释放全监督数据的力量，我们提出了几种先进的技术，即，FPN风格的编码器，可切换的训练技术和正分类损失。受益于端到端的训练方式与所提出的技术，VLOSS可以应用于各种开放世界的分割任务，而无需进一步调整。在不同的开放世界全景和实例分割基准上的实验结果证明了VLOSS的有效性。值得注意的是，在参数较少的情况下，我们使用Swin-Tiny主干的VLOSS在LVIS v1数据集上的掩码AP方面超过MaskCLIP约2%。
2023-03-12 cs.CV
Tube-CNN: Modeling temporal evolution of appearance for object detection in video
INRIA（法国国家信息与自动化研究所）；NRU HSE（俄罗斯国立高等经济研究大学）；ENS（巴黎高等师范学院）
视频中的目标检测对于许多应用是至关重要的。与图像相比，视频提供了额外的线索，可以帮助消除检测问题的歧义。我们在本文中的目标是学习判别模型的对象外观的时间演变，并使用这种模型的目标检测。为了模拟时间演化，我们引入了对应于边界框时间序列的时空管。我们提出了两个CNN架构，分别产生和分类管。我们的管道建议网络（TPN）首先生成大量的时空管道建议，最大限度地提高对象召回。然后，Tube-CNN在视频中实现管级对象检测器。我们的方法提高了两个大规模数据集的视频中的目标检测的最新技术水平：HollywoodHeads和ImageNet VID。管模型在困难的动态场景中显示出特殊的优势。
2018-12-06 cs.CV
Simultaneous Detection and Segmentation
Universidad de los Andes（安第斯大学）；University of California, Berkeley（加州大学伯克利分校）
我们的目标是检测图像中某个类别的所有实例，并为每个实例标记属于它的像素。我们称此任务为同时检测和分割（SDS）。与经典的限界框检测不同，SDS需要分割而不仅仅是框。与经典的语义分割不同，我们需要单独的对象实例。我们基于最近的工作，使用卷积神经网络对类别独立区域建议（R-CNN [16]）进行分类，引入了一种为SDS量身定制的新架构。然后，我们使用类别特定的，自上而下的图形-背景预测来完善我们自下而上的建议。我们在SDS上显示出比我们的基线提高了7个点（相对16%），在语义分割上比最先进的技术提高了5个点（相对10%），在目标检测上表现出最先进的性能。最后，我们提供了诊断工具，解开性能，并为未来的工作提供方向。
2014-07-07 cs.CV
4D Generic Video Object Proposals
Technical University of Munich（慕尼黑工业大学）；RWTH Aachen University（亚琛工业大学）
许多高级视频理解方法需要对象提议形式的输入。目前，这些建议主要是在网络的帮助下生成的，这些网络被训练用于检测和分割一组已知的对象类，这限制了它们对所有感兴趣的对象都在训练集中表示的情况的适用性。这是对汽车场景的限制，在汽车场景中，经常会出现未知物体。我们提出了一种方法，可以可靠地提取时空对象的建议，已知和未知的对象类别从立体视频。我们的4D通用视频管（4D-GVT）方法利用运动线索，立体数据和对象实例分割来计算一组紧凑的视频对象建议，精确地定位对象候选人及其轮廓在3D空间和时间。我们表明，只有少量的标记数据，我们的4D-GVT提案生成器可以很好地推广到现实世界的场景中，其中出现了未知的类别。它优于其他方法，这些方法试图通过将训练集中的类数量增加到几千个来检测尽可能多的对象。
2020-05-20 cs.CV cs.RO
PROB: Probabilistic Objectness for Open World Object Detection
Stanford（斯坦福大学）
开放世界目标检测（OWOD）是一个新的和具有挑战性的计算机视觉任务，它弥合了经典目标检测（OD）基准和现实世界中的目标检测之间的差距。除了检测和分类看到/标记的对象外，OWOD算法还有望检测新的/未知的对象-这些对象可以被分类和增量学习。在标准OD中，不与标记的对象重叠的对象建议被自动分类为背景。因此，简单地将OD方法应用于OWOD失败，因为未知对象将被预测为背景。检测未知物体的挑战源于在区分未知物体和背景物体建议方面缺乏监督。先前的OWOD方法试图通过使用伪标记生成监督来克服这个问题，然而，未知目标检测仍然很低。概率/生成模型可以为这一挑战提供解决方案。在这里，我们介绍了一种新的概率框架的对象估计，我们之间的概率分布估计和对象的可能性最大化的已知对象在嵌入式特征空间交替-最终使我们能够估计不同的建议的对象概率。由此产生的基于ProbabilityObjectness变换的开放世界检测器PROB将我们的框架集成到传统的目标检测模型中，使其适应开放世界的设置。在OWOD基准测试上的综合实验表明，PROB在未知目标检测（$\sim 2\times$未知召回）和已知目标检测（$\sim 10\%$ mAP）两个方面都优于现有的OWOD方法.我们的代码将在https://github.com/orrzohar/PROB上发布。
2022-12-02 cs.AI cs.CV cs.LG
A semi-supervised fuzzy GrowCut algorithm to segment and classify regions of interest of mammographic images
Federal University of Pernambuco（伯南布哥联邦大学）
根据世界卫生组织，乳腺癌是女性最常见的癌症。它是世界各地妇女死亡的第二大原因，成为最致命的癌症形式。乳腺摄影图像分割是支持图像分析和诊断的基本任务，同时考虑到乳腺病变及其边界的形状分析。然而，乳房X线图像分割是一个非常困难的过程，一旦它高度依赖于乳腺组织的类型。在这项工作中，我们提出了一种新的半监督分割算法的基础上修改的GrowCut算法进行自动乳腺摄影图像分割，一旦感兴趣的区域被专家选择。在我们的建议中，我们使用模糊高斯隶属度函数来修改原始GrowCut算法的进化规则，以估计像素是目标还是背景的不确定性。所提出的方法的主要影响是显着减少专家的努力，在初始化的种子点的GrowCut执行准确的分割，一旦它消除了需要选择的背景种子。同时，我们还构造了一个基于模拟退火优化方法的自动选点过程，避免了人工干预。所提出的方法进行了定性比较与其他国家的最先进的分割技术，考虑分割区域的形状。为了验证我们的建议，我们建立了一个图像分类器使用经典的多层感知器。我们使用Zernike矩来提取分割的图像特征。该分析使用了来自IRMA乳腺癌数据库的685张乳房X线照片，使用了脂肪和纤维瘤组织。实验结果表明，该方法对脂肪组织的分类正确率为91.28%，证明了该方法的可行性。
2017-12-03 cs.AI cs.CV cs.IR
Deep-learning coupled with novel classification method to classify the urban environment of the developing world
The University of Tokyo（东京大学）；The Independent University Bangladesh（孟加拉国独立大学）；The Data and Design Lab（数据与设计实验室）；University of Dhaka（达卡大学）；United Nations University（联合国大学）
迅速的全球化和人类的相互依存，导致大量人口向城市空间迁移。随着高清晰度卫星图像、高分辨率数据、深度神经网络等计算方法和强大硬件的出现，城市规划正在发生范式转变。关于城市环境的遗留数据目前正得到大量、高频率数据的补充。在本文中，我们提出了一种新的分类方法，是很容易使用的机器分析，并显示在发展中国家设置的方法的适用性。最先进的技术主要由建筑结构、建筑类型等分类主导，主要代表发达国家，这对于孟加拉国等发展中国家来说是不够的，因为环境对分类至关重要。此外，传统的方法提出了小规模的分类，这给有限的信息，可扩展性差，计算速度慢。我们根据周围环境将城市区域分为非正式空间和正式空间。一位专家对孟加拉国达卡50公里x50公里的谷歌地球图像进行了视觉注释和分类。这种分类大致基于两个方面：城市化和城市环境的建筑形式。因此，城市空间分为四类：1）高度非正式; 2）适度非正式; 3）适度正式; 4）高度正式的地区。总共确定了16个子类。对于语义分割，使用了Google的DeeplabV 3+模型，该模型增加了过滤器的视野，以包含更大的上下文。包含70%城市空间的图像用于训练，其余30%用于测试和验证。该模型能够以75%的准确率和60%的平均IoU进行分割。
2021-01-07 cs.CV cs.LG
FA-RPN: Floating Region Proposals for Face Detection
我们提出了一种新的方法来生成区域的建议进行人脸检测。我们采用基于池化的方法来生成区域建议，而不是使用卷积特征图中像素的特征对锚框进行分类。然而，汇集数十万个锚，这些锚被评估用于生成建议，成为推理过程中的计算瓶颈。为此，提出了一种有效的锚放置策略，以减少锚盒的数量。然后，我们表明，我们的网络（浮动锚区域建议网络，FA-RPN）生成的建议是优于RPN生成区域建议的人脸检测。我们讨论了FA-RPN建议的几个有益功能，如迭代细化，分数锚点的放置和更改锚点，这些功能可以在不对训练模型进行任何更改的情况下启用。我们基于FA-RPN的人脸检测器在WIDER数据集上获得了89.4%的mAP，具有ResNet-50骨干。
2018-12-13 cs.CV
Perceiving the Invisible: Proposal-Free Amodal Panoptic Segmentation
University of Freiburg（弗莱堡大学）
非模态全景分割旨在将对世界的感知与其认知理解联系起来。它需要同时预测可见场景区域的语义标签和交通参与者实例的整个形状，包括可能被遮挡的区域。在这项工作中，我们制定了一个无提案的框架，解决这个任务作为一个多标签和多类的问题，首先分配的amodal掩模到不同的层根据其相对的遮挡顺序，然后采用amodal实例回归在每一层上独立，同时学习背景语义。我们提出了\net架构，它采用了一个共享的骨干和一个非对称的双解码器组成的几个模块，以促进规模内和跨规模的功能聚合，解码器之间的双边特征传播，并集成全球实例级和局部像素级遮挡推理。此外，我们提出了amodal掩模细化，解决了复杂的遮挡情况下，明确利用嵌入未遮挡的实例掩模的模糊性。对BDD 100 K-APS和KITTI-360-APS数据集的广泛评估表明，我们的方法在这两个基准上都是最先进的。
2022-05-29 cs.AI cs.CV cs.RO
Extending One-Stage Detection with Open-World Proposals
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI（Facebook人工智能）
在许多应用中，例如自动驾驶、手动操作或机器人导航，目标检测方法必须能够检测训练集中未见过的对象。开放世界检测（OWD）试图通过将检测性能推广到可见和不可见的类别来解决这个问题。最近的工作已经成功地生成了类不可知的建议，我们称之为开放世界建议（OWP），但这是以在检测模型中考虑两个任务时分类任务的大幅下降为代价的。这些工作通过利用对象评分线索研究了两阶段区域建议网络（RPN）;然而，由于其简单性，运行时间以及定位和分类的解耦，我们通过完全卷积的一阶段检测网络（如FCOS）来研究OWP。我们表明，我们对FCOS的架构和采样优化可以将OWP性能提高6%，这标志着第一个无建议的一阶段检测网络实现了与基于RPN的两阶段网络相当的性能。此外，我们表明，固有的，解耦架构的FCOS保留分类性能的好处。虽然两阶段方法在新类别上的召回率下降了6%，但我们发现，当联合优化OWP和分类时，FCOS只下降了2%。
2022-01-12 cs.CV
Towards Effective Image Manipulation Detection with Proposal Contrastive Learning
Shenzhen University（深圳大学）；Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
深度模型在图像篡改检测中得到了广泛而成功的应用，其目的是对篡改图像进行分类并定位篡改区域。现有的方法主要集中在从篡改图像中提取全局特征，而忽略了单个篡改图像中篡改区域与真实区域之间的局部特征关系。为了利用这种空间关系，我们提出了建议对比学习（PCL）有效的图像操作检测。我们的PCL包括一个双流架构，分别从RGB和噪声视图中提取两种类型的全局特征。为了进一步提高鉴别能力，我们利用本地功能的关系，通过代理建议对比学习任务吸引/排斥基于提议的正/负样本对。此外，我们表明，我们的PCL可以很容易地适应未标记的数据在实践中，这可以减少手动标记成本，并促进更普遍的功能。在几个标准数据集上的大量实验表明，我们的PCL可以作为一个通用模块，以获得一致的改善。该代码可在https://github.com/Sandy-Zeng/PCL上获得。
2023-02-22 cs.CV
Small, but important: Traffic light proposals for detecting small traffic lights and beyond
Ibeo Automotive Systems GmbH（伊贝奥汽车系统有限公司）；University of Hamburg（汉堡大学）
针对CNN下采样导致小交通信号灯检测困难的问题，提出结合多尺度特征与注意力机制的提议生成器及检测头，在多个数据集上小目标检测提升至少12.6%。
2023-07-27 cs.CV
Using Early-Learning Regularization to Classify Real-World Noisy Data
KTH Royal Institute of Technology（瑞典皇家理工学院）
记忆问题在计算机视觉领域是众所周知的。Liu等人提出了一种名为Early-Learning Regularization的技术，当存在标签噪声时，该技术可以提高CIFAR数据集的准确性。该项目复制了他们的实验，并研究了具有内在噪声的真实数据集的性能。结果表明，它们的实验结果是一致的。除了SGD之外，我们还探索了清晰度感知最小化，并观察到进一步提高了14.6个百分点。未来的工作包括使用所有600万张图像，并手动清理一小部分图像，以微调迁移学习模型。最后但并非最不重要的是，获得用于测试的干净数据也将提高准确性的测量。
2021-06-01 cs.CV
Complementary Boundary Generator with Scale-Invariant Relation Modeling for Temporal Action Localization: Submission to ActivityNet Challenge 2020
SenseTime Group Limited（商汤集团有限公司）
本技术报告概述了我们在提交ActivityNet Challenge 2020任务1（\textbf{temporal action localization/detection}）时使用的解决方案。时间动作定位不仅要求精确定位动作实例的时间边界，还要求将未修剪的视频准确分类到特定的类别。在本文中，我们解耦的时间动作本地化任务分为两个阶段（即建议生成和分类），丰富的建议多样性，通过详尽的探索多个组件的影响，从不同的，但互补的角度。具体来说，为了生成高质量的建议，我们考虑了几个因素，包括视频特征编码器，建议生成器，建议的建议关系，规模不平衡，和合奏策略。最后，为了获得准确的检测，我们需要进一步训练一个最优的视频分类器来识别生成的建议。我们提出的方案实现了最先进的性能的时间动作定位任务与\textbf{42.26}平均mAP的挑战测试集。
2020-08-26 cs.CV
Social Fabric: Tubelet Compositions for Video Relation Detection
University of Amsterdam（阿姆斯特丹大学）
本文致力于分类和检测对象tubelets之间的关系出现在视频作为一个<subject-predicate-object>三元组。现有的作品处理对象的建议或tubelets作为单一的实体和模型的关系后验，我们建议分类和检测谓词对对象tubelets先验。我们还提出了社会织物：一个编码，表示一对对象tubelets作为一个组成的互动原语。这些基元在所有关系上学习，从而产生能够在视频中的所有时间跨度上对来自共现对象tubelet池的关系进行定位和分类的紧凑表示。编码使我们的两阶段网络。在第一阶段，我们训练Social Fabric提出可能相互作用的建议。我们在第二阶段使用Social Fabric来同时微调和预测tubelets的谓词标签。实验证明了早期的视频关系建模的好处，我们的编码和两个阶段的架构，导致一个新的国家的最先进的两个基准。我们还展示了如何编码，使查询的连续的例子，以搜索时空视频关系。代码：https://github.com/shanshuo/Social-Fabric.
2021-08-18 cs.CV
Proposal-Level Unsupervised Domain Adaptation for Open World Unbiased Detector
Nanyang Technological University（南洋理工大学）；Damo Academy, Alibaba Group（阿里巴巴达摩院）；Terminus Group（特斯联集团）
针对开放世界目标检测中前景预测器偏向已知类别、未见类别外观偏移下失效的问题，提出将任务重构为提议级无监督域适应，通过自训练学习域不变特征实现无偏检测，达到当前最优性能。
2023-11-04 cs.CV
World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；State Key Laboratory of Mobile Network and Mobile Multimedia Technology, ZTE, China（中兴通讯移动网络和移动多媒体技术国家重点实验室）；Sun Yat-sen University（中山大学）
提出ProAct框架，通过世界校准的提议到行动流程，使生成源可预测，保持运动连续性并校准各向异性源，提升VLA模型性能并减少计算开销。
2026-10-05 cs.CV cs.RO
Detecting Curve Text with Local Segmentation Network and Curve Connection
Videt Tech Ltd.（维德科技有限公司）
曲线文本或任意形状的文本在实际场景中非常常见。在本文中，我们提出了一种新的框架与局部分割网络（LSN）其次是曲线连接检测文本在水平，定向和弯曲的形式。LSN由两个元素组成，即，提案生成，以获得与文本高度重叠的水平矩形提案，以及文本分割，以找到提案中的任意形状文本区域。然后设计曲线连接以将局部掩模连接到检测结果。我们使用所提出的框架在两个真实世界的曲线文本检测数据集上进行实验，并证明了与以前的方法相比的有效性。
2021-03-22 cs.CV
Visual Relationship Detection Based on Guided Proposals and Semantic Knowledge Distillation
CEA, LIST（法国原子能与替代能源委员会 信息与技术系统实验室）；CERMICS, Ecole des Ponts（巴黎路桥学院 数学与科学计算中心）
对图像内容的透彻理解需要对自然世界中可能发生的相互作用进行复杂的把握。其中一个关键问题是描述对象之间的视觉关系。在处理真实世界的数据时，捕捉这些非常多样化的交互是一个难题。它可以通过在网络中加入常识来缓解。为此，我们提出了一个框架，该框架利用语义知识并在训练和测试阶段估计对象对的相关性。从预先计算的模型和训练注释中提取的这些信息被提取到专用于此任务的神经网络中。使用这种方法，我们观察到所有类别的视觉基因组，一个具有挑战性的视觉关系数据集的显着改善。在100处的召回率的68.5%的相对增益与相关性估计直接相关，并且与知识蒸馏的32.7%的增益直接相关。
2018-05-28 cs.CV
From Local Matches to Global Masks: Template-Guided Instance Detection and Segmentation in Open-World Scenes
IRVLUTD
本文提出L2G-Det框架，通过模板与查询图像的密集补丁匹配实现实例检测与分割，避免显式提议，提升开放世界场景下的鲁棒性。
2026-05-13 cs.CV cs.RO
Arbitrary-Oriented Scene Text Detection via Rotation Proposals
Fudan University（复旦大学）；Shanghai Advanced Research Institute, Chinese Academy of Sciences（中国科学院上海高等研究院）
本文介绍了一种新的基于旋转的框架，在自然场景图像中的任意方向的文本检测。我们提出了旋转区域建议网络（RRPN），这是专为产生倾斜的建议与文本方向角信息。然后，角度信息被适配用于限界框回归，以使建议在取向方面更准确地适合文本区域。旋转感兴趣区域（RRoI）池层被提出来将任意方向的建议投影到文本区域分类器的特征图上。整个框架是建立在一个区域建议为基础的架构，这保证了计算效率的任意面向文本检测相比，以前的文本检测系统。我们使用基于旋转的框架在三个真实场景文本检测数据集上进行实验，并证明了其在有效性和效率方面优于以前的方法。
2018-03-15 cs.CV
ScaleNet: Guiding Object Proposal Generation in Supermarkets and Beyond
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai University（上海大学）
本文以超市商品检测为背景，研究了超市图像和其他自然图像中的目标建议生成问题。我们认为，图像中的对象尺度的估计是有帮助的生成对象的建议，特别是对于超市的图像，对象尺度通常是在一个小的范围内。因此，我们建议在生成对象建议之前估计图像的对象尺度。所提出的预测对象尺度的方法称为ScaleNet。为了验证ScaleNet的有效性，我们构建了三个超市数据集，其中两个是用于测试的真实数据集，另一个是用于训练的合成数据集。简而言之，我们通过添加规模预测阶段来扩展先前最先进的对象建议方法。由此产生的方法优于以前的国家的最先进的超市数据集上的一个很大的利润。我们还表明，该方法适用于其他自然图像上的对象建议，并且在MS COCO数据集上优于以前最先进的对象建议方法。超市数据集、虚拟超市以及创建更多合成数据集的工具将被公开。
2017-04-22 cs.CV
Temporal Action Detection with Structured Segment Networks
The Chinese University of Hong Kong（香港中文大学）；ETH Zurich（苏黎世联邦理工学院）
在未经裁剪的视频中检测动作是一项重要而又具有挑战性的任务。在本文中，我们提出了结构化段网络（SSN），一种新的框架，通过结构化的时间金字塔模型的时间结构的每个动作实例。在金字塔的顶部，我们进一步引入了一个分解的判别模型，包括两个分类器，分别用于分类动作和确定完整性。这使得该框架能够有效地区分积极的建议与背景或不完整的建议，从而实现准确的识别和定位。这些组件被集成到一个统一的网络中，可以以端到端的方式进行有效的训练。此外，一个简单而有效的时间行动建议计划，被称为时间行动分组（TAG）的设计，以产生高质量的行动建议。在两个具有挑战性的基准测试，THUMOS 14和ActivityNet，我们的方法显着优于以前的最先进的方法，表现出优越的准确性和强大的适应性，在处理各种时间结构的行动。
2017-09-18 cs.CV
Kernel Proposal Network for Arbitrary Shape Text Detection
University of Science and Technology Beijing（北京科技大学）
提出核提议网络（KPN），利用动态卷积核和正交学习损失分离相邻文本实例，实现高效任意形状文本检测。
2023-06-20 cs.CV
Single Shot Temporal Action Detection
Shanghai Jiao Tong University（上海交通大学）；Columbia University（哥伦比亚大学）
时间动作检测是一个非常重要但具有挑战性的问题，因为在实际应用中的视频通常很长，未经修剪，并包含多个动作实例。这个问题不仅需要识别动作类别，而且还需要检测每个动作实例的开始时间和结束时间。许多最先进的方法采用“分类检测”框架：首先进行提案，然后对提案进行分类。这个框架的主要缺点是，动作实例建议的边界在分类步骤中已经固定。为了解决这个问题，我们提出了一种新的Single Shot Action Detector（SSAD）网络，该网络基于1D时间卷积层，通过直接检测未修剪视频中的动作实例来跳过建议生成步骤。在追求设计一个特定的SSAD网络，可以有效地工作的时间动作检测，我们经验性地寻找最好的网络结构的SSAD由于缺乏现有的模型，可以直接采用。此外，我们研究了输入特征类型和融合策略，以进一步提高检测精度。我们在两个具有挑战性的数据集上进行了广泛的实验：THUMOS 2014和MEXaction2。当在评估过程中将交集大于并集阈值设置为0.5时，SSAD的性能显著优于其他最先进的系统，在THUMOS 2014上将mAP从19.0%增加到24.6%，在MEXaction2上从7.4%增加到11.0%。
2017-10-17 cs.CV
ArtPro: Self-Supervised Articulated Object Reconstruction with Adaptive Integration of Mobility Proposals
Shandong University（山东大学）；Southwest University（西南大学）
ArtPro提出了一种自监督框架，通过自适应整合移动提案来解决传统方法在复杂多部件物体重建中的精度和稳定性问题，实验表明其在合成和真实物体上均表现优异。
2026-03-26 cs.CV
Siamese Anchor Proposal Network for High-Speed Aerial Tracking
Tongji University（同济大学）；New York University（纽约大学）
在视觉跟踪领域，大多数基于深度学习的跟踪器都强调准确性，但忽略了效率。因此，它们在移动平台（如无人机（UAV））上的实际部署受到阻碍。在这项工作中，提出了一种新的两阶段暹罗网络为基础的方法，空中跟踪，\textit{i.e.}，阶段1的高质量的锚建议的产生，阶段2细化锚建议。与基于锚点的方法具有许多预定义的固定大小的锚点不同，我们的无先验方法可以：1）根据自适应锚点生成，在复杂场景下提高对不同大小的不同对象的鲁棒性和泛化能力，特别是对小的，遮挡的和快速移动的对象，2）由于锚点数量的大幅减少，使计算变得可行。此外，与无锚方法相比，我们的框架由于在第2阶段的细化而具有更好的性能。在三个基准上的综合实验证明了我们的方法的优越性能，速度约为200帧/秒。
2021-07-30 cs.CV
M3D-RPN: Monocular 3D Region Proposal Network for Object Detection
Michigan State University（密歇根州立大学）
了解3D世界是城市自动驾驶的关键组成部分。通常，昂贵的LiDAR传感器和立体RGB成像的组合对于成功的3D目标检测算法是至关重要的，而单目图像方法的性能大大降低。我们建议通过将单目3D检测问题重新表述为独立的3D区域建议网络来缩小差距。我们利用2D和3D透视图的几何关系，允许3D框利用图像空间中生成的众所周知的强大卷积特征。为了帮助解决繁重的3D参数估计，我们进一步设计了深度感知卷积层，其能够实现位置特定的特征开发，从而改善3D场景理解。与之前的单目3D检测工作相比，我们的方法仅由所提出的3D区域建议网络组成，而不是依赖于外部网络、数据或多个阶段。M3 D-RPN能够显著提高KITTI城市自动驾驶数据集中单目3D目标检测和鸟瞰视图任务的性能，同时有效地使用共享的多类模型。
2019-08-11 cs.CV
Latent Vector Expansion using Autoencoder for Anomaly Detection
SK Planet Co., Ltd.（SK电讯星球株式会社）
深度学习方法可以将图像、语言和语音等各种非结构化数据分类为输入数据。随着对异常进行分类的任务在现实世界中变得越来越重要，存在各种方法用于使用深度学习对在现实世界中收集的数据进行分类。随着对异常进行分类的任务在现实世界中变得越来越重要，存在使用深度学习对在现实世界中收集的数据进行分类的各种方法。在各种方法中，代表性的方法是基于过渡模型从预训练模型提取和学习主要特征的方法，以及仅用正常数据学习基于自动编码器的结构并通过阈值将其分类为异常的方法。但是，如果数据集不平衡，即使是最先进的模型也无法实现良好的性能。这可以通过将不平衡数据中的正常和异常特征增强为具有强区别的特征来解决。我们利用自动编码器的特点，训练潜在向量从低到高的维度。我们训练正常数据和异常数据作为在不平衡数据的特征中具有很强区别的特征。我们提出了一个潜在的向量扩展自动编码器模型，提高分类性能不平衡的数据。所提出的方法相比，使用不平衡的异常数据集的基本自动编码器的性能提高。
2022-01-05 cs.CV cs.LG
SeqVLM: Proposal-Guided Multi-View Sequences Reasoning via VLM for Zero-Shot 3D Visual Grounding
School of Informatics, Xiamen University（厦门大学信息学院）；School of Computer Science, Nanjing University（南京大学计算机科学学院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学）
SeqVLM提出一种零样本3D视觉定位框架，通过语义过滤生成3D实例提案并投影到多视图图像序列，结合动态调度与VLM跨模态推理，在ScanRefer和Nr3D上取得领先性能。
2025-08-28 cs.AI cs.CV
Open-World Hierarchical Perception: Taxonomic Abstraction over Class-Agnostic Proposals for the Safe Handling of Out-of-Vocabulary Road Objects
本文提出开放世界层次感知层，在类无关区域候选上实现分类抽象，通过结合三类开放世界信号，在自动驾驶留类基准测试中，可安全处理词汇外道路对象且无分类错误。
2026-08-11 cs.AI cs.CV cs.RO
A Scoping Review of Deep Learning for Urban Visual Pollution and Proposal of a Real-Time Monitoring Framework with a Visual Pollution Index
本文综述了深度学习在城市视觉污染检测中的应用，提出了一种整合视觉污染指数的实时监控框架，旨在提升城市美学和居民福祉。
2026-02-10 cs.CV cs.LG
HQ-OV3D: A High Box Quality Open-World 3D Detection Framework based on Diffision Model
HQ-OV3D框架通过跨模态几何一致性生成和基于DDIM的去噪优化，为开放词汇3D检测生成高质量伪标签，在新类别上mAP提升7.37%。
2025-08-18 cs.CV cs.LG cs.RO
Model Evaluation for Domain Identification of Unknown Classes in Open-World Recognition: A Proposal
School of Digital Science（数字科学学院）；Universiti Brunei Darussalam（文莱达鲁萨兰大学）；Kalimantan Institute of Technology（加里曼丹理工学院）
本文提出一种评估协议，衡量模型区分未知ID与OOD样本的能力，并通过迁移学习、AutoML及NCM-FINCH在五个领域验证预训练表示对领域识别的作用。
2023-12-09 cs.AI cs.CV cs.LG
