Relief R-CNN : Utilizing Convolutional Features for Fast Object Detection
Tencent Company(腾讯公司)
R-CNN风格的方法是一种最先进的目标检测方法,它包括区域建议生成和深度CNN分类。然而,在这个范例中的建议生成阶段通常是耗时的,这将减慢整个检测时间在测试中。本文认为,深度卷积特征映射中特征之间的值差异包含大量有用的空间信息,并提出了一种简单的方法来提取信息,用于在测试中快速生成区域建议。所提出的方法,即救济R-CNN(R2-CNN),采用了一种新的区域建议生成器在训练的R-CNN风格的模型。新的生成器通过一些简单的规则直接从卷积特征生成建议,从而导致更快的建议生成速度和更低的计算资源需求。实验研究表明,在测试的所有算法中,R2-CNN的检测速度最快,检测精度相当。
2017-04-26 cs.CV
Open-Set Object Detection Using Classification-free Object Proposal and Instance-level Contrastive Learning
Zhejiang University(浙江大学)
本文提出 Openset RCNN,通过无分类区域提议网络和原型学习网络分别解决物体与背景分离及开放集分类问题,并构建新基准验证其在机器人杂乱环境重排任务中的开放集感知能力。
2023-12-04 cs.CV cs.RO
ZISVFM: Zero-Shot Object Instance Segmentation in Indoor Robotic Environments with Vision Foundation Models
School of Electrical Engineering, Yanshan University(燕山大学电气工程学院)
本文提出ZISVFM方法,通过结合SAM的零样本分割能力与自监督ViT的注意力特征,并利用K-Medoids聚类生成点提示,解决了室内机器人环境中未见物体实例分割的仿真到现实差距问题。
2025-02-05 cs.CV cs.RO
Object proposal generation applying the distance dependent Chinese restaurant process
University of Hamburg(汉堡大学)
在应用领域,如机器人,它是有用的,以表示有关机器人的信念,其环境的状态的不确定性。仅产生单一“最佳猜测”的算法是不够的。在本文中,我们提出了基于非参数贝叶斯推理,允许量化的可能性的建议对象的建议生成。我们应用马尔可夫链蒙特卡罗通过距离依赖的中国餐馆过程来绘制图像分割的样本。我们的方法在室内对象发现数据集上实现了最先进的性能,同时还为每个建议提供了可能性项。我们表明,可能性项可以有效地用于排名的建议,根据其质量。
2017-04-12 cs.CV
Geometry-Based Region Proposals for Real-Time Robot Detection of Tabletop Objects
Northwestern University(西北大学);Rehabilitation Institute of Chicago(芝加哥康复研究所)
我们提出了一种新的目标检测管道定位和识别在三维环境中。我们的方法利用RGB-D传感器,并结合了机器人和计算机视觉领域的最先进技术,以创建一个强大的,实时的【形】检测系统。我们专注于解决桌面场景的目标检测问题,辅助机械手的常见环境。我们的检测流水线定位对象在场景的点云表示。这些聚类随后用于计算RGB空间中每个对象周围的限界框。然后将每个定义的补丁馈送到卷积神经网络(CNN)中进行对象识别。我们还证明,我们的区域建议方法可用于开发新的数据集,这些数据集既足够大,又足够多样化,可以训练深度学习模型,而且很容易收集,最终用户可以开发自己的数据集。最后,我们通过对整个管道的准确性和运行时间的广泛分析来验证所得到的系统。
2017-03-14 cs.CV cs.RO
Deep Active Perception for Object Detection using Navigation Proposals
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
针对现有深度学习目标检测依赖静态推理范式、主动感知改动训练流程的问题,提出可结合现成检测器与仿真环境的通用有监督主动感知流水线,通过额外网络估算低置信度下的更优视角,在合成数据集上验证了两类场景的有效性。
2023-12-15 cs.CV
Learning Detection with Diverse Proposals
University of California, Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学)
为了用丰富的表示来预测一组多样化和信息丰富的建议,本文引入了一个可微的决定点过程(DPP)层,该层能够增强目标检测架构。大多数现代目标检测架构,如Faster R-CNN,通过最小化与地面实况的偏差来学习定位对象,但忽略了多个建议和对象类别之间的相关性。非最大值抑制(NMS)作为一种广泛使用的建议修剪方案,忽略了标签和实例级的候选对象之间的关系,导致多标签检测。在多类别的情况下,NMS选择具有最大预测分数的盒子,忽略潜在选举类别之间的语义关系。相比之下,我们的可训练DPP层,允许学习检测与不同的建议(LDDP),考虑标签级上下文信息和空间布局之间的关系的建议,而不增加网络的参数的数量,从而大大提高了最终检测到的边界框的位置和类别规格在训练和推理方案。此外,我们还表明,即使LDPP生成的提案数量仅为Faster R-CNN的约30%,LDDP仍保持着优于Faster R-CNN的优势。
2017-04-11 cs.CV
Grouping Boundary Proposals for Fast Interactive Image Segmentation
Shandong Artificial Intelligence Institute(山东省人工智能研究院);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));University Paris Dauphine, PSL Research University(巴黎多芬大学,巴黎文理研究大学);CNRS(法国国家科学研究中心)
本文提出一种基于最小测地线框架的图像分割模型,结合自适应割的圆形最优路径计算和基于图的边界提议分组方案,通过利用图像边缘连通性信息解决复杂场景下的捷径问题,优于现有最先进方法。
2023-09-08 cs.CV
Improving Small Object Proposals for Company Logo Detection
University of Augsburg(奥格斯堡大学)
用于目标检测的许多现代方法是两级流水线。第一阶段识别感兴趣的区域,然后在第二阶段中对其进行分类。更快的R-CNN是一种用于目标检测的方法,它将两个阶段结合到单个管道中。在本文中,我们将Faster R-CNN应用于公司徽标检测任务。由于其在小对象实例上的弱性能,我们详细研究了关于广泛的对象大小的建议和分类阶段。我们调查的影响,这些阶段的性能特征图分辨率。基于理论上的考虑,我们引入了一种用于生成锚点建议的改进方案,并对Faster R-CNN进行了修改,该方法利用了小对象的更高分辨率特征映射。我们在FlickrLogos数据集上评估了我们的方法,将RPN性能从0.52提高到0.71(MABO),检测性能从0.52提高到0.67(mAP)。
2017-04-28 cs.CV
Multiscale Combinatorial Grouping for Image Segmentation and Object Proposal Generation
Universitat Politècnica de Catalunya, BarcelonaTech (UPC)(加泰罗尼亚理工大学(巴塞罗那理工));Universidad de los Andes(洛斯安第斯大学);University of California at Berkeley(加州大学伯克利分校)
我们提出了一个统一的方法,自下而上的分层图像分割和对象的建议生成识别,称为多尺度组合识别(MCG)。为此,我们首先开发了一个快速的归一化切割算法。然后,我们提出了一个高性能的分层分割,有效地利用多尺度信息。最后,我们提出了一种分组策略,通过有效地探索其组合空间,将我们的多尺度区域组合成高度准确的对象建议。我们还介绍了单尺度组合优化(SCG),这是MCG的更快版本,可以在每幅图像5秒内生成有竞争力的提案。我们对BSDS 500,SegVOC12,SBD和COCO数据集进行了广泛而全面的实证验证,表明MCG产生了最先进的轮廓,分层区域和对象建议。
2016-03-01 cs.CV
Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment
Columbia University(哥伦比亚大学)
Few-Shot目标检测(FSOD)旨在仅使用几个示例来检测对象。如何使最先进的物体检测器适应于Few-Shot域仍然具有挑战性。目标建议是现代目标探测器的关键组成部分。然而,使用现有方法为Few-Shot类生成的建议的质量比为多镜头类生成的建议的质量差得多,由于错误分类或相对于真实对象的不准确空间位置,Few-Shot类的框丢失。为了解决有噪声的建议问题,我们提出了一种新的基于元学习的FSOD模型,通过联合优化Few-Shot建议生成和细粒度的Few-Shot建议分类。为了改进Few-Shot类的提案生成,我们建议学习基于轻量级度量学习的原型匹配网络,而不是传统的简单线性对象/非对象分类器,例如,用于RPN。我们的非线性分类器与特征融合网络,可以提高区分的原型匹配和建议召回Few-Shot类。为了提高细粒度的Few-Shot建议分类,我们提出了一种新的关注特征对齐方法,以解决噪声建议和Few-Shot类之间的空间错位,从而提高Few-Shot目标检测的性能。同时,我们学习了一个单独的Faster R-CNN检测头,用于多镜头基类,并显示出维护基类知识的强大性能。我们的模型在大多数镜头和指标的多个FSOD基准测试中实现了最先进的性能。
2022-06-02 cs.AI cs.CV cs.MM
RRPN: Radar Region Proposal Network for Object Detection in Autonomous Vehicles
The University of Tennessee Knoxville(田纳西大学诺克斯维尔分校)
区域建议算法通过假设图像中的对象位置,在大多数最先进的两阶段目标检测网络中发挥重要作用。尽管如此,已知区域建议算法是大多数两阶段目标检测网络中的瓶颈,增加了每个图像的处理时间,并导致缓慢的网络不适合自动驾驶车辆等实时应用。在本文中,我们介绍RRPN,基于雷达的实时区域建议算法的目标检测在自动驾驶汽车。RRPN通过将雷达探测映射到图像坐标系并为每个映射的雷达探测点生成预定义的锚框来生成对象建议。然后,这些锚框根据物体与车辆的距离进行变换和缩放,以提供检测到的物体的更准确的建议。我们使用快速R-CNN目标检测网络[2]在新发布的NuScenes数据集[1]上评估我们的方法。与选择性搜索对象建议算法[3]相比,我们的模型运行速度快100倍以上,同时实现了更高的检测精度和召回率。代码已在https://github.com/mrnabati/RRPN上公开发布。
2019-05-15 cs.CV
WeDetect: Fast Open-Vocabulary Object Detection as Retrieval
WeChat Vision, Tencent Inc.(腾讯微信视觉部);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔));Shenzhen Loop Area Institute(深圳河套学院)
WeDetect通过检索框架实现快速开放词汇物体检测,结合双塔架构和LMMs,提升检测效率和通用性。
2025-12-13 cs.CV
Instance Segmentation by Jointly Optimizing Spatial Embeddings and Clustering Bandwidth
KU Leuven(鲁汶大学)
当前最先进的实例分割方法不适合于像自动驾驶这样的实时应用,自动驾驶需要高精度的快速执行时间。虽然目前占主导地位的基于提议的方法具有高精度,但它们速度慢,并且以固定和低分辨率生成掩模。相比之下,无建议方法可以以高分辨率生成掩码,并且通常更快,但无法达到与基于建议的方法相同的精度。在这项工作中,我们提出了一个新的聚类损失函数的建议自由实例分割。损失函数将属于同一实例的像素的空间嵌入拉到一起,并共同学习特定于实例的聚类带宽,从而最大化所得到的实例掩码的交集。当与快速架构相结合时,该网络可以实时执行实例分割,同时保持高精度。我们在具有挑战性的Cityscapes基准上评估了我们的方法,并在2 MP图像上以超过10 fps的速度获得了最佳结果(比Mask R-CNN提高了5%)。代码将在https://github.com/davyneven/SpatialEmbeddings上提供。
2019-08-02 cs.CV
Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images
Xidian University(西安电子科技大学)
目标检测是航空和卫星图像分析中的一个基本和具有挑战性的问题。最近,两阶段检测器Faster R-CNN被提出,并被证明是光学遥感图像中目标检测的一个很有前途的工具,而遥感图像中目标的稀疏和密集特性是复杂的。用同一个区域建议策略处理所有图像是不合理的,这种处理限制了两级检测器的性能。在本文中,我们提出了一种新颖有效的方法,称为深度自适应建议网络(DAPNet),通过在现有的Faster R-CNN架构的基础上学习新的类别先验网络(CPN)来解决对象的这种复杂性特征。此外,DAPNet模型产生的候选区域不同于传统的区域建议网络(RPN),DAPNet预测每个候选区域的细节类别。这些候选区域结合类别先验网络生成的对象数目,为每幅图像获得合适数目的候选框。这些候选框可以满足稀疏和密集场景中的检测任务。所提出的框架的性能进行了评估具有挑战性的NWPU VHR-10数据集。实验结果表明,该框架的优越性,国家的最先进的。
2018-07-19 cs.CV
Learning Objectness from Sonar Images for Class-Independent Object Detection
German Research Center for Artificial Intelligence(德国人工智能研究中心)
检测没有类别信息的新对象并不简单,因为很难从一个小的训练集进行概括。这对于水下机器人来说是一个有趣的问题,因为在声纳图像中建模海洋物体本质上更加困难,并且训练数据可能先验地不可用。检测建议算法可用于此目的,但通常需要大量的输出边界框。在本文中,我们提出了一个完全卷积神经网络,直接从前视声纳图像回归的对象值的使用。通过对对象进行排序,我们可以产生高召回率(96%),而每张图像只有100个建议。相比之下,EdgeBoxes需要5000个建议才能达到97%的召回率,而Selective Search需要2000个建议才能达到95%的召回率。我们还表明,我们的方法优于模板匹配基线相当大的利润,并能够推广到全新的对象。我们希望这种技术可以用于现场寻找海底丢失的物体。
2019-07-01 cs.CV cs.LG cs.RO
CRAFT Objects from Images
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
目标检测是图像理解中的一个基本问题。一个流行的解决方案是R-CNN框架及其快速版本。他们将目标检测问题分解为两个级联的更简单的任务:1)从图像中生成目标建议,2)将建议分类为各种目标类别。尽管我们正在处理两个相对容易的任务,但它们并没有完美地解决,仍然有改进的空间。在本文中,我们通过将每个任务划分为两个子任务,进一步推动了“分而治之”的解决方案。我们称所提出的方法为“CRAFT”(级联区域建议网络和FasT-rcnn),它处理每个任务与精心设计的网络级联。我们表明,级联结构有助于这两项任务:在建议生成,它提供了更紧凑,更好地本地化的对象建议;在对象分类,它通过捕获类别间和类别内的差异,减少误报(主要是在模糊的类别之间)。CRAFT在目标检测基准测试(如PASCAL VOC 07/12和ILSVRC)上取得了一致且显著的改进。
2016-04-12 cs.CV
What makes for effective detection proposals?
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Facebook AI Research (FAIR)(Facebook人工智能研究院)
当前表现最好的对象检测器采用检测建议来引导对对象的搜索,从而避免了跨图像的穷举滑动窗口搜索。尽管检测建议的流行和广泛使用,但在目标检测期间使用它们时进行哪些权衡尚不清楚。我们深入分析了12种建议方法,以及关于PASCAL、ImageNet和MS COCO上的建议重复性、地面实况注释召回的4个基线,以及它们对R-CNN、R-CNN和Fast R-CNN检测性能的影响。我们的分析表明,对于目标检测,提高建议定位精度与提高召回率一样重要。我们引入了一个新的指标,平均召回率(AR),它奖励高召回率和良好的本地化,并与检测性能惊人地好。我们的研究结果显示了现有方法的共同优点和缺点,并为选择和调整提案方法提供了见解和指标。
2015-08-01 cs.CV
Faster R-CNN Features for Instance Search
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学(UPC));National Institute of Informatics(国立信息学研究所)
从预训练的卷积神经网络(CNN)导出的图像表示已经成为计算机视觉任务(例如实例检索)中的最新技术状态。这项工作探讨了从目标检测CNN(如Faster R-CNN)中提取图像和区域表示的适用性。我们利用区域建议网络(RPN)学习的对象建议及其相关的CNN功能来构建一个实例搜索管道,该管道由第一个过滤阶段和随后的空间重新排序组成。我们进一步研究了当网络针对想要检索的相同对象进行微调时,Faster R-CNN特征的适用性。我们评估了我们提出的系统与牛津大厦5 k,巴黎大厦6 k和TRECVID实例搜索2013的一个子集的性能,取得了有竞争力的结果。
2016-04-29 cs.CV
Region Proposal by Guided Anchoring
The Chinese University of Hong Kong(香港中文大学);Amazon Rekognition(亚马逊 Rekognition);Nanyang Technological University(南洋理工大学)
区域锚是现代目标检测技术的基石。最先进的检测器主要依赖于密集的锚定方案,其中锚点在空间域上以预定义的尺度和纵横比的集合均匀地采样。在本文中,我们将重新审视这一基础阶段。我们的研究表明,它可以做得更有效和更高效。具体来说,我们提出了一种替代方案,命名为引导锚定,它利用语义功能来指导锚定。所提出的方法联合预测感兴趣的对象的中心可能存在的位置,以及在不同的位置的尺度和长宽比。在预测的锚形状之上,我们用特征自适应模块减轻了特征不一致。我们还研究了使用高质量的建议,以提高检测性能。锚定方案可以无缝集成到建议方法和检测器中。通过引导式匹配,我们在MS COCO上实现了9.1%的高召回率,锚点比RPN基线少90%。我们还在Fast R-CNN,Faster R-CNN和RetinaNet中采用了Guided训练,分别将检测mAP提高了2.2%,2.7%和1.2%。代码将在https://github.com/open-mmlab/mmdetection上提供。
2019-04-12 cs.CV
Visual Perception Engine: Fast and Flexible Multi-Head Inference for Robotic Vision Tasks
Jet Propulsion Laboratory, California Institute of Technology(喷气推进实验室,加州理工学院);Swiss Federal Institute of Technology (ETH Zürich)(瑞士联邦理工学院(ETH Zurich))
提出VPEngine框架,通过共享基础模型主干和多任务头并行推理,消除冗余计算,实现高达3倍加速和恒定内存占用,支持动态任务优先级,在Jetson Orin上达到≥50 Hz实时性能。
2026-09-17 cs.AI cs.CV cs.LG
Lung Diseases Image Segmentation using Faster R-CNNs
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出一种低密度Faster R-CNNs神经网络结构,通过特征金字塔和Soft Non-Maximal Suppression优化区域提议,在胸部X光图像上实现了高效的肺部疾病分割与检测。
2023-09-10 cs.CV eess.IV
A High-Performance Object Proposals based on Horizontal High Frequency Signal
Hefei Institutes of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);University of Science and Technology of China(中国科学技术大学);Anhui Engineering Laboratory for Intelligent Driving Technology and Application(安徽智能驾驶技术与应用工程实验室);Innovation Research Institute of Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院)
近年来,利用目标建议作为目标检测的预处理步骤以提高计算效率已成为一种有效的方法。好的目标建议方法应该具有高的目标检测召回率和低的计算成本,以及良好的定位质量和可重复性。然而,目前的先进算法很难在上述性能之间取得很好的平衡。针对这个问题,我们提出了一个类独立的对象建议算法BIHL。它结合了窗口评分和超像素合并的优点,不仅提高了定位质量,而且加快了计算效率。在VOC 2007数据集上的实验结果表明,当IOU为0.5,预算提案为10,000时,该方法可以获得最高的检测召回率和平均79.5%的最佳重叠率,计算效率比目前最快的方法快近3倍.此外,我们的方法是具有最高的平均重复性的方法中,实现良好的重复性,各种干扰。
2020-05-14 cs.CV cs.LG eess.IV
PANet: LiDAR Panoptic Segmentation with Sparse Instance Proposal and Aggregation
Zhejiang University(浙江大学);Institute of Cyber-Systems and Control(网络系统与控制研究所)
本文提出PANet框架,通过非学习的稀疏实例提议模块和实例聚合模块,消除了对偏移分支的依赖,解决了大物体过度分割问题,在SemanticKITTI和nuScenes上实现了最先进的LiDAR全景分割性能。
2023-06-27 cs.AI cs.CV
UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse Proposal Generation and Goal-Conditioned Policy
Peking University(北京大学);Beijing Institute for General AI(北京通用人工智能研究院);Stanford University(斯坦福大学);Tsinghua University(清华大学)
在这项工作中,我们解决的问题,学习通用机器人灵巧把握从点云观察下的桌面设置。我们的目标是以高质量和多样化的方式抓住和举起物体,并概括数百个类别,甚至是看不见的。受并行夹持器抓取中成功使用的管道的启发,我们将任务分为两个阶段:1)抓取建议(姿势)生成和2)目标条件抓取执行。对于第一阶段,我们提出了一种新的概率模型的把握姿势条件的点云观察,因式分解旋转平移和关节。在第二阶段,针对灵巧抓取过程的复杂性,提出了一种基于目标约束的抓取策略,以取代传统的并联机器人抓取中的运动规划.请注意,学习这种高度概括的抓取策略是非常具有挑战性的,它只接受现实的输入,而不接受oracle状态。因此,我们提出了几个重要的创新,包括国家规范化,目标课程,师生蒸馏。集成这两个阶段,我们的最终管道成为第一个实现灵巧抓取通用泛化的管道,在数千个对象实例上的平均成功率超过60%,显著优于所有基线,同时仅显示最小的泛化差距。
2023-03-25 cs.CV cs.RO
Grasp Proposal Networks: An End-to-End Solution for Visual Learning of Robotic Grasps
South China University of Technology(华南理工大学);Samsung, USA(三星美国)
从视觉观察中学习机器人抓握是一项有前途但具有挑战性的任务。最近的研究表明,它通过准备和学习大规模的合成数据集的巨大潜力。对于目前流行的6自由度平行爪夹持器的抓取设定,现有的方法大多采用随机采样抓取候选对象,然后使用学习的评分函数对其进行评价的策略。这种策略是有限的,在采样效率和覆盖范围之间的冲突的最佳把握。为此,我们提出了一种新的,端到端的\emph{Grasp Proposal Network (GPNet)},在这项工作中,预测一个看不见的对象从一个单一的和未知的相机视图观察到的6自由度把握不同的设置。GPNet建立在抓取建议模块的关键设计之上,该模块在离散但规则的3D网格拐角处定义了\emph{anchors of grasp centers},该模块可以灵活地支持更精确或更多样化的抓取预测。为了测试GPNet,我们提供了一个6自由度物体抓取的合成数据集;使用基于规则的标准,模拟测试和真实测试进行评估。比较结果表明,我们的方法比现有的优势。值得注意的是,GPNet通过指定的覆盖率获得了更好的模拟结果,这有助于在实际测试中实现现成的翻译。我们将公开我们的数据集。
2020-09-26 cs.CV
Source Feature Compression for Object Classification in Vision-Based Underwater Robotics
Rutgers University(罗格斯大学);Cleveland State University(克利夫兰州立大学)
针对水下机器人中基于卷积神经网络(CNN)的目标分类问题,提出了一种基于两级Walsh-Hadamard变换(WHT)的高效源特征压缩方法。目标图像首先通过WHT进行两阶段处理。变换域张量具有集中在RGB通道中矩阵的左上角的大值。通过观察这个属性,变换域矩阵被划分为内部区域和外部区域。因此,在这项工作中提出了两种新的分区方法:(i)固定内部和外部区域的大小;和(ii)调整内部和外部区域的大小自适应每图像。这些建议进行了评估,从美国新泽西州的拉里坦河捕获的水下对象数据集。实验结果表明,与同类方法相比,该方法有效地减少了基于学习的水下目标分类任务的训练时间,提高了分类精度。目标分类是基于视觉的水下机器人实现环境感知和自主导航的重要环节。因此,所提出的方法非常适合于高效的计算机视觉为基础的任务,在水下机器人应用。
2021-12-28 cs.CV cs.RO
Fast Visuomotor Policy for Robotic Manipulation
Fudan University(复旦大学);MEGVII Technology(MEGVII科技)
提出Energy Policy框架,通过能量分数和能量MLP实现单次前向传播预测多模态动作,在模拟和真实任务中匹配或超越最先进方法,并显著降低计算开销。
2025-10-14 cs.CV cs.RO
Fast Region of Interest Proposals on Maritime UAVs
University of Tuebingen(图宾根大学)
无人驾驶飞行器通过飞越大面积搜索区域,自主搜索物体或人员,协助海上搜索和救援任务。可靠地检测感兴趣的对象需要在嵌入式硬件上使用快速模型。此外,随着到地面站的距离增加,只能传输部分视频数据。在这项工作中,我们考虑在嵌入式GPU上的视频流中找到有意义的感兴趣区域的建议的问题。当前的物体或异常检测器由于其速度慢而不适合,特别是在有限的硬件上和用于大图像分辨率。最后,有关物体,如残骸碎片,往往事先并不知道。因此,我们提出了一个端到端的未来帧预测模型,在嵌入式GPU上实时运行,以生成区域建议。我们分析了它在大规模海事数据集上的性能,并展示了它相对于传统和现代方法的优势。
2023-01-27 cs.CV cs.RO
FastOrient: Lightweight Computer Vision for Wrist Control in Assistive Robotic Grasping
Imperial College London(帝国理工学院)
用于人类抓握支持的可穿戴和辅助机器人技术广泛地是远程操作的机器人手臂或通过瘫痪用户的手的矫正控制来行动。这样的装置需要正确的取向以成功和有效地抓取。在许多人类-机器人辅助设置中,终端用户需要明确地控制许多自由度,使得有效或高效的控制成为问题。在这里,我们展示了通过自动末端执行器方向控制抓取来卸载辅助机器人和主动矫形器的低级别控制。本文介绍了一种紧凑的算法,实现快速计算机视觉技术,以获得目标物体的方向被抓住,通过分割与定位在机器人设备的末端执行器的顶部上的摄像机获得的图像。优化抓取所需的旋转直接从物体的方向计算。该算法已在6个不同的场景背景和末端效应器的方法,以26个不同的对象进行了评估。94.8%的物体在所有背景中被检测到。在91.1%的情况下,实现了对象的把握,并已与机器人模拟器确认算法的性能进行了评估。
2018-07-22 cs.CV cs.RO
EmbodiedUS-FS: Fast Slow Intelligence for Ultrasound Robotics
independent researcher(独立研究员);Shanghai World Foreign Language Academy(上海世界外国语中学);University of Wyoming(怀俄明大学);SUNY Binghamton(纽约州立大学宾汉姆顿分校)
提出一种分层快慢思考的具身超声系统,通过慢脑进行意图解析和任务规划,快脑融合多模态反馈优化局部动作,并集成安全防护机制,在动态临床环境中提高任务成功率并减少安全违规。
2026-06-23 cs.CV cs.RO
Faster-TAD: Towards Temporal Action Detection with Proposal Generation and Classification in a Unified Network
OPPO Research Institute(OPPO研究院)
时态动作检测(Temporal Action Detection,简称TACT)是在未裁剪的视频中检测动作实例的语义标签和边界。目前的主流方法是多步骤的解决方案,缺乏效率和灵活性。在本文中,我们提出了一个统一的网络,称为Faster-RCNN,通过重新利用Faster-RCNN类似的架构。为了解决TAD中的独特困难,我们对原始框架进行了重要改进。我们提出了一个新的上下文自适应建议模块和一个创新的假建议生成块。此外,我们使用原子动作的功能,以提高性能。Faster-fixed简化了fixed的流水线,并在许多基准测试中获得了出色的性能,即,ActivityNet-1.3(40.01% mAP),HACS细分市场(38.39% mAP),SoccerNet-动作定位(54.09% mAP)。它比现有的单网络检测器有很大的优势。
2022-04-06 cs.CV
Language-Conditioned Robotic Manipulation with Fast and Slow Thinking
School of Computer Science, East China Normal University(华东师范大学计算机科学学院);Midea Group(美的集团);School of Science, Shanghai University(上海大学理学院)
受人类双加工理论启发,提出RFST快慢思考机器人操作框架,通过指令判别器切换快慢思考系统,结合微调视觉语言模型实现复杂推理任务,在仿真与真实场景中均验证了有效性。
2024-02-01 cs.CV cs.RO
Fast Object Segmentation Learning with Kernel-based Methods for Robotics
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genoa(热那亚大学);Massachusetts Institute of Technology(麻省理工学院)
物体分割是机器人视觉系统中的一个关键组成部分,它执行抓取和物体操作等任务,特别是在存在遮挡的情况下。与许多其他计算机视觉任务一样,深度架构的采用使得执行此任务的算法具有出色的性能。然而,在机器人技术中采用这样的算法受到这样一个事实的阻碍,即训练需要大量的计算时间,并且不能在线执行。在这项工作中,我们提出了一种新的体系结构的对象分割,克服了这个问题,并提供了相当的性能在一小部分的国家的最先进的方法所需的时间。我们的方法基于预训练的Mask R-CNN,其中各个层已被一组分类器和回归器所取代,这些分类器和回归器已针对新任务进行了重新训练。我们采用了一种高效的基于内核的方法,可以在大规模问题上进行快速训练。我们的方法在计算机视觉和机器人社区广泛采用的YCB-Video数据集上进行了验证,证明我们可以实现甚至超越最先进的性能,同时显著减少(${\sim}6\times$)训练时间。重现实验的代码在GitHub上公开。
2021-04-09 cs.CV cs.RO
FViT-Grasp: Grasping Objects With Using Fast Vision Transformers
Bilkent University(比尔肯特大学)
本研究提出基于快速视觉变换器(FViT)的FViT-Grasp方法,快速精确识别机器人抓取点,在保持高准确率的同时实现最先进速度,为实时机器人抓取应用提供基线。
2023-11-23 cs.CV cs.RO
An Anchor-Free Region Proposal Network for Faster R-CNN based Text Detection Approaches
South China University of Technology(华南理工大学);Microsoft Research Asia(微软亚洲研究院)
Faster R-CNN和SSD框架的锚机制被认为对场景文本检测不够有效,这可以归因于其基于锚和地面真值框之间的IoU匹配标准。为了更好地包围各种形状的场景文本实例,需要人工设计各种尺度、长宽比甚至方向的锚点,这使得基于锚点的方法复杂且效率低下。在本文中,我们提出了一种新的无锚区域建议网络(AF-RPN)来取代Faster R-CNN框架中原始的基于锚的RPN,以解决上述问题。与普通RPN和FPN-RPN相比,AF-RPN可以摆脱复杂的锚点设计,在大规模COCO-Text数据集上获得更高的召回率。由于高质量的文本提案,我们基于Faster R-CNN的两阶段文本检测方法在ICDAR-2017 MLT,ICDAR-2015和ICDAR-2013文本检测基准测试中仅使用单尺度和单模型(ResNet 50)测试时获得了最先进的结果。
2018-04-24 cs.CV
Indoor Semantic Scene Understanding using Multi-modality Fusion
Edith Cowan University(埃迪斯科文大学)
无缝人机交互是服务机器人系统开发的最终目标。为此,机器人代理必须了解他们的周围环境,以更好地完成给定的任务。语义场景理解允许机器人代理提取关于环境中的对象的语义知识。在这项工作中,我们提出了一个语义场景理解管道,融合2D和3D检测分支,生成一个语义地图的环境。来自最先进的2D检测器的2D掩模提案被逆投影到3D空间,并与来自点分割网络的3D检测相结合。与以前在收集的数据集上评估的作品不同,我们在一个活跃的照片般逼真的机器人环境- BenchBot上测试我们的管道。我们的新颖性包括矫正的3D建议,使用投影的2D检测和模态融合的基础上,对象的大小。这项工作是作为机器人视觉场景理解挑战赛(RVSU)的一部分完成的。性能评估表明,我们的流水线改进了基线方法,没有显着的计算瓶颈。
2021-08-17 cs.AI cs.CV
SpikePingpong: Spike Vision-based Fast-Slow Pingpong Robot System
Peking University(北京大学);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院)
SpikePingpong系统结合尖峰视觉与模仿学习,实现高精度乒乓球机器人控制,达到92%的30厘米精度成功率。
2026-02-24 cs.CV cs.RO
Accelerating Proposal Generation Network for \\Fast Face Detection on Mobile Devices
University of Southern California(南加州大学);Samsung Research America(三星美国研究院)
人脸检测是近几十年来被广泛研究的问题。近年来,深度神经网络已经取得了显著的进步,然而,由于其有限的计算能力和内存,直接将这些技术应用于移动设备仍然具有挑战性。在这项工作中,我们提出了一个实时人脸检测的建议生成加速框架。更具体地说,我们采用了流行的级联卷积神经网络(CNN)作为基础,然后在基本框架上应用我们的加速方法来加快模型推理时间。我们的动机是观察到,这个框架的计算瓶颈来自建议生成阶段,其中密集图像金字塔的每个级别都必须通过网络。在这项工作中,我们通过利用全局和局部面部特征(即,全局面部和面部部分)。在公共基准测试WIDER-face和FDDB上的实验结果表明,与现有技术相比,该方法具有令人满意的性能和更快的速度。%的可比精度与最先进的速度更快。
2019-04-27 cs.CV
Fast Learning of Temporal Action Proposal via Dense Boundary Generator
Tencent(腾讯);Xiamen University(厦门大学)
生成时间动作提案仍然是一个非常具有挑战性的问题,其中主要问题在于预测精确的时间提案边界和长且未修剪的真实世界视频中的可靠动作置信度。在本文中,我们提出了一个有效的和统一的框架来生成时间的行动建议命名为密集边界生成器(DBG),它的灵感来自边界敏感的方法,并实现了密集分布的建议边界分类和行动完整性回归。具体地说,DBG由两个模块组成:时间边界分类(TBC)和可感知的完整性回归(ACR)。TBC的目的是提供两个时间边界的信心地图的低级别的两个流功能,而ACR的目的是生成一个动作的完整性得分地图的高级别的动作感知功能。此外,我们引入了一个双流BaseNet(DSB)编码的RGB和光流信息,这有助于捕获判别边界和动作的功能。在流行的基准测试ActivityNet-1.3和THUMOS 14上进行的大量实验证明了DBG优于最先进的提案生成器(例如,MGG和BMN)。我们的代码将在发布时提供。
2019-11-11 cs.CV
Squint: Fast Visual Reinforcement Learning for Sim-to-Real Robotics
Squint通过并行仿真、分布性批评者等方法,实现了在实际时间中比现有视觉强化学习方法更快的训练速度,成功实现了从仿真到现实的机器人任务迁移。
2026-09-07 cs.CV cs.LG cs.RO
Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
本文提出 Fast GraspNeXt 自注意力架构,通过带约束的生成式架构搜索平衡多任务性能与边缘推理效率,在 MetaGraspNet 上以更少参数和计算量取得最优结果并显著加速。
2023-04-21 cs.AI cs.CV cs.LG
FastMask: Segment Multi-scale Object Candidates in One Shot
USC(南加州大学);Fudan University(复旦大学);Megvii Inc.(旷视科技)
物体在自然图像中的比例似乎不同。这一事实要求处理以对象为中心的任务(例如对象建议)的方法在对象尺度的变化上具有鲁棒的性能。在本文中,我们提出了一种新的分割建议框架,即FastMask,它利用深度卷积神经网络中的分层特征,一次性分割多尺度对象。创新性地,我们将分段建议网络调整为三个不同的功能组件(身体,颈部和头部)。我们进一步提出了一个权重共享的剩余颈部模块,以及一个规模容忍的注意力头部模块,有效的一杆推理。在MS COCO基准测试中,所提出的FastMask在平均召回率上比所有最先进的分段建议方法快2~5倍。此外,在精度上略有折衷,FastMask可以使用800*600分辨率的图像近实时的(约13 fps)分割对象,展示了其在实际应用中的潜力。我们的实现可以在https://github.com/voidrank/FastMask上找到。
2017-04-11 cs.AI cs.CV
TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation
East China Normal University(东华师范大学);Midea Group, AI Lab(美的集团人工智能实验室);Syracuse University(雪城大学);Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);Shanghai University(上海大学)
针对VLA推理慢、依赖大规模机器人数据预训练的问题,本文提出紧凑型TinyVLA,通过高速多模态主干与扩散策略解码器实现快速、数据高效的机器人操控。
2025-05-13 cs.CV cs.RO
A Dual Process VLA: Efficient Robotic Manipulation Leveraging VLM
ETRI(韩国电子通信研究院)
本文提出双过程VLA(DP-VLA)分层框架,通过大型系统2模型进行复杂推理、小型系统1模型进行实时控制,在RoboCasa数据集上实现更快推理和更高任务成功率。
2024-10-21 cs.CV cs.RO
ArtPro: Self-Supervised Articulated Object Reconstruction with Adaptive Integration of Mobility Proposals
Shandong University(山东大学);Southwest University(西南大学)
ArtPro提出了一种自监督框架,通过自适应整合移动提案来解决传统方法在复杂多部件物体重建中的精度和稳定性问题,实验表明其在合成和真实物体上均表现优异。
2026-03-26 cs.CV
Sketch and Refine: Towards Fast and Accurate Lane Detection
Nanjing University(南京大学)
针对现有车道检测方法在表示灵活性或后处理上的不足,提出融合两类方法优势的“勾勒-细化”范式与SRLane检测器,实现278 FPS高速运行且F1达78.9%。
2024-01-26 cs.CV
Deep Learning for Detecting Robotic Grasps
Cornell University(康奈尔大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们考虑的问题,检测机器人掌握在一个RGB-D视图的场景包含对象。在这项工作中,我们应用深度学习方法来解决这个问题,避免了耗时的手工设计功能。这带来了两个主要挑战。首先,我们需要评估大量的候选抓取。为了使检测快速且鲁棒,我们提出了一种具有两个深度网络的两步级联结构,其中第一个深度网络的顶部检测由第二个深度网络重新评估。第一个网络具有更少的特征,运行速度更快,并且可以有效地修剪掉不太可能的候选抓取。第二个,有更多的功能,速度较慢,但只能运行在顶部的几个检测。其次,我们需要很好地处理多模态输入,为此,我们提出了一种基于多模态组正则化对权重应用结构化正则化的方法。我们证明,我们的方法优于以前的国家的最先进的方法,在机器人把握检测,并可用于成功地执行把握两个不同的机器人平台。
2014-08-21 cs.CV cs.LG cs.RO
PAg-NeRF: Towards fast and efficient end-to-end panoptic 3D representations for agricultural robotics
Institute of Agriculture, Agriculture Robotics & engineering(农业机器人与工程农业研究所);Institute of Photogrametry of the University of Bonn(波恩大学摄影测量研究所)
提出PAg-NeRF系统,利用噪声机器人位姿和帧间ID不一致的全景预测实现3D全景场景理解,在园艺场景中相比基线提升PSNR与全景质量,且推理更快、参数更少。
2023-09-11 cs.CV cs.LG cs.RO
You Only Look & Listen Once: Towards Fast and Accurate Visual Grounding
视觉基础(VG)的目的是基于灵活的自然语言查询而不是预定义的标签来定位图像中最相关的区域,因此在实际应用中它可以是比目标检测更有用的技术。VG中的大多数最先进的方法以两阶段的方式操作,其中第一阶段采用对象检测器来从输入图像生成一组对象建议,第二阶段简单地被公式化为跨模态匹配问题,该问题找到语言查询和所有区域建议之间的最佳匹配。这是相当低效的,因为在第一阶段可能产生了数百个建议,需要在第二阶段进行比较,更不用说这种策略的执行不准确。在本文中,我们提出了一个简单,直观,更优雅的一个阶段的检测为基础的方法,联合区域的建议和匹配阶段作为一个单一的检测网络。该检测是以输入查询为条件的,具有一堆新颖的注意力模块,将图像与查询的关系转换为关系图,该关系图用于直接预测限界框,而不提出大量无用的区域建议。在推理过程中,我们的方法比以前的方法快20倍~ 30倍,并且在几个基准数据集上的最新结果之上,它实现了18% ~ 41%的绝对性能提高。我们在https://github.com/openblack/rvg上发布我们的代码和所有预训练的模型。
2019-03-17 cs.CV
Point Proposal Network: Accelerating Point Source Detection Through Deep Learning
University of Pretoria(比勒陀利亚大学)
点源探测技术用于在射电天文测量中识别和定位点源。随着平方公里阵列(SKA)望远镜的发展,巡天图像的尺寸将从千兆像素大幅增加到万亿像素。在SKA探路者望远镜最近进行的调查中,点源探测已经被证明是一个挑战。本文提出了点建议网络(PPN):一种利用深度卷积神经网络进行快速源检测的点源检测器。在模拟MeerKAT图像上测量的结果表明,尽管与领先的替代方法相比精度较低,但与替代方法不同,PPN执行源检测的速度更快,并且能够扩展到大图像。
2021-02-04 cs.CV cs.LG
Fast 3D Pose Refinement with RGB Images
Georgia Institute of Technology(佐治亚理工学院)
位姿估计是机器人操作、自主车辆导航等许多机器人和感知任务中的重要步骤。当前最先进的位姿估计方法依赖于结构复杂、推理时间长的深度神经网络。虽然非常强大,但它们需要移动机器人通常无法提供的计算能力。我们提出了一种基于CNN的姿态细化系统,该系统从计算成本较低的算法中获得粗略估计的3D姿态以及对象的限界框图像,并返回高度细化的姿态。在YCB-Video数据集上的实验表明,该系统可以用最少的训练数据将三维姿态精确到极高的精度。
2019-11-17 cs.CV
A Fast Method For Computing Principal Curvatures From Range Images
Monash University(莫纳什大学)
从距离数据估计表面曲率对于计算机视觉和机器人技术中的一系列任务、对象分割、对象识别和机器人抓取估计是重要的。本文提出了一种基于GPU的点云度量主曲率快速计算方法。与现有的现成的解决方案相比,首先区分表面以估计表面法线,然后区分这些以获得曲率,放大噪声,我们的方法迭代地拟合抛物线二次曲面片的数据。另外,具有类似公式的先前方法使用较不适用于高噪声传感器的较不稳健的技术。我们证明,我们的方法是快速的,并提供更好的曲率估计比现有的技术。特别是,我们比较我们的方法,以证明改进的几个替代方案。
2017-07-14 cs.CV
Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对传统区域建议网络(Cascade Region Proposal Network,Cascade RPN)将\textit{heuristically defines}作为锚点,将\textit{aligns}作为特征点的局限性,提出了一种基于\textit{systematically}的区域建议网络(Cascade RPN)结构。首先,Cascade RPN不使用具有预定义比例和纵横比的多个锚点,而是依赖于每个位置的\textit{single anchor}并执行多级细化。每个阶段在定义阳性样本时逐渐更加严格,从无锚点度量开始,然后在随后的阶段中使用基于锚点的度量。其次,为了在整个阶段中实现特征和锚点之间的对齐,提出了\textit{adaptive convolution},该方法将锚点以及图像特征作为其输入,并学习由锚点引导的采样特征。一个简单的实施两阶段级联RPN实现AR 13.4点高于传统的RPN,超过任何现有的区域建议的方法。当采用Fast R-CNN和Faster R-CNN时,Cascade RPN可以分别将检测mAP提高3.1和3.5个点。该代码可在\url{https://github.com/thangvubk/Cascade-RPN.git}上公开获取。
2019-12-04 cs.CV