Lightweight Object Detection: A Study Based on YOLOv7 Integrated with ShuffleNetv2 and Vision Transformer
针对移动设备高效目标检测需求，本研究融合组卷积、ShuffleNetV2与Vision Transformer优化YOLOv7，减少参数量与内存占用，在资源受限设备上实现精度保持下的检测速度提升。
2024-03-04 cs.CV
Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics
University of Southern California（南加州大学）；DEVCOM Army Research Office（国防高级研究计划局陆军研究办公室）
研究针对视觉状态空间模型中定向扫描的问题，提出非因果梯形曼巴模型，通过二阶非因果建模使图像令牌单步交互，消除定向扫描，提升性能，在多视觉任务中优于其他模型。
2026-07-09 cs.CV
LMMs Meet Object-Centric Vision: Understanding, Segmentation, Editing and Generation
Zhejiang University（浙江大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文探讨了LMMs与以物体为中心的视觉结合，总结了在理解、分割、编辑和生成方面的新进展，提出了开放挑战和未来方向。
2026-04-20 cs.CV
Aerial Image Object Detection With Vision Transformer Detector (ViTDet)
The MITRE Corporation（麻省理工学院公司）
在过去的几年里，航空图像目标检测由于其在环境研究、城市规划和智能监测等大规模地学研究中的重要价值而受到越来越多的关注。然而，由于鸟瞰视角，复杂的背景，大型和各种图像尺寸，不同外观的对象，以及缺乏良好的注释数据集，这项任务是非常具有挑战性的。计算机视觉的最新进展显示出应对挑战的希望。具体地，提出了视觉Transformer检测器（ViTDet），以提取用于目标检测的多尺度特征。实验结果表明，ViTDet简单的设计在自然场景图像上取得了良好的性能，可以很容易地嵌入到任何检测器架构中。迄今为止，ViTDet的潜在好处，具有挑战性的空中图像目标检测尚未探讨。因此，在我们的研究中，进行了25个实验，以评估ViTDet在三个知名数据集上进行航空图像目标检测的有效性：空中客车飞机，RarePlanes和航空图像目标检测数据集（DOTA）。我们的研究结果表明，ViTDet在水平限界框（HBB）目标检测方面始终优于卷积神经网络（平均精度高达17%），并且在定向限界框（OBB）目标检测方面具有竞争力。我们的研究结果也为未来的研究奠定了基础。
2023-02-02 cs.CV
Exploiting Unlabeled Data with Vision and Language Models for Object Detection
Rutgers University（罗格斯大学）；NEC Labs America（NEC美国实验室）；Google Research（谷歌研究院）；UC San Diego（加州大学圣地亚哥分校）
构建健壮和通用的目标检测框架需要扩展到更大的标签空间和更大的训练数据集。然而，大规模获取数千个类别的注释的成本过高。我们提出了一种新的方法，利用丰富的语义在最近的视觉和语言模型中的本地化和分类的对象在未标记的图像，有效地生成伪标签的目标检测。从一个通用的和类无关的区域建议机制开始，我们使用视觉和语言模型将图像的每个区域分类为下游任务所需的任何对象类别。我们在两个特定的任务中展示了生成的伪标签的价值，开放词汇检测，其中模型需要概括为看不见的对象类别，以及半监督目标检测，其中可以使用额外的未标记图像来改进模型。我们的实证评估显示了伪标签在这两项任务中的有效性，我们的表现优于竞争基线，并实现了开放词汇目标检测的最新技术水平。我们的代码可在https://github.com/xiaofeng94/VL-PLM上获得。
2022-07-18 cs.CV
SOAT: A Scene- and Object-Aware Transformer for Vision-and-Language Navigation
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
用于视觉导航的自然语言指令通常使用场景描述（例如，“卧室”）和对象引用（例如，“绿色椅子”）以提供到目标位置的面包屑轨迹。这项工作提出了一种基于transformer的视觉和语言导航（VLN）代理，它使用两种不同的视觉编码器-场景分类网络和对象检测器-产生匹配这两种不同类型的视觉提示的功能。在我们的方法中，场景功能有助于高层次的上下文信息，支持对象级处理。通过这种设计，我们的模型能够使用视觉和语言预训练（即，从大规模Web数据中学习图像和文本之间的对齐），以大幅提高房间到房间（R2 R）和房间跨房间（RxR）基准测试的性能。具体而言，我们的方法导致R2 R上SPL的绝对改善1.8%，RxR上SR的绝对改善3.7%。我们的分析揭示了包含六个或更多对象引用的导航指令的更大收益，这进一步表明我们的方法能够更好地使用对象特征并将它们与指令中的引用对齐。
2021-10-27 cs.CV
Universal Object Detection with Large Vision Model
Intellifusion Inc.（云天励飞公司）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；South China University of Technology（华南理工大学）
本研究针对大规模多领域通用目标检测问题，提出标签处理、层次感知损失及资源高效训练方法，利用大型视觉模型，在RVC 2022目标检测赛道获第二名，为通用视觉系统提供参考。
2023-10-12 cs.CV
Vision-based Real-Time Aerial Object Localization and Tracking for UAV Sensing System
University of Kansas（堪萨斯大学）
研究了无人机导航中基于视觉的障碍物检测与跟踪问题。将目标检测和跟踪有效地结合到动态卡尔曼模型中，提出了一种单目图像序列中目标的实时的【形】定位和跟踪策略。在检测阶段，感兴趣的对象是自动检测和本地化的显着性地图计算通过在每帧的图像背景连接线索;在跟踪阶段，一个卡尔曼滤波器被用来提供一个粗略的预测的对象状态，这是进一步细化通过一个本地检测器，结合显着性地图和两个连续帧之间的时间信息。与现有的方法相比，所提出的方法不需要任何手动初始化跟踪，运行速度远远快于国家的最先进的跟踪器的同类，并实现了大量的图像序列上的竞争力的跟踪性能。大量的实验证明了所提出的方法的有效性和优越的性能。
2017-03-19 cs.CV
Simple Open-Vocabulary Object Detection with Vision Transformers
Google Research（谷歌研究院）
将简单的架构与大规模的预训练相结合，使图像分类得到了巨大的改进。对于目标检测，预训练和缩放方法不太完善，特别是在长尾和开放词汇设置中，其中训练数据相对较少。在本文中，我们提出了一个强大的食谱转移图像-文本模型开放词汇目标检测。我们使用标准的视觉Transformer架构，只需最少的修改，对比图像-文本预训练和端到端检测微调。我们对这种设置的缩放特性的分析表明，增加图像级预训练和模型大小可以在下游检测任务上产生一致的改进。我们提供了适应策略和正则化需要达到非常强大的性能zero-shot文本条件和单次图像条件目标检测。代码和模型可以在GitHub上找到。
2022-07-20 cs.CV
Object Recognition System Design in Computer Vision: a Universal Approach
Sampletalk Research（Sampletalk研究公司）
本文的第一个贡献是一个多用途系统的架构，它代表了一系列的目标检测任务的分类器，应用在特殊的网格位置的测试图像。第二个贡献是灰度-半径共生矩阵，它描述了局部图像的纹理和拓扑结构，与常见的二阶统计方法不同，它对图像分辨率具有鲁棒性。第三个贡献是一个参数控制的自动合成无限数量的数值特征分类。第四个贡献是一种优化基于LibSVM的分类器中参数C和gamma的方法，该方法比通常应用的方法快20-100倍。这项工作基本上是实验性的，演示了在图像和视频序列中定义感兴趣对象的各种方法。
2013-12-09 cs.CV
FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion
University of California, Davis（加州大学戴维斯分校）
针对3D目标检测的多模态数据融合需求，提出纯ViT架构的分层检测模型FusionViT，通过Transformer嵌入图像与点云并经融合ViT融合特征，在KITTI、Waymo Open数据集上达到SOTA性能。
2023-11-07 cs.CV
Vision Foundation Model Driven Foreground-Aware Pseudo-LiDAR Generation for Monocular 3D Object Detection
本文提出VFMM3D框架，利用DAM和SAM的先验生成前景感知伪激光雷达，在KITTI、Waymo数据集上实现最优性能，可无缝集成至多种激光雷达3D目标检测器。
2026-08-24 cs.CV
Simultaneous Multiple Object Detection and Pose Estimation using 3D Model Infusion with Monocular Vision
提出SMOPE-Net，通过单目视觉与3D模型注入实现多目标检测与位姿估计的同步神经建模，并构建KITTI-6DoF数据集，在多个基准上取得一致性能提升。
2024-12-22 cs.CV
TokenMotion: Motion-Guided Vision Transformer for Video Camouflaged Object Detection Via Learnable Token Selection
针对视频伪装目标检测的纹理相似与运动不规则难题，提出基于Transformer的TokenMotion模型，通过可学习token选择提取运动引导特征，在MoCA-Mask数据集上多项指标显著超越现有最优方法。
2024-02-01 cs.CV
Exploring Plain Vision Transformer Backbones for Object Detection
Facebook AI Research（脸书人工智能研究院）
我们探讨了平原，非分层视觉Transformer（ViT）作为骨干网络的目标检测。这种设计使得原始ViT架构能够针对目标检测进行微调，而无需重新设计用于预训练的分层骨干。通过最小的微调调整，我们的普通骨干检测器可以实现有竞争力的结果。令人惊讶的是，我们观察到：（i）从单尺度特征图（没有常见的FPN设计）构建简单的特征金字塔是足够的，以及（ii）使用窗口注意力（没有移位）辅助非常少的跨窗口传播块是足够的。通过将普通ViT骨干预训练为掩码自编码器（MAE），我们的检测器名为ViTDet，可以与之前所有基于分层骨干的领先方法竞争，仅使用ImageNet-1 K预训练即可在COCO数据集上达到61.3 AP_box。我们希望我们的研究能引起人们对普通主干检测器研究的关注。Detectron 2中提供ViTDet代码。
2022-06-10 cs.CV
Recurrent Vision Transformers for Object Detection with Event Cameras
University of Zurich（苏黎世大学）
本文提出循环视觉Transformer（RVTs），通过卷积先验、局部与扩张全局自注意力及循环时序聚合的多阶段设计，在保持事件相机目标检测精度的同时将推理时间降低6倍，并在Gen1数据集上以更少参数实现47.2% mAP和小于12毫秒的快速推理。
2023-05-25 cs.CV
A Simple Single-Scale Vision Transformer for Object Localization and Instance Segmentation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
这项工作提出了一个简单的视觉Transformer设计作为一个强大的基线对象定位和实例分割任务。Transformers最近在图像分类任务中展示了具有竞争力的性能。为了将ViT用于目标检测和密集预测任务，许多工作继承了卷积网络和高度定制的ViT架构的多级设计。在这种设计背后，目标是追求更好的权衡计算成本和多尺度全球背景的有效聚合。然而，现有的工程采用多级建筑设计作为一个黑箱解决方案，没有清楚地了解其真正的好处。在本文中，我们全面研究了三个架构的设计选择ViT -空间减少，双通道，多尺度功能-并证明了香草ViT架构可以实现这一目标，而无需手工制作多尺度功能，保持原有的ViT设计理念。我们进一步完成了一个缩放规则，以优化我们的模型的准确性和计算成本/模型大小的权衡。通过在整个编码器块中利用恒定的特征分辨率和隐藏大小，我们提出了一种简单而紧凑的ViT架构，称为通用视觉Transformer（UViT），在COCO目标检测和实例分割任务上实现了强大的性能。
2022-10-01 cs.CV
VOMTC: Vision Objects for Millimeter and Terahertz Communications
Seoul National University（首尔大学）；Inha University（仁荷大学）
本文提出面向毫米波与太赫兹通信的大规模视觉数据集VOMTC，含20232组基站采集的RGB-深度图像对及标注，实验验证基于该数据集训练的目标检测器可提升波束成形性能。
2024-09-14 cs.CV cs.NI
Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review
CloudMinds Technologies（达闼科技）
本文对基于视觉的机器人抓取进行了全面的综述。总结了基于视觉的机器人抓取过程中的三个关键任务：物体定位、物体姿态估计和抓取估计。具体地说，目标定位任务包括无分类目标定位、目标检测和目标实例分割。该任务提供输入数据中的目标对象的区域。物体位姿估计任务主要是指估计6D物体位姿，包括基于对应关系的方法、基于模板的方法和基于投票的方法，其提供已知物体的抓取位姿的生成。抓取估计任务包括2D平面抓取方法和6DoF抓取方法，其中前者被约束为从一个方向抓取。这三个任务可以通过不同的组合来完成机器人抓取。许多目标位姿估计方法不需要目标定位，而是将目标定位和目标位姿估计联合进行。许多抓取估计方法不需要目标定位和姿态估计，而是以端到端的方式进行抓取估计。本调查详细回顾了传统方法和基于RGB-D图像输入的最新深度学习方法。相关的数据集和国家的最先进的方法之间的比较也进行了总结。此外，还指出了基于视觉的机器人抓取的挑战和解决这些挑战的未来方向。
2020-10-26 cs.CV cs.RO
Privacy-Preserving Object Detection for Vision Transformer-Based Models
Tokyo Metropolitan University（东京都立大学）
针对现有视觉信息保护研究多聚焦图像分类的问题，本文首次提出基于感知加密的ViT模型隐私保护目标检测方法，利用ViT嵌入结构与带密钥的领域适配技术，在ViTdet上验证了其保护视觉信息的同时保持高准确率的效果。
2026-08-24 cs.CR cs.CV
Vision: A Deep Learning Approach to provide walking assistance to the visually impaired
Indiana University Bloomington（印第安纳大学伯明顿分校）；Northwestern University（西北大学）；K.J. Somaiya College of Engineering（K.J.索马亚工程学院）
盲人在日常生活中面临许多问题。他们不得不为做日常家务而奋斗。在本文中，我们提出了一个系统的目标，以帮助视障人士提供音频援助，引导他们避开障碍物，这将有助于他们在他们的周围移动。使用YOLO的目标检测将帮助他们检测附近的物体，使用单目视觉的深度估计将告诉检测到的物体与用户的近似距离。尽管具有更高的精度，但立体视觉具有许多硬件限制，这使得单目视觉成为该应用的首选。
2019-11-20 cs.CV cs.LG
Power of Boundary and Reflection: Semantic Transparent Object Segmentation using Pyramid Vision Transformer with Transparent Cues
本文提出TransCues框架，通过结合边界和反射特征增强模块，提升透明物体分割性能，在多个基准数据集上取得显著提升。
2025-12-07 cs.AI cs.CV
An Embedded Monocular Vision Approach for Ground-Aware Objects Detection and Position Estimation
Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）
在RoboCup Small Size League（SSL）中，鼓励团队提出仅使用嵌入式传感信息在SSL领域内执行基本足球任务的解决方案。因此，这项工作提出了一种嵌入式单目视觉的方法来检测物体和估计足球场内的相对位置。通过假设物体位于地面上，利用来自环境的先验知识，并且机载摄像机将其位置固定在机器人上。我们在NVIDIA Jetson Nano上实现了所提出的方法，并采用SSD MobileNet v2进行2D目标检测，并使用TensorRT优化，检测距离最远为3.5米的球、机器人和目标。球定位评估表明，所提出的解决方案克服了目前使用的SSL视觉系统的位置接近1米的机载摄像头与14.37毫米的均方根误差。此外，所提出的方法实现了实时性能的平均处理速度为每秒30帧。
2022-07-20 cs.CV cs.RO
Hand-Priming in Object Localization for Assistive Egocentric Vision
University of Maryland, College Park（马里兰大学帕克分校）
以自我为中心的视觉为增加视觉信息的获取和改善视觉障碍人群的生活质量带来了巨大的希望，物体识别是这一人群的日常挑战之一。虽然我们努力提高识别性能，但仍然很难识别用户感兴趣的对象;由于没有视觉反馈的相机瞄准的挑战，对象甚至可能不包括在帧中。此外，通常用于推断自我中心视觉中的感兴趣区域的注视信息通常是不可靠的。然而，盲人用户通常倾向于包括他们的手，或者与他们希望识别的对象交互，或者简单地将其放置在附近以更好地进行相机瞄准。我们提出了本地化模型，利用存在的手作为上下文信息启动感兴趣的对象的中心区域。在我们的方法中，手部分割被馈送到整个定位网络或其最后的卷积层。使用以自我为中心的数据集从视力和盲人，我们表明，手启动实现更高的精度比其他方法，如微调，多类，多任务学习，这也编码手物体的相互作用在本地化。
2020-02-28 cs.CV cs.HC
An End-to-End Cascaded Image Deraining and Object Detection Neural Network
University of Chinese Academy of Sciences（中国科学院大学）
虽然近年来基于深度学习的图像去伪方法取得了很大的进展，但在现实世界中的应用中存在两个主要缺点。首先，以雨水去除为代表的低级视觉任务和以目标检测为代表的高级视觉任务之间的差距是显著的，低级视觉任务几乎不能对高级视觉任务做出贡献。第二，需要提高去噪数据集的质量。事实上，许多基线中的雨线与真实雨线有很大的差距，并且去噪数据集图像的分辨率通常不理想。同时，对于低级视觉任务和高级视觉任务，很少有共同的数据集。在本文中，我们探讨了低层次视觉任务与高层次视觉任务的结合。具体而言，我们提出了一个端到端的目标检测网络，以减少降雨的影响，它由两个级联的网络，一个改进的图像去噪网络和目标检测网络，分别。我们还设计了损失函数的组件，以适应不同的子网络的特性。然后，我们提出了一个基于KITTI数据集的数据集，用于降雨去除和目标检测，在此基础上，我们的网络超越了最先进的技术，在指标上有了显着的改进。此外，我们提出的网络在自动驾驶车辆收集的驾驶视频上进行了测量，并在除雨和目标检测方面显示出积极的结果。
2022-02-23 cs.CV eess.IV
Object Depth and Size Estimation using Stereo-vision and Integration with SLAM
Qatar Mobility Innovations Center（卡塔尔移动创新中心）；Qatar University（卡塔尔大学）
针对LiDAR难以检测半透明、非实体物体及导航标识等的缺陷，提出基于立体视觉的物体检测与深度尺寸估计方法，将结果集成到SLAM中以提升自主机器人导航能力，实验验证了其估计高精度。
2024-09-11 cs.CV cs.RO
Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts
ByteDance（字节跳动）
视觉语言预训练中的大多数现有方法依赖于通过目标检测提取的以对象为中心的特征，并在提取的特征和文本之间进行细粒度的对齐。这些方法学习多个对象之间的关系是具有挑战性的。为此，我们提出了一种称为X-VLM的新方法来执行多粒度视觉语言预训练。学习多粒度对齐的关键是在给定相关文本的情况下在图像中定位视觉概念，同时将文本与视觉概念对齐，其中对齐是多粒度的。实验结果表明，X-VLM有效地利用学习到的多粒度对齐到许多下游视觉语言任务，并始终优于最先进的方法。
2022-06-01 cs.CL cs.CV
Moving Object Detection for Event-based Vision using k-means Clustering
Jadavpur University（贾达普大学）
运动目标检测是计算机视觉中的一个重要问题。基于事件的相机是生物启发的相机，通过模仿人眼的工作来工作。与传统的基于帧的相机相比，这些相机具有多个优点，如减少的延迟、HDR、在高运动期间减少的运动模糊、低功耗等。尽管有这些优点，基于事件的相机对噪声敏感并且具有低分辨率。此外，在这些相机中的移动目标检测的任务是困难的，因为基于事件的传感器缺乏有用的视觉特征，如纹理和颜色。在本文中，我们研究了应用的k-均值聚类技术在检测基于事件的数据中的移动对象。
2022-01-11 cs.AI cs.CV eess.IV
3D Object Localization Using 2D Estimates for Computer Vision Applications
Zhejiang University（浙江大学）；NED University of Engineering and Technology（NED工程技术大学）；Sungkyunkwan University（成均馆大学）；Chosun University（朝鲜大学）
提出了一种基于位姿估计和摄像机标定的目标定位方法。通过收集对象的多个二维（2D）图像来估计三维（3D）坐标，并将其用于相机的校准。讨论了标定过程中的若干参数计算，包括用于消除透镜畸变的内、外参数计算、物体尺寸计算和摄像机位置计算。提出了一种利用二维图像估计三维姿态的变换策略。在MATLAB平台上实现了该方法，并对姿态估计和摄像机标定进行了实验验证。
2021-08-21 cs.CV cs.RO
Localized Vision-Language Matching for Open-vocabulary Object Detection
University of Freiburg（弗莱堡大学）
在这项工作中，我们提出了一个开放的词汇目标检测方法，基于图像字幕对，学习检测新的对象类以及一组已知的类。这是一个两阶段的训练方法，首先使用一个位置引导的图像字幕匹配技术，学习类标签的新的和已知的类在弱监督的方式和第二专门的目标检测任务使用已知的类注释的模型。我们表明，一个简单的语言模型适合更好地比一个大的上下文语言模型检测新的对象。此外，我们引入了一致性正则化技术，以更好地利用图像字幕对信息。我们的方法与现有的开放式词汇检测方法相比毫不逊色，同时具有数据效率。源代码可在https://github.com/lmb-freiburg/locov上获得。
2022-07-28 cs.CV cs.LG
Australian Supermarket Object Set (ASOS): A Benchmark Dataset of Physical Objects and 3D Models for Robotics and Computer Vision
Deakin University（德金大学）；Monash University（莫纳什大学）；Coles Group（科尔斯集团）
本文提出ASOS数据集，包含50种超市商品的3D纹理网格，通过运动恢复结构技术生成水密网格，为机器人与计算机视觉的目标检测及姿态估计提供低成本、高可及性的基准测试工具。
2025-09-09 cs.CV cs.RO eess.IV
Unlocking Textual and Visual Wisdom: Open-Vocabulary 3D Object Detection Enhanced by Comprehensive Guidance from Text and Image
Fudan University（复旦大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文利用语言和视觉基础模型，通过图像级零样本发现和层次化特征对齐，提升开放词汇3D目标检测的准确性与泛化能力。
2024-07-17 cs.AI cs.CV
You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection
Huazhong University of Science & Technology（华中科技大学）；Horizon Robotics（地平线机器人）
Transformer是否可以从纯粹的序列到序列的角度执行2D对象和区域级别的识别，而对2D空间结构的了解很少？为了回答这个问题，我们提出了你只看一个序列（YOLOS），一系列的目标检测模型的基础上香草视觉Transformer与尽可能少的修改，区域先验，以及目标任务的归纳偏见。我们发现，仅在中等规模的ImageNet-1 k数据集上预训练的YOLOS已经可以在具有挑战性的COCO目标检测基准上实现相当有竞争力的性能，例如，YOLOS-Base直接采用BERT-Base架构，可以在COCO val上获得42.0盒AP。我们还通过YOLOS讨论了当前预训练方案和视觉中Transformer的模型缩放策略的影响和局限性。代码和预训练模型可在https://github.com/hustvl/YOLOS上获得。
2021-10-27 cs.AI cs.CV cs.LG
CDNet is all you need: Cascade DCN based underwater object detection RCNN
Dalian University of Technology（大连理工大学）
目标检测是计算机视觉领域一个非常重要的基础研究方向，也是计算机视觉领域其他高级任务的基本方法。它在目标跟踪、视频行为识别、水下机器人视觉等实际应用中得到了广泛的应用。Cascade-RCNN和Deformable Convolution Network都是经典的、优秀的目标检测算法。在这份报告中，我们评估我们的级联DCN为基础的方法在水下光学图像和声学图像数据集与不同的工程技巧和增强。
2021-11-25 cs.CV eess.IV
Object-Independent Human-to-Robot Handovers using Real Time Robotic Vision
TU Wien（维也纳工业大学）；Australian Center of Robotic Vision（澳大利亚机器人视觉中心）；Monash University（蒙纳士大学）；University of Birmingham（伯明翰大学）；Queensland University of Technology（昆士兰科技大学）
我们提出了一种方法，安全和对象无关的人对机器人的实时的机器人视觉和操纵。我们的目标是通用对象检测器的普遍适用性，快速抓取选择算法，并通过使用单个夹具安装的RGB-D相机，因此不依赖于外部传感器。机器人通过视觉伺服被控制朝向感兴趣的对象。高度重视安全性，我们使用两个感知模块：人体部位分割和手/手指分割。被认为属于人类的像素从候选抓取姿势中过滤掉，从而确保机器人安全地拾取物体而不会与人类伙伴发生碰撞。抓取选择和感知模块实时并行运行，这允许监控进度。在13个物体的实验中，机器人能够在81.9%的试验中成功地从人类手中拿走物体。
2020-09-21 cs.CV cs.LG cs.RO
Grid-VLP: Revisiting Grid Features for Vision-Language Pre-training
Alibaba Group（阿里巴巴集团）
现有的视觉语言预训练（VLP）方法严重依赖于基于边界框（区域）的对象检测器，其中首先从图像中检测到显著对象，然后使用基于变换器的模型进行跨模态融合。尽管这些方法具有优越的性能，但它们在有效性和效率方面受到对象检测器的能力的限制。此外，目标检测的存在对模型设计施加了不必要的约束，并且难以支持端到端训练。在本文中，我们重新审视了基于网格的卷积特征用于视觉语言预训练，跳过了昂贵的区域相关步骤。我们提出了一个简单而有效的基于网格的VLP方法，它与网格功能的效果令人惊讶。通过仅使用域内数据集进行预训练，所提出的Grid-VLP方法在三个检查的视觉语言理解任务上可以优于大多数竞争性的基于区域的VLP方法。我们希望我们的研究结果有助于进一步推进视觉语言预训练的艺术状态，并为有效和高效的VLP提供新的方向。
2021-08-21 cs.CL cs.CV cs.MM
YOLO with Kolmogorov-Arnold networks and vision-language foundation models for interpretable object detection with trustworthy multimodal AI in computer vision perception
University of Bath（巴斯大学）；Zhejiang University（浙江大学）
本文提出一种基于Kolmogorov-Arnold网络和视觉-语言基础模型的YOLOv10框架，通过七种几何和语义特征提升目标检测的可解释性，并在模糊、遮挡或低纹理场景中实现可信的置信度估计。
2026-09-07 cs.AI cs.CL cs.CV
Vision Pretraining for Dense Spatial Perception
针对现有视觉基础模型牺牲空间细节理解的问题，提出以边界为中心的掩码边界建模自监督预训练范式，提升稠密空间感知能力与下游任务性能。
2026-07-07 cs.CV
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications（北京邮电大学）
随着自动驾驶技术的蓬勃发展，复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波（mmWave）雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先，我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说，我们将融合方法分为数据级，决策级和特征级融合方法。此外，我们还介绍了三维（3D）目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合，这些都是未来很有希望的。最后，对本文进行了总结。
2022-04-01 cs.CV
ViTOC: Vision Transformer and Object-aware Captioner
本文提出ViTOC模型，通过Vision Transformer与目标检测器双路径架构融合全局与局部特征，结合目标感知提示策略，在COCO数据集上超越基线模型，并提出基于CLIP的无参考评估方法，提升图像描述生成的准确性与多样性。
2025-04-17 cs.CV
Vision-Language Pre-training with Object Contrastive Learning for 3D Scene Understanding
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Research Center of Artificial Intelligence, Peng Cheng Laboratory（鹏城实验室人工智能研究中心）
提出3DVLP框架，通过对象级IoU引导检测损失及跨对比、自对比任务，有效提取通用3D视觉语言嵌入，在多个3D视觉语言下游任务上取得优异性能。
2023-05-18 cs.CV
Self-supervised Vision Transformers for 3D Pose Estimation of Novel Objects
TU Wien（维也纳工业大学）；University of Alicante（阿利坎特大学）
本文评估了自监督视觉Transformer与CNN在新物体姿态估计的深度模板匹配任务中的差异，证明视觉Transformer匹配精度更优，且部分预训练模型无需微调即可实现。
2023-05-31 cs.CV
The Role of Background Information in Reducing Object Hallucination in Vision-Language Models: Insights from Cutoff API Prompting
The University of Tokyo（东京大学）
本研究针对视觉语言模型的对象幻觉问题，通过分析注意力驱动视觉提示的成败案例，发现保留背景上下文对缓解对象幻觉至关重要，为抑制模型幻觉提供了新洞见。
2025-02-21 cs.CV
KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation
Intel Labs（英特尔实验室）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）
自我监督的视觉和语言预训练（VLP）旨在从大规模图像-文本数据中学习可转移的多模态表示，并在微调后在广泛的视觉语言任务中实现强大的性能。以往主流的VLP方法通常采用两步策略，依靠外部对象检测器在多模态Transformer框架中对图像进行编码，这会受到对象概念空间受限、图像上下文受限和计算效率低下的影响。在本文中，我们提出了一个对象感知的端到端VLP框架，它直接将CNN中的图像网格特征输入到Transformer中，并共同学习多模态表示。更重要的是，我们建议执行对象知识蒸馏，以促进学习跨模态对齐在不同的语义层次。为了实现这一点，我们设计了两个新的借口任务，将外部检测器的对象特征及其语义标签作为监督：1）。对象引导的掩蔽视觉建模任务侧重于在多模态Transformer中执行对象感知表示学习; 2.）短语-区域对齐任务旨在利用名词短语和对象标签在语言空间中的相似性来提高跨模态对齐。广泛的视觉语言任务的广泛实验证明了我们提出的框架的有效性，我们实现了竞争力或优于现有的预训练策略的性能。
2022-08-07 cs.CV
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research（百度研究院）；University of Amsterdam（阿姆斯特丹大学）
受CNN在图像识别中取得的巨大成功的启发，基于视图的方法应用CNN对投影视图进行建模，以实现3D对象理解，并取得了优异的性能。然而，多视图CNN模型不能对来自不同视图的块之间的通信进行建模，从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发，我们提出了一种用于三维物体识别的多视角视觉Transformer（MVT）。由于Transformer块中的每个补丁特征具有全局接收场，因此它自然地实现了来自不同视图的补丁之间的通信。同时，与CNN相比，它需要更少的归纳偏差。考虑到有效性和效率，我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试，ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
Contour Primitive of Interest Extraction Network Based on One-Shot Learning for Object-Agnostic Vision Measurement
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
基于图像轮廓的视觉测量在机器人操作和工业自动化中有着广泛的应用。实现与目标无关的视觉系统，使其能够方便地对各种类型的目标进行重用，是一个很有吸引力的课题。提出了基于单次学习框架的轮廓基元提取网络（CPieNet）。首先，CPieNet的特点是其感兴趣的轮廓基元（CPI）输出，一个指定的规则轮廓部分躺在一个指定的对象，提供了必要的几何信息的视觉测量。其次，CPieNet具有一次性学习能力，利用支持样本来辅助对新对象的感知。为了实现低成本的训练，我们从未配对的在线公共图像中生成支持查询样本对，这些图像覆盖了广泛的对象类别。为了获得单像素宽的轮廓，以精确测量，基于Gabor滤波器的非最大值抑制被设计用于细化原始轮廓。对于新的CPI提取任务，我们使用在线公共图像构建了对象轮廓图元数据集，并使用安装在机器人上的相机构建了机器人对象轮廓测量数据集。通过一系列实验验证了所提方法的有效性。
2021-03-25 cs.CV
The Vision Encoder as a Privacy Boundary: Visual-Token Side Channels in Encoder-Free Vision-Language Models
School of Engineering, Institute of Science Tokyo（东京科学大学工学院）；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
研究无编码器视觉-语言模型中视觉令牌侧信道导致的隐私泄露问题，通过解码器攻击从中间视觉令牌恢复图像和文本，发现空间采样保真度是关键因素，并指出KV缓存也存在泄露风险。
2026-06-16 cs.CR cs.CV
Identifying Crucial Objects in Blind and Low-Vision Individuals' Navigation
Pennsylvania State University（宾夕法尼亚州立大学）；Drake University（德雷克大学）
本文提出了一个包含90个对盲人和低视力个体导航至关重要的物体列表，涵盖道路、人行道和室内环境。研究通过分析21个视频并经焦点小组反馈完善该列表，发现现有计算机视觉数据集仅涵盖其中少部分物体，并为31个视频片段提供详细标注，公开相关资源以促进开发更包容有效的导航辅助工具。
2024-08-23 cs.CV
Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models
Xiamen University（厦门大学）
本文提出HFRU框架，通过视觉编码器深度语义删除，结合对齐破坏与GRPO优化，实现高效反学习，减少对象幻觉，实验显示在目标识别和人脸识别任务中性能优异。
2026-05-08 cs.CV
Pose-Invariant Object Recognition for Event-Based Vision with Slow-ELM
Singapore Institute for Neurotechnology（新加坡神经技术研究所）；National University of Singapore（新加坡国立大学）
神经形态图像传感器在每个像素处产生活动驱动的尖峰输出。这些低功耗成像器以尖峰的形式编码视觉变化信息，有助于减少计算开销并实现复杂的实时系统;仅举几例，对象识别和姿态估计。然而，在基于事件的视觉中，存在着针对捕获变换的不变性的算法的缺乏。在这项工作中，我们提出了一种方法来识别对象不变，他们的姿态与动态视觉传感器（DVS）。结合极限学习机和慢特征分析的有效性，提出了一种新的慢ELM结构。该系统在Intel Core i5-4590 CPU上进行测试，每秒可以执行10，000次分类，并对8个对象实现1%的分类错误，其视图累积超过90度的2D姿态。
2019-03-19 cs.CV
ObjectTransforms for Uncertainty Quantification and Reduction in Vision-Based Perception for Autonomous Vehicles
Carnegie Mellon University（卡内基梅隆大学）；University Of Minnesota（明尼苏达大学）
本文提出 ObjectTransforms，在训练时通过目标级颜色扰动与扩散生成行人增强模型鲁棒性，在推理时利用检测分数方差量化不确定性并修正误报、漏报。
2025-10-17 cs.CV
Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving
Hong Kong University of Science and Technology（香港科技大学）
提出了一种基于立体视觉的方法，用于跟踪动态自动驾驶场景中的摄像机自我运动和3D语义对象。而不是直接回归的3D限界框使用端到端的方法，我们建议使用易于标记的2D检测和离散的观点分类与轻量级的语义推理方法，以获得粗略的3D对象测量。基于在动态环境中具有鲁棒性的目标感知辅助摄像机姿态跟踪，结合融合时间稀疏特征对应的动态目标光束平差（BA）方法和语义三维测量模型，获得了具有实例精度和时间一致性的三维目标姿态、速度和锚定动态点云估计。我们提出的方法的性能在不同的场景中得到了证明。自我运动估计和对象定位与国家的最先进的解决方案进行了比较。
2018-11-29 cs.CV
Track, then Decide: Category-Agnostic Vision-based Multi-Object Tracking
Visual Computing Institute, RWTH Aachen University（亚琛工业大学视觉计算研究所）
基于视觉的多目标跟踪最常见的范例是检测跟踪，这是因为对于几个重要的目标类别（如汽车和行人），可靠的检测器是可用的。然而，未来的移动系统将需要有能力应对丰富的人造环境，在这种环境中，为每一种可能的物体类别获取探测器是不可行的。在本文中，我们提出了一个无模型的多目标跟踪方法，使用一个类别无关的图像分割方法来跟踪对象。我们提出了一个有效的分割掩模为基础的跟踪器相关联的像素精确的掩模报告的分割。我们的方法可以利用语义信息，只要它是可用于分类对象的轨道水平，同时保留跟踪通用的未知对象的能力，在没有这样的信息。我们的实验表明，我们的方法实现的性能与最先进的跟踪检测方法的流行的对象类别，如汽车和行人。此外，我们表明，该方法可以发现和鲁棒跟踪各种各样的其他对象。
2017-12-21 cs.CV
Active Object Manipulation Facilitates Visual Object Learning: An Egocentric Vision Study
Indiana University（印第安纳大学）
受婴儿视觉学习系统非凡能力的启发，最近的一项研究收集了儿童的第一人称图像，以分析他们收到的“训练数据”。我们进行了一项后续研究，调查了两个额外的方向。首先，考虑到婴儿可以在没有太多监督的情况下快速学习识别新物体（即少样本学习），我们限制了训练图像的数量。其次，我们研究了儿童如何控制他们在学习过程中收到的监督信号的基础上，手操作的对象。我们的实验结果表明，用手操作的监督是比没有手，趋势是一致的，即使是少量的图像。
2019-06-04 cs.CV
