UN-DETR: Promoting Objectness Learning via Joint Supervision for Unknown Object Detection
Beijing Institute of Technology(北京理工大学)
针对未知目标检测中目标性学习监督信号单一导致性能不佳的问题,提出基于Transformer的UN-DETR框架,通过实例存在分数联合监督、无偏查询选择等方法,在多个基准上实现了当前最优性能。
2024-12-13 cs.CV
USD: Unknown Sensitive Detector Empowered by Decoupled Objectness and Segment Anything Model
National University of Defense Technology(国防科技大学)
针对开放世界目标检测中未知目标识别难题,本文提出USD,通过DOL解耦目标性与分类学习,并借助SAM和ASF伪标签监督提升未知召回率。
2023-06-04 cs.CV
DualMem: Bypassing the Objectness Bottleneck for Calibrated Unknown-Stream Filtering in Open-World Object Detection
School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院);School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络工程学院);Institute of Computing Science and Technology, Guangzhou University(广州大学计算科学与技术研究院)
针对开放世界目标检测中未知预测流被背景假阳性污染的问题,提出DualMem后验过滤器,利用冻结的SigLIP特征进行非参数似然比检验,通过Neyman-Pearson校准选择阈值,显著减少背景型未知假阳性提议。
2026-05-22 cs.AI cs.CV
Background-Free Objectness Learning for Class-Agnostic Detection
University of Palermo(巴勒莫大学);ICAR National Research Council of Italy(意大利国家研究委员会ICAR研究所)
本文提出B-FOR框架,通过无背景监督学习类别无关检测的目标性,在三类数据集上较基线提升超10个AR点,泛化性优异。
2026-09-01 cs.AI cs.CV cs.RO
EW-DETR: Evolving World Object Detection via Incremental Low-Rank DEtection TRansformer
Sony Research India(索尼印度研究院);IIIT Hyderabad(海德拉巴国际信息技术学院)
本文提出EW-DETR框架,结合增量学习、领域自适应和未知检测,在无示例约束下实现进化世界目标检测,通过三个协同模块提升性能,实验表明其在Pascal系列和多天气基准上表现优异。
2026-04-02 cs.CV
Learning Open-World Object Proposals without Learning to Classify
KAIST(韩国科学技术院);Google Brain(谷歌大脑)
目标检测已经成为目标检测、弱监督检测、目标发现、跟踪等视觉流程中不可或缺的预处理步骤。与无学习方法相比,由于人们对目标检测的兴趣越来越大,基于学习的目标检测方法最近变得流行起来。常见的范例是从标记有一组对象区域及其相应类别的数据中学习对象建议。然而,这种方法经常与训练集中不存在的开放世界中的新对象进行斗争。在本文中,我们发现问题在于现有建议方法中的二进制分类器倾向于过拟合训练类别。因此,我们提出了一种无分类的对象定位网络(OLN),它纯粹通过区域的位置和形状与任何地面真实对象(例如,中心和IoU)。这个简单的策略学习了可概括的对象,并优于COCO上现有的跨类别概括建议,以及RoboNet,Object365和EpicKitchen上的跨数据集评估。最后,我们证明了OLN的优点长尾目标检测的大词汇量数据集,LVIS,我们注意到在罕见和常见的类别有明显的改善。
2021-08-15 cs.CV
TOG: Targeted Adversarial Objectness Gradient Attacks on Real-time Object Detection Systems
Georgia Institute of Technology(佐治亚理工学院)
实时的【形】海量数据捕获的快速增长将深度学习和数据分析计算推向了边缘系统。边缘上的实时的【形】对象识别是代表性的深度神经网络(DNN)驱动的边缘系统之一,用于现实世界的关键任务应用,如自动驾驶和增强现实。虽然DNN支持的目标检测边缘系统为许多丰富生活的机会提供了机会,但它们也为误用和滥用打开了大门。本文介绍了三种目标对抗性目标梯度攻击,称为TOG,这可能会导致最先进的深度目标检测网络遭受对象消失,对象制造和对象错误标记攻击。我们还提出了一个通用的对象梯度攻击使用对抗性的黑盒攻击,这是有效的攻击时间成本可以忽略不计的任何输入,低人类感知,特别是不利于目标检测边缘系统。我们使用两个基准数据集(PASCAL VOC和MS COCO)对两种最先进的检测算法(YOLO和SSD)进行了实验测量。结果表明,严重的对抗性弱点和迫切需要开发强大的目标检测系统。
2020-04-09 cs.CR cs.CV cs.LG
CODE: Cross-Modal Calibration and Dynamic Suppression for Open World Object Detection
Beijing Institute of Technology(北京理工大学)
本文针对开放世界目标检测的语义歧义与过度抑制问题,提出含三个互补组件的CODE框架,在真实世界检测基准上超越此前最优方法。
2026-08-28 cs.CV
I$^2$OL-Net: Intra-Inter Objectness Learning Network for Point-Supervised X-Ray Prohibited Item Detection
本文提出I$^2$OL-Net,通过模态内与模态间目标性学习,在点监督下实现高效X射线违禁品检测,显著降低标注成本并提升性能。
2025-01-03 cs.CV
Learning to discover and localize visual objects with open vocabulary
University of Pittsburgh(匹兹堡大学);Google Research(谷歌研究院)
为了减轻获得用于训练当今最先进的目标检测模型的准确边界框的成本,最近的弱监督检测工作提出了从图像级标签学习的技术。然而,需要离散的图像级标签是限制性的和次优的。现实世界的“监督”通常由更多的非结构化文本组成,如标题。在这项工作中,我们学习图像和字幕之间的关联映射。然后,我们使用一种新的对象性标准来对所得到的候选框进行排名,使得高排名的框沿着所有边缘都具有很强的梯度。因此,我们可以检测超出固定对象类别词汇表的对象,如果这些对象足够频繁和独特。我们表明,我们的对象标准,提高了建议的边界框有关以前的弱监督检测方法。此外,我们只从图像级字幕的目标检测令人鼓舞的结果。
2018-11-25 cs.CV
Gaussian-Det: Learning Closed-Surface Gaussians for 3D Object Detection
Tsinghua University(清华大学)
针对3D目标检测,提出Gaussian-Det方法,以高斯溅射为连续表面表示,设计闭合推断模块处理离群点,实验表明其在平均精度和召回率上优于现有方法。
2025-02-13 cs.CV
Eliminating Cross-modal Conflicts in BEV Space for LiDAR-Camera 3D Object Detection
Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);Meituan Inc.(美团公司)
针对激光雷达-相机三维目标检测中BEV空间跨模态融合存在的外部与固有冲突问题,提出ECFusion方法,通过SFA模块和DQR机制消除冲突,在nuScenes数据集上取得SOTA性能。
2024-03-12 cs.CV
Beyond Symmetric Fusion: Exploiting Task-Dependent Modality Strengths for RGB-Event Small Object Detection
该研究针对现有RGB-事件检测器的对称融合设计缺陷,提出AERODet模型,通过SURE和TDSR实现任务相关的模态利用,在FRED和NeRDD数据集上取得最优性能,FRED挑战性拆分提升10.7 mAP点。
2026-08-04 cs.CV
Class-agnostic Object Detection with Multi-modal Transformer
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);Aalto University(阿尔托大学);University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学);Google Research(谷歌研究院)
什么构成一个对象?这是计算机视觉中一个长期存在的问题。为了实现这一目标,已经开发了许多免学习和基于学习的方法来对客观性进行评分。然而,它们通常不能很好地跨新领域和新对象扩展。在本文中,我们主张,现有的方法缺乏一个自上而下的监督信号由人类可理解的语义。在文献中,我们首次证明了用对齐的图像-文本对训练的多模态视觉Transformer(MViT)可以有效地弥合这一差距。我们在各个领域和新对象的广泛实验显示了MViTs在图像中定位通用对象的最新性能。基于现有的MViT不包括多尺度特征处理,通常需要更长的训练时间表的观察,我们开发了一个有效的MViT架构,使用多尺度变形注意力和后期视觉语言融合。我们展示了MViT建议在各种应用中的重要性,包括开放世界目标检测、突出和伪装目标检测、监督和自监督检测任务。此外,MViT可以在给定特定语言查询的情况下自适应地生成建议,从而提供增强的交互性。代码:\url{https://git.io/J1HPY}。
2022-07-19 cs.CV
Seeing Objects in a Cluttered World: Computational Objectness from Motion in Video
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本研究提出一种基于运动线索和时空注意力的计算物体性方法,采用双R(2+1)U-Net结构,无需物体模型即可在杂乱场景中鲁棒感知被关注物体,且能有效迁移至真实视频,为模块化视频物体感知框架提供基础。
2024-02-02 cs.CV
DetectorGuard: Provably Securing Object Detectors against Localized Patch Hiding Attacks
Princeton University(普林斯顿大学)
最先进的对象检测器容易受到局部补丁隐藏攻击,其中对手引入一个小的对抗补丁,使检测器错过显著对象的检测。补丁攻击者可以通过打印并将对抗补丁附加到受害者对象来执行物理世界攻击。在本文中,我们提出DetectorGuard作为第一个通用框架,用于构建可证明鲁棒的对象检测器,以对抗局部补丁隐藏攻击。DetectorGuard的灵感来自于鲁棒图像分类研究的最新进展;我们问:我们能适应鲁棒的图像分类器来进行鲁棒的目标检测吗?不幸的是,由于它们的任务差异,从鲁棒图像分类器天真地适配的对象检测器1)在对抗设置中可能不一定是鲁棒的,或者2)甚至在干净设置中保持不错的性能。为了建立一个高性能的鲁棒对象检测器,我们提出了一个对象解释策略:我们适应一个强大的图像分类器来预测对象的每个图像位置,然后解释每个对象使用传统的对象检测器预测的边界框。如果所有对象都得到了很好的解释,我们就输出传统对象检测器做出的预测;否则,我们就发出攻击警报。值得注意的是,1)在对抗环境中,我们正式证明了DetectorGuard对认证对象的端到端鲁棒性,即,它要么检测对象,要么触发警报,以防止我们的威胁模型中的任何补丁隐藏攻击者; 2)在干净的设置中,我们具有与最先进的对象检测器几乎相同的性能。我们对PASCAL VOC,MS COCO和KITTI数据集的评估进一步证明了DetectorGuard以可忽略的成本(<1%)实现了对…
2021-10-26 cs.CR cs.CV cs.LG
UNCOVER: Unknown Class Object Detection for Autonomous Vehicles in Real-time
Bosch Center for Artificial Intelligence(博世人工智能中心);Kiel University(基尔大学)
针对自动驾驶开放场景中标准检测器忽略未知目标的问题,提出UNCOVER方法,结合占用预测与边界框回归学习通用目标性,通过跨域增强提升泛化性,新增OOD类并利用深度图几何线索过滤,实现AD基准上未知目标的实时检测与高召回率及低假阳性率。
2024-12-05 cs.CV
BABO: Background Activation Black-Out for Efficient Object Detection
Intel(英特尔)
深度学习的最新进展使由多个视觉任务组成的复杂的现实世界用例成为可能,检测任务作为整个工作负载的预处理步骤被转移到边缘侧。由于在资源受限的设备上运行深度模型是具有挑战性的,因此需要高效推理方法的技术。在本文中,我们提出了一个对象感知的目标检测方法,以减少计算成本的稀疏激活值的背景区域,目标对象不存在。稀疏激活可以通过软件或硬件加速的稀疏卷积技术来提高推理速度。为了实现这一目标,我们在目标检测(OD)网络之前加入了一个轻量级对象掩码生成(OMG)网络,以便在输入图像被送入OD网络之前将其不必要的背景区域归零。在实验中,通过将背景激活值切换为零,即使在ReLU激活的情况下,MobileNetV 2-SSDLite上的零值平均数量也从36%进一步增加到68%,同时保持MS-COCO的准确性。这一结果表明,总的MAC包括OMG和OD网络可以减少到62%的原始OD模型时,只考虑非零乘累加操作。此外,我们在重网络(VGG和RetinaNet)和一个额外的数据集(PASCAL VOC)中显示了类似的趋势。
2020-03-23 cs.CV
Digital-to-Physical Transfer of Adversarial Patches for Aerial Vehicle Detection
School of Information Technology, Incheon National University(信息科技学院,Incheon国立大学)
本文通过数字优化和物理部署,评估了针对YOLOv3空中飞行器检测器的物理对抗性补丁攻击,发现ON补丁在物理环境中鲁棒性更强。
2026-05-29 cs.AI cs.CV
Beyond Flat Unknown Labels in Open-World Object Detection
AVS Lab, Technical University of Munich(慕尼黑技术大学avs实验室)
本文提出BOUND,一种开放世界物体检测器,通过推断未知物体的粗粒度类别提升检测性能,同时实现结构化的层次分类。
2026-03-06 cs.CV
Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors
University of Maryland, College Park(马里兰大学帕克分校);Facebook AI(Facebook 人工智能研究院)
我们对最先进的目标检测框架进行了对抗攻击的系统研究。使用标准的检测数据集,我们训练模式,抑制了一系列常用的检测器和检测器的合奏产生的对象分数。通过大量的实验,我们对白盒和黑盒设置下的对抗训练补丁的有效性进行了基准测试,并量化了数据集,对象类和检测器模型之间的攻击可转移性。最后,我们提出了一个详细的研究物理世界的攻击使用印刷海报和可穿戴的衣服,并严格量化的性能,这种攻击与不同的指标。
2020-07-22 cs.CR cs.CV cs.LG
3D Indoor Instance Segmentation in an Open-World
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI));Aalto University(阿尔托大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学)
本文首次研究开放世界3D室内实例分割,通过自动伪标签、已知/未知类别分离及基于对象性分布的概率调整,实现未知识别与后续增量学习。
2023-09-25 cs.CV
Improving Open-World Object Localization by Discovering Background
Univ. of Mass.-Amherst(马萨诸塞大学阿姆赫斯特分校);Mitsubishi Electric Research Labs(三菱电机研究实验室);Univ.of Mass.-Amherst(马萨诸塞大学阿姆赫斯特分校)
本文提出通过发现背景区域来引导目标性学习,训练目标提议网络忽略冗余低信息区域,从而在开放世界目标定位任务上超越现有方法。
2025-04-24 cs.CV
Unsupervised Recognition of Unknown Objects for Open-World Object Detection
Singapore Management University(新加坡管理大学);Wuhan University of Technology(武汉理工大学);Beihang University(北京航空航天大学)
本文提出无监督判别模型与无分类自训练方法,消除标签偏差,从伪标签中识别未知对象,显著提升开放世界目标检测性能。
2023-08-31 cs.CV
OW-DETR: Open-world Detection Transformer
Inception Institute of Artificial Intelligence(Inception人工智能研究院);IIT Hyderabad(印度理工学院海得拉巴分校);Australian National University(澳大利亚国立大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Linköping University(林雪平大学);University of Central Florida(中佛罗里达大学)
开放世界目标检测(OWOD)是一个具有挑战性的计算机视觉问题,其任务是检测一组已知的目标类别,同时识别未知目标。此外,模型必须逐步学习在下一个训练片段中变得已知的新类。与标准目标检测不同,OWOD设置对生成潜在未知对象的质量候选建议、将未知对象与背景分离以及检测各种未知对象提出了重大挑战。在这里,我们介绍了一种新的端到端的基于transformer的框架,OW-DETR,开放世界的目标检测。所提出的OW-DETR包括三个专用组件,即注意力驱动的伪标签,新颖性分类和对象评分,以明确解决上述OWOD挑战。我们的OW-DETR明确编码多尺度上下文信息,具有较少的归纳偏差,使知识转移从已知类到未知类,可以更好地区分未知对象和背景。在MS-COCO和PASCAL VOC两个基准上进行了全面的实验。广泛的烧蚀揭示了我们提出的贡献的优点。此外,我们的模型优于最近推出的OWOD方法,ORE,在MS-COCO上的未知召回方面的绝对增益范围从1.8%到3.3%。在增量目标检测的情况下,OW-DETR优于PASCAL VOC上所有设置的最新技术。我们的代码可在https://github.com/akshitac8/OW-DETR上获得。
2022-04-04 cs.CV
Unified Open-World Segmentation with Multi-Modal Prompts
Zhejiang University(浙江大学);Hangzhou Dianzi University(杭州电子科技大学);Zhejiang University of Technology(浙江工业大学);Apple(苹果公司)
本文提出统一开放世界分割模型COSINE,利用基础模型和SegDecoder处理多模态提示,克服了以往流程的架构与学习差异,在开放词汇和上下文分割任务上取得显著性能提升,且视觉与文本提示的协同合作大幅增强了泛化能力。
2025-10-12 cs.CV
An Objectness Score for Accurate and Fast Detection during Navigation
KAIST(韩国科学技术院);School of Computing, KAIST(韩国科学技术院计算机学院)
我们提出了一种新的方法,利用对象得分来维护在移动机器人导航过程中从Mask R-CNN检测到的对象的位置和类别。对象性分数被定义为测量检测器在导航期间识别对象的位置和类别的程度。具体地说,它被设计为当检测到的物体和相机之间有足够的距离时增加。在导航过程中,我们通过仿射投影将物体在3D世界坐标中的位置转换为2D图像坐标,并使用对象性得分来决定是否保留检测到的物体的类别。我们进行了实验,以确定如何以及检测到的对象的位置和类别保持在各种角度和位置。实验结果表明,无论角度和距离如何变化,我们的方法都是高效且鲁棒的。
2019-08-26 cs.CV cs.RO
Unified Adversarial Patch for Visible-Infrared Cross-modal Attacks in the Physical World
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
本文提出一种统一对抗补丁,通过操控形状特征并采用边界受限优化、分数感知迭代评估及仿射变换增强策略,实现了对可见光与红外双模态目标检测器的跨模态物理攻击,攻击成功率超80%。
2023-07-27 cs.CV
Multimodal-Enhanced Objectness Learner for Corner Case Detection in Autonomous Driving
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
本文提出MENOL,通过多模态半监督学习缩小已知与未知类差异,在仅5100张标注图像下显著提升自动驾驶边角案例检测召回率,分别超越基线ORE 71.3%和60.6%。
2024-09-28 cs.AI cs.CV
Unified Adversarial Patch for Cross-modal Attacks in the Physical World
Beihang University(北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
针对多传感器部署下单模态物理对抗攻击失效的问题,提出边界受限形状优化与分数感知迭代评估的统一对抗补丁,可同时欺骗可见光与红外目标检测器,在物理世界多场景下验证了有效性。
2023-07-19 cs.CV
Addressing Visual Search in Open and Closed Set Settings
The Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室)
在大图像中搜索小对象对于当前的深度学习系统来说是一项具有挑战性的任务,但在许多现实世界的应用中(如遥感和医学成像)却非常重要。彻底扫描非常大的图像在计算上是昂贵的,特别是在足以捕获小物体的分辨率下。感兴趣的对象越小,它就越有可能被杂乱所掩盖,或者被认为是无关紧要的。我们研究这些问题的背景下,两个互补的问题:闭集目标检测和开集目标搜索。首先,我们提出了一种方法,用于预测像素级的对象从低分辨率的要点图像,然后我们使用它来选择区域执行目标检测本地高分辨率。这种方法的好处是不固定到预定的网格,从而需要比现有方法更少的昂贵的高分辨率的一瞥。其次,我们提出了一种新的策略,开放集的视觉搜索,旨在找到所有的目标类,这可能是以前看不见的,是由一个单一的图像定义的实例。我们解释这两个检测问题,通过概率,贝叶斯透镜,从而由我们的方法产生的对象地图作为先验的最大后验方法的检测步骤。我们评估了端到端的性能,我们的补丁选择策略与这种目标搜索方法的组合,我们的补丁选择策略与标准的目标检测方法的组合。我们的方法的两个要素被认为是显着优于基线策略。
2021-04-14 cs.AI cs.CV
Video Instance Segmentation in an Open-World
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Technology Innovation Institute(技术创新研究院);Aalto University(阿尔托大学);University of Central Florida(中佛罗里达大学);Linköping University(林雪平大学)
提出首个开放世界视频实例分割方法OW-VISFormer,通过特征丰富机制和时空目标性模块解决未知目标识别与增量学习问题,在标准VIS和开放世界检测任务中均取得显著性能提升。
2023-04-03 cs.CV
Multi-Modal Prototypes for Open-World Semantic Segmentation
Cooperative Medianet Innovation Center(合作中位数网络创新中心);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对开放世界语义分割中现有方法忽略视觉与文本信息互补性的问题,提出多模态原型与细粒度融合框架,可在同一架构下处理多类分割任务,在多个基准上超越现有最优方法。
2024-07-11 cs.CV
Learning Modality-agnostic Representation for Semantic Segmentation from Any Modalities
Hong Kong University of Science and Technology(香港科技大学)
针对多模态语义分割中模态缺失或失效问题,提出Any2Seg框架,通过从视觉-语言模型蒸馏语义知识并融合模态无关特征,实现任意模态组合下的鲁棒分割,在基准上取得显著提升。
2024-07-16 cs.CV
CountGD: Multi-Modal Open-World Counting
University of Oxford(牛津大学)
本文提出首个开放世界计数模型CountGD,支持文本描述和视觉示例单独或联合指定计数目标,在多个基准上显著超越现有方法,并初步研究了文本与视觉提示的交互关系。
2025-03-10 cs.CV
Learning A Robust RGB-Thermal Detector for Extreme Modality Imbalance
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对现实场景中模态退化导致的极端模态不平衡问题,提出基础-辅助检测器架构,结合模态交互模块与伪退化策略,有效提升模型鲁棒性并将 Missing Rate 降低 55%。
2025-05-28 cs.CV
C3-OWD: A Curriculum Cross-modal Contrastive Learning Framework for Open-World Detection
C3-OWD提出一种课程跨模态对比学习框架,通过预训练和视觉-语言对齐提升目标检测的鲁棒性和泛化能力。
2025-12-13 cs.CV
Hyperbolic Geometry for Open-World Object Detection in Remote Sensing Imagery
Wuhan Textile University(武汉纺织大学);Wuhan University(武汉大学);Ohio State University(俄亥俄州立大学)
针对遥感图像开放世界目标检测中欧氏空间难以表征类别层次关系的问题,提出基于双曲几何的HyRS-OWOD方法,通过解耦目标性学习、双曲不确定性学习和双曲度量学习提升未知目标召回与增量学习性能,并在三个基准上验证了有效性。
2026-09-10 cs.AI cs.CV
Weakly-supervised DCNN for RGB-D Object Recognition in Real-World Applications Which Lack Large-scale Annotated Training Data
University of Birmingham(伯明翰大学)
本文解决了RGBD对象识别在现实世界中的应用,其中大量的注释训练数据通常是不可用的问题。为了克服这个问题,我们提出了一种新的弱监督学习架构(DCNN-GPC),其将参数模型(用于RGB和D模态的一对深度卷积神经网络(DCNN))与非参数模型(高斯过程分类)相结合。我们的系统最初使用少量的标记数据进行训练,然后自动将标签推广到大规模的未标记数据。我们首先对RGBD视频运行基于3D的对象检测,以获得许多未标记的对象建议,然后使用DCNN-GPC对它们进行标记。因此,我们的多模态DCNN可以仅使用少量人类注释进行端到端训练。最后,我们的基于3D的对象检测和多模态DCNN被集成到实时检测和识别管道中。在我们的方法中,边界框注释是不需要和边界感知检测实现。我们还提出了一种新的方法来预训练深度模态的DCNN,通过训练从CAD模型投影的虚拟深度图像。我们在公共3D数据集上预训练我们的多模态DCNN,实现了与华盛顿RGBS数据集上最先进方法相当的性能。然后,我们通过进一步训练来自我们新的工业对象数据集(核废料模拟物)的少量注释数据来微调网络。我们的弱监督方法已被证明是非常有效的解决一个新的RGBD对象识别应用程序,缺乏人类注释。
2017-03-19 cs.CV
Objectomaly: Objectness-Aware Refinement for OoD Segmentation with Structural Consistency and Boundary Precision
Department of Future Convergence Technology, Soonchunhyang University(未来融合技术系,全州大学)
提出Objectomaly框架,通过物体感知分数校准和精细边界精度三阶段细化,解决OoD分割中边界不精确和分数不一致问题,在多个基准上达到SOTA。
2025-07-11 cs.AI cs.CV
Promising or Elusive? Unsupervised Object Segmentation from Real-world Single Images
The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们研究的问题,无监督的目标分割从单一的图像。我们不引入新算法,而是系统地研究现有无监督模型对具有挑战性的真实世界图像的有效性。我们首先引入四个复杂度因子来定量测量具有人类注释的数据集的外观和几何形状中的对象和场景级偏差的分布。在这些因素的帮助下,我们根据经验发现,毫不奇怪,现有的无监督模型灾难性地无法分割真实图像中的通用对象,尽管它们可以在许多简单的合成数据集上轻松实现出色的性能,这是由于合成图像和真实图像之间的对象偏差存在巨大差距。通过对多组消融的真实世界数据集进行广泛的实验,我们最终发现,现有无监督模型在真实世界图像上的巨大失败的关键因素是外观和几何形状中对象和场景级偏差的挑战性分布。正因为如此,现有的无监督模型中引入的归纳偏差很难捕捉到不同的对象分布。我们的研究结果表明,未来的工作应该利用更明确的客观偏见的网络设计。
2022-10-05 cs.AI cs.CV cs.LG
Scene Recognition with Objectness, Attribute and Category Learning
North University of China(中北大学);Southwest Petroleum University(西南石油大学);Shanxi Research Center of Software Engineering Technology(山西省软件工程技术研究中心)
场景分类是一个具有挑战性的研究课题。与单个对象的图像相比,场景图像在语义上可能更加复杂和抽象。它们的区别主要在于识别粒度的高低。然而,图像识别作为场景识别的良好性能的关键支柱,因为从对象图像中获得的知识可以用于场景的准确识别。现有的场景识别方法只考虑了场景的类别标签。然而,我们发现,包含详细的本地描述的上下文信息也有利于使场景识别模型更具鉴别力。在本文中,我们的目标是提高场景识别使用属性和类别标签信息编码的对象。基于属性和类别标签的互补性,我们提出了一个多任务属性-场景识别(MASR)网络,学习类别嵌入,同时预测场景属性。属性获取和对象标注是繁琐且耗时的任务。我们通过提出一种部分监督的注释策略来解决这个问题,在该策略中,人类干预显着减少。该策略为现实世界的场景提供了更具成本效益的解决方案,并且需要相当少的注释工作。此外,我们考虑到对象检测分数指示的重要性水平,重新加权属性预测。使用所提出的方法,我们有效地注释四个大规模的数据集的属性标签,并系统地研究如何场景和属性识别受益于彼此。实验结果表明,与现有方法相比,MASR学习到了更具区分性的表示,并取得了有竞争力的识别性能
2022-07-20 cs.AI cs.CV
Benchmarking and Analysis of Unsupervised Object Segmentation from Real-world Single Images
The Hong Kong Polytechnic University(香港理工大学)
该研究通过七个复杂度因素和多组消融真实数据集系统评估现有无监督单图目标分割模型,揭示其失败源于外观与几何偏置分布差异,并建议网络引入更显式的目标性偏置。
2023-12-08 cs.AI cs.CV cs.LG
Extending One-Stage Detection with Open-World Proposals
Georgia Institute of Technology(佐治亚理工学院);Facebook AI(Facebook人工智能)
在许多应用中,例如自动驾驶、手动操作或机器人导航,目标检测方法必须能够检测训练集中未见过的对象。开放世界检测(OWD)试图通过将检测性能推广到可见和不可见的类别来解决这个问题。最近的工作已经成功地生成了类不可知的建议,我们称之为开放世界建议(OWP),但这是以在检测模型中考虑两个任务时分类任务的大幅下降为代价的。这些工作通过利用对象评分线索研究了两阶段区域建议网络(RPN);然而,由于其简单性,运行时间以及定位和分类的解耦,我们通过完全卷积的一阶段检测网络(如FCOS)来研究OWP。我们表明,我们对FCOS的架构和采样优化可以将OWP性能提高6%,这标志着第一个无建议的一阶段检测网络实现了与基于RPN的两阶段网络相当的性能。此外,我们表明,固有的,解耦架构的FCOS保留分类性能的好处。虽然两阶段方法在新类别上的召回率下降了6%,但我们发现,当联合优化OWP和分类时,FCOS只下降了2%。
2022-01-12 cs.CV
UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation
HKUST(香港科技大学);CUHK(香港中文大学);Tsinghua University(清华大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
UnityVideo通过一体化多模态多任务学习提升视频生成的世界感知能力,引入动态噪声化和模态切换器,实现更全面的世界知识表示。
2025-12-08 cs.CV
Two-stage optimized unified adversarial patch for attacking visible-infrared cross-modal detectors in the physical world
University of Electronic Science and Technology of China(电子科技大学)
本文提出两阶段优化统一对抗贴片TOUAP,通过PSO优化红外贴片并利用其形状掩码生成可见光贴片,实现对真实世界可见光-红外跨模态检测器的黑盒攻击。
2023-12-04 cs.CV
DrivingGPT: Unifying Driving World Modeling and Planning with Multi-modal Autoregressive Transformers
Centre for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港中文大学信息工程中心人工智能与机器人中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出DrivingGPT,通过多模态自回归Transformer将驾驶世界建模与轨迹规划统一为序列建模问题,基于交错图像与动作token进行下一token预测,在动作条件视频生成和端到端规划任务上均超越强基线。
2024-12-24 cs.CV
Robust Self-Supervised Cross-Modal Super-Resolution against Real-World Misaligned Observations
The Univsrsity of Tokyo(东京大学);RIKEN AIP(理化学研究所)
RobSelf通过自监督方法实现鲁棒的跨模态超分辨率,通过误对齐感知的特征翻译和内容感知的参考滤波器提升性能和效率。
2026-07-13 cs.CV
Embodied Multi-Modal Agent trained by an LLM from a Parallel TextWorld
Southern University of Science and Technology(南方科技大学);JD Explore Academy(京东探索研究院);University of Technology Sydney(悉尼科技大学);University of Maryland, College Park(马里兰大学学院公园分校);Yunnan University(云南大学)
本文提出EMMA,通过蒸馏平行文本世界中LLM智能体的反思结果来微调VLM,并利用DAgger-DPO算法实现跨模态模仿学习,使具身多模态智能体无需专家进一步指导即可泛化到新任务,在ALFWorld上成功率提升20%-70%。
2024-03-29 cs.CV
Divide and Conquer: Decoupled Representation Alignment for Multimodal World Models
Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学);CSU(中南大学);ZJU(浙江大学);CUHK(香港中文大学);UCAS(中国科学院大学);Alibaba Group(阿里巴巴集团)
提出M²-REPA方法,通过解耦扩散模型中间表示中的模态特定特征并与对应的专家基础模型对齐,实现多模态视频生成中多种基础模型先验的充分利用,显著提升视觉质量和长期一致性。
2026-07-02 cs.CV
IRGPT: Understanding Real-world Infrared Image with Bi-cross-modal Curriculum on Large-scale Benchmark
Beijing Institute of Technology(北京理工大学)
本文提出IRGPT,首个面向真实世界红外图像的多模态大语言模型,构建了超260K真实图像-文本对的IR-TD数据集,并通过双跨模态课程迁移学习策略实现可见光到红外域的知识迁移,在9项任务上取得最先进性能。
2025-07-19 cs.CV
Towards Camera Open-set 3D Object Detection for Autonomous Driving Scenarios
ZILab
OS-Det3D通过两阶段框架提升自动驾驶中相机3D目标检测器对未知对象的发现与识别能力,同时提升已知对象的检测性能。
2026-03-01 cs.AI cs.CV
Revisiting Multi-modal 3D Semantic Segmentation in Real-world Autonomous Driving
Fudan University(复旦大学);Mogo Auto Intelligence and Telematics Information Technology Co., Ltd(蘑菇车联智能网联信息技术有限公司)
针对多模态三维语义分割的部署难和弱标定性能下降问题,提出CPGNet-LCF框架,通过继承实时能力和弱标定知识蒸馏,在nuScenes和SemanticKITTI上达到最优,单卡20ms运行。
2023-10-13 cs.CV
HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds
Tencent(腾讯)
HY-World 2.0通过多模态输入生成高保真3D场景,改进了先前版本,引入了多项创新以提升全景真实性、3D场景理解和规划能力,并升级了WorldStereo和WorldMirror模型,实现了3D世界交互探索。
2026-04-15 cs.CV