Reducing the Amount of Real World Data for Object Detector Training with Synthetic Data
dSPACE GmbH；Institute of Computer Sciences, University Osnabrück（奥斯纳布吕克大学计算机科学研究所）
许多研究已经调查了在现实世界中应用的合成数据的神经网络的训练。本研究的目的是量化在使用合成数据集和真实世界数据的混合数据集时可以节省多少真实世界数据。通过一个简单的幂律模型的训练样本的数量和检测性能之间的关系，我们发现，对真实世界的数据可以减少高达70%，而不牺牲检测性能。目标检测网络的训练特别是通过用在现实世界数据集中代表性不足的类来丰富混合数据集来增强。结果表明，真实世界数据比率在5%到20%之间的混合数据集在不降低检测性能的情况下最大限度地减少了对真实世界数据的需求。
2022-01-31 cs.CV
Robust Backdoor Attacks on Object Detection in Real World
Zhejiang University of Science and Technology（浙江科技大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Beijing Jiaotong University（北京交通大学）
本文针对真实世界目标检测中的后门攻击易受距离和光照影响的问题，提出可变尺寸触发器和恶意对抗训练方法，构建鲁棒后门攻击RBA以提升真实场景攻击成功率。
2023-09-16 cs.CV
Open-World Object Detection via Discriminative Class Prototype Learning
Shanghai University（上海大学）
开放世界目标检测（OWOD）是一个结合了目标检测、增量学习和开集学习的具有挑战性的问题。与标准目标检测相比，OWOD设置的任务是：1）在识别未见过的类的同时检测在训练期间看到的对象，以及2）当相应的注释可用时，递增地学习所识别的未知对象的知识。我们提出了一种新颖的和有效的OWOD解决方案，从原型的角度来看，我们称之为OCPL：开放世界的目标检测通过判别类原型学习，它包括一个建议嵌入聚合器（PEA），嵌入空间压缩器（ESC）和余弦相似性为基础的分类器（CSC）。我们提出的所有模块都旨在学习已知类在特征空间中的判别嵌入，以最小化已知类和未知类的重叠分布，这有利于区分已知类和未知类。在PASCAL VOC和MS-COCO基准上进行的大量实验证明了该方法的有效性。
2023-02-23 cs.CV
UC-OWOD: Unknown-Classified Open World Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Peking University（北京大学）
开放世界目标检测（OWOD）是一个具有挑战性的计算机视觉问题，它需要检测未知对象并逐渐学习所识别的未知类。但是，它不能将未知实例区分为多个未知类。在这项工作中，我们提出了一个新的OWOD问题称为未知分类开放世界目标检测（UC-OWOD）。UC-OWOD旨在检测未知实例并将其分类为不同的未知类。此外，我们制定的问题，并设计了一个两阶段的目标检测器来解决UC-OWOD。首先，未知标签感知的建议和未知判别分类头被用来检测已知和未知的对象。然后，基于相似性的未知分类和未知聚类细化模块的构建，以区分多个未知类。此外，两个新的评估协议被设计来评估未知类检测。大量的实验和可视化结果证明了该方法的有效性。代码可在https://github.com/JohnWuzh/UC-OWOD上获得。
2022-07-23 cs.CV
MLLM-Guided Autonomous Object Detection for Open-World Understanding
University of South Florida（佛罗里达州立大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
提出LLM引导的智能体目标检测框架LAOD，通过LLM生成场景特定物体名称实现零样本检测，并引入CAAP和SNAP指标分别评估定位与命名，在多个数据集上验证了检测新物体的强劲性能。
2026-10-20 cs.CV
Learning Open-World Object Proposals without Learning to Classify
KAIST（韩国科学技术院）；Google Brain（谷歌大脑）
目标检测已经成为目标检测、弱监督检测、目标发现、跟踪等视觉流程中不可或缺的预处理步骤。与无学习方法相比，由于人们对目标检测的兴趣越来越大，基于学习的目标检测方法最近变得流行起来。常见的范例是从标记有一组对象区域及其相应类别的数据中学习对象建议。然而，这种方法经常与训练集中不存在的开放世界中的新对象进行斗争。在本文中，我们发现问题在于现有建议方法中的二进制分类器倾向于过拟合训练类别。因此，我们提出了一种无分类的对象定位网络（OLN），它纯粹通过区域的位置和形状与任何地面真实对象（例如，中心和IoU）。这个简单的策略学习了可概括的对象，并优于COCO上现有的跨类别概括建议，以及RoboNet，Object365和EpicKitchen上的跨数据集评估。最后，我们证明了OLN的优点长尾目标检测的大词汇量数据集，LVIS，我们注意到在罕见和常见的类别有明显的改善。
2021-08-15 cs.CV
EW-DETR: Evolving World Object Detection via Incremental Low-Rank DEtection TRansformer
Sony Research India（索尼印度研究院）；IIIT Hyderabad（海德拉巴国际信息技术学院）
本文提出EW-DETR框架，结合增量学习、领域自适应和未知检测，在无示例约束下实现进化世界目标检测，通过三个协同模块提升性能，实验表明其在Pascal系列和多天气基准上表现优异。
2026-04-02 cs.CV
C-RPNs: Promoting Object Detection in real world via a Cascade Structure of Region Proposal Networks
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；University of Technology Sydney（悉尼科技大学）；National Engineering Laboratory for Video Technology - Shenzhen Division（视频技术国家工程实验室-深圳分部）
最近，在目标检测公共基准（即，Pascal VOC）。然而，由于数据严重不平衡，现实世界中的目标检测仍然具有挑战性。现实世界中的图像主要是由简单的样本，如广泛的背景和一些容易识别的对象，例如。虽然Faster R-CNN等两阶段检测器在目标检测中取得了很大的成功，但由于在提取区域建议时没有考虑挖掘硬样本，因此它们在实际目标检测中的适应性较差。为了解决这个问题，我们提出了一个级联框架的区域建议网络，简称为C-RPN。C-RPN的本质是在提取区域建议的同时，采用多阶段挖掘硬样本，学习更强的分类器。同时，提出了一个特征链和一个分数链，以帮助学习更多的歧视性表示的建议。设计了级联级的损失函数，通过反向传播对级联分类器进行训练。我们提出的方法已经在Pascal VOC和几个具有挑战性的数据集上进行了评估，如BSBDV 2017，CityPersons等。与当前最先进的错误分析和全面改进相比，我们的方法取得了有竞争力的结果，验证了其在现实世界中检测的有效性。
2019-08-19 cs.CV
Decoupled PROB: Decoupled Query Initialization Tasks and Objectness-Class Learning for Open World Object Detection
本文提出 Decoupled PROB，通过提前终止目标性预测和任务解耦查询初始化，解决 PROB 中目标性与类别学习冲突，提升开放世界目标检测性能。
2025-07-17 cs.CV
YOLO-UniOW: Efficient Universal Open-World Object Detection
Tsinghua University（清华大学）；Tencent ARC Lab（腾讯ARC实验室）
本文提出YOLO-UniOW，通过自适应决策学习与通配符学习统一开放词汇和开放世界检测，在保持高速推理的同时实现未知目标检测与动态类别扩展。
2024-12-30 cs.CV
CODE: Cross-Modal Calibration and Dynamic Suppression for Open World Object Detection
Beijing Institute of Technology（北京理工大学）
本文针对开放世界目标检测的语义歧义与过度抑制问题，提出含三个互补组件的CODE框架，在真实世界检测基准上超越此前最优方法。
2026-08-28 cs.CV
Unsupervised Recognition of Unknown Objects for Open-World Object Detection
Singapore Management University（新加坡管理大学）；Wuhan University of Technology（武汉理工大学）；Beihang University（北京航空航天大学）
本文提出无监督判别模型与无分类自训练方法，消除标签偏差，从伪标签中识别未知对象，显著提升开放世界目标检测性能。
2023-08-31 cs.CV
Detecting Unknown Objects via Energy-based Separation for Open World Object Detection
Korea University, South Korea（韩国大学）；Seoul National University, South Korea（首尔国立大学）
提出DEUS框架，通过等角紧框架子空间未知分离和基于能量的已知区分损失，解决开放世界目标检测中未知物体检测和类别遗忘问题。
2026-05-28 cs.CV
Self-Supervised Learning for Real-World Object Detection: a Survey
本文综述了专为现实世界目标检测设计的自监督学习方法，重点分析了实例辨别和掩码图像建模策略在小物体检测中的有效性，评估了CNN与ViT架构的性能差异。
2024-10-11 cs.CV
Clink! Chop! Thud! -- Learning Object Sounds from Real-World Interactions
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出发声物体检测任务，构建受人类感知启发的多模态物体感知框架，通过自动化物体分割掩码流程与槽注意力视觉编码器强化物体中心学习，在新任务及现有多模态动作理解任务上达到最优性能。
2025-10-02 cs.CV
Improving Open-World Object Localization by Discovering Background
Univ. of Mass.-Amherst（马萨诸塞大学阿姆赫斯特分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）；Univ.of Mass.-Amherst（马萨诸塞大学阿姆赫斯特分校）
本文提出通过发现背景区域来引导目标性学习，训练目标提议网络忽略冗余低信息区域，从而在开放世界目标定位任务上超越现有方法。
2025-04-24 cs.CV
Benchmarking Object Detectors under Real-World Distribution Shifts in Satellite Imagery
Qatar Computing Research Institute（卡塔尔计算研究所）；College of Science and Engineering, HBKU（哈迈德·本·哈利法大学科学与工程学院）
针对卫星图像中目标检测器在真实世界分布偏移下的性能退化问题，提出RWDS基准数据集套件，涵盖气候带与灾害区域域偏移，用于评估和提升检测器的鲁棒性与泛化能力。
2025-03-24 cs.CV
OW-DETR: Open-world Detection Transformer
Inception Institute of Artificial Intelligence（Inception人工智能研究院）；IIT Hyderabad（印度理工学院海得拉巴分校）；Australian National University（澳大利亚国立大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
开放世界目标检测（OWOD）是一个具有挑战性的计算机视觉问题，其任务是检测一组已知的目标类别，同时识别未知目标。此外，模型必须逐步学习在下一个训练片段中变得已知的新类。与标准目标检测不同，OWOD设置对生成潜在未知对象的质量候选建议、将未知对象与背景分离以及检测各种未知对象提出了重大挑战。在这里，我们介绍了一种新的端到端的基于transformer的框架，OW-DETR，开放世界的目标检测。所提出的OW-DETR包括三个专用组件，即注意力驱动的伪标签，新颖性分类和对象评分，以明确解决上述OWOD挑战。我们的OW-DETR明确编码多尺度上下文信息，具有较少的归纳偏差，使知识转移从已知类到未知类，可以更好地区分未知对象和背景。在MS-COCO和PASCAL VOC两个基准上进行了全面的实验。广泛的烧蚀揭示了我们提出的贡献的优点。此外，我们的模型优于最近推出的OWOD方法，ORE，在MS-COCO上的未知召回方面的绝对增益范围从1.8%到3.3%。在增量目标检测的情况下，OW-DETR优于PASCAL VOC上所有设置的最新技术。我们的代码可在https://github.com/akshitac8/OW-DETR上获得。
2022-04-04 cs.CV
Adversarial Camera Patch: An Effective and Robust Physical-World Attack on Object Detectors
University of Electronic Science and Technology of China（电子科技大学）
针对现有相机物理攻击需在镜头部署多个贴片、复杂度高的问题，本文提出单一对抗性相机贴片 ADCP，以更简洁的方式对目标检测器实施隐蔽物理攻击。
2023-12-11 cs.CV
REAL-OW: Rehearsal-free Open World Object Detection with Low-Rank Adaptation and Dual-Stage Objectness Modeling
Shenzhen University（深圳大学）
提出无排练开放世界目标检测框架 REAL-OW，用基于低秩适应的协作适配器架构解耦增量知识，引入双阶段目标性建模解决无排练约束下目标性建模的表征漂移问题，性能达先进水平。
2026-07-07 cs.CV
Open-World Weakly-Supervised Object Localization
Tencent Jarvis Lab（腾讯天衍实验室）；KAUST（阿卜杜拉国王科技大学）；National University of Singapore（新加坡国立大学）；Shenzhen University（深圳大学）
本文首次提出开放世界弱监督目标定位任务 OWSOL，通过对比表示协同学习和多语义中心驱动损失，在无边界框标注条件下定位已知与新类别目标，并在多个基准上大幅超越现有方法。
2023-04-19 cs.CV
Exploring Transformers for Open-world Instance Segmentation
The University of Hong Kong（香港大学）；ByteDance（字节跳动）；Dalian University of Technology（大连理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出SWORD，利用Transformer结合停止梯度、IoU头和对比学习框架解决开放世界实例分割，在多个跨类别与跨数据集基准上取得最先进性能。
2023-08-08 cs.CV
360-Indoor: Towards Learning Real-World Objects in 360° Indoor Equirectangular Images
National Tsing Hua University（国立清华大学）；Microsoft Research（微软研究院）
虽然有几个广泛使用的目标检测数据集，当前的计算机视觉算法仍然局限于传统的图像。这样的图像缩小了我们在有限区域的视野。另一方面，360°图像提供了一个全面的视野。在本文中，我们的目标是提供一个标准的数据集，以促进360°领域的视觉和机器学习社区。为了便于研究，我们提出了一个真实世界的360°全景目标检测数据集，360-Indoor，这是一个新的基准视觉目标检测和类别识别在360°室内图像。它是通过收集包含常见对象的复杂室内场景的图像和密集注释的边界视场来实现的。此外，360-Indoor有几个独特的属性：（1）最大的类别数量（总共37个标签）。(2)平均最完整的注释（每个图像27个边界框）。所选的37个对象都是室内场景中常见的对象。360-Indoor总共有大约3 k张图像和90 k个标签，实现了360°图像中最大的检测数据集。最后，提供了广泛的实验，国家的最先进的方法进行分类和检测。我们将在不久的将来发布此数据集。
2019-10-03 cs.CV
Quantifying the LiDAR Sim-to-Real Domain Shift: A Detailed Investigation Using Object Detectors and Analyzing Point Clouds at Target-Level
Technical University of Munich（慕尼黑工业大学）
用于自动驾驶的基于神经网络的LiDAR目标检测算法需要大量数据进行训练、验证和测试。由于真实世界的数据汇集和标记耗时且昂贵，基于模拟的合成数据生成是一种可行的替代方案。然而，使用模拟数据进行神经网络的训练会导致训练和测试数据的域转移，这是由于场景、场景和分布的差异。在这项工作中，我们通过使用新的完全相同的真实世界和模拟数据集训练的LiDAR对象检测器来量化模拟域到真实域的偏移。此外，我们还回答了模拟数据与真实数据的相似程度以及在模拟数据上训练的对象检测器在真实数据上的表现。此外，我们分析点云在目标水平比较真实世界和模拟点云的3D边界框内的目标。我们的实验表明，一个显着的模拟到真实的域转移存在，即使是我们的非对称相同的数据集。对于使用模拟数据训练的对象检测器，这种域偏移相当于平均精度降低约14%。另外的实验表明，通过在仿真中引入简单的噪声模型，可以降低这种域偏移。我们进一步表明，一个简单的下采样方法来模拟现实世界的物理不影响对象检测器的性能。
2023-03-03 cs.CV
YOLO-World: Real-Time Open-Vocabulary Object Detection
Tencent PCG（腾讯平台与内容事业群）；ARC Lab（ARC实验室）；Huazhong University of Science & Technology（华中科技大学）；Tencent AI Lab（腾讯AI实验室）
本文提出YOLO-World，通过视觉-语言建模与大规模预训练赋予YOLO开放词汇检测能力，并以RepVL-PAN和区域-文本对比损失实现零样本高效检测，在LVIS上达到35.4 AP和52.0 FPS，兼顾精度与速度。
2024-02-22 cs.CV
Semi-supervised Open-World Object Detection
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）
针对传统开放世界目标检测增量学习阶段依赖大量人工标注的问题，提出半监督开放世界检测设定及SS-OWFormer检测器，通过特征对齐和伪标签方案利用少量标注与大量无标注数据，在4个数据集上验证了有效性。
2024-02-25 cs.CV
SOS: Segment Object System for Open-World Instance Segmentation With Object Priors
University of Hamburg（汉堡大学）
针对开放世界实例分割中泛化能力弱和精度低的问题，提出SOS方法。该方法利用自监督ViT的自注意力图作为对象先验提示SAM生成高质量伪标注，进而训练标准实例分割系统，在多个数据集上展现出强泛化能力且精度大幅提升。
2024-09-22 cs.CV
PROB: Probabilistic Objectness for Open World Object Detection
Stanford（斯坦福大学）
开放世界目标检测（OWOD）是一个新的和具有挑战性的计算机视觉任务，它弥合了经典目标检测（OD）基准和现实世界中的目标检测之间的差距。除了检测和分类看到/标记的对象外，OWOD算法还有望检测新的/未知的对象-这些对象可以被分类和增量学习。在标准OD中，不与标记的对象重叠的对象建议被自动分类为背景。因此，简单地将OD方法应用于OWOD失败，因为未知对象将被预测为背景。检测未知物体的挑战源于在区分未知物体和背景物体建议方面缺乏监督。先前的OWOD方法试图通过使用伪标记生成监督来克服这个问题，然而，未知目标检测仍然很低。概率/生成模型可以为这一挑战提供解决方案。在这里，我们介绍了一种新的概率框架的对象估计，我们之间的概率分布估计和对象的可能性最大化的已知对象在嵌入式特征空间交替-最终使我们能够估计不同的建议的对象概率。由此产生的基于ProbabilityObjectness变换的开放世界检测器PROB将我们的框架集成到传统的目标检测模型中，使其适应开放世界的设置。在OWOD基准测试上的综合实验表明，PROB在未知目标检测（$\sim 2\times$未知召回）和已知目标检测（$\sim 10\%$ mAP）两个方面都优于现有的OWOD方法.我们的代码将在https://github.com/orrzohar/PROB上发布。
2022-12-02 cs.AI cs.CV cs.LG
OW-VISCapTor: Abstractors for Open-World Video Instance Segmentation and Captioning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出开放世界视频实例分割与描述新任务，通过开发对象抽象器和对象到文本抽象器连接视觉特征提取器与LLM，在未见过物体检测和描述上分别超越基线13%和10%。
2024-12-09 cs.AI cs.CV
OW-Rep: Open World Object Detection with Instance Representation Learning
KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；Agency for Defense Development（国防发展局）
OW-Rep通过引入实例表示学习，提升开放世界目标检测中未知目标的检测精度和语义嵌入质量，增强下游任务表现。
2025-12-21 cs.CV cs.RO
GOOD: Exploring Geometric Cues for Detecting Objects in an Open World
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们解决开放世界类不可知的目标检测的任务，即，通过从有限数量的基本对象类学习来检测图像中的每个对象。最先进的基于RGB的模型存在过度拟合训练类的问题，并且经常无法检测到外观新颖的对象。这是因为基于RGB的模型主要依赖于外观相似性来检测新的对象，并且也容易过度拟合快捷线索，例如纹理和区分部分。为了解决这些基于RGB的对象检测器的缺点，我们建议将几何线索，如深度和法线，预测通用的单目估计。具体来说，我们使用几何线索训练的对象建议网络的伪标记未注释的新对象的训练集。我们由此产生的几何引导的开放世界对象检测器（GOOD）显着提高了新对象类别的检测召回率，并且仅用几个训练类就已经表现良好。在COCO数据集上使用单个“人”类进行训练，GOOD比SOTA方法高出5.0%AR@100，相对提高了24%。
2023-02-03 cs.CV cs.LG
Unsupervised Segmentation in Real-World Images via Spelke Object Inference
Stanford（斯坦福大学）；MIT（麻省理工学院）
自监督、类别无关的图像分割是计算机视觉中一个具有挑战性的开放性问题。在这里，我们展示了如何学习静态分组先验的运动自我监督的认知科学概念的Spelke对象：一组物理的东西，一起移动。我们介绍了兴奋抑制段提取网络（EISEN），它学习从基于运动的训练信号中提取静态场景的成对亲和图。EISEN然后使用一种新的图传播和竞争网络从亲和力产生片段。在训练过程中，经历相关运动的对象（如机器人手臂和它们移动的对象）通过自举过程解耦：EISEN解释了它已经学会分割的对象的运动。我们表明，EISEN在具有挑战性的合成和现实世界的机器人数据集上实现了最先进的自监督图像分割的实质性改进。
2022-07-25 cs.AI cs.CV
Open World Object Detection in the Era of Foundation Models
Stanford University（斯坦福大学）
针对现有OWD基准排斥基础模型且易饱和的问题，本文构建含五个应用驱动数据集的新基准，并提出依据共享属性识别未知类别的FOMO，未知物体mAP约达基线3倍。
2023-12-10 cs.AI cs.CV
Monocular 3D Object Detection using Multi-Stage Approaches with Attention and Slicing aided hyper inference
3D目标检测是至关重要的，因为它使我们能够捕捉物体的大小，方向和在世界上的位置。因此，我们将能够在现实世界的应用中使用这种3D检测，例如增强现实（AR），自动驾驶汽车和机器人技术，这些应用与人类感知世界的方式相同。单目3D目标检测是在单个2D RGB图像中围绕对象绘制3D限界框的任务。它是定位任务，但没有任何额外的信息，如深度或其他传感器或多个图像。单目三维目标检测是一项重要而又具有挑战性的任务。除了基于图像的2D目标检测的重大进展之外，对现实世界物体的3D理解是一个迄今为止尚未被广泛探索的开放性挑战。除了最密切相关的研究。
2022-12-22 cs.AI cs.CV
Automatic Construction of Real-World Datasets for 3D Object Localization using Two Cameras
LISPEN（LISPEN实验室）；Arts et Métiers ParisTech（巴黎高等工艺学院）
与分类不同，位置标签不能由人类手动分配。因此，生成用于精确对象定位的监督是一项艰巨的任务。本文详细介绍了一种使用工业机器人生成位置标签的方法，该方法使用真实世界的图像创建用于3D对象定位的大型数据集。通过了解机器人的几何形状，我们能够自动同步两个摄像头的图像和物体的3D位置。我们使用KUKA LBR iiwa机器人将其应用于生成具有立体图像的螺丝刀定位数据集。然后，该数据集可以用于训练CNN回归器，以从一组两个标准未校准相机学习端到端立体对象定位。
2018-09-11 cs.CV cs.RO
Objects in Semantic Topology
University of Technology Sydney（悉尼科技大学）；The University of Hong Kong（香港大学）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Sydney（悉尼大学）；Beijing Institute of Technology（北京理工大学）
开放世界目标检测（Open-World目标检测）是一种更接近实际的目标检测方法，近年来引起了人们越来越多的研究兴趣。一个合格的开放世界对象检测器不仅可以识别已知类别的对象，还可以发现未知对象，并在它们的注释逐渐到达时逐步学习对其进行分类。以前的工作依赖于独立的模块来识别未知类别和执行增量学习，分别。在本文中，我们提供了一个统一的视角：语义拓扑。在开放世界对象检测器的终身学习期间，来自相同类别的所有对象实例被分配到语义拓扑中的其对应的预定义节点，包括“未知”类别。这种约束建立了区别性的特征表示和对象之间的一致关系，从而使检测器能够将未知对象从已知类别中区分出来，并且在增量学习新类别时使已知对象的学习特征不失真。大量的实验表明，随机生成的或从经过良好训练的语言模型导出的语义拓扑可以大大优于当前最先进的开放世界对象检测器，例如，绝对开集误差从7832降低到2546，表现出语义拓扑在开放世界目标检测上的固有优越性。
2022-02-16 cs.AI cs.CV
Looking Beyond the Known: Towards a Data Discovery Guided Open-World Object Detection
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对开放世界目标检测中存在的已知与未知类别语义混淆、灾难性遗忘问题，提出CROWD框架，通过组合式数据发现与表示学习缓解上述问题，在多个基准上实现准确率与未知召回率的显著提升。
2025-09-30 cs.CV cs.LG
Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors
University of Maryland, College Park（马里兰大学帕克分校）；Facebook AI（Facebook 人工智能研究院）
我们对最先进的目标检测框架进行了对抗攻击的系统研究。使用标准的检测数据集，我们训练模式，抑制了一系列常用的检测器和检测器的合奏产生的对象分数。通过大量的实验，我们对白盒和黑盒设置下的对抗训练补丁的有效性进行了基准测试，并量化了数据集，对象类和检测器模型之间的攻击可转移性。最后，我们提出了一个详细的研究物理世界的攻击使用印刷海报和可穿戴的衣服，并严格量化的性能，这种攻击与不同的指标。
2020-07-22 cs.CR cs.CV cs.LG
Towards Open World Object Detection
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
人类有一种自然的本能来识别环境中的未知对象实例。当相应的知识最终可用时，对这些未知实例的内在好奇心有助于了解它们。这促使我们提出了一个新的计算机视觉问题，称为：“开放世界目标检测”，其中模型的任务是：1）将尚未引入的对象识别为“未知”，而无需明确的监督，以及2）当相应的标签逐渐接收时，逐渐学习这些识别的未知类别，而不会忘记以前学习的类别。我们制定的问题，介绍了一个强大的评估协议，并提供了一种新的解决方案，我们称之为ORE：开放世界对象检测器，基于对比聚类和基于能量的未知识别。我们的实验评估和消融研究分析了ORE在实现开放世界目标方面的疗效。作为一个有趣的副产品，我们发现，识别和表征未知的情况下，有助于减少混乱的增量目标检测设置，在那里我们实现了最先进的性能，没有额外的方法的努力。我们希望我们的工作将吸引进一步的研究到这个新确定的，但关键的研究方向。
2021-05-09 cs.AI cs.CV cs.LG
Generalized Open-World Semi-Supervised Object Detection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对传统半监督目标检测仅适配固定类别、易误判未见过类别的问题，提出基于集成的OOD Explorer及可适配半监督检测框架，实现开放世界下OOD样本检测与学习，兼顾ID类准确率并提升整体半监督性能。
2024-11-01 cs.CV cs.LG
Hyperbolic Geometry for Open-World Object Detection in Remote Sensing Imagery
Wuhan Textile University（武汉纺织大学）；Wuhan University（武汉大学）；Ohio State University（俄亥俄州立大学）
针对遥感图像开放世界目标检测中欧氏空间难以表征类别层次关系的问题，提出基于双曲几何的HyRS-OWOD方法，通过解耦目标性学习、双曲不确定性学习和双曲度量学习提升未知目标召回与增量学习性能，并在三个基准上验证了有效性。
2026-09-10 cs.AI cs.CV
Breaking the Illusion: Real-world Challenges for Adversarial Patches in Object Detection
Graz University of Technology（格拉茨工业大学）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
本研究针对YOLO目标检测网络，在现实世界中测试全局和局部两种对抗性补丁，分析补丁参数对攻击效果的影响，揭示现实条件下攻击面临的挑战，为开发更鲁棒的防御提供依据。
2024-11-26 cs.CV cs.LG
CIS-BA: Continuous Interaction Space Based Backdoor Attack for Object Detection in the Real-World
organization= State Key Laboratory of Complex \& Critical Software Environment , addressline= Beihang University , city= Beijing , postcode= 100191 , country= China；organization= Zhongguancun Laboratory , addressline= , city= Beijing , postcode= 100080 , country= China
CIS-BA通过引入连续交互空间的触发机制，实现了对现实世界目标检测模型的高效且鲁棒的后门攻击，有效提升了攻击成功率并规避了现有防御方法。
2025-12-16 cs.CR cs.CV
Deep Learning from Parametrically Generated Virtual Buildings for Real-World Object Recognition
Kuwait University（科威特大学）；Texas A&M University（德克萨斯A&M大学）
我们研究使用参数化建筑信息模型（BIM）自动生成人工神经网络（ANN）的训练数据，以识别照片中的建筑物。教导人工智能（AI）机器检测图像中的建筑物对象是AI辅助的现有建筑物语义3D重建的基础。然而，存在获取通常是人工注释的训练数据的挑战，也就是说，除非计算机机器可以生成高质量的数据以针对特定任务来训练自身。在这种情况下，我们仅在3D BIM模型的逼真计算机生成图像上训练ANN，这些模型是使用BIMGenE程序参数化和自动生成的。人工神经网络的训练结果表明，通用性和良好的语义分割的测试用例，以及任意照片的建筑物的范围外的训练数据，这是重要的未来训练人工智能与生成的数据，以解决现实世界的建筑问题。
2023-01-03 cs.AI cs.CV cs.LG
Unidentified Video Objects: A Benchmark for Dense, Open-World Segmentation
Facebook AI Research (FAIR)（Facebook人工智能研究院）
当前最先进的目标检测和分割方法在封闭世界假设下工作良好。此封闭世界设置假定对象类别列表在训练和部署期间可用。然而，许多现实世界的应用需要检测或分割新的对象，即，在训练期间从未见过的对象类别。在本文中，我们提出，UVO（未识别的视频对象），一个新的基准开放世界类无关的对象分割的视频。除了将问题焦点转移到开放世界设置之外，UVO还明显更大，与DAVIS相比，提供了大约8倍的视频，与YouTube-VOS和YouTube-VIS相比，每个视频的遮罩（实例）注释多了7倍。UVO也更具挑战性，因为它包括许多具有拥挤场景和复杂背景运动的视频。我们证明了UVO可以用于其他应用，如对象跟踪和超体素分割，除了开放世界的对象分割。我们相信，UVo是一个多功能的测试平台，研究人员可以开发新的方法，用于开放世界的类不可知对象分割，并激发新的研究方向，以实现更全面的视频理解，超越分类和检测。
2021-04-10 cs.CV
WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models
The Hong Kong University of Science and Technology（香港科学与技术大学）；AI Technology Center, Tencent Video, Tencent（腾讯视频AI技术中心，腾讯）；Wuhan University（武汉大学）；Peking University（北京大学）
提出WorldCraft框架，通过轨迹控制管道（NWT、SP-LoRA、TASP）将交互式视频世界模型从相机导航扩展到物体级轨迹操控，实现用户指定路径下的物体运动与相机导航共存。
2026-10-09 cs.CV
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Technologies Ltd.（华为技术有限公司）
针对大视角变化下视频物体表示不稳定的问题，提出Totem框架，通过以物体为中心的三维记忆与双流三维条件架构，实现世界一致性视频生成，在基准测试中表现更优且支持多种应用。
2026-10-14 cs.CV
WorldAct: Activating Monolithic 3D Worlds into Interactive-Ready Object-Centric Scenes
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc（华为公司）
WorldAct通过多模态代理将静态生成的3D世界分解为可编辑的交互场景，支持对象级编辑和任务执行，保留全局一致性。
2026-11-06 cs.CV
EffectLearner: World-Aware Object-Effect Reasoning for Real-World Video Object Removal
该研究提出EffectLearner框架，结合VLM物体-效应推理器与DiT视频擦除器，构建专属数据集EffectWorld并采用渐进式训练，在视频物体移除任务上实现更优性能。
2026-08-07 cs.CV
AKB-48: A Real-World Articulated Object Knowledge Base
Shanghai JiaoTong University（上海交通大学）
人类生活中充斥着铰接的物体。全面了解关节对象的外观、结构、物理特性和语义，将使许多研究团体受益。当前的关节式物体理解解决方案通常基于具有没有物理属性的CAD模型的合成物体数据集，这阻碍了视觉和机器人任务中从仿真到真实世界应用的满意推广。为了弥合这一差距，我们提出了AKB-48：一个大规模的铰接对象知识库，由48个类别的2，037个真实世界的3D铰接对象模型组成。每个对象由一个知识图谱ArtiKG描述。为了构建AKB-48，我们提出了一个快速关节知识建模（FArM）管道，它可以在10-15分钟内完成关节对象的ArtiKG，并大大降低了现实世界中对象建模的成本。使用我们的数据集，我们提出了AKBNet，一个新的整体流水线类别级视觉关节操作（C-VAM）任务，其中我们基准三个子任务，即姿态估计，对象重建和操作。数据集、代码和模型将在https://liuliu66.github.io/articulationobjects/上公开提供。
2022-02-17 cs.CV
Physical Object Understanding with a Physically Controllable World Model
Stanford University（斯坦福大学）；OpenAI（开放人工智能公司）；Noetik Inc.（Noetik公司）；Google（谷歌）
提出一类概率世界模型，通过自回归序列建模高效训练，从视频中推断对象及其物理交互，实现对象发现、3D操控和物理关系计算。
2026-05-30 cs.CV
RGBD Objects in the Wild: Scaling Real-World 3D Object Learning from RGB-D Videos
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC San Diego（加州大学圣地亚哥分校）；NVIDIA（英伟达）
引入WildRGB-D数据集，通过大规模野外采集的RGB-D物体视频，提供丰富3D标注并基准测试四项任务，显著推进真实世界3D物体学习。
2024-07-28 cs.CV
OpenAD: Open-World Autonomous Driving Benchmark for 3D Object Detection
Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究院）；University of California, Merced（加州大学梅尔德分校）
本文提出OpenAD，首个开放世界自动驾驶3D目标检测基准，基于MLLM标注流水线构建2000个场景，并引入融合通用与专门模型的集成方法以提升精度。
2025-05-26 cs.CV
CA-World: Multi-Object Counterfactual Alignment for Efficient Interactive-Ready Reconstruction
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）
提出SAM3D-Phys框架，结合场景重建与SAM3D生成式先验，从部分观测中恢复完整可仿真物体几何，并通过物理约束优化和掩码引导外观蒸馏实现场景一致性，支持多物体同时交互仿真。
2026-08-04 cs.CV
