Understanding and Predicting the Memorability of Outdoor Natural Scenes
Beihang University（北京航空航天大学）
可记忆性衡量的是一幅图像在浏览后被记住的难易程度，这可能有助于设计杂志封面、旅游宣传材料等。最近的作品揭示了使通用图像，对象图像或面部照片令人难忘的视觉特征。然而，这些方法不能有效地预测户外自然场景图像的记忆性。为了克服以往作品的这一缺陷，本文试图回答：“究竟是什么让户外自然场景令人难忘”。为此，我们首先建立了一个大规模的户外自然场景图像记忆性（LNSIM）数据库，包含2,632个户外自然场景图像及其地面真实记忆性得分和多标签场景类别注释。然后，类似于以前的作品，我们挖掘我们的数据库，调查如何低，中，高层次的手工制作的功能影响户外自然场景的记忆。特别地，我们发现场景类别的高级特征与户外自然场景的记忆性相当相关，并且通过深度神经网络（DNN）学习的深度特征也有效地预测了记忆性分数。此外，将深层特征与类别特征相结合可以进一步提高记忆性预测的性能。因此，我们提出了一种基于端到端DNN的户外自然场景记忆性（DeepNSM）预测器，它利用了学习到的类别相关特征。然后，实验结果验证了我们的DeepNSM模型的有效性，超过了最先进的方法。最后，我们尝试理解我们的DeepNSM模型表现良好的原因，并研究我们的DeepNSM模型成功或失败的情况下，准确地预测户外自然场景的记忆性。代码：github.com/JiaxinLu-home/Natural-Scene-Memorability-Datase…
2021-11-23 cs.CV
One-Shot Instance Segmentation
University of Tübingen（图宾根大学）
我们解决了一次性实例分割的问题：给定一个新的，以前未知的对象类别的示例图像，在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务，我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN，使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果，突出了一次性设置的挑战：虽然将有关实例分割的知识转移到新的对象类别效果很好，但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割，并有望激发进一步研究更强大和灵活的景物分析算法。代码可在：https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
NWPU-MOC: A Benchmark for Fine-grained Multi-category Object Counting in Aerial Images
针对航空图像多类别目标计数需求，本文构建含RGB与NIR的NWPU-MOC基准，并提出双注意力多光谱融合框架及空间对比损失，性能达到先进水平。
2024-01-19 cs.CV
Realizing Pixel-Level Semantic Learning in Complex Driving Scenes based on Only One Annotated Pixel per Class
Tsinghua University（清华大学）；University of Science and Technology, Beijing（北京科技大学）
提出了基于弱监督条件的语义分割任务，实现了轻量级的标注过程。对于只包含少数类别的简单图像，基于图像级注释的研究已经取得了可以接受的性能。然而，当面对复杂的场景，由于图像包含大量的类，它变得难以学习视觉外观的基础上的图像标签。在这种情况下，图像级注释不能有效地提供信息。因此，我们建立了一个新的任务，其中每个类别只提供一个带注释的像素。基于更轻量级和信息的条件下，伪标签生成的三个步骤的过程中，逐步实现最佳的特征表示为每个类别，图像推理和基于上下文位置的细化。特别地，由于高层语义和低层成像特征对驾驶场景下的每个类别具有不同的区分能力，因此我们将每个类别划分为“对象”或“场景”，然后分别为这两种类型提供不同的操作。此外，建立了一种交替迭代结构，以逐步提高分割性能，该结构结合了基于CNN的图像间公共语义学习和基于成像先验的图像内修改过程。在Cityscapes数据集上的实验表明，该方法为解决复杂驾驶场景下的弱监督语义分割任务提供了一种可行的方法。
2020-03-10 cs.CV
What Makes Natural Scene Memorable?
Beihang University（北京航空航天大学）
最近的图像记忆研究揭示了视觉特征，使通用图像，物体图像或面部照片难忘。然而，一个清晰的理解和可靠的估计自然场景的记忆仍然是难以捉摸的。在本文中，我们提供了一个尝试回答：“究竟是什么使自然场景难忘”。具体来说，我们首先建立LNSIM，一个大规模的自然场景图像记忆数据库（包含2,632幅图像和记忆注释）。然后，我们挖掘我们的数据库，调查如何低，中，高层次的手工制作的功能影响自然场景的记忆。特别地，我们发现场景类别的高级特征与自然场景的记忆性相当相关。因此，我们提出了一种基于深度神经网络的自然场景记忆性（DeepNSM）预测器，它利用场景类别。最后，通过实验验证了DeepNSM的有效性。
2018-08-27 cs.AI cs.CV
SSCNav: Confidence-Aware Semantic Scene Completion for Visual Semantic Navigation
本文重点介绍视觉语义导航，主动代理导航到一个特定的目标对象类别在一个未知的环境中产生的行动的任务。为了完成这个任务，算法应该同时定位和导航到类别的实例。与传统的点目标导航相比，该任务要求智能体在室内环境之前具有更强的上下文。我们介绍SSCNav，一种算法，明确地使用一个信任感知语义场景完成模块来完成场景和指导代理的导航规划模型的场景先验。给定对环境的部分观察，SSCNav首先推断出一个完整的场景表示，其中包含未观察场景的语义标签以及与其自身预测相关联的置信度图。然后，策略网络从场景完成结果和置信度图推断动作。实验结果表明，该场景补全模块提高了下游导航策略的效率。视频、代码和数据：https://sscnav.cs.columbia.edu/
2021-03-22 cs.CV cs.RO
CogVis: Must Open-Vocabulary Change Detection Perceive the Scene Anew for Every Query?
针对开放词汇变化检测现有方法的缺陷，提出认知记忆引导的CogVis框架，通过感知-记忆-验证范式解耦相关任务，在七个基准上达最优性能，推理吞吐量提升28.50%。
2026-08-07 cs.AI cs.CV
Enhancing Large Multimodal Models in Key Information Extraction via Scene-Aware Document Synthesis
Alibaba Group（阿里巴巴集团）；Qwen Team, Alibaba Group（阿里巴巴集团之通义千问团队）；Taobao and Tmall Group, Alibaba（阿里巴巴淘宝和天猫集团）；Zhejiang University（浙江大学）
研究关键信息提取难题，提出场景感知文档合成框架SAYRE，利用示例文档生成训练数据，引入错误驱动生成，提升Qwen3-VL骨干性能，证明该方法是改进多模态KIE的有效数据中心方法。
2026-07-07 cs.CV
Rethinking the Evaluation of Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
现有的场景图生成方法往往预测频繁谓词类别，而由于谓词分布严重不平衡，无法识别罕见谓词类别。为了提高SGG模型对不同谓词类别的鲁棒性，最近的研究集中在无偏SGG上，并采用平均召回率@K（mR@K）作为主要的评估指标。然而，我们发现了关于这个事实标准度量的两个被忽视的问题，这使得当前无偏的SGG评估脆弱且不公平：1）mR@K忽略了谓词之间的相关性，并且在将所有三元组预测排序在一起时无意中破坏了类别独立性，而不管谓词类别如何。2)mR@K忽略了不同谓词的组合多样性，并对某些可组合关系三元组类型有限的过于简单的类别样本赋予过高的权重。此外，我们研究了对象和谓词之间的相关性，这可以作为一个简单但强大的基线无偏SGG。在本文中，我们改进了mR@K，并提出了两个互补的评价指标无偏SGG：独立平均召回（MR）和加权IMR（wIMR）。这两个度量分别考虑了可组合关系三元组的类别独立性和多样性。我们通过大量的实验比较了所提出的指标与事实标准指标，并讨论了以更可信的方式评估无偏SGG的解决方案。
2022-10-11 cs.CV
Recognizing Object Affordances to Support Scene Reasoning for Manipulation Tasks
Georgia Institute of Technology（佐治亚理工学院）
关于场景的示能表示信息提供关于在追求满足指定目标状态时可以执行什么动作的重要线索。因此，将基于可供性的推理集成到符号动作规划管道中将增强机器人操纵的灵活性。不幸的是，表现最好的示能表示识别方法使用对象类别先验来提高示能表示检测和分割的准确性。对象先验限制了对未知对象类别的泛化。本文描述了一种基于类别无关区域建议网络的示能表示识别管道，用于跨类别建议图像的实例区域。为了在没有类别先验的情况下指导示能表示学习，训练过程包括明确推断提议内的现有示能表示的辅助任务。其次，一个自我注意力机制被训练来解释每个提议，学会通过该区域捕捉丰富的上下文依赖关系。视觉基准测试表明，经过训练的网络，称为AffContext，减少了对象不可知和对象知情的启示识别之间的性能差距。AffContext与规划域定义语言（PDDL）相关联，并具有增强的状态保持器，用于跨时间间隔的目标导向任务进行行动规划。操作实验表明，AffContext可以成功地解析场景内容，种子一个符号规划器的问题规格说明，其执行完成目标任务。此外，以任务为导向的抓取切割和冲击行动表明，利用多个启示，为一个给定的对象，以完成指定的任务。
2020-09-12 cs.CV cs.RO
Category-level Neural Field for Reconstruction of Partially Observed Objects in Indoor Environment
Seoul National University（首尔大学）
针对室内部分观测物体的三维重建难题，提出按观测形状子类化训练的类别级神经场，并借助基于光线的不确定性选择代表性物体完成配准，提升多个类别未观测部分的重建质量。
2024-06-12 cs.CV cs.RO
Weakly-Supervised 3D Scene Graph Generation via Visual-Linguistic Assisted Pseudo-labeling
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；Meituan（美团）
本文提出弱监督3D场景图生成方法3D-VLAP，借助视觉-语言模型和2D-3D对应生成物体与关系伪标签，性能媲美全监督方法并降低标注成本。
2024-04-03 cs.CV
Token-Budgeted Candidate Retrieval for 3D Scene-Grounded VLMs: Category Names vs. Pairwise Geometry
AGH University of Krakow（克拉科夫AGH科技大学）；SoftServe（SoftServe公司）；ETH Zurich（苏黎世联邦理工学院）
该研究针对固定上下文预算下3D场景 grounding VLM的候选检索问题，对比类别名称与成对几何的效果，提出含QCRR的检索方案，发现语义检索优于手动几何方法，将发布相关工具支持新选择器替换。
2026-10-14 cs.CV cs.LG
Enhancing Scene Graph Generation with Hierarchical Relationships and Commonsense Knowledge
University of Pennsylvania（宾夕法尼亚大学）
本研究提出结合关系层次结构与常识验证的增强型场景图生成方法，可即插即用集成到现有算法中，在多个数据集上实现显著性能提升。
2024-12-05 cs.AI cs.CV cs.LG
Fast and Flexible Indoor Scene Synthesis via Deep Convolutional Generative Models
Brown University（布朗大学）
我们提出了一种新的，快速和灵活的室内场景合成管道，该管道基于深度卷积生成模型。我们的方法操作在一个自上而下的基于图像的表示，并插入对象迭代到场景中预测其类别，位置，方向和大小与单独的神经网络模块。我们的流水线自然支持部分场景的自动完成，以及完整场景的合成。我们的方法比以前的基于图像的方法快得多，并且在对训练数据的忠诚度和感知的视觉质量方面，生成的结果优于它和其他最先进的深度生成场景模型。
2018-11-29 cs.CV cs.GR
CAR -- Cityscapes Attributes Recognition A Multi-category Attributes Dataset for Autonomous Vehicles
Pennsylvania State University（宾夕法尼亚州立大学）；Scale AI
自动驾驶汽车是交通的未来。随着这一领域目前的进步，世界越来越接近安全道路，几乎零事故概率和消除人为错误。然而，仍然有大量的研究和开发需要达到鲁棒性的水平。一个重要的方面是充分理解一个场景，包括所有细节。因为场景中对象的某些特征（属性）（例如驾驶员的行为）对于正确的决策是必不可少的。然而，目前的算法遭受低质量的数据集，这样丰富的属性。因此，本文提出了一种新的属性识别数据集--城市景观属性识别（CAR）。新的数据集扩展了著名的数据集Cityscapes，在每个图像中添加了一个额外但重要的对象属性注释层。目前，我们已经注释了超过32 k个不同类别的实例（车辆，行人等）。该数据集具有结构化和定制的分类法，其中每个类别都有自己的一组可能属性。量身定制的分类法侧重于对开发更好的自动驾驶算法最有利的属性，这些算法依赖于准确的计算机视觉和场景理解。我们还为数据集创建了一个API，以简化CAR的使用。该API可以通过https://github.com/kareem-metwaly/CAR-API访问。
2021-11-16 cs.CV cs.LG cs.RO
Real-time 3D Semantic Scene Completion Via Feature Aggregation and Conditioned Prediction
Beijing Advanced Innovation Center for Intelligent Robots and Systems（北京智能机器人与系统高精尖创新中心）；PEK-SenseTime Joint Laboratory of Machine Vision（北京大学-商汤科技机器视觉联合实验室）
语义场景补全（SSC）的目的是同时预测三维场景的体积占用和语义类别。在本文中，我们提出了一个实时的【形】语义场景完成方法与特征聚合策略和条件预测模块。特征聚合融合了不同感受野的特征，并收集了上下文，以提高场景完成性能。条件预测模块采用两步预测方案，以体积占用率为条件，增强语义完成预测。我们在三个公认的基准NYU，NYUCAD和SUCG上进行实验。我们的方法在一个GTX 1080 Ti GPU上以110 FPS的速度实现了具有竞争力的性能。
2023-03-25 cs.CV
Natural scene statistics mediate the perception of image complexity
人类对模式的复杂性和规律性很敏感。模式复杂性的主观感知与计算机科学中定义的算法（Kolmogorov-Chaitin）复杂性相关，但也与自然发生模式的频率相关。然而，自然频率在感知算法复杂性中可能的中介作用仍然不清楚。在这里，我们通过中介分析重新分析Hsu et al.（2010），并在一个新的实验中补充他们的结果。我们的结论是，人类感知的复杂性似乎部分塑造了自然场景的统计，从而建立了一个复杂性的感知和自然场景的统计效果之间的联系。
2015-09-14 cs.AI cs.CV
EgoAdapt: A Multi-Scene Egocentric Adaptation Method for CVPR 2026 HD-EPIC VQA Challenge
Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
提出EgoAdapt方法，通过类别条件路由、校准选项评分和测试时一致性适应，解决自我中心视频问答中通用推理与异构时空语义结构不匹配的问题。
2026-06-04 cs.CV
FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category Modelling
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们研究了使用神经辐射场（NeRF）从输入图像集合中学习高质量的3D对象类别模型。与以前的工作相比，我们能够做到这一点，同时分离前景物体从他们的不同背景。我们通过一个2分量NeRF模型，FiG-NeRF，更喜欢解释的场景作为一个几何不变的背景和一个可变形的前景，代表的对象类别。我们表明，这种方法可以学习准确的3D对象类别模型，只使用光度监督和偶然捕获的图像的对象。此外，我们的2部分分解允许模型执行准确和清晰的非模态分割。我们定量评估我们的方法与视图合成和图像保真度指标，使用合成，实验室捕获，并在野外的数据。我们的研究结果表明，令人信服的3D对象类别建模，超过现有方法的性能。
2021-04-17 cs.CV
Bootstrapping Vision-Language Model for Hysteroscopic Surgical Scene Segmentation
本研究提出首个基于VLM的宫腔镜手术场景分割方法VLM-hyster，通过类别特定文本提示与掩码蒸馏分支提升性能，在自行构建的4020张图像数据集上表现优于现有模型，获多中心验证，具临床应用潜力。
2026-08-12 cs.CV
High Order Structure Descriptors for Scene Images
Shanghai Jiao Tong University（上海交通大学）
结构信息普遍存在于自然场景图像中，在场景表示中起着重要的作用。本文利用三阶结构统计量（TOSS）和四阶结构统计量（FOSS）对高阶结构信息进行编码。然后，基于TOSS和FOSS的径向切片和法向切片，提出了高阶结构功能：三阶结构特征（TOSF）和四阶结构特征（FOSF）。众所周知，场景图像的局部结构具有特定的排列方式，本文将场景图像划分为互不重叠的子区域，并计算它们之间的高阶结构特征。然后利用这些高阶结构特征，使用SVM分类器进行场景分类。实验结果表明，高阶结构统计量能很好地传递图像的结构信息，其空间包络具有很强的鉴别能力。
2014-10-15 cs.CV
WALDO: One-Shot Exemplar-Conditioned Object Detection in Cluttered Scenes
Clark Atlanta University（克拉克亚特兰大大学）；United International University（联合国际大学）
本文提出WALDO检测头，利用V-JEPA 2.1特征实现低成本一次性示例条件目标检测，在杂乱场景的AP@50优于Grounding DINO，验证了世界模型特征对定位和不存在检测的迁移能力。
2026-08-31 cs.CV
Scene-aware Human Pose Generation using Transformer
Shanghai Jiao Tong University（上海交通大学）
本文提出基于Transformer的场景感知人体姿态生成方法，将查询嵌入与姿态模板关联并预测其尺度和偏移量，结合知识蒸馏优化学习，在Sitcom数据集上验证了有效性。
2023-08-04 cs.CV
GenCOPE: Syn2Real Generalized Category-Level Object Pose Estimation for Robotic Picking
提出GenCOPE，仅用合成数据训练实现类别级物体姿态估计的域泛化，通过2D/3D语义一致性与交叉一致性学习，以轻量高效架构在真实场景中取得优越性能。
2026-10-02 cs.CV
BD-HazardVLM: Probing Vision-Language Models for Latent Defensive-Driving Hazards in Bangladesh Road Scenes
Rajshahi University of Engineering & Technology (RUET)（拉杰沙希工程技术大学（RUET））
该研究构建了孟加拉国道路场景的视觉语言模型诊断基准BD-HazardVLM，评估多款模型后发现其粗危险识别能力达标但细粒度防御驾驶推理能力薄弱，推动了地理多样化安全评估。
2026-10-16 cs.CV cs.LG cs.RO
DeepPanoContext: Panoramic 3D Scene Understanding with Holistic Scene Context Graph and Relation-based Optimization
University of Electronic Science and Technology of China（电子科技大学）；Zhejiang University（浙江大学）；Google（谷歌）
全景图像具有大得多的视场，因此与标准透视图像相比自然地编码丰富的场景上下文信息，然而，这在先前的场景理解方法中没有被很好地利用。在本文中，我们提出了一种新的方法，全景三维场景理解恢复的三维房间布局和形状，姿态，位置和语义类别的每个对象从一个完整的全景图像。为了充分利用丰富的上下文信息，我们设计了一种新的基于图神经网络的上下文模型来预测对象和房间布局之间的关系，和一个基于可微关系的优化模块，优化对象的安排与设计良好的目标函数的飞行。意识到现有的数据要么是不完整的地面真理或过度简化的场景，我们提出了一个新的合成数据集，具有良好的多样性，在房间布局和家具放置，和逼真的图像质量的总全景三维场景理解。实验结果表明，该方法在几何精度和物体排列方面优于现有的全景场景理解方法。代码可在https://chengzhag.github.io/publication/dpc上获得。
2021-08-24 cs.CV
Do Vision Models Learn Physical Constraints or Rendering Shortcuts? A Counterfactual Benchmark for Grounded Physical Consistency
Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS)（转化神经影像与数据科学三机构中心）；Georgia State University（佐治亚州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
本研究提出反事实基准，用合成图像检测编辑场景的物理违规，发现视觉模型高准确率部分源于渲染捷径而非物理理解。
2026-10-08 cs.AI cs.CV
3D Scene Reconstruction with Multi-layer Depth and Epipolar Transformers
University of California, Irvine（加州大学欧文分校）；Georgia Institute of Technology（佐治亚理工学院）
我们解决了从单个RGB图像自动重建场景的完整3D模型的问题。这项具有挑战性的任务需要推断可见和被遮挡表面的形状。我们的方法利用以观众为中心，多层表示的场景几何适应最近的方法，单个对象的形状完成。为了提高复杂场景的以视图为中心的表示的准确性，我们引入了一种新的“对极特征Transformer”，该特征将卷积网络特征从输入视图转移到其他虚拟相机视点，从而更好地覆盖3D场景几何。与现有方法不同，现有方法首先在3D中检测和定位对象，然后使用特定类别的模型推断对象形状，我们的方法是完全卷积的，端到端可区分的，并且避免了体素表示的分辨率和内存限制。我们展示了多层深度表示和核线特征Transformers在重建大型室内场景数据库上的优势。
2019-08-27 cs.CV
Novel Visual Category Discovery with Dual Ranking Statistics and Mutual Knowledge Distillation
Tongji University（同济大学）；The University of Hong Kong（香港大学）；Google Research（谷歌研究院）；University of Bristol（布里斯托大学）
在本文中，我们解决了新的视觉类别发现的问题，即，通过利用包含来自其他不同但相关类别的图像的标记数据集，将来自新类别的未标记图像分组到不同的语义分区中。这是一个比传统的半监督学习更现实和更具挑战性的设置。我们提出了一个两个分支的学习框架，这个问题，一个分支专注于本地部分级别的信息和其他分支专注于整体特征。为了将知识从标记数据转移到未标记数据，我们建议在两个分支上使用双排名统计来生成伪标签，用于在未标记数据上进行训练。我们进一步引入了一个相互的知识蒸馏方法，以允许信息交换，并鼓励发现新的类别，使我们的模型享受全球和本地功能的好处的两个分支之间的协议。我们在通用对象分类的公共基准上全面评估了我们的方法，以及用于细粒度视觉识别的更具挑战性的数据集，实现了最先进的性能。
2022-01-03 cs.CV
Painting 3D Nature in 2D: View Synthesis of Natural Scenes from a Single Semantic Mask
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
该研究提出一种从单一语义掩码合成自然场景多视图一致彩色图像的新方法，以语义场为中间表示，无需多视图监督或类别级先验，优于基线方法且能生成逼真视频。
2025-04-12 cs.CV
BlobGAN: Spatially Disentangled Scene Representations
UC Berkeley（加州大学伯克利分校）；Adobe Research（奥多比研究院）
我们提出了一个无监督的，中级表示的场景生成模型。该表示是中级的，因为它既不是逐像素的，也不是逐图像的;相反，场景被建模为空间的、按深度排序的“斑点”特征的集合。斑点被可区分地放置在特征网格上，该特征网格由生成对抗网络解码成图像。由于斑点的空间均匀性和卷积固有的局部性，我们的网络学会将不同的斑点与场景中的不同实体相关联，并排列这些斑点以捕获场景布局。我们通过展示这种紧急行为来证明，尽管在没有任何监督的情况下进行训练，但我们的方法能够实现诸如轻松操纵场景中的对象（例如，移动、移除和重新设计家具），在给定约束的情况下创建可行的场景（例如，在特定位置具有抽屉的合理房间），以及将真实世界图像解析成组成部分。在具有挑战性的室内场景多类别数据集上，BlobGAN在FID测量的图像质量方面优于StyleGAN 2。请参阅我们的项目页面以获取视频结果和互动演示：https://www.dave.ml/blobgan
2022-07-29 cs.CV
FOSNet: An End-to-End Trainable Deep Neural Network for Scene Recognition
Yonsei University（延世大学）
场景识别是一个图像识别问题，旨在预测图像拍摄地点的类别。提出了一种基于卷积神经网络（CNN）的场景识别方法。该方法基于图像中目标和场景信息的融合，将CNN框架称为FOS（fusion of object and scene）Net。此外，提出了一种新的损失-场景相干损失（SCL），用于训练FOSNet，提高场景识别性能。提出的SCL是基于独特的特点，场景的“场景”传播和场景类不改变整个图像。建议的FOSNet实验与三个最流行的场景识别数据集，并在两组中获得他们的国家的最先进的性能：60.14%的地方2和90.37%的麻省理工学院室内67。在SUN 397上获得了第二高的77.28%的性能。
2019-07-18 cs.CV
Scene Graph Generation with Role-Playing Large Language Models
Zhejiang University（浙江大学）；Changsha University of Science & Technology（长沙理工大学）
本文提出SDSGG框架，通过让大语言模型扮演不同角色生成场景特定描述，并结合重新归一化机制与互视觉适配器，自适应调整文本分类器权重，显著提升了开放词汇场景图生成的性能。
2024-10-20 cs.CV cs.MM
HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Peking University（北京大学）
本文提出大规模4D自我中心数据集HOI4D，包含2.4M帧及丰富标注，并建立三个基准任务以推动类别级人-物交互研究，分析表明其对现有方法构成巨大挑战。
2024-01-03 cs.CV
Teaching in adverse scenes: a statistically feedback-driven threshold and mask adjustment teacher-student framework for object detection in UAV images under adverse scenes
Southwest Jiaotong University（西南交通大学）；Chinese Academy of Surveying and Mapping（中国测绘科学研究院）
针对恶劣场景无人机图像目标检测中现有UDA方法特征对齐不准、伪标签质量差的问题，提出首个对应基准SF-TMAT，结合DSFMA动态调整掩码与VFST优化伪标签阈值，显著提升检测性能与泛化性。
2025-06-12 cs.CV
Setting the Stage: Text-Driven Scene-Consistent Image Generation
Global Business Unit, Baidu Inc.（百度公司全球业务部）
本文研究了场景构建任务，通过结合参考场景图像和文本条件生成符合空间关系的演员图像，提出了一种新的数据构建管道和对应关系引导的注意力损失，以提高场景一致性和文本-图像一致性。
2026-05-18 cs.CV
Amodal Completion and Size Constancy in Natural Scenes
University of California, Berkeley（加州大学伯克利分校）
我们考虑的问题，丰富当前的目标检测系统与veridical对象的大小和相对深度估计从一个单一的图像。这方面存在一些技术挑战，例如遮挡、缺乏校准数据以及对象大小和距离之间的比例模糊。这些问题在以前的工作中没有得到全面的处理。在这里，我们建议通过建立在对象识别的进步和使用最近创建的大规模数据集来解决这些问题。我们首先介绍了非模态限界框完成的任务，其目的是推断图像中的对象实例的完整范围。然后，我们提出了一个概率框架，用于从可用的注释中学习特定于类别的对象大小分布，并利用这些与amodal完成相结合来推断新图像中的真实大小。最后，我们介绍了一个焦距预测方法，利用场景识别，以克服固有的缩放模糊性，我们展示了具有挑战性的现实世界场景的定性结果。
2015-10-01 cs.CV
3DWG: 3D Weakly Supervised Visual Grounding via Category and Instance-Level Alignment
School of CS, Peking University（计算机科学系，北京大学）；AI2Robotic；Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学）
本文提出3DWG方法，通过类别级和实例级对齐分支分别利用预训练检测器类别知识与语言空间关系描述，解决三维弱监督视觉定位中的类别歧义和实例干扰问题，在Nr3D、Sr3D和ScanRef上取得最优性能。
2025-05-03 cs.CV
AID: A Benchmark Dataset for Performance Evaluation of Aerial Scene Classification
Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）
航空场景分类是理解高分辨率遥感影像的基础问题，其目的是自动地为航空影像标注特定的语义类别。近年来，遥感图像的自动识别已成为遥感领域的一个研究热点，提出了大量的算法，包括机器学习和数据驱动的方法。然而，现有的航空场景分类数据集，如UC-Merced数据集和WHU-RS 19数据集的大小相对较小，并且它们的结果已经饱和。这在很大程度上限制了场景分类算法的发展。本文介绍了航空图像数据集（AID）：一个大规模的数据集航空场景分类。AID的目标是推进遥感图像场景分类的最新技术。为了创建AID，我们收集并注释了上万幅航空场景图像。此外，对现有的空中场景分类技术以及最近广泛使用的深度学习方法进行了全面回顾。最后，我们提供了一个典型的航空场景分类和深度学习方法在AID上的性能分析，这可以作为基准测试的基线结果。
2016-08-18 cs.CV
Scene-level Tracking and Reconstruction without Object Priors
Rutgers University（罗格斯大学）
我们提出的第一个实时系统能够跟踪和重建，单独，在一个给定的场景中的每一个可见的对象，没有任何形式的先验的刚性的对象，纹理存在，或对象类别。与以前的方法，如Co-Fusion和MaskFusion，首先将场景分割成单个对象，然后独立地处理每个对象相比，所提出的方法动态分割非刚性场景作为跟踪和重建过程的一部分。当新的测量结果表明拓扑结构发生变化时，重建的模型将实时更新以反映该变化。我们提出的系统可以提供实时的几何形状和变形的所有可见对象在一个新的场景中，这使得它可以无缝集成到众多现有的机器人应用程序，依赖于对象模型的把握和操纵。所提出的系统的能力证明在具有挑战性的场景，包含多个刚性和非刚性对象。
2022-10-07 cs.CV cs.GR cs.RO
Category-Agnostic 6D Pose Estimation with Conditional Neural Processes
Bosch Center for Artificial Intelligence（博世人工智能中心）；KIT（卡尔斯鲁厄理工学院）
提出基于神经过程的元学习方法，通过编码器捕获极少RGB-D图像的物体表示，并利用图神经网络几何感知解码器预测6D位姿，实现跨类别泛化和遮挡鲁棒性。
2023-10-19 cs.AI cs.CV cs.LG
Statistical Confidence Rescoring for Robust 3D Scene Graph Generation from Multi-View Images
Department of Computer Science, National University of Singapore（计算机科学系，新加坡国立大学）
本文提出一种基于统计置信度重打分的方法，仅利用多视图RGB图像生成鲁棒的3D场景图，通过语义掩码引导特征聚合过滤背景噪声，并利用一跳邻域的显式统计先验优化节点和边预测，优于现有纯多视图输入方法。
2025-08-05 cs.CV eess.IV
Category-Specific Object Reconstruction from a Single Image
University of California, Berkeley（加州大学伯克利分校）
从单个图像重建物体-在野外-是一个我们今天可以取得进展并获得有意义结果的问题。这是本文的主要信息，它介绍了一个自动化的管道，像素作为输入和各种刚性类别的3D表面作为输出的图像中的现实场景。在我们的方法的核心是可变形的3D模型，可以从现有的目标检测数据集中可用的2D注释中学习，可以由嘈杂的自动对象分割驱动，我们补充了一个自下而上的模块，用于恢复高频形状细节。我们使用最近推出的PASCAL 3D+数据集对我们的方法进行了全面的定量分析和消融研究，并在PASCAL VOC上显示了非常令人鼓舞的自动重建。
2015-05-06 cs.CV
Scene Image is Non-Mutually Exclusive - A Fuzzy Qualitative Scene Understanding
University of Malaya（马来亚大学）
模糊性或不确定性是许多现实世界决策过程中普遍存在的因素。在这种情况下，当同样的问题被提出给不同的主体时，决定的变化是一种常态。心理学和形而上学的研究已经证明，人的决策是主观的。它受经验、年龄、背景等多种因素的影响，场景理解就是属于这一范畴的计算机视觉问题之一。传统的方法通过假设场景图像是互斥的来放松这个问题，因此，专注于开发不同的方法来执行二进制分类任务。在本文中，我们证明了场景图像是不互斥的，并提出了模糊定性等级分类器（FQRC）来解决上述问题。建议的BURCRC提供了一个排名的解释，而不是二元决策。使用大量和具有挑战性的公共场景数据集进行定性和定量评估，表明我们所提出的方法在建模非互斥场景图像方面的有效性。
2014-10-14 cs.AI cs.CV cs.IR
Learning Dense Object Descriptors from Multiple Views for Low-shot Category Generalization
Georgia Institute of Technology（佐治亚理工学院）
计算机视觉深度学习时代的一个标志是成功使用大规模标记数据集来训练特征表示，以完成从对象识别和语义分割到光流估计和3D场景的新视图合成等任务。在这项工作中，我们的目标是在不需要任何类别标签的情况下，学习密集的有区别的对象表示，用于低镜头类别识别。为此，我们提出了深度对象补丁编码（DOPE），它可以从对象实例的多个视图进行训练，而无需任何类别或语义对象部分标签。为了训练DOPE，我们假设访问稀疏深度，前景掩模和已知相机，以获得对象的视图之间的像素级对应关系，并使用此来制定一个自监督学习任务，以学习有区别的对象补丁。我们发现，DOPE可以直接用于低镜头分类的新类别使用局部匹配，是有竞争力的，优于监督和自监督学习基线。代码和数据可在https://github.com/rehg-lab/dope_selfsup获得。
2022-11-28 cs.CV
fCOP: Focal Length Estimation from Category-level Object Priors
ShanghaiTech University（上海科技大学）；Rembrand（伦布兰德（Rembrand）公司）
本文提出fCOP方法，利用类别级物体先验结合单目深度估计与规范表示学习，从三组对应关系闭式求解焦距，在模拟与真实数据上优于现有方法。
2024-09-29 cs.CV
AffectDelta: Beyond Emotion Labels for Image Editing
Vanderbilt University（范德堡大学）；Research Institute of Electrical Communication, Tohoku University（东北大学电气通信研究所）
AffectDelta是一种将图像编辑视为八维情感分布过渡的感知源图像编辑器，通过构建AffectPair-249K数据集训练，在情感对齐和内容保留上优于基线方法。
2026-09-03 cs.CV
Joint Object-Material Category Segmentation from Audio-Visual Cues
University of Oxford（牛津大学）；Microsoft Research（微软研究院）；Technicolor（特艺公司）
仅从视觉线索识别物体并推断场景的材料属性并不总是可能的，因为物体可能在视觉上看起来相似，但由非常不同的材料制成。因此，在本文中，我们提出了一种方法，增加了可用的密集的视觉线索与稀疏的听觉线索，以估计密集的对象和材料的标签。由于估计对象类和材料属性是相互信息，我们优化我们的多输出标签联合使用随机场框架。我们在一个新的数据集上评估我们的系统，该数据集包含我们公开提供的成对视觉和听觉数据。我们证明，这种联合估计的对象和材料标签显着优于任何类别的估计孤立。
2016-01-10 cs.CV cs.SD
DualNet: Domain-Invariant Network for Visual Question Answering
The University of Tokyo（东京大学）
视觉问答（VQA）任务不仅在图像和语言之间架起了一座桥梁，而且要求图像中的特定内容被理解为问题的语言语境所指示的内容，以产生准确的答案。因此，构建一个有效的图像和文本嵌入是至关重要的。我们实现了DualNet，它充分利用了图像和文本特征的区分能力，分别执行两个操作。构建DualNet的集合进一步提升了性能。与普遍的看法相反，我们的方法被证明是有效的，在真实的图像和抽象的场景，尽管显着不同的属性各自的域。我们的方法在真实图像类别中的表现优于以前的最先进的方法，即使没有明确采用注意力机制，并且在抽象场景类别中也优于我们自己的最先进的方法，最近在VQA Challenge 2016中获得了第一名。
2017-05-04 cs.CV
RYOPO: Bringing End-to-End Category-Level Object Pose Estimation into Real Time
PIT IN Co.（PIT IN公司）
RYOPO提出端到端可训练的查询式RGB-D集合预测器，联合检测分割物体并估计9自由度姿态，无需外部分割器，在NOCS上显著提升性能，并实现31.8 FPS的实时全帧估计。
2026-10-05 cs.CV cs.RO
Panoptic Neural Fields: A Semantic Object-Aware Neural Scene Representation
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）；Georgia Tech（佐治亚理工学院）
我们提出了Panoptic Neural Fields（PNF），这是一种对象感知的神经场景表示，它将场景分解为一组对象（事物）和背景（东西）。每个对象由一个定向的3D限界框和一个多层感知器（MLP）表示，该感知器获取位置、方向和时间，并输出密度和辐射。背景内容由类似的MLP表示，该MLP还输出语义标签。每个对象MLP都是特定于实例的，因此可以比以前的对象感知方法更小更快，同时仍然利用通过元学习初始化合并的特定于类别的先验。我们的模型建立了一个panoptic辐射场表示的任何场景，只是彩色图像。我们使用现成的算法来预测相机姿态，对象轨迹，和二维图像语义分割。然后，我们共同优化MLP的权重和限界框参数使用分析合成与自我监督的彩色图像和伪监督预测语义分割。在与真实世界的动态场景的实验中，我们发现，我们的模型可以有效地用于几个任务，如新的视图合成，2D全景分割，3D场景编辑，和多视图深度预测。
2022-05-09 cs.CV
InsertFuse: A Unified Framework for Multi-Category Reference-Guided Image Insertion
本研究提出InsertFuse统一框架，通过解耦类别专属学习与跨类别整合，结合IOPD、TAGC等技术提升多类别参考引导图像插入的空间控制与生成质量，在基准测试中取得最优性能。
2026-08-10 cs.CV
MultiScene: A Large-scale Dataset and Benchmark for Multi-scene Recognition in Single Aerial Images
German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
航空景象识别是高分辨率航空影像解译的基础研究课题。在过去的几年里，大多数研究都集中在将图像分类到一个场景类别中，而在现实世界中，更常见的是一幅图像包含多个场景。因此，在本文中，我们研究了一个更实际但尚未探索的任务-在单一图像的多场景识别。为此，我们创建了一个名为MultiScene的大规模数据集，由100，000张无约束的高分辨率航拍图像组成。考虑到手动标记这些图像是非常艰巨的，我们求助于来自众包平台的低成本注释，例如，OpenStreetMap（OSM）.然而，OSM数据可能会遭受不完整和不正确，这将噪声引入图像标签。为了解决这个问题，我们对14，000张图像进行了视觉检查，并纠正了它们的场景标签，产生了一个名为MultiScene-Clean的干净注释图像子集。有了它，我们可以使用干净的数据开发和评估用于多场景识别的深度网络。此外，我们提供了所有图像的众包注释，以研究带有噪声标签的网络学习。我们在MultiScene-Clean和MultiScene上使用广泛的基线模型进行实验，分别为单个图像中的多场景识别和从噪声标签中学习提供基准。为了促进进展，我们在https://gitlab.lrz.de/ai4eo/reasoning/multiscene上提供我们的数据集和训练模型。
2021-09-07 cs.CV
