Zero-shot Visual Commonsense Immorality Prediction
Korea University（高丽大学）；University of California, Berkeley（加州大学伯克利分校）
人工智能目前正在为各种现实世界的应用提供动力。这些应用程序已经显示出良好的性能，但也提出了复杂的伦理问题，即如何嵌入伦理以使AI应用程序行为符合道德。实现道德AI系统的一种方法是模仿人类的亲社会行为，并鼓励系统中某种形式的良好行为。然而，学习这样的规范伦理（特别是从图像）是具有挑战性的，主要是由于缺乏数据和标签的复杂性。在这里，我们提出了一个模型，预测视觉常识不道德的zero-shot的方式。我们通过基于CLIP的图像-文本联合嵌入，用ETHICS数据集（一对文本和道德注释）训练我们的模型。在测试阶段，预测一个看不见的图像的不道德。我们使用现有的道德/不道德图像数据集评估我们的模型，并显示出与人类直觉一致的公平预测性能。进一步，我们创造了一个视觉常识的不道德基准，更普遍和广泛的不道德的视觉内容。代码和数据集可在https://github.com/ku-vai/Zero-shot-Visual-Commonsense-Immorality-Prediction上获得。请注意，本文可能包含具有攻击性的图像和描述。
2022-11-10 cs.CV cs.CY
CoSIm: Commonsense Reasoning for Counterfactual Scene Imagination
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
作为人类，我们可以通过在脑海中想象替代物体或概念来修改我们对场景的假设。例如，我们可以很容易地预测太阳被雨云遮住的含义（例如，街道会变湿）并相应地做好准备。在本文中，我们介绍了一个新的任务/数据集称为常识推理的反事实场景想象（CoSIM），旨在评估人工智能系统的能力，对场景变化的想象力的原因。在这个任务/数据集中，模型被赋予一个图像和一个关于图像的初始问题-响应对。接下来，应用一个反事实的想象场景变化（以文本形式），模型必须根据这个场景变化预测对初始问题的新回答。我们收集了3.5K个高质量和具有挑战性的数据实例，每个实例包括一个图像，一个常识性问题和一个回答，一个反事实变化的描述，一个对问题的新回答，以及三个干扰因素的回答。我们的数据集包含各种复杂的场景变化类型（如对象添加/移除/状态变化，事件描述，环境变化等）。这需要模型想象许多不同的场景，并对变化的场景进行推理。我们提出了一个基于视觉语言Transformer（即，LXMERT）和消融研究。通过人类的评估，我们展示了一个很大的人类模型的性能差距，这一具有挑战性的反事实，场景想象力的任务，有前途的未来工作的空间。我们的代码和数据集可在https://github.com/hyounghk/CoSIm上公开获取
2022-07-08 cs.AI cs.CL cs.CV
Find Someone Who: Visual Commonsense Understanding in Human-Centric Grounding
Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
从包含多个人的视觉场景中，人类能够区分每个人，给出关于之前发生的事情，他们的精神/身体状态或意图等的上下文描述。例如，如果要求识别图像中“需要治疗的人”，我们首先需要知道他们通常有受伤或痛苦的表情，然后找到相应的视觉线索，最后才能将人接地气。我们提出了一个新的常识任务，以人为中心的常识接地，测试模型的能力，地面个人的上下文描述之前发生了什么，他们的精神/身体状态或意图。我们进一步创建了一个基准，HumanCog，一个数据集，其中有13万个接地常识描述注释在67 k个图像上，涵盖了各种类型的常识和视觉场景。我们建立了一个上下文对象感知的方法作为一个强大的基线，它优于以前的预训练和非预训练模型。进一步的分析表明，丰富的视觉常识和多模态常识的强大整合是必不可少的，这对未来的工作有启发意义。数据和代码将在https://github.com/Hxyou/HumanCog上提供。
2022-12-14 cs.CL cs.CV
Understanding ME? Multimodal Evaluation for Fine-grained Visual Commonsense
Columbia University（哥伦比亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对视觉语言模型在视觉常识理解中评估数据有限的问题，提出多模态评估（ME）流程自动生成问答对，并证明使用ME数据训练可提升标准VCR评估性能，同时揭示了低层信息辅助高层信息学习及视觉信息利用不足等发现。
2023-10-23 cs.AI cs.CL cs.CV
Learning Visual Commonsense for Robust Scene Graph Generation
Columbia University（哥伦比亚大学）
场景图生成模型通过对象和谓词识别来理解场景，但由于野外感知的挑战，很容易出现错误。感知错误通常会导致输出场景图中的无意义成分，这些成分不遵循真实世界的规则和模式，并且可以使用常识知识进行纠正。我们提出了第一种方法来获取视觉常识，如启示和直观的物理自动从数据，并使用它来提高场景理解的鲁棒性。为此，我们扩展了Transformer模型，将场景图的结构，并在场景图语料库上训练我们的全局-局部注意力Transformer。一旦训练好，我们的模型可以应用于任何场景图生成模型，并纠正其明显的错误，从而产生语义上更合理的场景图。通过大量的实验，我们证明了我们的模型比任何替代方案都更好地学习常识，并提高了最先进的场景图生成方法的准确性。
2020-07-18 cs.CV cs.LG
Localized Symbolic Knowledge Distillation for Visual Commonsense Models
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；Yonsei University（延世大学）；Microsoft Research（微软研究院）
针对现有视觉-语言模型无法支持图像内特定区域推理的问题，提出通过大语言模型采样局部常识知识、结合评判模型筛选样本的蒸馏方法，构建支持区域输入的局部化视觉常识模型，零样本性能优于基线方法。
2023-12-12 cs.AI cs.CL cs.CV
Droplet3D: Commonsense Priors from Videos Facilitate 3D Generation
IEIT System Co., Ltd.（IEIT系统有限公司）；Nankai University（南开大学）；Tsinghua University（清华大学）
针对3D原生数据稀缺问题，本文构建多视图标注视频数据集Droplet3D-4M并训练支持图像与密集文本输入的Droplet3D模型，利用视频常识先验提升3D生成的空间一致性与语义合理性。
2025-08-28 cs.CV
MVP: Meta Visual Prompt Tuning for Few-Shot Remote Sensing Image Scene Classification
National Innovation Institute of Defense Technology（国防科技国家创新研究院）
本文提出MVP方法，将视觉提示微调VPT融入元学习框架并针对遥感领域定制，同时引入基于块嵌入重组的数据增强策略，在小样本遥感场景分类基准上取得优于现有方法的效果。
2023-09-17 cs.CV cs.LG
It's All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning
Yandex；HSE University（高等经济学院）
常识推理是自然语言处理中的关键问题之一，但标记数据的相对稀缺阻碍了英语以外语言的发展。预训练的跨语言模型是强大的语言不可知表示的来源，但其固有的推理能力仍在积极研究中。在这项工作中，我们设计了一个简单的方法来常识推理，训练一个线性分类器与权重的多头注意力的功能。为了评估这种方法，我们创建了一个多语言Winograd模式语料库，通过处理标准化管道中先前工作的几个数据集，并根据样本外性能来衡量跨语言泛化能力。该方法与最近的监督和无监督的方法进行常识推理的竞争，即使在应用于其他语言的zero-shot方式。此外，我们证明了大多数的性能是由相同的小子集的注意头所有研究的语言，这提供了证据的通用推理能力，在多语言编码器。
2021-11-30 cs.CL cs.LG
One-shot Scene Graph Generation
University of Electronic Science and Technology of China（电子科技大学）
视觉场景图（视觉关系）作为图像内容的结构化表示，在计算机视觉和自然语言处理之间起着桥梁作用。众所周知，场景图生成任务中的现有模型需要数十或数百个标记样本。相比之下，人类可以从几个甚至一个例子中学习视觉关系。受此启发，我们设计了一个名为One-Shot Scene Graph Generation的任务，其中每个关系三元组（例如，“dog-has-head”）仅来自一个标记的示例。关键的见解是，而不是从头开始学习，一个人可以利用丰富的先验知识。在本文中，我们提出了多重结构化知识（关系知识和常识知识）的一杆场景图生成任务。具体地，关系知识表示从视觉内容提取的实体之间的关系的先验知识，例如，“狗”与“院子”之间可能存在“站在”、“坐在”、“躺在”的视觉关系，而常识知识则编码了“狗能守院子”等“造义”知识。通过将这两种知识组织成图结构，图卷积网络（GCN）被用来提取实体的知识嵌入语义特征。此外，我们不是从Faster R-CNN生成的每个实体中提取孤立的视觉特征，而是利用实例关系Transformer编码器来充分探索它们的上下文信息。基于构造的单次数据集，实验结果表明，我们的方法显着优于现有的国家的最先进的方法，由一个大的利润。消融研究也验证了实例关系Transformer编码器和多结构化知识的有效性。
2022-02-26 cs.CV
Commonsense Reasoning for Identifying and Understanding the Implicit Need of Help and Synthesizing Assistive Actions
Lab-STICC/ENIB（STICC实验室/布雷斯特国立高等工程师学院）；Flinders University of South Australia（南澳弗林德斯大学）；CNRS（法国国家科学研究中心）
人机交互（HRI）是服务机器人的一个新兴分支。虽然大多数现有的方法依赖于明确的信号（即语音，手势）参与，目前的文献是缺乏解决方案，以解决隐式用户的需求。在本文中，我们提出了一个架构（a）检测用户隐式需要的帮助和（b）生成一组辅助动作，而无需事先学习。任务（a）将使用用于场景图生成的最先进的解决方案结合常识知识的使用来执行;而任务（b）将使用附加常识知识以及对图结构的情感分析来执行。最后，我们提出了一个评估我们的解决方案，使用已建立的基准（例如基因组数据集）以及人体实验。我们的方法的主要动机是在一个单一的架构中的感知决策行动循环的嵌入。
2022-02-23 cs.AI cs.CL cs.CV
Modality-Aware Shot Relating and Comparing for Video Scene Detection
Chongqing University（重庆大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
本文提出MASRC方法，通过挖掘视觉实体和地点模态的长短期镜头相关性学习独特特征，并利用相似度卷积编码前后镜头关系以识别场景结束，显著提升了视频场景检测性能。
2024-12-23 cs.CV cs.MM
From Recognition to Cognition: Visual Commonsense Reasoning
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
视觉理解远远超出了物体识别。只要看一眼图像，我们就可以毫不费力地想象像素之外的世界：例如，我们可以推断人们的行动，目标和精神状态。虽然这项任务对人类来说很容易，但对今天的视觉系统来说却非常困难，需要更高阶的认知和对世界的常识推理。我们将此任务形式化为视觉常识推理。对于一个关于图像的挑战性问题，机器必须正确回答，然后提供一个合理的理由来证明它的答案。接下来，我们介绍了一个新的数据集，VCR，由290 k多项选择QA问题来自110 k电影场景。大规模生成非平凡和高质量问题的关键配方是对抗匹配，这是一种将丰富的注释转换为具有最小偏差的多项选择题的新方法。实验结果表明，虽然人类发现VCR很容易（准确率超过90%），但最先进的视觉模型却很难（约45%）。为了实现认知层面的理解，我们提出了一个新的推理引擎，识别认知网络（R2 C），该模型为接地，语境化和推理所需的分层推理。R2 C有助于缩小人类和机器之间的差距（约65%）;尽管如此，挑战远未解决，我们提供了分析，为未来的工作提出了建议。
2019-03-26 cs.CL cs.CV
Dynamic Context-Aware Scene Reasoning Using Vision-Language Alignment in Zero-Shot Real-World Scenarios
Nitte (Deemed to Be University), Nitte Institute of Professional Education（尼特大学尼特专业教育学院）；Ballari Institute of Technology and Management（巴拉里技术与管理学院）
在现实环境中，人工智能系统经常面对没有标记数据的陌生场景，这对传统的场景理解模型构成了重大挑战。无法在看不见的上下文中进行概括，这限制了在动态、非结构化环境中部署基于视觉的应用程序。这项工作介绍了一个动态的上下文感知场景推理框架，利用视觉语言对齐，以解决zero-shot现实世界的场景。其目标是使智能系统能够推断和适应新的环境，而无需事先进行特定任务的培训。所提出的方法集成了预先训练的视觉Transformer和大语言模型，以使视觉语义与自然语言描述一致，从而增强上下文理解。动态推理模块通过结合全局场景线索和由语言先验指导的对象级交互来改进预测。在COCO、Visual Genome和Open Images等zero-shot基准上进行的大量实验表明，在复杂和不可见的环境中，场景理解准确度比基线模型提高了18%。结果还表明，由于视觉和语言的协同融合，在模糊或混乱的场景中表现出强大的性能。该框架为上下文感知推理提供了一种可扩展和可解释的方法，在动态的真实世界设置中推进了zero-shot泛化。
2025-10-30 cs.CV
Vision-Language Integration for Zero-Shot Scene Understanding in Real-World Environments
Nitte (Deemed to Be University), Nitte Institute of Professional Education（尼特大学（视为大学），尼特专业教育学院）；Ballari Institute of Technology and Management（巴拉里技术与管理学院）
针对真实场景零样本理解难题，提出融合预训练视觉编码器与大语言模型的视觉-语言融合框架，经多模态融合推理实现语义对齐，在多个数据集上准确率最高提升18%，有效增强泛化能力。
2025-10-29 cs.CV
One-Shot Crowd Counting With Density Guidance For Scene Adaptation
Jiangsu Key Laboratory of Intelligent Weather Forecasting and Applications Based on Big Data（江苏大数据智能天气预报与应用重点实验室）；State Key Laboratory of Climate System Prediction and Risk Management (CPRM)（气候变化预测与风险管理国家重点实验室）；ICAR/CIC-FEMD/KLME/ILCEC；Nanjing University of Information Science and Technology（南京信息工程大学）；School of Artificial Intelligence, OPtics and ElectroNics, Northwestern Polytechnical University（人工智能、光学与电子学学院，西北工业大学）；School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
提出利用局部和全局密度特征引导模型适应未见过的监控场景，通过多局部密度学习器学习支持场景中的多原型密度分布，并编码局部密度相似性矩阵进行局部引导，同时提取全局密度特征进行全局引导，在三个监控数据集上优于现有方法。
2026-05-30 cs.CV
Zero-Shot Multi-Object Scene Completion
Carnegie Mellon University（卡内基梅隆大学）；Toyota Research Institute（丰田研究所）
本文提出 OctMAE，结合八叉树 U-Net 与潜在三维 MAE，并引入遮挡掩码和三维旋转嵌入，实现从单张 RGB-D 图像对多物体场景的高质量近实时零样本补全。
2024-08-30 cs.CV
Visual Commonsense Driven Knowledge Refinements for Scene Graph Generation
Computing Science Department, Umeå University（乌梅大学计算机科学系）；School of Computer Science & Engineering, Constructor University（构造大学计算机科学与工程学院）；School of Science and Technology, Örebro University（Örebro大学科学与技术学院）；CoDesign Lab EU.（欧盟CoDesign实验室）
提出一种模型无关的语义引导知识精炼框架，通过挖掘训练数据中的常识约束并利用声明式常识推理在推理时修正场景图预测，无需人工规则或重新训练，在三个基准上持续提升强基线性能。
2026-06-04 cs.CV
RS-MetaNet: Deep meta metric learning for few-shot remote sensing scene classification
Central South University（中南大学）
在大量标记样本上训练现代深度神经网络是解决遥感场景分类问题的主要范例，但仅从少数数据点学习仍然是一个挑战。现有的Few-Shot遥感场景分类方法是以样本级的方式进行的，导致学习到的特征容易过拟合到单个样本，并且学习到的类别分割表面的泛化不足。为了解决这个问题，学习应该在任务级别而不是样本级别上组织。对从任务族中采样的任务进行学习可以帮助调整学习算法，以在该族中采样的新任务上表现良好。因此，我们提出了一个简单而有效的方法，称为RS-MetaNet，以解决相关的问题，Few-Shot遥感场景分类在现实世界中。一方面，RS-MetaNet通过以Meta方式组织训练，提高了从样本到任务的学习水平，它学会从一系列任务中学习一个能够很好地分类遥感场景的度量空间。我们还提出了一个新的损失函数，称为平衡损失，它最大限度地提高模型的泛化能力，以新的样本之间的距离最大化不同类别的场景，提供更好的线性分割平面，同时确保模型拟合。在三个开放且具有挑战性的遥感数据集UCMerced\_LandUse、NWPU-RESISC 45和Aerial Image Data上的实验结果表明，我们提出的RS-MetaNet方法在只有1-20个标记样本的情况下实现了最先进的结果。
2020-09-28 cs.CV
Commonsense for Zero-Shot Natural Language Video Localization
Virginia Tech（弗吉尼亚理工大学）；University of Illinois at Urbana - Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对零样本自然语言视频定位中伪查询与视频缺乏锚定的问题，提出融合常识推理的CORONET框架，通过GCN编码常识、交叉注意力增强表征，在基准数据集上显著优于现有基线。
2024-02-01 cs.AI cs.CL cs.CV
ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP
Khalifa University（卡利法大学）；University of Western Australia（西澳大学）；The Chinese University of Hong Kong（香港中文大学）；University of Melbourne（墨尔本大学）；University of Central Florida（佛罗里达中央大学）
提出ReasonCLIP-58M框架，通过两阶段策略将大规模推理监督集成到CLIP模型中，构建ReasonLite-42M和ReasonPro-16M数据集及RCLIP-Bench基准，提升视觉基础常识推理和零样本检索性能。
2026-06-26 cs.AI cs.CV
SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning
Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
解决关于图像的复杂问题是机器智能的一个雄心勃勃的目标，这需要对图像，文本和常识知识的联合理解，以及强大的推理能力。近年来，多模态Transformers在视觉常识推理（VCR）任务中取得了很大进展，通过跨模态注意层共同理解视觉对象和文本标记。然而，这些方法没有利用丰富的场景结构和对象之间的交互，这是回答复杂的常识问题所必需的。我们提出了一个场景图增强的图像-文本学习（SGEITL）框架，将视觉场景图的常识推理。为了利用场景图结构，在模型结构层次，我们提出了一个多跳图Transformer，用于正则化跳之间的注意力交互。在预训练方面，提出了一种场景图感知的预训练方法，利用视觉场景图中提取的结构知识。此外，我们引入了一种方法来训练和生成领域相关的视觉场景图，在弱监督的方式使用文本注释。VCR和其他任务上的广泛实验表明，与最先进的方法相比，性能有显着提高，并证明了每个组件的有效性。
2021-12-16 cs.AI cs.CL cs.CV
Leveraging commonsense for object localisation in partial scenes
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；University of Genoa (UniGe)（热那亚大学）；University of Verona (UniVr)（维罗纳大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
我们提出了一个端到端的解决方案来解决部分场景中的对象定位问题，我们的目标是估计对象在未知区域中的位置，仅给出场景的部分3D扫描。我们提出了一种新的场景表示，以促进几何推理，有向空间常识图（D-SCG），一个空间场景图，丰富了额外的概念节点从常识知识库。具体地说，D-SCG的节点表示场景对象，边缘是它们的相对位置。然后，每个对象节点通过不同的常识关系连接到一组概念节点。与建议的基于图形的场景表示，我们估计未知位置的目标对象使用图神经网络，实现了一种新的注意力的消息传递机制。该网络首先通过聚合D-SCG中的对象节点和概念节点来学习对象的丰富表示，从而预测目标对象和每个可见对象之间的相对位置。这些相对位置然后被合并以获得最终位置。我们使用Partial ScanNet评估我们的方法，在训练速度快8倍的情况下，定位精度提高了5.9%。
2022-11-01 cs.CV
Holistic++ Scene Understanding: Single-view 3D Holistic Scene Parsing and Human Pose Estimation with Human-Object Interaction and Physical Commonsense
University of California, Los Angeles (UCLA)（加州大学洛杉矶分校）；International Center for AI and Robot Autonomy (CARA)（国际人工智能与机器人自主中心）
我们提出了一个新的三维整体++场景理解问题，它共同处理两个任务，从一个单一的视图图像：（i）整体场景解析和重建-三维估计的对象边界框，相机姿态，和房间布局，和（ii）三维人体姿态估计。其背后的直觉是利用这两个任务的耦合性质来提高场景理解的粒度和性能。我们建议利用这两个任务之间的两个关键和必要的连接：（i）人-物交互（HOI），以模拟代理和对象之间的细粒度的关系在场景中，和（ii）物理常识，以模拟重建场景的物理可扩展性。由解析图表示的3D场景的最佳配置使用马尔可夫链蒙特卡罗（MCMC）来推断，该MCMC有效地遍历不可微的联合解空间。实验结果表明，该算法在3个数据集上显著提高了两个任务的性能，表现出更好的泛化能力。
2019-09-04 cs.CV
Generative Visual Commonsense Answering and Explaining with Generative Scene Graph Constructing
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院）；The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有视觉常识推理过度依赖训练记忆、未有效利用场景对象关系的问题，提出场景图增强的G2方法，通过构建无位置场景图并结合过滤选择策略实现问答与解释，实验验证了框架有效性。
2025-01-15 cs.CL cs.CV
Commonsense Scene Semantics for Cognitive Robotics: Towards Grounding Embodied Visuo-Locomotive Interactions
University of Bremen（不来梅大学）；Örebro University（厄勒布鲁大学）
我们提出了一个常识性的，定性的模型体现视觉空间和机车互动的语义基础。其主要贡献是将低级视觉处理与植根于人工智能的以人为本的空间和运动表示相结合的综合方法。我们展示了实际的适用性，涉及对象的相互作用和室内运动的例子。
2017-09-15 cs.AI cs.CV cs.RO
ESC: Exploration with Soft Commonsense Constraints for Zero-shot Object Navigation
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Samsung Research America（三星美国研究院）
本文提出零样本物体导航方法ESC，利用预训练视觉-语言模型和常识语言模型，将常识知识建模为软逻辑谓词以指导探索，在多个基准上显著超越基线并取得最优结果。
2023-07-06 cs.AI cs.CV cs.LG
CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion
Technical University of Munich（慕尼黑工业大学）；Google（谷歌）；Munich Center for Machine Learning（慕尼黑机器学习中心）
CommonScenes提出一种基于场景图扩散的完全生成模型，通过变分自编码器和潜在扩散双分支生成符合常识的可控3D室内场景，并构建SG-FRONT数据集，实验证明其在一致性、质量和多样性上优于现有方法。
2023-12-30 cs.CV
Bridging Knowledge Graphs to Generate Scene Graphs
Columbia University（哥伦比亚大学）
场景图是将图像解析成其抽象语义元素的强大表示，即，物体及其相互作用，这有助于视觉理解和可解释的推理。另一方面，常识知识图谱是丰富的知识库，它编码了世界是如何构造的，以及一般概念如何相互作用。在本文中，我们提出了一个统一的配方，这两个结构，场景图被看作是一个常识知识图谱的图像条件的实例。基于这个新的视角，我们重新制定场景图生成的推理场景和常识图之间的桥梁，其中场景图中的每个实体或谓词实例必须链接到其相应的实体或谓词类的常识图。为此，我们提出了一种新的基于图的神经网络，它迭代地在两个图之间以及它们中的每一个内传播信息，同时在每次迭代中逐渐完善它们的桥梁。我们的图形桥接网络GB-Net可以连续推断边缘和节点，从而可以同时利用和优化互联场景和常识图的丰富异构结构。通过大量的实验，我们展示了GB-Net与最新方法相比的优越准确性，从而产生了一种新的最先进的方法。我们公开了我们方法的源代码。
2020-07-18 cs.CV
TIDEE: Tidying Up Novel Rooms using Visuo-Semantic Commonsense Priors
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍了潮汐，体现代理，整理了一个混乱的场景的基础上学到的常识对象的位置和房间安排先验。TIDEE探索家庭环境，检测出它们的自然位置的对象，为它们推断出合理的对象上下文，在当前场景中定位这些上下文，并重新定位对象。常识先验被编码在三个模块中：i）视觉语义检测器，其检测不适当的对象; ii）对象和空间关系的关联神经图存储器，其提出用于对象重新定位的合理语义容器和表面;以及iii）视觉搜索网络，其引导代理的探索以有效地定位当前场景中的感兴趣的容器以重新定位对象。我们在AI 2 THOR模拟环境中测试TIDEE整理杂乱无章的场景。TIDEE直接从像素和原始深度输入执行任务，而无需事先观察同一个房间，仅依赖于从一组单独的训练室学习的先验知识。对由此产生的房间重组的人类评估显示，TIDEE优于不使用一个或多个常识先验的模型的消融版本。在一个相关的房间重排基准，允许代理查看目标状态之前，重新安排，我们的模型的简化版本显着优于一个最高性能的方法由一个大的利润率。代码和数据可在项目网站上获得：https://tidee-agent.github.io/。
2022-07-21 cs.CV
SG-Tailor: Inter-Object Commonsense Relationship Reasoning for Scene Graph Manipulation
ETH Zurich（苏黎世联邦理工学院）；TU Munich（慕尼黑工业大学）；Google（谷歌公司）；Microsoft（微软公司）
SG-Tailor是一种自回归模型，通过预测无冲突关系并采用剪切-拼接策略解决边修改冲突，实现场景图的节点添加与边修改操作，大幅优于现有方法，可即插即用于场景生成和机器人操作。
2025-03-23 cs.AI cs.CV cs.LG
3D Scene Graph Prediction on Point Clouds Using Knowledge Graphs
University of California San Diego（加州大学圣地亚哥分校）
本文研究如何利用常识知识图谱和消息传递机制改进室内点云的3D场景图预测，实验表明外部和内部知识分别带来15.0%与7.96%的准确率提升，并验证了真实机器人场景下10 FPS的可行性。
2023-08-13 cs.CV cs.RO
Video2Commonsense: Generating Commonsense Descriptions to Enrich Video Captioning
Arizona State University（亚利桑那州立大学）
字幕是视频理解的一项重要而又具有挑战性的任务。在涉及诸如人类的主动代理的视频中，代理的动作可以在场景中带来无数变化。诸如场景中的对象的移动、操纵和变换的可观察到的变化反映在传统的视频描述中。与图像不同，视频中的动作也与社会方面有内在联系，如意图（为什么动作发生），效果（由于动作而发生的变化）和描述代理的属性。因此，对于视频理解，例如当为视频添加字幕或回答有关视频的问题时，必须了解这些常识方面。我们提出了直接从视频中生成常识性字幕的第一项工作，以描述潜在的方面，如意图，效果和属性。我们提出了一个新的数据集“视频到常识（V2 C）”，其中包含$\sim9k$视频的人类代理执行各种动作，注释与3种类型的常识描述。此外，我们探索使用开放式的视频为基础的常识问答（V2 C-QA）作为一种方式来丰富我们的字幕。生成任务和QA任务都可以用来丰富视频字幕。
2023-01-07 cs.CL cs.CV
VCD: A Dataset for Visual Commonsense Discovery in Images
School of Computer Science and Engineering（计算机科学与工程学院）
本文提出大规模视觉常识数据集 VCD，包含超10万图像和1400万对象-常识对，并构建三级分类体系与生成模型 VCM，以推进视觉 grounding 常识理解与推理。
2025-06-05 cs.AI cs.CV
ActionCOMET: A Zero-shot Approach to Learn Image-specific Commonsense Concepts about Actions
Arizona State University（亚利桑那州立大学）
本文提出零样本框架ActionCOMET，通过多模态任务从图像中学习动作的常识概念，并构建了包含8.5k图像和59.3k推断的数据集进行验证。
2024-10-17 cs.CV
Few-shot Scene-adaptive Anomaly Detection
University of Manitoba（曼尼托巴大学）；Huawei Technologies Canada（华为技术加拿大）
我们解决视频中的异常检测问题。目标是通过专门从正常视频中学习来自动识别异常行为。大多数现有的方法通常是数据饥饿，并具有有限的推广能力。它们通常需要在来自目标场景的大量视频上进行训练，以在该场景中获得良好的效果。在本文中，我们提出了一种新的Few-Shot场景自适应异常检测问题，以解决以前的方法的局限性。我们的目标是学习在只有几帧的情况下检测以前看不见的场景中的异常。针对这个新问题的可靠解决方案将在现实世界的应用中具有巨大的潜力，因为为每个目标场景收集大量数据是昂贵的。我们提出了一种基于元学习的方法来解决这个新问题，大量的实验结果证明了我们所提出的方法的有效性。
2020-07-15 cs.CV cs.LG
CRIC: A VQA Dataset for Compositional Reasoning on Vision and Commonsense
Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
或者，对视觉事实和常识进行推断是高级VQA系统的基础。这种能力要求模型超越对常识的字面理解。系统不应该仅仅将对象作为查询背景知识的入口，而是将常识充分扎根于视觉世界，想象对象之间可能的关系，例如，“叉，可以举起，食物”。为了全面评估这些能力，我们提出了一个VQA基准，CRIC，它引入了新类型的问题，关于组合推理的vIsion和常识，和一个评估指标集成的答案和常识接地的正确性。为了收集这些问题和丰富的附加注释来支持度量，我们还提出了一种自动算法来从与图像和相关知识图谱相关联的场景图中生成问题样本。我们进一步分析了CRIC数据集上几种代表性的VQA模型。实验结果表明，将常识知识与图像区域相结合，以及基于视觉和常识知识的联合推理对于现有方法来说仍然是一个挑战。该数据集可在https://cricvqa.github.io上获得。
2021-10-27 cs.AI cs.CV
Attention Mechanism based Cognition-level Scene Understanding
Institute for Information Processing, Leibniz University Hannover（汉诺威莱布尼茨大学信息处理研究所）
本文提出并行注意力认知VCR网络PAVCR，通过高效融合视觉-文本信息并并行编码语义，解决现有方法泛化性差和长序列信息丢失问题，在VCR基准上显著优于现有方法。
2025-03-07 cs.AI cs.CV
Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors
ETH Zürich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一种从图像中推断人与物体交互的各种3D模型的方法。从单个2D图像中推理人类如何与复杂场景中的对象交互是一项具有挑战性的任务，因为通过投影丢失信息会产生模糊性。此外，建模3D交互需要对不同对象类别和交互类型的泛化能力。我们提出了一个动作条件的交互建模，使我们能够推断出不同的3D安排的人和物体，而无需监督接触区域或3D场景几何。该方法从大语言模型（如GPT-3）中提取高级常识知识，并将其应用于人机交互的3D推理。我们的主要观点是，从大语言模型中提取的先验信息可以帮助我们仅从文本提示中推理人与物体的接触。我们在一个大型的人-物体交互数据集上定量评估了推断的3D模型，并展示了我们的方法如何导致更好的3D重建。我们进一步定性评估我们的方法对真实图像的有效性，并证明其对交互类型和对象类别的推广。
2022-09-06 cs.CL cs.CV
Multi-level Cross-modal Feature Alignment via Contrastive Learning towards Zero-shot Classification of Remote Sensing Image Scenes
Henan Key Laboratory of Big Data Analysis and Processing（河南省大数据分析与处理重点实验室）；Henan Engineering Laboratory of Spatial Information Processing（河南省空间信息处理工程实验室）；Henan Industrial Technology Academy of Spatio-Temporal Big Data, Henan University（河南大学河南时空大数据产业技术研究院）
针对现有零样本遥感影像场景分类跨模态对齐方法忽略类间对比关系、易受类内差异和噪声影响的问题，提出融合单实例正对齐与跨实例对比的多级对齐方法，性能优于现有最优水平。
2023-05-31 cs.CV cs.LG
Diorama: Unleashing Zero-shot Single-view 3D Indoor Scene Modeling
Simon Fraser University（西蒙菲莎大学）；Brown University（布朗大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出Diorama零样本开放世界系统，通过分解建筑重建、形状检索、位姿估计与布局优化等子任务，从单视图RGB图像构建可交互3D室内场景。
2025-03-14 cs.CV cs.LG
From Representation to Reasoning: Towards both Evidence and Commonsense Reasoning for Video Question-Answering
Shanghai Jiao Tong University（上海交通大学）
视频理解在表示学习方面取得了很大的成功，如视频字幕、视频对象背景、视频描述性问答等。然而，现有的视频推理方法在视频推理方面仍存在一些问题，包括证据推理和常识推理。为了促进对视频推理的更深入的视频理解，我们提出了Cause-VidQA的任务，其中包括四种类型的问题，从场景描述（描述）到证据推理（解释）和常识推理（预测和反事实）。对于常识推理，我们通过回答问题和提供适当的理由来建立两步解决方案。通过对现有视频质量评估方法的大量实验，我们发现现有的视频质量评估方法描述能力强，但推理能力弱。我们希望Cause-VidQA能够指导视频理解从表示学习向更深层次推理的研究。数据集和相关资源可在\url{https://github.com/bcmi/Causal-VidQA.git}上获得。
2022-05-30 cs.CL cs.CV cs.MM
Cognitive Visual Commonsense Reasoning Using Dynamic Working Memory
Leibniz University of Hannover（汉诺威莱布尼茨大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；China Europe International Business School（中欧国际工商学院）；Auburn University（奥本大学）；Guangdong Pharmaceutical University（广东药科大学）；University of Southern Queensland（南昆士兰大学）
针对视觉常识推理中先验知识与泛化不足的问题，提出基于动态工作记忆的认知VCR网络，在VCR基准上显著提升性能并提供直观解释。
2023-12-07 cs.CV
SG-Bot: Object Rearrangement via Coarse-to-Fine Robotic Imagination on Scene Graphs
Technical University of Munich（慕尼黑工业大学）；Google（谷歌公司）
本文提出SG-Bot框架，通过场景图表示与由粗到细的想象过程，结合常识与用户指令生成细粒度目标场景并制定动作策略，在物体重排列任务上大幅优于现有方法。
2024-03-24 cs.CV cs.RO
Combining Commonsense Reasoning and Knowledge Acquisition to Guide Deep Learning in Robotics
University of Birmingham（伯明翰大学）；The University of Auckland（奥克兰大学）
基于深度网络模型的算法正在用于机器人和人工智能中的许多模式识别和决策任务。训练这些模型需要大量的标记数据集和大量的计算资源，这在许多领域都不容易获得。同时，也很难探索这些模型的内部表示和推理机制。作为解决底层知识表示、推理和学习挑战的一步，本文描述的架构从认知系统的研究中汲取灵感。作为一个激励的例子，我们考虑一个辅助机器人试图减少混乱，在任何给定的场景中，通过推理的对象的遮挡和稳定的对象配置的图像中的场景。在这种情况下，我们的架构逐步学习和修改对象之间的空间关系的接地，并使用此接地从输入图像中提取空间信息。非单调逻辑推理与此信息和不完整的常识领域的知识是用来作出决定的稳定性和闭塞。对于无法通过这种推理处理的图像，自动识别与手头任务相关的区域，并用于训练深度网络模型以做出所需的决策。用于训练深度网络的图像区域也用于增量地获取先前未知的状态约束，这些状态约束与现有知识合并以用于后续推理。使用模拟和真实图像进行的实验评估表明，与仅基于深度网络的基线相比，我们的架构提高了决策的可靠性，并减少了训练数据驱动的深度网络模型所涉及的工作。
2022-01-25 cs.AI cs.CV cs.LG
Few-Shot Scene Adaptive Crowd Counting Using Meta-Learning
University of Manitoba（曼尼托巴大学）
研究了Few-Shot场景自适应人群计数问题。给定一个目标相机场景，我们的目标是使模型适应这个特定场景，只有该场景的几个标记图像。这个问题的解决方案在许多现实世界的场景中具有潜在的应用，在这些场景中，我们理想地希望部署一个专门适应目标摄像机的人群计数模型。我们完成这一挑战的灵感来自最近推出的学习到学习的范式的背景下，Few-Shot制度。在训练中，我们的方法以一种便于快速适应目标场景的方式学习模型参数。在测试时，给定一个具有少量标记数据的目标场景，我们的方法通过对学习参数进行一些梯度更新来快速适应该场景。大量的实验结果表明，该方法在Few-Shot场景自适应人群计数中优于其他方法。代码可在https://github.com/maheshkkumar/fscc上获得。
2020-06-19 cs.CV
Discovering Novel Actions from Open World Egocentric Videos with Object-Grounded Visual Commonsense Reasoning
Auburn University（奥本大学）
本文提出ALGO框架，结合对象锚定视觉-语言模型与符号知识库，通过神经符号推理在开放世界第一人称视频中发现新动作，并在多个数据集上验证了其有效性。
2024-05-03 cs.CV
Shot Contrastive Self-Supervised Learning for Scene Boundary Detection
Amazon Prime Video（亚马逊Prime Video）
场景在将电影和电视剧的故事情节分解成语义上有凝聚力的部分方面起着至关重要的作用。然而，鉴于其复杂的时间结构，寻找场景边界可能是一项具有挑战性的任务，需要大量的标记训练数据。为了解决这一挑战，我们提出了一个自我监督的镜头对比学习方法（ShotCoL）学习镜头表示，最大限度地提高附近的镜头之间的相似性相比，随机选择的镜头。我们展示了如何将我们学习的镜头表示应用于场景边界检测任务，以在MovieNet数据集上提供最先进的性能，同时只需要约25%的训练标签，使用9倍的模型参数，并提供7倍的运行时间。为了评估ShotCoL在场景边界检测的新应用中的有效性，我们承担了在电影和电视剧中找到时间戳的问题，其中可以插入视频广告，同时提供最小的破坏性观看体验。为此，我们收集了一个名为AdCuepoints的新数据集，其中包含3，975部电影和电视剧集，220万个镜头和19，119个最小破坏性广告提示点标签。我们对该数据集进行了全面的实证分析，证明了ShotCoL用于广告提示点检测的有效性。
2021-04-28 cs.CV
Zero-shot object prediction using semantic scene knowledge
TU Dortmund University（多特蒙德工业大学）
这项工作的重点是视觉对象识别中场景和对象之间的语义关系。语义知识可以是一个强大的信息源，特别是在很少或没有注释的训练样本的情况下。这些场景被称为zero-shot或Few-Shot识别，并且通常建立在视觉属性上。这里，不是依赖于各种视觉属性，而是追求更直接的方式：在识别图像中描绘的场景之后，场景和对象之间的语义关系用于以无监督的方式预测对象的存在。最重要的是，场景和对象之间的关系可以很容易地从外部源（例如来自Web的大规模文本语料库）获得，因此不需要大量的手动标记工作。它将被证明，在混乱的场景中，视觉识别是困难的，场景知识是预测对象的重要线索。
2016-12-22 cs.CV
Do Vision-Language Transformers Exhibit Visual Commonsense? An Empirical Study of VCR
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文实证研究发现视觉语言Transformer在VCR任务中未展现视觉常识，指出预训练收益小、语言偏差、架构受限及对象-标签关联缺失等问题，并提出未来研究方向。
2024-05-27 cs.CV
Less is More: Toward Zero-Shot Local Scene Graph Generation via Foundation Models
Pennsylvania State University（宾夕法尼亚州立大学）
该研究提出局部场景图生成新任务，构建基于多基础模型协作的零样本ELEGANT框架，还设计了开放式ECLIPSE评估指标，在开/闭集设置下均取得性能提升。
2023-10-02 cs.CV
Visual Localization via Few-Shot Scene Region Classification
Shandong University（山东大学）；ETH Zurich（苏黎世联邦理工学院）；Aalto University（阿尔托大学）；Fuzhou University（福州大学）；Microsoft（微软）；Peking University（北京大学）
视觉（重）定位解决了估计在已知场景中捕获的查询图像的6-DoF（自由度）相机姿态的问题，这是许多计算机视觉和机器人应用的关键构建块。基于结构的定位的最新进展通过使用神经网络记忆从图像像素到场景坐标的映射以构建用于相机姿态优化的2D-3D对应关系来解决这个问题。然而，这种记忆需要通过每个场景中的大量姿势图像进行训练，这是繁重且低效的。相反，Few-Shot图像通常足以覆盖场景的主要区域，以便人类操作员执行视觉定位。在本文中，我们提出了一个场景区域分类方法，以实现快速和有效的场景记忆与Few-Shot图像。我们的洞察力是利用a）预先学习的特征提取器，b）场景区域分类器和c）元学习策略来加速训练，同时减轻过拟合。我们评估我们的方法在室内和室外基准。实验验证了该方法在Few-Shot场景下的有效性，训练时间显著缩短到几分钟。可用代码：\url{https://github.com/siyandong/SRC}
2022-08-14 cs.CV
Deep Zero-Shot Learning for Scene Sketch
Beijing University of Posts and Telecommunications（北京邮电大学）
我们引入了一个新的场景草图零样本学习（SSSML）问题，这是一个具有挑战性的任务，因为（i）与照片不同，公共语义域（例如，词向量）和草图太大，利用共同的语义知识作为知识传递的桥梁，（ii）相比，单一的对象草图，更有表现力的特征表示的场景草图，需要适应其高层次的抽象和复杂性。为了克服这些挑战，我们提出了一个深度嵌入模型的场景草图零样本学习。特别地，我们提出了增强语义向量，通过融合多模态语义知识（例如，卡通图像、自然图像、文本描述），采用基于注意力的网络进行场景草图特征学习。此外，我们提出了一种新的距离度量，以改善测试过程中的相似性度量。广泛的实验和消融研究证明了我们的草图特定设计的好处。
2019-05-11 cs.CV
Cognitive Interpretation of Everyday Activities: Toward Perceptual Narrative Based Visuo-Spatial Scene Interpretation
University of Bremen（不来梅大学）
我们定位一个叙事为中心的计算模型，高层次的知识表示和推理的范围内的辅助技术与“视觉空间感知和认知”的任务。我们提出的叙事模型包括\emph{space, events, actions, change, and interaction}等方面，从常识推理和大规模认知系统中的学习的观点。本文的广泛重点是在智能环境，环境智能等领域的“人类活动的解释”的背景下，“智能会议摄影”域，我们的位置提出的叙事模型，感性叙事的初步工作，并立即展望构建通用的开源工具感性叙事。ACM分类：I.2人工智能：I.2.0一般-认知模拟，I.2.4知识表示形式和方法，I.2.10视觉和场景理解：架构和控制结构，运动，感知推理，形状，视频分析一般关键词：认知系统;人机交互;空间认知和计算;常识推理;空间和时间推理;辅助技术
2013-06-22 cs.AI cs.CV cs.HC
