NeuroSymbEAD: A Large Scale Neuro-Symbolic Caption Dataset for Omni-Directional Embodied Autonomous Driving
DFKI(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯泽斯劳滕-兰道工业大学);BITS-Pilani, Hyderabad(比拉理工学院海得拉巴校区)
本文提出NeuroSymbEAD,一个基于KITTI-360的大规模神经符号字幕数据集,通过自我中心知识图谱生成多层次场景字幕,为自动驾驶的视觉语言模型提供交通场景解释和3D推理基准。
2026-09-16 cs.CV
SceneCritic: A Symbolic Evaluator for 3D Indoor Scene Synthesis
Stony Brook University(石溪大学)
本文提出SceneCritic,一种基于空间本体的符号评估器,用于评估3D室内场景合成的语义、方向和几何一致性,通过不同批评模式验证模型的空间结构构建与修正能力。
2026-04-14 cs.CL cs.CV
Adding Intuitive Physics to Neural-Symbolic Capsules Using Interaction Networks
Institute for Applied Computer Science(应用计算机科学研究所);Bundeswehr University Munich(慕尼黑联邦国防军大学)
目前许多学习直观物理的方法都是基于交互网络和类似的方法。然而,它们依赖于过去被证明难以直接从图像数据中估计的信息。我们的目标是缩小这一差距,推断所有的语义信息需要从原始像素数据的形式的场景图。我们的方法是基于神经符号胶囊,它识别场景中的对象是静态的,动态的,弹性的或刚性的,它们之间可能的关节,以及它们的碰撞信息。通过将所有这些与交互网络相结合,我们展示了我们的方法如何能够直接从图像序列中学习直观的物理学,并将其知识应用于新的场景和对象,从而形成反向模拟管道。
2019-06-22 cs.CV
CRAFT: A Neuro-Symbolic Framework for Visual Functional Affordance Grounding
Auburn University(亚伯拉罕大学)
CRAFT是一个神经符号框架,融合ConceptNet、语言模型与CLIP,通过基于能量的迭代推理实现可解释的视觉功能可供性定位,在无标签多物体场景中同时提升准确率与可解释性。
2025-07-19 cs.CV
LASER: A Neuro-Symbolic Framework for Learning Spatial-Temporal Scene Graphs with Weak Supervision
University of Pennsylvania(宾夕法尼亚大学);University of Central Florida(中央佛罗里达大学)
针对时空场景图学习依赖人工标注的问题,提出神经符号框架LASER,以视频字幕为弱监督,通过大语言模型提取逻辑规范并结合多损失与可微分符号推理器训练生成器,在多个数据集上性能超越全监督基线。
2025-10-27 cs.CV cs.LG cs.LO
Symbolic Replay: Scene Graph as Prompt for Continual Learning on VQA Task
National University of Singapore(新加坡国立大学);Tencent Data Platform(腾讯数据平台);Agency for Science, Technology and Research(新加坡科技研究局)
VQA是一项雄心勃勃的任务,旨在回答任何与图像相关的问题。然而,在现实中,由于用户的需求不断更新,系统必须实现新的功能,因此很难一次性建立这样的系统。因此,持续学习(CL)能力是开发先进VQA系统的必要条件。最近,一个先驱工作将VQA数据集分成不相交的答案集来研究这个主题。然而,VQA上的CL不仅涉及标签集的扩展(新的答案集)。研究如何在将VQA系统部署到新环境(新视觉场景)时回答问题以及如何回答需要新功能的问题(新问题类型)至关重要。因此,我们提出了CLOVE,一个基准的持续学习在视觉问答,其中包含场景和功能的增量设置为上述两个CL方案。在方法论方面,CL对VQA和分类之间的主要区别是,前者还涉及扩展和防止遗忘的推理机制,而后者侧重于类表示。因此,我们提出了一个真实的数据自由重放为基础的方法定制CL VQA,命名为场景图提示符号重放。使用一个场景图作为提示,它重放伪场景图来表示过去的图像,以及相关的QA对。提出了一个统一的VQA模型,利用当前数据和回放数据来增强其QA能力。最后,实验结果揭示了CLOVE中的挑战,并证明了我们的方法的有效性。数据集和代码将在https://github.com/showlab/CLVQA上提供。
2022-08-29 cs.CV
A Neural-Symbolic Architecture for Inverse Graphics Improved by Lifelong Meta-Learning
Institute for Applied Computer Science Bundeswehr University Munich(慕尼黑联邦国防军大学应用计算机科学研究所)
我们遵循的想法,制定视觉作为逆图形,并提出了一种新的类型的元素,这项任务,一个神经象征胶囊。它能够将场景去渲染为语义信息前馈,以及渲染它的反馈。从生成语法中获得用于图形基元的胶囊的初始集合,并将其连接到完整的胶囊网络中。终身元学习通过为它使用少样本学习在场景中检测到的新的和更复杂的对象添加胶囊来不断提高该网络的检测能力。初步结果证明了我们新方法的潜力。
2019-09-05 cs.CV
A Neuro-Symbolic ASP Pipeline for Visual Question Answering
Institute of Logic and Computation(逻辑与计算研究所)
我们提出了一个神经符号视觉问答(VQA)管道CLEVR,这是一个众所周知的数据集,由图片显示的场景与对象和与它们相关的问题。我们的管道包括(i)训练神经网络进行CLEVR场景的对象分类和边界框预测,(ii)对神经网络的预测值分布进行统计分析,以确定高置信度预测的阈值,以及(iii)将CLEVR问题和网络预测转换为逻辑程序,以便我们可以使用ASP求解器计算答案。通过利用选择规则,我们考虑确定性和非确定性场景编码。我们的实验表明,非确定性的场景编码取得了良好的效果,即使神经网络的训练,而确定性的方法相比,相当差。如果网络预测不够完美,这对于构建强大的VQA系统非常重要。此外,我们表明,限制非确定性的合理选择,允许更有效的实现与相关的神经符号的方法相比,而不会失去太多的准确性。这项工作正在考虑接受在TPLP。
2022-05-16 cs.AI cs.CV
Improving Scene Graph Classification by Exploiting Knowledge from Texts
Ludwig Maximilian University of Munich(路德维希·马克西米利安慕尼黑大学)
训练场景图分类模型需要大量带注释的图像数据。同时,场景图表示可以用来自文本或知识图谱的符号数据建模的关系知识。虽然图像注释需要大量的劳动力,但收集自然场景的文本描述需要较少的努力。在这项工作中,我们调查文本场景描述是否可以取代带注释的图像数据。为此,我们采用了一个场景图分类框架,不仅从注释图像,而且从符号数据进行训练。在我们的体系结构中,符号实体首先映射到其对应的基于图像的表示,然后送入关系推理管道。即使知识的结构化形式,如知识图谱中的形式,并不总是可用的,我们可以使用基于transformer的语言模型从非结构化文本中生成它。我们表明,通过使用从文本中提取的知识微调分类管道,我们可以在场景图分类中获得约8倍的准确结果,在对象分类中获得约3倍的准确结果,在谓词分类中获得约1.5倍的准确结果,而监督基线只有1%的注释图像。
2021-10-08 cs.AI cs.CV
Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding
Harvard University(哈佛大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);DeepMind(深度思维)
我们结合了两个强大的想法:用于视觉识别和语言理解的深度表示学习,以及用于推理的符号程序执行。我们的神经符号视觉问答(NS-VQA)系统首先从图像中恢复一个结构化的场景表示,并从问题中恢复一个程序跟踪。然后,它在场景表示上执行程序以获得答案。将符号结构作为先验知识提供了三个独特的优势。首先,在符号空间上执行程序对长程序跟踪更鲁棒;我们的模型可以更好地解决复杂的推理任务,在CLEVR数据集上实现了99.8%的准确率。第二,该模型具有更高的数据和内存效率:它在少量训练数据上学习后表现良好;它还可以将图像编码为紧凑的表示,比现有的离线问答方法需要更少的存储空间。第三,符号程序的执行为推理过程提供了完全的透明性;因此我们能够解释和诊断每个执行步骤。
2019-01-14 cs.AI cs.CL cs.CV
Extracting Symbolic Sequences from Visual Representations via Self-Supervised Learning
Universidad Nacional Autónoma de México(墨西哥国立自治大学);Posgrado en Ciencia e Ingeniería de la Computación(计算机科学与工程研究生课程);Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas(应用数学与系统研究所)
本文提出扩展DINO框架,利用自监督学习从视觉数据生成离散符号序列,并通过解码器交叉注意力实现可解释性,为高层场景理解奠定基础。
2025-03-06 cs.CV cs.LG
KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
VQA中最具挑战性的问题类型之一是回答问题需要图像中不存在的外部知识。在这项工作中,我们研究开放域知识,当回答问题所需的知识没有给出/注释时,无论是在训练还是测试时。我们利用两种类型的知识表示和推理。第一,隐式知识,可以有效地学习无监督的语言预训练和监督训练数据与基于transformer的模型。第二,在知识库中编码的明确的、符号化的知识。我们的方法结合了两者-利用Transformer模型的强大隐式推理进行答案预测,并从知识图谱中集成符号表示,同时不会将其显式语义丢失到隐式嵌入。我们结合不同的知识来源,以涵盖解决基于知识的问题所需的各种知识。我们展示了我们的方法,KRISP(知识推理与隐式和符号再现),显着优于最先进的OK-VQA,最大的可用数据集的开放域知识为基础的VQA。我们展示了广泛的消融,而我们的模型成功地利用了隐含的知识推理,明确连接的知识图谱的答案词汇的符号答案模块是至关重要的性能,我们的方法和推广到罕见的答案。
2020-12-20 cs.CL cs.CV
Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文系统综述了神经符号计算(NeSy)的发展历史、关键驱动因素、方法分类、应用与基准评测,并展望未来方向,旨在推动数据与知识驱动的人工智能发展。
2024-10-03 cs.AI cs.CV cs.LG
EXplainable Neural-Symbolic Learning (X-NeSyL) methodology to fuse deep learning representations with expert knowledge graphs: the MonuMAI cultural heritage use case
ENSTA, Institut Polytechnique Paris(巴黎综合理工学院ENSTA);Inria(法国国家信息与自动化研究所);DaSCI Andalusian Institute in Data Science and Computational Intelligence, University of Granada(格拉纳达大学DaSCI安达卢西亚数据科学与计算智能研究所);University of Granada(格拉纳达大学);Free University of Bozen-Bolzano(波尔扎诺自由大学)
最新的用于检测和分类的深度学习(DL)模型比经典的机器学习算法实现了前所未有的性能。然而,DL模型是难以调试、解释和验证的黑盒方法。DL本身无法提供非技术受众可以验证的解释。相比之下,将概念转换为规则或符号的符号人工智能系统-例如知识图谱-更容易解释。然而,它们具有较低的泛化和扩展能力。一个非常重要的挑战是融合DL表示与专家知识。解决这一挑战以及性能-可解释性权衡的一种方法是在不排除领域专家知识的情况下利用两个流的最佳效果。我们通过考虑符号知识以领域专家知识图谱的形式表示来解决这个问题。我们提出了可解释的神经符号学习(X-NeSyL)方法,旨在学习符号和深度表示,以及一个可解释性指标,以评估机器和人类专家解释的一致性水平。最终目标是在学习过程中将DL表示与专家领域知识融合,以作为可解释性的良好基础。X-NeSyL方法分别涉及在推理和训练时具体使用两种解释概念:1)EXPLANet:基于专家对齐的可解释部分的cLAsifier NETwork架构,一种使用符号表示的组合CNN,以及2)SHAP-Backprop,一种可解释的AI通知训练程序,引导DL过程与知识图谱形式的符号表示对齐。我们展示了使用MonuMAI数据集进行纪念碑立面图像分类的X-NeSyL方法,并证明了我们的方法提高了可解释性和性能。
2021-10-13 cs.AI cs.CV cs.LG
Privacy Preserving Visual Question Answering
Amazon(亚马逊)
我们引入了一种新的隐私保护方法,用于在边缘执行视觉问答。我们的方法构建了一个符号表示的视觉场景,使用低复杂度的计算机视觉模型,共同预测类,属性和谓词。这种符号表示是不可微的,这意味着它不能用于恢复原始图像,从而保持原始图像的私密性。我们提出的混合解决方案使用的视觉模型比当前最先进的(SOTA)视觉模型小25倍以上,比端到端SOTA VQA模型小100倍。我们报告详细的错误分析,并讨论了使用蒸馏视觉模型和视觉场景的符号表示的权衡。
2022-02-15 cs.CV
GraSP-VLA: Graph-based Symbolic Action Representation for Long-Horizon Planning with VLA Policies
Computing Science Department, Umeå University(乌梅亚大学计算机科学系);PrioriAnalytica(PrioriAnalytica公司);Bretagne INP - ENIB(布列塔尼INP-ENIB);IMT Atlantique(IMT阿蒂安提大学);CNRS IRL 2010 CROSSING(国家科学研究中心IRL 2010 CROSSING)
本文提出GraSP-VLA框架,利用连续场景图从人类演示中生成符号动作表示,在推理时自动生成规划域并编排底层VLA策略,以提升机器人在长时程任务中的规划与动作执行能力。
2025-11-06 cs.CV cs.RO
Amortized Object and Scene Perception for Long-term Robot Manipulation
University of Bremen(不来梅大学)
移动机器人在人类环境中进行长期的操作活动,必须感知各种各样的具有非常不同的视觉特性的对象,并需要在整个任务执行过程中可靠地跟踪这些对象。为了提高效率,机器人的感知能力需要超越当前可感知的范围,并且应该能够回答有关当前和过去场景的查询。在本文中,我们研究了一个长期的机器人操作的感知系统,跟踪不断变化的环境,并建立一个代表性的感知世界。具体来说,我们引入了一个摊销组件,在整个执行周期中传播感知任务。由此产生的查询驱动的感知系统异步集成的结果,从记录的图像到一个符号和数字(我们称之为子符号)表示,形成的感知信念状态的机器人。
2019-03-28 cs.AI cs.CV cs.RO
Learning Differentiable Logic Programs for Abstract Visual Reasoning
针对抽象视觉推理中一阶逻辑表达受限与内存开销大的问题,提出图基可微前向推理器NEUMANN及高效结构学习算法,并引入幕后视觉推理任务,实验表明其性能优于神经、符号及神经符号基线。
2025-07-04 cs.AI cs.CV cs.LG
Embedding Symbolic Knowledge into Deep Networks
National University of Singapore(新加坡国立大学)
在这项工作中,我们的目标是利用先验符号知识来提高深度模型的性能。我们提出了一个图嵌入网络,通过一个增广的图卷积网络(GCN)将命题公式(和赋值)投影到流形上。为了生成语义上忠实的嵌入,我们开发了识别节点异质性的技术,以及将结构约束纳入嵌入的语义正则化。实验表明,我们的方法提高了模型的性能训练执行蕴涵检查和视觉关系预测。有趣的是,我们观察到之间的关系的易处理性的命题理论表示和嵌入的容易性。未来对这种联系的探索可能会阐明知识编译和向量表示学习之间的关系。
2019-10-29 cs.AI cs.CV cs.MM
NS3D: Neuro-Symbolic Grounding of 3D Objects and Relations
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
在3D场景中建立对象属性和关系是广泛的人工智能任务的先决条件,例如视觉基础对话和具体操作。然而,3D域的可变性引发了两个基本挑战:1)标记的费用和2)3D接地语言的复杂性。因此,模型的基本要求是数据高效,推广到不同的数据分布和具有不可见语义形式的任务,以及基础复杂语言语义(例如,视点锚定和多对象参考)。为了应对这些挑战,我们提出了NS3D,一个用于3D接地的神经符号框架。NS3D通过利用大型语言到代码模型将语言转换为具有层次结构的程序。程序中的不同功能模块用神经网络实现。值得注意的是,NS3D通过引入有效地推理高元关系(即,两个以上对象之间的关系),关键在于消除复杂3D场景中对象的歧义。模块化和组合架构使NS3D能够在ReferIt3D视图依赖任务(3D引用表达式理解基准)上实现最先进的结果。重要的是,NS3D在数据效率和泛化设置方面表现出显着改进的性能,并展示了zero-shot向看不见的3D问答任务的转移。
2023-03-23 cs.AI cs.CV
MoST: Multi-modality Scene Tokenization for Motion Prediction
Waymo LLC(Waymo公司)
本文提出MoST方法,将多模态场景观测令牌化为紧凑的场景元素,结合图像基础模型与LiDAR神经网络进行开放词汇编码,在Waymo Open Motion Dataset上显著超越现有运动预测方法。
2024-04-30 cs.CV
Zero-shot object prediction using semantic scene knowledge
TU Dortmund University(多特蒙德工业大学)
这项工作的重点是视觉对象识别中场景和对象之间的语义关系。语义知识可以是一个强大的信息源,特别是在很少或没有注释的训练样本的情况下。这些场景被称为zero-shot或Few-Shot识别,并且通常建立在视觉属性上。这里,不是依赖于各种视觉属性,而是追求更直接的方式:在识别图像中描绘的场景之后,场景和对象之间的语义关系用于以无监督的方式预测对象的存在。最重要的是,场景和对象之间的关系可以很容易地从外部源(例如来自Web的大规模文本语料库)获得,因此不需要大量的手动标记工作。它将被证明,在混乱的场景中,视觉识别是困难的,场景知识是预测对象的重要线索。
2016-12-22 cs.CV
XAI-MeD: Explainable Knowledge Guided Neuro-Symbolic Framework for Domain Generalization and Rare Class Detection in Medical Imaging
XAI-MeD通过整合临床知识的神经符号框架,提升医学影像中领域泛化和稀有类别检测的性能,实现更鲁棒和可解释的多模态医学AI。
2026-01-05 cs.AI cs.CV
Faster-LTN: a neuro-symbolic, end-to-end object detection architecture
Politecnico di Torino(都灵理工大学);Dipartimento di Automatica e Informatica(自动化与信息系)
检测图像中表示的对象之间的语义关系是图像判读中的基本挑战之一。诸如逻辑张量网络(LTN)的神经符号技术允许语义知识表示和推理与从神经网络的典型示例有效学习的能力的组合。我们在这里提出Faster-LTN,一个由卷积骨干和LTN组成的对象检测器。据我们所知,这是第一次尝试在端到端的培训环境中结合这两个框架。该架构通过优化将标记的示例与先验知识以逻辑公理的形式相结合的扎根理论来训练。实验比较表明,相对于传统的Faster R-CNN架构,它具有竞争力的性能。
2021-07-05 cs.AI cs.CV cs.LO
Recognizing Object Affordances to Support Scene Reasoning for Manipulation Tasks
Georgia Institute of Technology(佐治亚理工学院)
关于场景的示能表示信息提供关于在追求满足指定目标状态时可以执行什么动作的重要线索。因此,将基于可供性的推理集成到符号动作规划管道中将增强机器人操纵的灵活性。不幸的是,表现最好的示能表示识别方法使用对象类别先验来提高示能表示检测和分割的准确性。对象先验限制了对未知对象类别的泛化。本文描述了一种基于类别无关区域建议网络的示能表示识别管道,用于跨类别建议图像的实例区域。为了在没有类别先验的情况下指导示能表示学习,训练过程包括明确推断提议内的现有示能表示的辅助任务。其次,一个自我注意力机制被训练来解释每个提议,学会通过该区域捕捉丰富的上下文依赖关系。视觉基准测试表明,经过训练的网络,称为AffContext,减少了对象不可知和对象知情的启示识别之间的性能差距。AffContext与规划域定义语言(PDDL)相关联,并具有增强的状态保持器,用于跨时间间隔的目标导向任务进行行动规划。操作实验表明,AffContext可以成功地解析场景内容,种子一个符号规划器的问题规格说明,其执行完成目标任务。此外,以任务为导向的抓取切割和冲击行动表明,利用多个启示,为一个给定的对象,以完成指定的任务。
2020-09-12 cs.CV cs.RO
3D Scene Graph Prediction on Point Clouds Using Knowledge Graphs
University of California San Diego(加州大学圣地亚哥分校)
本文研究如何利用常识知识图谱和消息传递机制改进室内点云的3D场景图预测,实验表明外部和内部知识分别带来15.0%与7.96%的准确率提升,并验证了真实机器人场景下10 FPS的可行性。
2023-08-13 cs.CV cs.RO
Table-Top Scene Analysis Using Knowledge-Supervised MCMC
Technische Universität München(慕尼黑工业大学);Siemens AG(西门子股份公司)
在本文中,我们提出了一种概率方法来生成抽象的场景图的桌面场景从6D物体姿态估计。我们明确地利用特定于任务的上下文知识编码为马尔可夫逻辑网络中的描述性规则。我们的方法来生成场景图是概率的:对象姿态的不确定性是由嵌入在数据驱动的MCMC过程中的概率传感器模型来解决的。我们应用马尔可夫逻辑推理隐藏的对象的原因,并检测错误的估计对象构成。我们的方法的有效性证明和评估在现实世界中的实验。
2020-02-19 cs.CV cs.RO