Visually Grounded Commonsense Knowledge Acquisition
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);National University of Singapore(新加坡国立大学);University of Hamburg(汉堡大学);Tencent(腾讯)
大规模常识知识库为广泛的人工智能应用提供了支持,其中常识知识的自动提取(CKE)是一个基本且具有挑战性的问题。基于文本的CKE因文本中常识的固有稀疏性和报告偏差而闻名。另一方面,视觉感知包含关于现实世界实体的丰富常识知识,例如,(person,can_hold,bottle),其可以用作用于获取接地常识知识的有希望的来源。在这项工作中,我们提出了CLEVER,它将CKE制定为一个远程监督的多实例学习问题,其中模型学习从一袋关于实体对的图像中总结常识关系,而无需对图像实例进行任何人工注释。为了解决这个问题,CLEVER利用视觉语言预训练模型来深入理解袋子中的每个图像,并从袋子中选择信息实例,通过一种新颖的对比注意力机制来总结常识实体关系。综合实验结果表明,CLEVER可以提取有希望的质量常识知识,优于预先训练的语言模型为基础的方法3.9 AUC和6.4 mAUC点。预测的常识得分显示出与人类判断的强相关性,斯皮尔曼系数为0.78。此外,提取的常识也可以接地到具有合理解释性的图像。数据和代码可从https://github.com/thunlp/CLEVER获得。
2023-03-25 cs.AI cs.CL cs.CV
Bayes Meets Entailment and Prediction: Commonsense Reasoning with Non-monotonicity, Paraconsistency and Predictive Accuracy
Cardiff University(卡迪夫大学);National Institute of Technology, Sendai College(仙台国立工业高等专门学校)
最近贝叶斯方法在神经科学和人工智能中取得的成功提出了大脑是贝叶斯机器的假设。由于逻辑和学习都是人类大脑的实践,这导致了另一个假设,即逻辑推理和机器学习都有贝叶斯解释。在本文中,我们介绍了一个生成模型的逻辑后果关系。它形式化了一个句子的真值是如何从世界状态的概率分布中概率地生成的过程。我们表明,生成模型的特点是经典的后果关系,次协调的后果关系和非单调的后果关系。特别是,生成模型给出了一个新的结果关系,优于他们的推理不一致的知识。我们还表明,生成模型给出了一种新的分类算法,在Kaggle Titanic数据集上的预测准确性和复杂性方面优于几种代表性算法。
2021-01-27 cs.AI
DISCOS: Bridging the Gap between Discourse Knowledge and Commonsense Knowledge
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
常识知识对于人工智能系统理解自然语言至关重要。以前的常识性知识获取方法通常依赖于人工注释(例如,ATOMIC)或文本生成模型(例如,COMET)。人工标注可以提供高质量的常识性知识,但人工标注成本高,往往导致标注规模小、覆盖率低。另一方面,生成模型具有自动生成更多知识的潜力。尽管如此,机器学习模型通常很好地拟合训练数据,因此很难生成高质量的新知识。为了解决以前的方法的局限性,在本文中,我们提出了一种替代的常识知识获取框架DISCOS(从DIScourse到COmmonSense),它自动填充昂贵的复杂常识知识,以更实惠的语言知识资源。实验表明,我们可以成功地从ASER,一个大规模的话语知识图谱的可能性的话语知识转换为原子定义的if-then常识知识,没有任何额外的注释工作。进一步的研究表明,DISCOS显着优于以前的监督方法的新颖性和多样性与可比的质量。通过在ASER的核心部分填充ATOMIC,我们总共可以获得3.4M类ATOMIC推理常识知识。代码和数据可在https://github.com/HKUST-KnowComp/DISCOS-commonsense上获得。
2021-02-18 cs.AI cs.CL
Extending Automated Deduction for Commonsense Reasoning
Tallinn University of Technology(塔林理工大学)
常识推理一直被认为是人工智能的圣杯之一。该领域的大多数最新进展都是通过用于自然语言处理的新型机器学习算法实现的。然而,如果不结合逻辑推理,这些算法仍然可以说是肤浅的。除了一些值得注意的例外,实际的自动化逻辑推理机的开发人员大多避免关注这个问题。本文认为,经典一阶逻辑的现有自动推理机所使用的方法和算法可以扩展到常识推理。而不是设计新的专门的逻辑,我们提出了一个框架的扩展主流的分辨率为基础的搜索方法,使这些能够执行搜索任务的实际常识推理合理的效率。建议的扩展主要依赖于普通的证明树上操作,旨在处理常识知识库,包含不一致,默认规则,分类,主题,相关性,置信度和相似性的措施。我们认为,机器学习最适合于常识知识库的构建,而扩展的基于逻辑的方法将非常适合于实际回答来自这些知识库的查询。
2020-03-29 cs.AI
An Overview Of Temporal Commonsense Reasoning and Acquisition
University of Innsbruck(因斯布鲁克大学)
本文综述时间常识推理与获取研究,指出大语言模型虽能生成正确句子但推理浅层,通过多种增强手段提升性能仍难及人类,强调谨慎解读评估结果并合理设计数据集与指标。
2023-11-16 cs.AI cs.CL cs.LG
SP-10K: A Large-scale Evaluation Set for Selectional Preference Acquisition
HKUST(香港科技大学)
选择偏好是一种常见的语言现象,在许多自然语言处理任务中被证明是有用的。为了给SP模型提供一个更好的评估方法,我们引入了SP-10 K,这是一个大规模的评估集,它为5个SP关系上的10,000个SP对的可扩展性提供了人类评级,涵盖了美国英语中2,500个最常见的动词,名词和形容词。利用SP-10 K对三种典型的基于伪消歧的自然电位采集方法进行了评价。为了证明我们的数据集的重要性,我们研究了SP-10 K和ConceptNet 5中常识知识之间的关系,并展示了使用SP来表示常识知识的潜力。我们还使用Winograd模式挑战证明,提出的新SP关系是必不可少的硬代词共指消解问题。
2019-05-14 cs.AI cs.CL
Knowledge Graph-Augmented Korean Generative Commonsense Reasoning
Korea University(高丽大学)
针对语言模型在韩语生成式常识推理中忽略概念关系与深层知识的问题,提出利用韩语知识图谱数据辅助文本生成的方法,实验证明该方法有效提升了推理效率并凸显了辅助数据的重要性。
2023-06-26 cs.AI cs.CL
Neuro-symbolic Commonsense Social Reasoning
University College London(伦敦大学学院)
社会规范是所有人类社会互动的基础,但对它们进行形式化和推理仍然是人工智能系统的主要挑战。我们提出了一个新颖的系统,用于从社会化学101数据集中获取自然语言中的社会经验规则(ROT),并将其转换为一阶逻辑,其中使用神经符号定理证明器执行推理。我们通过几个步骤来实现这一点。首先,ROTs被转换成抽象意义表示(AMR),这是一个图形表示的概念在一个句子中,并对齐AMR与RoberTa嵌入。然后,我们通过一种新的算法生成AMR的替代简化版本,重新组合和合并嵌入,以增加对不同文本措辞和不正确AMR解析的鲁棒性。AMR然后被转换成一阶逻辑,并查询与神经符号定理证明。本文的目标是开发和评估一种神经符号方法,该方法以逻辑形式对社会情境进行显式推理。
2023-03-14 cs.AI
TransOMCS: From Linguistic Graphs to Commonsense Knowledge
The Hong Kong University of Science and Technology(香港科技大学);Allen Institute for AI(艾伦人工智能研究所);University of Pennsylvania(宾夕法尼亚大学)
常识知识获取是人工智能的一个关键问题。获取常识知识的传统方法通常需要费力且昂贵的人工注释,这在大规模上是不可行的。本文探索了一种从语言图中挖掘常识知识的实用方法,目标是将通过语言模式获得的廉价知识转化为昂贵的常识知识。结果是ASER的转换[Zhang等人,2020年],一个大规模的选择偏好知识资源,到TransOMCS,与ConceptNet相同的表示[刘和辛格,2004年],但两个数量级更大。实验结果表明,语言知识的常识知识和所提出的方法的有效性,在数量,新颖性和质量方面的转移。TransOMCS可在https://github.com/HKUST-KnowComp/TransOMCS上公开获取。
2020-05-01 cs.AI cs.CL
Combining Commonsense Reasoning and Knowledge Acquisition to Guide Deep Learning in Robotics
University of Birmingham(伯明翰大学);The University of Auckland(奥克兰大学)
基于深度网络模型的算法正在用于机器人和人工智能中的许多模式识别和决策任务。训练这些模型需要大量的标记数据集和大量的计算资源,这在许多领域都不容易获得。同时,也很难探索这些模型的内部表示和推理机制。作为解决底层知识表示、推理和学习挑战的一步,本文描述的架构从认知系统的研究中汲取灵感。作为一个激励的例子,我们考虑一个辅助机器人试图减少混乱,在任何给定的场景中,通过推理的对象的遮挡和稳定的对象配置的图像中的场景。在这种情况下,我们的架构逐步学习和修改对象之间的空间关系的接地,并使用此接地从输入图像中提取空间信息。非单调逻辑推理与此信息和不完整的常识领域的知识是用来作出决定的稳定性和闭塞。对于无法通过这种推理处理的图像,自动识别与手头任务相关的区域,并用于训练深度网络模型以做出所需的决策。用于训练深度网络的图像区域也用于增量地获取先前未知的状态约束,这些状态约束与现有知识合并以用于后续推理。使用模拟和真实图像进行的实验评估表明,与仅基于深度网络的基线相比,我们的架构提高了决策的可靠性,并减少了训练数据驱动的深度网络模型所涉及的工作。
2022-01-25 cs.AI cs.CV cs.LG
Fact-driven Logical Reasoning for Machine Reading Comprehension
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学)
本文提出一种事实驱动的层次化知识表示方法,通过提取句子主干构成事实单元并构建超图,同时建模句子级和实体级交互,在逻辑推理与对话建模任务上显著提升多种基线模型性能。
2023-05-26 cs.AI cs.CL
Commonsense Properties from Query Logs and Question Answering Forums
Télécom Paris(巴黎电信学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Aberdeen(阿伯丁大学)
关于对象属性、人类行为和一般概念的常识知识对于健壮的AI应用至关重要。然而,自动获取这些知识是具有挑战性的,因为在线资源的稀疏性和偏见。本文介绍了Quasimodo,一种从非标准Web资源中提取常识属性的方法和工具套件。我们设计了新的方法,利用搜索引擎查询日志和QA论坛,并结合由此产生的候选断言与统计线索,从百科全书,书籍和图像标签中的确证步骤。与之前的常识知识库工作不同,Quasimodo专注于通常与某些对象或概念相关的显着属性。广泛的评估,包括外部用例研究,表明Quasimodo提供了比具有可比质量的最先进基线更好的覆盖率。
2021-02-10 cs.AI cs.CL cs.DB
NegatER: Unsupervised Discovery of Negatives in Commonsense Knowledge Bases
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
在机器中编码常识知识是人工智能的长期目标。近年来,自动知识库(KB)的建设技术已经取得了很大的进展。然而,这样的技术主要集中在收购积极(真)KB语句,即使消极(假)语句往往也是重要的判别推理常识知识库。作为对后者的第一步,本文提出了NegatER,一个框架,排名潜在的负面常识知识库使用上下文语言模型(LM)。重要的是,由于大多数知识库不包含否定词,因此NegatER仅依赖于LM中的肯定知识,而不需要地面真实的否定示例。实验表明,与多种对比数据增强方法相比,NegatER产生的否定词更具语法性、连贯性和信息性--在具有挑战性的知识库完成任务中导致统计学上显著的准确性提高,并证实LM中的积极知识可以“重新利用”以生成消极知识。
2021-09-10 cs.AI cs.CL cs.LG
Commonsense Knowledge, Ontology and Ordinary Language
American Institutes for Research(美国研究院);University of Windsor(温莎大学);American University of Beirut(贝鲁特美国大学);AT&T Bell Labs(AT&T贝尔实验室);MetLife(大都会人寿);Cognos, Inc.(科格斯公司)
二十多年前,一场“相当大的革命”压倒性地取代了自然语言处理(NLP)中基于知识的方法,取而代之的是定量(例如,统计的、基于语料库的、机器学习)方法。虽然我们坚信,纯粹的定量方法不能是NLP的唯一范式,但对NLP构建大型知识库的纯粹工程方法的不满在某种程度上是合理的。在本文中,我们希望证明,这两种趋势都是部分误导和时间已经到了丰富的逻辑语义与本体论结构,反映了我们的常识世界观和我们在日常语言中谈论的方式。在本文中,它将被证明,假设这样一个本体结构的自然语言的语义(例如,借代、内涵、重叠、名词性复合词等)都可以得到适当和统一的处理。
2008-08-08 cs.AI cs.CL
Benchmarking Chinese Commonsense Reasoning with a Multi-hop Reasoning Perspective
Douyin Content Group, ByteDance(字节跳动内容部);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
提出中文常识多跳推理基准CCMOR,通过LLM流水线生成多跳问题并人工验证,评估发现大模型在长尾知识与知识密集型推理上存在局限,而检索增强生成可显著提升性能。
2025-10-09 cs.AI cs.CL
SLogic: Subgraph-Informed Logical Rule Learning for Knowledge Graph Completion
Department of Computer Science(计算机科学系);New Mexico State University(新墨西哥州立大学)
SLogic通过子图指导的逻辑规则学习方法,在知识图谱补全中实现更精准的规则权重分配和可解释的推理规则生成。
2026-11-04 cs.AI cs.LG
Implicit Affordance Acquisition via Causal Action-Effect Modeling in the Video Domain
University of Stuttgart(斯图加特大学)
该研究为从视觉域获取可供性常识知识,构建CAE数据集并提出MAM、MEM两项预训练任务,经实验验证方法有效,且预训练模型在零样本物理推理任务上优于FLAVA等基线模型。
2023-12-18 cs.AI cs.CL
A Survey on Knowledge Graphs: Representation, Acquisition and Applications
Aalto University(阿尔托大学);Monash University(莫纳什大学);Nanyang Technological University(南洋理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
人类知识提供了对世界的正式理解。表示实体之间结构关系的知识图谱已经成为认知和人类智能的一个日益流行的研究方向。本文对知识图谱的研究现状进行了综述,包括1)知识图谱的表示学习、2)知识获取和完成、3)时态知识图谱、4)知识感知应用等方面的研究,并总结了近期的突破和展望方向,以促进未来的研究。我们提出了一个完整的视图分类和新的分类这些主题。知识图谱嵌入从表示空间、评分函数、编码模型和辅助信息四个方面进行组织。对于知识获取,特别是知识图谱的完善,嵌入方法,路径推理和逻辑规则推理,进行了综述。我们进一步探讨了几个新兴的主题,包括Meta关系学习,常识推理和时间知识图谱。为了促进未来对知识图谱的研究,我们还提供了一个针对不同任务的数据集和开源库的精选集合。最后,对几个有前景的研究方向进行了展望.
2021-04-01 cs.AI cs.CL
Logical Reasoning over Natural Language as Knowledge Representation: A Survey
Nanyang Technological University(南洋理工大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文综述了以自然语言作为知识表示、预训练语言模型作为推理器的逻辑推理新范式,涵盖其优势、基准、挑战及未来方向,该范式有效缓解了形式表示的瓶颈并优于端到端神经方法。
2024-02-16 cs.AI cs.CL
LOA: Logical Optimal Actions for Text-based Interaction Games
IBM Research(IBM研究院)
我们提出了逻辑最优动作(LOA),一个行动决策架构的强化学习应用程序的神经符号框架,这是一个组合的神经网络和符号知识获取方法的自然语言互动游戏。LOA实验的演示包括一个基于Web的交互式平台,用于基于文本的游戏和可视化所获得的知识,以提高训练规则的可解释性。该演示还提供了与相同文本游戏上的其他神经符号方法以及非符号最先进代理模型的比较模块。我们的LOA还为强化学习环境提供了Python的开源实现,以促进研究神经符号代理的实验。代码:https://github.com/ibm/loa
2021-10-21 cs.AI cs.CL cs.LG
LecEval: An Automated Metric for Multimodal Knowledge Acquisition in Multimedia Learning
Tsinghua University(清华大学);Beihang University(北航);Renmin University of China(中国人民大学)
本文提出LecEval,一种基于Mayer多媒体学习认知理论的自动化评估指标,通过四个评分标准评估幻灯片教学中的多模态知识获取,并在2000多张人工标注幻灯片上训练模型,验证其优于现有指标。
2025-05-04 cs.AI cs.CL
A Theory of Interactive Debugging of Knowledge Bases in Monotonic Logics
Alpen-Adria Universität(阿尔卑斯-亚德里亚大学)
各种各样的基于知识的应用,如推荐系统、专家系统、规划系统或配置系统,通常都是以某种逻辑语言表示的知识为基础进行操作的。这种逻辑知识库(KB)通过允许系统自动推理、回答感兴趣的查询或解决复杂的现实问题来实现此类系统的智能行为。如今,信息获取成本低,而且往往是自动进行的,应用知识库在规模、信息内容和复杂性方面不断增长。这些发展促进了这些知识库中错误的出现,从而对知识库发展、维护和应用中涉及的所有人员和工具提出了重大挑战。如果某些知识库不能满足某些最低质量标准(如逻辑一致性),那么它对于基于知识的应用程序来说就变得毫无用处。为了保证知识库符合给定的要求,(非交互式)知识库调试器已被提出。然而,这些通常不能定位所有潜在的错误,建议错误KB的太大或不正确的修改,或者由于KB调试问题的固有复杂性而遭受差的可扩展性。作为对这些问题的补救措施,基于一个有根有据的理论基础,这项工作提出了完整的,健全的和最佳的方法,建议一个(微创)错误纠正错误的KB,产生一个修复的KB与预期的语义知识库的交互式调试。用户,例如领域专家,通过回答自动生成的查询来参与调试过程,该查询是关于某些给定语句是否必须在应该由手头的有问题的KB建模的域中保持。
2016-09-20 cs.AI
KAG-Thinker: Interactive Thinking and Deep Reasoning in LLMs via Knowledge-Augmented Generation
Inclusion AI Ant Group(Inclusion AI蚂蚁集团)
本文提出KAG-Thinker框架,通过轻量级LLM驱动的多轮交互思考与深度推理,将复杂问题分解为子问题并分类检索与推理,利用知识边界与深度求解模块增强逻辑连贯性与知识获取。
2025-06-30 cs.AI cs.CL
Learning Contextual Causality from Time-consecutive Images
HKUST(香港科技大学);CUHK(香港中文大学);UPenn(宾夕法尼亚大学)
因果关系知识对于许多人工智能系统是至关重要的。传统的基于文本的因果关系知识获取方法通常需要费力且昂贵的人工注释。因此,其规模往往有限。此外,由于在注释期间没有提供上下文,因此所得到的因果关系知识记录(例如,ConceptNet)通常不考虑上下文。为了探索一种更具可扩展性的因果关系知识获取方法,本文跳出文本领域,研究了从视觉信号中学习上下文因果关系的可能性。与纯文本方法相比,从视觉信号中学习因果关系具有以下优点:(1)因果关系知识属于常识性知识,很少在文本中表达,而在视频中却非常丰富;(2)视频中的事件大多具有自然的时序性,这为我们挖掘因果关系知识提供了丰富的资源;(3)视频中的所有对象都可以作为语境来研究因果关系的语境性。详细地说,我们首先提出了一个高质量的数据集Vis-Causal,然后进行实验来证明,通过良好的语言和视觉表示模型以及足够的训练信号,可以从视频中自动发现有意义的因果知识。进一步的分析还表明,因果关系的上下文属性确实存在,如果我们想在实际应用中使用因果关系知识,考虑到这一点可能是至关重要的,视觉信号可以作为一个很好的资源,学习这种上下文因果关系。
2020-12-13 cs.AI cs.CL cs.CV