Find Someone Who: Visual Commonsense Understanding in Human-Centric Grounding
Columbia University(哥伦比亚大学);University of California, Los Angeles(加州大学洛杉矶分校)
从包含多个人的视觉场景中,人类能够区分每个人,给出关于之前发生的事情,他们的精神/身体状态或意图等的上下文描述。例如,如果要求识别图像中“需要治疗的人”,我们首先需要知道他们通常有受伤或痛苦的表情,然后找到相应的视觉线索,最后才能将人接地气。我们提出了一个新的常识任务,以人为中心的常识接地,测试模型的能力,地面个人的上下文描述之前发生了什么,他们的精神/身体状态或意图。我们进一步创建了一个基准,HumanCog,一个数据集,其中有13万个接地常识描述注释在67 k个图像上,涵盖了各种类型的常识和视觉场景。我们建立了一个上下文对象感知的方法作为一个强大的基线,它优于以前的预训练和非预训练模型。进一步的分析表明,丰富的视觉常识和多模态常识的强大整合是必不可少的,这对未来的工作有启发意义。数据和代码将在https://github.com/Hxyou/HumanCog上提供。
2022-12-14 cs.CL cs.CV
Visual Commonsense in Pretrained Unimodal and Multimodal Models
Johns Hopkins University(约翰斯·霍普金斯大学)
我们对物体的常识包括它们典型的视觉属性;我们知道香蕉通常是黄色或绿色的,而不是紫色的。文本和图像语料库受报道偏见的影响,在不同程度上忠实地代表了这种世界知识。在本文中,我们调查在何种程度上单峰(仅语言)和多模态(图像和语言)模型捕获了广泛的视觉显着属性。为此,我们创建了视觉常识测试(ViComTe)数据集,涵盖5种属性类型(颜色,形状,材料,大小和视觉共现),超过5000个主题。我们通过证明我们的接地颜色数据与Paik等人(2021)提供的众包颜色判断的相关性比非接地纯文本数据好得多来验证这个数据集。然后,我们使用我们的数据集来评估预训练的单峰模型和多峰模型。我们的研究结果表明,多模态模型更好地重建属性分布,但仍然受到报告偏差。此外,增加模型大小并不能提高性能,这表明视觉常识的关键在于数据。
2022-05-04 cs.CL cs.CV
WordCraft: An Environment for Benchmarking Commonsense Agents
University College London(伦敦大学学院);University of Oxford(牛津大学)
快速解决各种现实任务的能力需要对世界有常识性的理解。然而,如何最好地从自然语言语料库中提取这些知识,并将其与强化学习(RL)代理集成仍然是一个开放的挑战。这在一定程度上是由于缺乏轻量级的仿真环境,充分反映了现实世界的语义,并提供知识源接地相对于RL环境中的观察。为了更好地研究利用常识知识的代理,我们提出了WordCraft,一个基于Little Alchemy 2的RL环境。这个轻量级的环境运行速度很快,并建立在受现实世界语义启发的实体和关系之上。我们在这个新的基准上评估了几种表示学习方法,并提出了一种将知识图谱与RL代理集成的新方法。
2020-07-17 cs.AI cs.CL cs.LG
Benchmarking Commonsense Knowledge Base Population with an Effective Evaluation Dataset
HKUST(香港科技大学);Peking University(北京大学)
基于自由文本的常识知识库推理是自然语言处理中一项重要而艰巨的任务。虽然CSKB完成仅填充CSKB域中的缺失链接,但CSKB填充的目标是从外部资源推理看不见的断言。在这项任务中,CSKBs接地到一个大规模的可能性(活动,状态和事件)图,以区分是否从可能性图的新的三元组是合理的或不。然而,现有的人口任务的评价要么是不准确的(自动评价随机抽样的负面例子)或小规模(人类注释)。在本文中,我们通过首先对齐四个流行的CSKB,然后提出一个高质量的人类注释的评估集,以探测神经模型的常识推理能力,用一个新的大规模数据集对CSKB人口任务进行基准测试。我们还提出了一种新的归纳常识推理模型,原因超过图。实验结果表明,推广常识推理上看不见的断言是一项艰巨的任务。在训练过程中获得高准确度的模型在评估集上表现不佳,与人类表现之间存在很大差距。我们将公开这些数据,以供未来的贡献。代码和数据可在https://github.com/HKUST-KnowComp/CSKB-Population上获得。
2021-09-16 cs.AI cs.CL
Compositional Semantics Grounded in Commonsense Metaphysics
American Institutes for Research(美国研究院)
我们认为,一个组成的语义强类型的本体,反映了我们的常识世界观和我们谈论它在普通语言的基础上。假设存在这样的结构,我们表明,各种自然语言现象的语义可能会变得几乎微不足道。
2007-08-31 cs.AI cs.CL
Everyday Physics in Korean Contexts: A Culturally Grounded Physical Reasoning Benchmark
POSTECH(浦项工科大学);MODULABS
本文提出 EPiK 基准,通过两阶段生成验证流程构建韩国文化语境下的 181 道物理推理题,并证明韩国专用模型优于同规模通用模型。
2025-09-29 cs.CL
Efficient Tool-Calling Multi-Expert NPC Agent for Commonsense Persona-Grounded Dialogue
Université Paris-Saclay(巴黎-萨克雷大学)
本文提出一种基于 Qwen3 和 LoRA 适配器的多专家 NPC 智能体系统,通过实例化工具调用、响应解释和直接对话三个专家,实现了高效的自然对话与动作执行,并在 CPDC 2025 挑战赛中总排名第二。
2025-11-03 cs.CL
MAGIC-VQA: Multimodal And Grounded Inference with Commonsense Knowledge for Visual Question Answering
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
针对大视觉语言模型缺乏整合常识知识、真实场景VQA鲁棒性不足的问题,提出三阶段MAGIC-VQA框架,融合显隐式常识知识与GNN结构化推理,无需大量预训练或复杂提示调优,在基准数据集上达SOTA,提升VQA常识推理能力。
2025-06-11 cs.CL
CultureTalk-ID: A Multi-Task Dialogue Benchmark for Cultural Commonsense in Indonesian Local Languages
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究针对印尼语文化常识基准测试忽略对话语境的问题,引入CultureTalk-ID基准测试,涵盖多种语言和主题,通过多阶段人工流程确保真实性,并引入三个互补任务,探究语言模型在文化常识方面的理解、转换和生成能力。
2026-07-24 cs.CL
Visually Grounded Commonsense Knowledge Acquisition
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);National University of Singapore(新加坡国立大学);University of Hamburg(汉堡大学);Tencent(腾讯)
大规模常识知识库为广泛的人工智能应用提供了支持,其中常识知识的自动提取(CKE)是一个基本且具有挑战性的问题。基于文本的CKE因文本中常识的固有稀疏性和报告偏差而闻名。另一方面,视觉感知包含关于现实世界实体的丰富常识知识,例如,(person,can_hold,bottle),其可以用作用于获取接地常识知识的有希望的来源。在这项工作中,我们提出了CLEVER,它将CKE制定为一个远程监督的多实例学习问题,其中模型学习从一袋关于实体对的图像中总结常识关系,而无需对图像实例进行任何人工注释。为了解决这个问题,CLEVER利用视觉语言预训练模型来深入理解袋子中的每个图像,并从袋子中选择信息实例,通过一种新颖的对比注意力机制来总结常识实体关系。综合实验结果表明,CLEVER可以提取有希望的质量常识知识,优于预先训练的语言模型为基础的方法3.9 AUC和6.4 mAUC点。预测的常识得分显示出与人类判断的强相关性,斯皮尔曼系数为0.78。此外,提取的常识也可以接地到具有合理解释性的图像。数据和代码可从https://github.com/thunlp/CLEVER获得。
2023-03-25 cs.AI cs.CL cs.CV
Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs
Brown University(布朗大学);Microsoft Research AI(微软人工智能研究院);Tsinghua University(清华大学)
人类的对话自然会围绕相关的概念发展,并分散到多跳概念。本文提出了一种新的会话生成模型ConceptFlow,它利用常识知识图谱来显式地对会话流进行建模。通过将会话接地到概念空间,ConceptFlow将潜在的会话流表示为沿着常识关系在概念空间中遍历。遍历由概念图中的图注意力引导,朝着概念空间中更有意义的方向移动,以生成更多语义和信息的响应。在Reddit会话上的实验证明了ConceptFlow的有效性,超过了以前的知识感知会话模型和基于GPT-2的模型,同时使用的参数减少了70%,证实了显式建模会话结构的优势。本工作的所有源代码都可以在https://github.com/thunlp/ConceptFlow上获得。
2020-05-05 cs.AI cs.CL
Like hiking? You probably enjoy nature: Persona-grounded Dialog with Commonsense Expansions
UC San Diego(加利福尼亚大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
现有的基于人物角色的对话模型通常无法捕捉给定人物角色描述的简单含义,而人类能够无缝地做到这一点。例如,最先进的模型无法推断出对徒步旅行的兴趣可能意味着对自然的热爱或对休息的渴望。在本文中,我们建议使用现有的常识知识库和释义资源来扩展可用的人物角色句子,以使对话模型能够访问扩展且更丰富的人物角色描述集。此外,我们引入了细粒度接地的人物角色,鼓励模型,使一个离散的选择之间的人物角色句子,而合成的对话响应。由于在数据中没有观察到这样的选择,我们使用离散的潜在随机变量对其进行建模,并使用变分学习从数百个人物角色扩展中进行采样。我们的模型在对话质量和多样性方面优于PersonaChat数据集上的竞争基线,同时实现人物角色一致和可控的对话生成。
2020-10-07 cs.AI cs.CL
Commonsense and Named Entity Aware Knowledge Grounded Dialogue Generation
Indian Institute of Technology Patna(印度理工学院巴特那分校);National Institute of Technology Karnataka, Surathkal(卡纳塔克国家理工学院苏拉特卡尔校区)
将对话建立在外部知识的基础上,并在对话历史语境中解释语言模式,如省略、回指和共指,对于对话的理解和生成至关重要。在本文中,我们提出了一种新的开放域对话生成模型,有效地利用了大规模的常识和命名实体的知识,除了非结构化的主题特定的知识与每个话语。我们增强了常识知识命名实体感知结构使用共同引用。我们提出的模型利用多跳注意层来保留对话历史和相关知识中最准确和关键的部分。此外,我们采用了一个常识和命名实体增强注意力模块,它从各种来源提取的三元组开始,并逐渐找到相关的支持集的三元组使用多跳注意与查询向量从交互式对话知识模块。在两个基准数据集上的实证结果表明,我们的模型在自动评估指标和人类判断方面都显着优于最先进的方法。我们的代码可在\href{https://github.com/deekshaVarshney/CNTF}{https://github.com/deekshaVarshney/CNTF} ; \href{https://www.iitp.ac.in/~ai-nlp-ml/resources/codes/CNTF.zip}{https://www.iitp.ac.in/-ai-nlp-ml/resources/ codes/CNTF.zip}上公开获得。
2022-05-27 cs.AI cs.CL
OASIS: A Multilingual and Multimodal Dataset for Culturally Grounded Spoken Visual QA
Qatar Computing Research Institute(卡塔尔计算研究 institute)
OASIS是一个多语言多模态数据集,涵盖图像、文本和语音,旨在评估模型在现实场景中的文化导向推理能力,包含0.92M真实图像和14.8M问答对。
2026-05-12 cs.AI cs.CL
Specifying Genericity through Inclusiveness and Abstractness Continuous Scales
Faculty of Modern Languages, Literatures and Cultures(现代语言、文学与文化学院);University of Bologna(博洛尼亚大学)
本文提出一种基于包容性与抽象性连续量表的类指性标注框架,通过324句试点数据集验证其相比二元标注更能捕捉细微类指语义,为语言学和自然语言处理研究提供实用资源。
2024-03-29 cs.CL
Can-Do! A Dataset and Neuro-Symbolic Grounded Framework for Embodied Planning with Large Multimodal Models
Singapore University of Technology and Design(新加坡科技设计大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
本文提出 Can-Do 基准数据集评估具身规划,并构建 NeuroGround 神经符号框架,通过结合环境状态感知与符号规划引擎,有效解决了 GPT-4V 等模型在视觉感知与推理上的瓶颈。
2024-09-22 cs.AI cs.CL cs.CV
Say What You Mean! Large Language Models Speak Too Positively about Negative Commonsense Knowledge
Fudan University(复旦大学);Brain Technologies, Inc.(脑科技公司);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本研究通过生成与问答任务揭示大语言模型在负面常识知识上存在信念冲突,即难以生成有效句子但能正确回答是非题,并归因于预训练中的统计捷径与否定报告偏差。
2023-05-13 cs.CL
Common to Whom? Regional Cultural Commonsense and LLM Bias in India
Emory University(埃默里大学);Brock University(布罗克大学);MIT(麻省理工学院)
本文提出Indica基准测试,评估大语言模型在印度区域文化常识上的能力,发现文化常识在区域层面而非国家层面更普遍,并揭示模型存在地理偏见。
2026-04-14 cs.CL
Estimating Commonsense Plausibility through Semantic Shifts
CAS Key Lab of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院网络数据科学与技术重点实验室,计算技术研究所,中国科学院,北京,中国);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出ComPaSS框架,通过测量在添加常识信息时的语义变化来量化常识可信度,验证了判别方法在细粒度常识评估中的优势,并展示了视觉语言模型在结合ComPaSS后的优越性能。
2026-04-20 cs.AI cs.CL
LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);Ubiquitous Knowledge Processing Lab (UKP Lab)(无处不在知识处理实验室);Department of Computer Science(计算机科学系);Hessian Center for AI (hessian.AI)(黑森人工智能中心);Technische Universität Darmstadt(德累斯顿技术大学)
本文提出一种基于提示的框架,用于构建文化常识知识图谱,通过LLMs作为文化档案提取文化特定知识,提升文化推理和故事生成性能。
2026-01-25 cs.CL
IndoCulture: Exploring Geographically-Influenced Cultural Commonsense Reasoning Across Eleven Indonesian Provinces
MBZUAI(MBZUAI(穆罕默德·本·扎耶德人工智能大学));Universitas Indonesia(印度尼西亚大学);Royal Melbourne Institute of Technology(皇家墨尔本理工大学);Quantic School of Business and Technology(匡蒂克商学院);The University of Melbourne(墨尔本大学)
针对现有常识推理研究的英语中心主义偏差,研究构建了覆盖印尼11省的文化常识数据集IndoCulture,评估27个模型后发现地理上下文能有效提升模型文化常识推理表现。
2024-09-13 cs.CL
Culturally-Nuanced Story Generation for Reasoning in Low-Resource Languages: The Case of Javanese and Sundanese
Department of Natural Language Processing, MBZUAI(自然语言处理系,MBZUAI)
本研究测试大语言模型在爪哇语和巽他语中生成文化细微叙事的能力,发现LLM生成数据在下游任务中优于机器翻译和人工数据,并发布高质量基准。
2025-09-11 cs.CL
Probing Commonsense Knowledge in Pre-trained Language Models with Sense-level Precision and Expanded Vocabulary
INESC TEC(葡萄牙国家工程与系统创新研究所);University of Porto(波尔图大学);Cardiff University(卡迪夫大学)
常识推理的进展通常是从设计要求常识知识的问答任务的性能改进来衡量的。然而,在这些特定任务上微调大语言模型(LM)并不直接评估在预训练期间学习的常识。在预先训练的LM中,对常识知识的最直接评估可以说是针对常识断言的完形填空式任务(例如,一笔用于[面具]。)然而,这种方法受到LM可用于屏蔽预测的词汇表的限制,并且其精度取决于断言提供的上下文。在这项工作中,我们提出了一种方法,用于丰富LM与接地的感觉库存(即,WordNet)在词汇水平上可用,无需进一步培训。这种修改将完形填空式提示的预测空间增大到大型本体的大小,同时实现更细粒度(感测级)的查询和预测。为了评估LM具有更高的精度,我们提出了SenseLAMA,一个完形填空风格的任务,具有来自WordNet,WikiData和ConceptNet的消歧三元组的动词化关系。将我们的方法应用于BERT,产生一个名为SynBERT的WordNet丰富版本,我们发现LM可以从自我监督中学习非平凡的常识知识,覆盖众多的关系,并且比基于相似性的方法更有效。
2022-10-12 cs.AI cs.CL
Visually-Augmented Language Modeling
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft Research(微软研究院)
人类语言基于多模态知识,包括颜色、大小和形状等视觉知识。然而,目前的大规模预训练语言模型依赖于大量文本数据的纯文本自监督训练,这使得它们在必要时无法利用相关的视觉信息。为了解决这个问题,我们提出了一个新的预训练框架,名为VaLM,视觉增强文本标记与检索相关图像的语言建模。具体来说,VaLM建立在一个新的潜在的文本图像对齐方法,通过图像检索模块获取相应的图像给定的文本上下文。通过视觉增强的上下文,VaLM使用视觉知识融合层,通过关注文本上下文和图像中的视觉知识来实现多模态接地语言建模。我们评估各种视觉知识密集型的常识推理任务,这需要视觉信息,以脱颖而出的VaLM。实验结果表明,VaLM优于所有强大的纯语言和视觉语言基线,在推理对象常识,包括颜色,大小和形状方面有很大的收获。我们的代码可在www.example.com上获得。
2023-02-25 cs.CL
Natural Language Rationales with Full-Stack Visual Reasoning: From Pixels to Semantic Frames to Commonsense Graphs
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
自然语言理论可以提供直观的、更高层次的解释,这些解释很容易被人类理解,补充了更广泛研究的基于梯度或注意力权重的低层次解释。我们提出的第一项研究集中在几个复杂的视觉推理任务:视觉常识推理,视觉文本蕴涵,视觉问答生成自然语言的理由。准确合理化的关键挑战是在各个层面上全面理解图像:不仅是像素层面的明确内容,而且是语义和语用层面的上下文内容。我们提出了Rationale^VT Transformer,这是一个集成模型,它通过将预训练的语言模型与对象识别、接地的视觉语义框架和视觉常识图相结合来学习生成自由文本的基本原理。我们的实验表明,基础预训练语言模型受益于视觉适应和自由文本合理化是一个很有前途的研究方向,以补充模型的可解释性复杂的视觉-文本推理任务。
2020-10-15 cs.CL cs.CV
Commonsense for Generative Multi-Hop Question Answering Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
阅读理解问答任务最近越来越受欢迎,但大多数作品都集中在事实发现的提取问答上。相反,我们专注于更具挑战性的多跳生成任务(NarrativeQA),该任务要求模型在上下文中推理,收集和合成不相交的信息以生成答案。这种类型的多步推理通常还需要理解隐含的关系,人类通过外部背景常识知识来解决这些关系。我们首先提出了一个强大的生成基线,使用多注意力机制执行多跳推理和指针生成器解码器合成的答案。该模型比以前的生成模型表现得更好,并且与当前最先进的跨度预测模型具有竞争力。接下来,我们将介绍一种新的系统,用于通过逐点互信息和基于词频的评分函数从ConceptNet中选择接地多跳关系常识信息。最后,我们有效地使用这个提取的常识信息,以填补上下文跳之间的推理差距,使用选择性门控注意力机制。这显著提高了模型的性能(也通过人工评估进行了验证),为任务建立了新的最先进技术。我们还展示了有希望的初步结果,我们的背景知识增强的泛化能力,通过展示QAngaroo WikiHop,另一个多跳推理数据集的一些改进。
2019-06-01 cs.AI cs.CL
Infusing Commonsense World Models with Graph Knowledge
Georgia Institute of Technology(佐治亚理工学院);Meta AI
虽然语言模型已经变得更有能力产生令人信服的语言,但我们发现在保持一致性方面仍然存在差距,特别是在描述动态变化的世界中的事件时。我们研究了在开放世界文本冒险游戏中生成叙事的设置,其中底层游戏状态的图形表示可用于训练模型,该模型消耗并输出接地图形表示和自然语言描述和动作。我们通过将众包和模拟游戏与复杂动作的新数据集相结合来构建大量任务,以构建此类模型。我们发现,即使在测试时没有图形,也可以通过对图形上下文和目标进行训练来提高动作叙述模型的一致性。这在自动度量和人工评估中都有所体现。我们计划发布我们的代码,新的任务集和最佳性能模型。
2023-01-13 cs.AI cs.CL
Common Sense vs. Morality: The Curious Case of Narrative Focus Bias in LLMs
本文研究了LLMs在道德困境中优先道德推理而非常识理解的偏见,提出CoMoral数据集并揭示了模型在识别常识矛盾时的叙述焦点偏见问题。
2026-03-10 cs.AI cs.CL
GRILL: Grounded Vision-language Pre-training via Aligning Text and Image Regions
University of Southern California(南加利福尼亚大学);Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
本文提出GRILL模型,通过对象-文本对齐学习对象定位,使视觉-语言模型能在零样本或少样本设置下泛化到视觉问答、图像描述和定位等多种任务,并超越现有少样本方法。
2023-05-24 cs.CL
Localized Symbolic Knowledge Distillation for Visual Commonsense Models
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);Yonsei University(延世大学);Microsoft Research(微软研究院)
针对现有视觉-语言模型无法支持图像内特定区域推理的问题,提出通过大语言模型采样局部常识知识、结合评判模型筛选样本的蒸馏方法,构建支持区域输入的局部化视觉常识模型,零样本性能优于基线方法。
2023-12-12 cs.AI cs.CL cs.CV
A Note on Ontology and Ordinary Language
Computing and Statistical Sciences Center(计算与统计科学中心);American Institutes for Research(美国研究院)
我们主张一种基于强类型本体的组合语义,它反映了我们对世界的常识性看法和我们谈论它的方式。假设这样一种结构,我们表明,各种自然语言现象的语义可能变得几乎微不足道。
2007-05-07 cs.AI cs.CL
KEPR: Knowledge Enhancement and Plausibility Ranking for Generative Commonsense Question Answering
Soochow University(苏州大学)
提出KEPR方法,通过知识增强与合理性排序提升生成式常识问答的答案多样性与排序质量,在ProtoQA上取得最佳性能。
2023-05-15 cs.AI cs.CL
BengaliMoralBench: A Benchmark for Auditing Moral Reasoning in Large Language Models within Bengali Language and Culture
North South University(北南大学);Computational Intelligence and Operations Laboratory(计算智能与运营实验室);Hanyang University(翰林大学)
本文提出BengaliMoralBench,一个针对孟加拉语和文化背景的道德推理评估基准,涵盖五个道德领域,通过三种伦理框架进行标注,评估不同模型的性能差异及文化适应性问题。
2026-04-18 cs.CL
LaMI: Augmenting Large Language Models via Late Multi-Image Fusion
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Bar-Ilan University(巴伊兰大学)
LaMI通过在测试时融合多个图像提升视觉常识推理能力,同时保持文本推理性能,适用于视觉和NLP任务。
2026-04-11 cs.CL cs.CV cs.LG
"What's my model inside of?": Exploring the role of environments for grounded natural language understanding
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本论文采用生态学方法研究具身自然语言理解,探索环境设计在数据收集、模型开发中的作用,提出了基于文本游戏环境的训练标注方法、Breakpoint Transformers模型及具身NLP研究路线图,并设计了AI增强的社会思维环境。
2024-02-04 cs.AI cs.CL cs.SI
On Grounded Planning for Embodied Tasks with Language Models
University of Southern California(南加州大学);Fudan University(复旦大学);Sea AI Lab(海天AI实验室)
本文提出 G-PlanET,利用包含环境物体的数据表和迭代解码,让语言模型为机器人智能体生成可执行的具身任务计划,并建立评估协议与专用指标验证其有效性。
2023-07-15 cs.AI cs.CL cs.LG
Characterizing Large Language Models as Rationalizers of Knowledge-intensive Tasks
Arizona State University(亚利桑那州立大学);Megagon Labs(美高仑实验室)
本研究探究LLM为知识密集型任务生成知识引导合理化解释的能力,发现其生成的解释优于众包版本但仍有不足,且错误预测的解释会降低人类信任,据此提出两阶段审查流水线以实现可信推理生成。
2024-01-31 cs.AI cs.CL
GreaseLM: Graph REASoning Enhanced Language Models for Question Answering
Stanford University(斯坦福大学)
对文本叙述的复杂问题进行推理需要对所陈述的上下文和作为其基础的世界知识进行推理,然而,作为大多数现代问答系统的基础的预训练语言模型(LM)不能鲁棒地表示概念之间的潜在关系,而这是推理所必需的。虽然知识图谱(KG)经常被用来增强LM与世界知识的结构化表示,它仍然是一个悬而未决的问题,如何有效地融合和推理的KG表示和语言的背景下,提供了情景约束和细微差别。在这项工作中,我们提出了GreaseLM,一个新的模型,融合编码表示从预先训练的LM和图神经网络在多个层次的模态交互操作。来自两种模态的信息传播到另一种模态,允许语言上下文表示以结构化的世界知识为基础,并允许语言的细微差别(例如,否定,模糊)的上下文中通知知识的图形表示。我们在常识推理的三个基准上的结果(即,CommonsenseQA、OpenbookQA)和医学问答(即,MedQA-USMLE)领域证明,GreaseLM可以更可靠地回答需要在情境约束和结构化知识上进行推理的问题,甚至优于8倍大的模型。
2022-01-21 cs.CL cs.LG
No Shortcuts to Culture: Indonesian Multi-hop Question Answering for Complex Cultural Understanding
School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院)
ID-MoCQA是一个基于印尼传统的多跳问答数据集,旨在评估大型语言模型的文化理解能力,揭示模型在文化推理方面的不足。
2026-02-03 cs.CL
Graph Neural Prompting with Large Language Models
University of Notre Dame(圣母大学);Amazon(亚马逊)
提出图神经提示(GNP),一种即插即用方法,通过知识图谱增强预训练大型语言模型,在常识和生物医学推理任务上表现优越。
2023-12-28 cs.AI cs.CL cs.LG
WikiWhy: Answering and Explaining Cause-and-Effect Questions
University of California, Santa Barbara(加州大学圣巴巴拉分校)
随着大语言模型(LLM)变得越来越大、越来越复杂,评估它们在自然语言中的“推理”能力变得越来越具有挑战性。最近的问答(QA)基准,试图评估推理往往是有限的范围内所涵盖的情况和主题。我们介绍了WikiWhy,一个围绕一个新的辅助任务构建的QA数据集:解释为什么答案在自然语言中是正确的。WikiWhy包含超过9,000个“为什么”问题-答案-理由三元组,基于维基百科跨各种主题的事实。每个理由都是一组将问题与答案联系起来的支持性陈述。WikiWhy作为LLM推理能力的基准,因为它要求每个答案都有严格的明确理由,以证明获得隐含的常识知识,这是不太可能容易记住的。GPT-3基线在端到端回答和解释条件下仅实现了38.7%的人工评估正确性,为未来的改进留下了巨大的空间。
2022-11-30 cs.AI cs.CL
Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
本研究提出ViLa,一种利用视觉语言模型进行机器人长时程规划的新方法,通过直接整合感知数据实现物理基础的任务规划,实验证明其优于现有LLM规划器。
2023-12-24 cs.AI cs.CL cs.CV
AuditoryBench++: Can Language Models Understand Auditory Knowledge without Hearing?
Pohang University of Science and Technology(坡山科学技术大学);HJ AILAB;Korea Advanced Institute of Science and Technology(韩国高级科学技术研究院)
AuditoryBench++通过AIR-CoT方法提升语言模型在听觉知识推理中的表现。
2026-01-28 cs.AI cs.CL cs.LG