ConKE: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China(计算机科学与工程系,香港科技大学,香港特别行政区,中国)
针对常识知识编辑的覆盖有限和格式严格等挑战,提出ConceptEdit框架,通过集成概念化与实例化并利用验证LLM动态诊断,有效增强大模型的常识推理能力。
2025-05-28 cs.CL
Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement of Language Models
SAP AI Research(SAP人工智能研究院)
我们能否获得现有的语言模型,并将其细化为zero-shot常识推理?本文提出了一个初步的研究,探索zero-shot常识推理的可行性Winograd模式挑战制定的任务作为自我监督细化的预训练语言模型。与以往依赖于微调注释数据集的研究相比,我们寻求通过损失景观细化来提高概念化。为此,我们提出了一种新的自监督学习方法,利用一组相似概念关系的语言扰动来改进语言模型。我们的概念上简单的框架实证分析表明,多个基准上的可行性zero-shot常识推理。
2021-09-10 cs.CL
CORE: A Conceptual Reasoning Layer for Large Language Models
CORE通过引入概念优先的交互层,提升大型语言模型在多轮对话中的稳定性,利用持久的局部概念和通用认知运算符,减少提示token数量,实现更稳定的多轮交互。
2025-12-10 cs.AI cs.CL
UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs
针对大语言模型长文本处理难题,提出UIO-LLMs无偏增量优化方法,通过记忆增强和TBPTT算法,将Llama2-7b-chat上下文扩展至100K,参数仅增2%,推理近线性。
2025-09-12 cs.CL
TPE: Towards Better Compositional Reasoning over Conceptual Tools with Multi-persona Collaboration
The Chinese University of Hong Kong(香港中文大学)
本文提出多角色协作框架 TPE,通过 Thinker、Planner 和 Executor 解耦对话生成,增强 LLM 对概念性工具的组合推理与可控回复能力。
2023-09-28 cs.AI cs.CL
Chain-of-Conceptual-Thought Elicits Daily Conversation in Large Language Models
Geely AI Lab(Geely人工智能实验室);Beijing Institute of Technology(北京理工大学)
针对思维链在开放域任务性能受限的问题,本文提出概念思维链提示范式,通过分层概念引导生成,在对话任务上优于多个提示基线方法。
2025-11-17 cs.CL
StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs
Nanyang Technological University(南洋理工大学);Salesforce Research(Salesforce研究院);University of Alberta(阿尔伯塔大学)
针对现有大语言模型评估方法的成本高、有偏差、易受污染作弊等问题,提出基于规则评估的StructTest基准,通过多领域组合式结构化输出任务测试推理能力,验证了其对顶尖模型仍具挑战性,可作为客观评估的补充方案。
2025-03-19 cs.CL
On the Tip of the Tongue: Analyzing Conceptual Representation in Large Language Models with Reverse-Dictionary Probe
School of Computer Science, Fudan University(复旦大学计算机科学学院);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究所);Research Institute of Intelligent Complex Systems, Fudan University(复旦大学智能复杂系统研究院);Department of Psychology, Harvard University(哈佛大学心理学系)
本文利用反向词典任务探测LLM的概念推理能力,发现该能力可预测模型在多个基准上的通用推理表现,并表明描述到词语的提示有助于促进更广泛的常识推理。
2024-02-26 cs.AI cs.CL
Unmasking the Factual-Conceptual Gap in Persian Language Models
EPFL(瑞士联邦理工学院);University of Isfahan(伊斯法罕大学);University of Oxford(牛津大学)
本文通过DivanBench揭示波斯语言模型在文化常识推理上的不足,发现模型在处理迷信和习俗问题时存在严重偏差,且预训练并未提升推理能力。
2026-02-19 cs.CL
CAPruner: Conceptual-Adjacent Scene Graph Pruner for Enhancing 3D Spatial Reasoning of Large Language Models
Southern University of Science and Technology(南方科技大学);SpatialTemporal AI(时空人工智能)
提出概念相邻场景图剪枝器(CAPruner),通过融合模糊语义相关性和空间邻近性估计关系重要性,在任务特定上下文中选择关键关系,避免关系级标注,显著提升大语言模型在3D视觉语言任务上的空间推理性能。
2026-04-21 cs.AI cs.CL cs.CV
MoRI: Learning Motivation-Grounded Reasoning for Scientific Ideation in Large Language Models
School of Economics and Management, East China Normal University(东华大学经济管理学院)
MoRI通过强化学习奖励机制提升大语言模型在科学构想中的推理能力,优于现有方法,在新颖性、技术严谨性和可行性方面表现突出。
2026-04-30 cs.CL
Parallel LLM Reasoning for Bias-Resilient, Robust Conceptual Abstraction
University of Turku, Turku, Finland(图尔库大学,芬兰图尔库);Brilloconnetz Partners avoin yhtiö, Turku, Finland(Brilloconnetz Partners 公司,芬兰图尔库)
本文提出了一种结合并行分块处理与证据锚定整合的结构化框架,旨在减少长文档分析中的偏见、遗漏误差和过度泛化问题,通过并行处理和证据锚定提高文本分析的可靠性和可扩展性。
2026-04-04 cs.AI cs.CL cs.LG
Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
提出图原生推理模型Graph-PRefLexOR,结合GRPO强化学习将推理组织为显式阶段,在材料科学100个开放问题上推理可追溯性提升40-65%,语义多样性增加2-3倍。
2026-07-02 cond-mat.mtrl-sci cs.AI cs.CL
Systematicity in GPT-3's Interpretation of Novel English Noun Compounds
Stanford University(斯坦福大学)
Levin等人。(2019)通过实验表明,对新的英语名词复合词的解释(例如,炖锅),虽然不完全组成,是高度可预测的基础上,修改器和头部是否指文物或自然种类。大语言模型GPT-3是否受相同的解释性原则支配?为了解决这个问题,我们首先比较莱文等人。的实验数据与GPT-3代的相似度很高。然而,这一证据是一致的GPT 3推理只对特定的词汇项目,而不是更抽象的概念类别的莱文等人。的理论。为了更深入地探索,我们构建了需要相关概念推理的提示。在这里,我们没有找到令人信服的证据,证明GPT-3不仅仅是对单个词汇进行推理。这些结果强调了在评估大语言模型是否潜在地编码更深层次的理论时,控制低水平分布的重要性。
2022-10-18 cs.CL
One Example Shown, Many Concepts Known! Counterexample-Driven Conceptual Reasoning in Mathematical LLMs
Tsinghua University(清华大学);Sun-Yat Sen University(孙中山大学);School of Mathematical Science, Fudan University(复旦大学数学学院);Bytedance Inc.(字节跳动公司);INFLY TECH (Shanghai) Co., Ltd.(INFLY TECH(上海)有限公司);ARC Lab, Arizona State University(ARC实验室,亚利桑那州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Peng Cheng Laboratory(鹏城实验室);Guangdong Provincial Key Laboratory of Fire Science(广东省消防科学与智能应急技术重点实验室)
本文提出反例驱动的数学推理基准 CounterMATH 及配套数据工程框架,用于评估和增强大语言模型通过反例证明数学命题的概念推理能力,实验表明现有模型在该任务上能力不足,加强此类训练有助于提升整体数学能力。
2025-08-22 cs.AI cs.CL cs.LG
Grounding Agent Reasoning in Image Schemas: A Neurosymbolic Approach to Embodied Cognition
CRIL CNRS & Artois University(CRIL 法国国家科学研究中心与阿图瓦大学)
针对智能体推理难以捕捉人类基本概念结构的问题,提出一种利用意象图式形式化表征、结合LLMs与神经符号方法的框架,将智能体理解扎根于感觉运动模式,从而提升效率与可解释性并实现更直观的人机交互。
2025-03-31 cs.AI cs.CL
Unpacking Large Language Models with Conceptual Consistency
SRI International(斯坦福国际研究院);Rutgers University(罗格斯大学)
如果一个大语言模型(LLM)对“山高吗?“那它知道什么是山吗?你能指望它正确或错误地回答其他关于山的问题吗?大语言模型(LLM)的成功表明它们越来越能够准确地回答这样的查询,但这种能力并不一定意味着对与锚查询相关的概念的一般理解。我们提出概念的一致性来衡量法学硕士对相关概念的理解。这种新的度量标准通过找出模型对概念上相关的背景知识的查询的响应的一致性来衡量模型的特征。为了计算它,我们通过遍历知识库中概念之间的路径来提取背景知识,然后尝试从背景知识预测模型对锚查询的响应。我们调查当前LLM的性能在一个常识推理设置使用CSQA数据集和ConceptNet知识库。虽然概念的一致性,像其他指标一样,确实随着LLM的规模而增加,但我们发现流行的模型不一定具有高的概念一致性。我们的分析还表明,在不同类型的关系,概念和提示的概念一致性显着变化。这是朝着构建模型迈出的一步,人类可以将心理理论应用于模型,从而直观地与之交互。
2022-09-29 cs.CL
Symbolic or Numerical? Understanding Physics Problem Solving in Reasoning LLMs
Georgia Tech(佐治亚理工学院);University of Queensland(昆士兰大学);UC Merced(默塞德大学)
本文研究Deepseek-R1等推理型大语言模型在SciBench物理题上的表现,发现其达到最先进准确率并倾向符号推导,且少样本提示仍能进一步提升性能。
2025-07-03 cs.CL
Concept than Document: Context Compression via AMR-based Conceptual Entropy
University of Southern Queensland(南方昆士兰大学);University of Technology Sydney(技术悉尼大学);The Hong Kong Polytechnic University(香港理工大学);Wuhan University of Technology(武汉理工大学);National University of Singapore(新加坡国立大学);The Education University of Hong Kong(香港教育大学)
本文提出基于AMR的概念熵方法,通过压缩上下文保留核心语义,提升RAG任务的准确性和效率。
2025-11-24 cs.CL
Reasoning about concepts with LLMs: Inconsistencies abound
IBM Research(IBM研究院)
针对LLMs在概念推理中存在的不一致性问题,提出基于知识图谱的本体检测方法和提示策略,显著提升了不同规模开源LLMs的概念一致性与性能。
2024-05-30 cs.AI cs.CL
Improving Latent Reasoning in LLMs via Soft Concept Mixing
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
通过引入Soft Concept Mixing方法,改进大语言模型的潜在推理能力,提升推理性能并保持训练稳定性。
2025-11-21 cs.CL
Grading the Unspoken: Evaluating Tacit Reasoning in Quantum Field Theory and String Theory with LLMs
Independent Researcher(独立研究者)
本文探讨LLMs在量子场论和弦论等高度抽象理论领域评估隐性推理的能力,提出五级评分标准,发现模型在显性推导中表现良好,但在需重建隐性步骤时表现下降。
2026-04-01 cs.AI cs.CL hep-th
GIER: Gap-Driven Self-Refinement for Large Language Models
University of Denver(丹佛大学)
本研究提出通用框架GIER,通过推理差距的自然语言描述引导大语言模型迭代自优化输出,在多任务多模型上验证了其可提升推理质量且不降低准确率。
2025-08-30 cs.CL cs.IR
Science is Exploration: Computational Frontiers for Conceptual Metaphor Theory
Cornell University(康奈尔大学);Aarhus University(奥胡斯大学)
本文探讨大型语言模型能否准确识别和解释自然语言中的概念隐喻,通过基于隐喻标注指南的新颖提示技术,证明其能有效应用人类标注程序并展现深厚语言学知识,为大规模计算研究提供了有力工具。
2024-10-11 cs.CL cs.LG
Improving Value-based Process Verifier via Low-Cost Variance Reduction
本文提出ComMCS方法,通过低成本方差减少改进基于价值的过程验证器,有效提升数学推理能力。
2026-01-27 cs.AI cs.CL
Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models
Peking University(北京大学);Stanford University(斯坦福大学);Tsinghua University(清华大学);University of Arizona(亚利桑那大学);National University of Singapore(新加坡国立大学)
本文综述了大语言模型多步推理机制,探讨了隐式和显式推理过程,并提出了未来研究方向。
2026-01-02 cs.AI cs.CL
PhysMent: An Interactive Approach For LLM Reasoning In Physics Problems
PhysMent通过MuJoCo模拟器交互评估LLM物理推理,发现模型在定性任务上表现良好(高达80%),但在定量多步骤任务上准确率低于30%,瓶颈在于程序性工具使用而非概念理解。
2026-09-15 cs.CL cs.CV
Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective
Shanghai AI Laboratory(上海人工智能实验室)
本文从元学习视角将推理轨迹视为伪梯度更新,形式化推理训练为元学习过程,实证验证了LLM推理与元学习的强关联,为改进模型提供实践见解。
2025-05-26 cs.AI cs.CL
Interpretability Framework for LLMs in Undergraduate Calculus
University of Texas at Tyler(德克萨斯理工大学);Florida Gulf Coast University(佛罗里达盖恩斯维尔大学)
针对数学教育中 LLM 重答案、轻推理的评估缺陷,提出融合推理流提取、语义分解与提示消融的可解释性框架,以细粒度诊断本科微积分解题的概念错误与鲁棒性。
2025-10-19 cs.AI cs.CL cs.CY
MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning
AI21 Labs(AI21实验室)
巨大的语言模型(LM)开创了人工智能的新时代,成为基于自然语言的知识任务的门户。虽然LM是现代AI的基本要素,但它在许多方面也有固有的局限性。我们将讨论这些限制,以及如何通过采用系统方法来避免这些限制。将挑战概念化为除了语言处理之外还涉及知识和推理的挑战,我们定义了一个具有多个神经模型的灵活架构,并辅以离散知识和推理模块。我们描述了这种神经符号架构,称为模块化推理,知识和语言(MRKL,发音为“奇迹”)系统,实现它的一些技术挑战,以及Jurassic-X,AI 21 Labs的MRKL系统实现。
2022-05-01 cs.AI cs.CL
The Past, Present and Better Future of Feedback Learning in Large Language Models for Subjective Human Preferences and Values
University of Oxford(牛津大学);Bocconi University(博科尼大学);Meedan(米丹)
人类反馈越来越多地用于引导大语言模型(LLM)的行为。然而,目前还不清楚如何收集和纳入反馈的方式是高效,有效和公正的,特别是高度主观的人类偏好和价值观。在本文中,我们调查现有的方法,从人类的反馈学习,主要是从ACL和arXiv repositions.First,我们总结了过去,前LLM的趋势,将人类的反馈集成到语言模型的95篇论文。其次,我们给出了一个概述,目前的技术和做法,以及使用反馈的动机;定义价值观和偏好的概念框架;以及如何收集反馈,从谁。最后,我们通过提出五个尚未解决的概念和实践挑战,鼓励LLM反馈学习的更美好未来。
2023-10-11 cs.CL cs.CY
State over Tokens: Characterizing the Role of Reasoning Tokens
Bar-Ilan University(巴伊兰大学);University of Haifa(海法大学);New York University(纽约大学);Allen Institute for AI(人工智能研究院)
本文提出SoT框架,将LLM的推理令牌视为外部化计算状态,而非文本叙述,以揭示其实际推理机制及未被关注的研究问题。
2025-12-14 cs.AI cs.CL
On the Role of Entity and Event Level Conceptualization in Generalizable Reasoning: A Survey of Tasks, Methods, Applications, and Future Directions
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China(计算机科学与工程系,香港科技大学,香港特别行政区,中国)
本文针对概念化定义不一致且缺乏系统综述的问题,提出四层级分类框架,并基于150余篇论文首次系统综述实体与事件层级概念化的定义、资源、方法及应用,同时展望未来研究方向。
2025-08-22 cs.CL
Evidence of conceptual mastery in the application of rules by Large Language Models
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);INSPER(因斯佩尔学院);Maynooth University(梅努斯大学)
本文通过两项心理学实验发现,Gemini Pro等部分LLMs在规则应用上展现类人表现,证实LLMs掌握规则概念,对法律决策与哲学探究有启示。
2026-08-19 cs.AI cs.CL cs.CY
Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching
KAIST(韩国科学技术院)
提出SoT提示框架,融合认知范式与语言约束,通过三种动态选择的推理模式在18个数据集上减少高达84%的token,同时保持甚至提升推理准确率。
2025-10-24 cs.AI cs.CL cs.LG
Entity Embeddings with Conceptual Subspaces as a Basis for Plausible Reasoning
Cardiff University(卡迪夫大学)
概念空间是概念知识的几何表示,其中实体对应于点,自然属性对应于凸区域,并且空间的维度对应于显著特征。虽然概念空间能够为各种认知现象提供优雅的模型,但迄今为止,缺乏构建此类表示的自动化方法限制了它们在人工智能中的应用。为了解决这个问题,我们提出了一种方法,学习向量空间嵌入的实体从维基百科和约束这种嵌入,使相同的语义类型的实体位于一些低维子空间。我们实验证明这些子空间的有用性(近似)概念空间表示,除其他外,重要的功能可以建模为方向和自然属性往往对应于凸区域。
2017-10-25 cs.AI cs.CL
A Conceptual Reasoning Approach to Textual Ellipsis
本文提出了一种混合的文本理解方法来解决文本中的省略问题。它整合了概念标准(基于术语知识库中角色链的良构性和概念强度)和反映话语信息结构的功能约束(基于区分语境约束和非语境约束话语元素)。文本省略解决的方法框架是中心化模型,已适应这些限制。
1996-05-15 cmp-lg cs.CL
Natural Language Reasoning, A Survey
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Halmstad University(哈尔姆斯塔德大学)
本综述为NLP中的自然语言推理提供清晰定义与分类,全面回顾经典逻辑推理、自然语言推断、多跳问答和常识推理,并强调反向推理与可废止推理作为未来方向。
2023-05-13 cs.CL
Unbiased Visual Reasoning with Controlled Visual Inputs
Arizona State University(亚利桑那州立大学);University of Southern California(南加州大学);University of Pennsylvania(宾夕法尼亚大学);University of California, Davis(加州大学戴维斯分校)
VISTA通过解耦感知与推理,利用受控接口和强化学习训练,提升了视觉推理的鲁棒性和中立性。
2025-12-19 cs.AI cs.CL cs.CV
PTR: A Benchmark for Part-based Conceptual, Relational, and Physical Reasoning
UCLA(加州大学洛杉矶分校);Stanford University(斯坦福大学);MIT BCS, CBMM, CSAIL(麻省理工学院脑与认知科学系、心智/大脑/机器研究中心、计算机科学与人工智能实验室);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
人类视觉感知的一个关键方面是将视觉场景解析为单个对象并进一步解析为对象部分,形成部分-整体层次结构的能力。这种复合结构可以归纳出丰富的语义概念和语义关系,从而在视觉信号的解释和组织以及视觉感知和推理的概括中发挥重要作用。然而,现有的视觉推理基准大多集中在对象,而不是部分。基于完整部分-整体层次结构的视觉推理比以对象为中心的推理更具挑战性,因为更细粒度的概念,更丰富的几何关系和更复杂的物理。因此,为了更好地服务于基于部分的概念,关系和物理推理,我们引入了一个新的大规模诊断视觉推理数据集命名PTR。PTR包含大约70 k RGBD合成图像,其中包含关于语义实例分割、颜色属性、空间和几何关系以及某些物理属性(如稳定性)的地面实况对象和部件级注释。这些图像与70万个机器生成的问题配对,这些问题涵盖了各种类型的推理类型,使它们成为视觉推理模型的良好测试平台。我们在这个数据集上检查了几个最先进的视觉推理模型,并观察到它们在人类可以很容易地推断出正确答案的情况下仍然会犯许多令人惊讶的错误。我们相信这个数据集将为基于部件的推理开辟新的机会。
2021-12-09 cs.AI cs.CL cs.CV
Neuro-Conceptual Artificial Intelligence: Integrating OPM with Deep Learning to Enhance Question Answering Quality
Tokushima University(德岛大学);Technion – Israel Institute of Technology(以色列理工学院)
本文提出 NCAI 框架,利用 OPM 概念建模与上下文内学习增强深度学习问答系统,并通过透明度指标验证其在推理透明性和答案准确性上的优势。
2025-02-12 cs.AI cs.CL
Ontology for Policing: Conceptual Knowledge Learning for Semantic Understanding and Reasoning in Law Enforcement Reports
Law Enforcement Agencies(执法机构)
本文提出利用符号方法将执法报告中的叙述转化为证据关联事实,通过消除个人标识、语义解析、谓词映射到本体和推理,提高对事件细节的恢复能力,并构建包含时间线索和领域公理的时间图。
2026-05-15 cs.AI cs.CL cs.LO
XCOMPS: A Multilingual Benchmark of Conceptual Minimal Pairs
Columbia University(哥伦比亚大学);Munich Center for Machine Learning(慕尼黑机器学习中心);LMU Munich(慕尼黑大学);University of Michigan(密歇根大学);KU Leuven(根特大学)
介绍多语言概念最小对数据集XCOMPS,通过多种方式评估LLMs多语言概念理解,比较不同模型发现LLMs对低资源语言概念理解弱,指令微调与知识蒸馏有不同效果,形态复杂语言理解分数低。
2026-07-22 cs.CL
On the Possibilities and Limitations of Multi-hop Reasoning Under Linguistic Imperfections
Allen Institute for AI(艾伦人工智能研究所);Indiana University(印第安纳大学);University of Pennsylvania(宾夕法尼亚大学)
用于语言理解的系统在克服涉及短语匹配或简单推理的任务中的语言缺陷方面已经变得非常强大。然而,随着推理步骤的增加,它们的准确性急剧下降。我们提出了第一个正式的框架来研究这种经验观察。它允许一个量化的数量和影响的模糊性,冗余,不完整性,和不准确的语言使用时,介绍了一个隐藏的概念空间。我们的想法是考虑两个相互关联的空间:一个概念意义空间是明确的,完整的,但隐藏的,和语言空间,捕捉一个嘈杂的接地的意义空间在一个语言的话-所有系统的水平,无论是神经或符号,操作。将此框架应用于一类特殊的多跳推理,即概念之间的关系图中的连通性问题,即使在这种简化的设置下,我们也会得到严格的直觉和不可能的结果。例如,如果查询需要一个中等大小的由于语义图中的跳数(对数),在基于语言的嘈杂图上运行的推理系统不可能正确地回答它。这突出了扩展到更广泛类别的推理问题和系统的基本障碍,并提出了替代路径:专注于通过更丰富的表示来对齐两个空间,然后再投资于具有许多跳的推理。
2020-05-01 cs.AI cs.CL
e-CARE: a New Dataset for Exploring Explainable Causal Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
理解因果关系对于各种自然语言处理(NLP)应用至关重要。除了标记的实例之外,因果关系的概念解释还可以提供对因果事实的深入理解,以促进因果推理过程。然而,这样的解释信息仍然是缺乏现有的因果推理资源。在本文中,我们填补了这一空白,提出了一个人类注释的可解释的因果推理数据集(e-CARE),其中包含超过21 K的因果推理问题,连同自然语言形成的解释的因果问题。实验结果表明,对于现有的因果推理模型而言,如何对因果事实进行有效的解释仍然是一个挑战,而解释信息有助于提高因果推理模型的准确性和稳定性。
2022-05-12 cs.AI cs.CL
Neuro-Symbolic Frameworks: Conceptual Characterization and Empirical Comparative Analysis
本文刻画神经符号框架的技术方面,展示三个通用框架并识别挑战,以激发社区重新思考该问题。
2025-09-08 cs.AI cs.CL cs.SC
Reasoning Like Program Executors
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Sea AI Lab(Sea人工智能实验室);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能部门)
基于自然语言的推理是研究界长期以来的目标。然而,研究表明,现有的语言模型在推理方面存在不足。为了解决这个问题,我们提出了POET,一种新的推理预训练范式。POET通过对语言模型进行程序及其执行结果的预训练,使语言模型能够通过数据驱动的方法获取程序执行者所拥有的推理知识。POET在概念上很简单,可以由不同类型的程序执行器实例化。在本文中,我们展示了两个简单的实例POET-Math和POET-Logic,以及一个复杂的实例POET-SQL。在6个基准测试上的实验结果表明,POET可以显著提高自然语言推理中的模型性能,如数值推理、逻辑推理和多跳推理。POET为推理增强预训练打开了一扇新的大门,我们希望我们的分析能为未来的程序执行器推理研究提供启示。
2022-10-22 cs.AI cs.CL cs.SC