Exploring the Meta-level Reasoning of Large Language Models via a Tool-based Multi-hop Tabular Question Answering Task
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本文通过设计基于工具的多跳表格问答任务,探索大型语言模型的元级推理能力,发现其在任务分解和工具选择方面表现良好,但在数学运算和任务理解上存在不足。
2026-01-12 cs.CL
HYBRIDMIND: Meta Selection of Natural Language and Symbolic Language for Enhanced LLM Reasoning
Yale University(耶鲁大学)
HYBRIDMIND通过元选择器为每个推理问题动态选择自然语言或符号语言,微调LLaMA-3.1-8B-Instruct作为元选择器在FOLIO和MATH上分别超越GPT-4o达4.4%和1.3%,并在FOLIO挑战子集上提升10%。
2025-02-26 cs.CL
Beg to Differ: Understanding Reasoning-Answer Misalignment Across Languages
FAIR, Meta(Meta 人工智能基础研究团队);Meta Superintelligence Labs(Meta 超级智能实验室)
研究探讨了多语言模型推理与答案的一致性问题,发现非拉丁文字推理痕迹与结论的不一致程度是拉丁文字的两倍,提出基于人工标注的错误分类方法,揭示了证据错误和逻辑推理错误是主要问题。
2026-03-30 cs.CL
Language Mixing in Reasoning Language Models: Patterns, Impact, and Internal Causes
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Hochschule der Medien(斯图加特媒体大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
本文首次系统研究了推理语言模型中的语言混合现象,揭示语言、任务难度和学科领域对混合的影响,并发现推理语言选择显著影响性能,且混合模式与模型内部表征一致,为优化多语言推理提供了新方向。
2025-09-19 cs.CL
Conceptual Metaphor Theory as a Prompting Paradigm for Large Language Models
Universität Oldenburg(奥尔登堡大学)
本文提出以概念隐喻理论作为提示范式,通过隐喻映射引导大语言模型进行结构化推理,实验表明该方法在推理准确性、清晰度和隐喻连贯性上均优于多个基线模型。
2025-02-04 cs.CL
Ensembling Large Language Models with Process Reward-Guided Tree Search for Better Complex Reasoning
KAIST AI(韩国科学技术院人工智能学院);Microsoft Research(微软研究院)
针对开源大型语言模型在复杂推理任务上的不足,提出LE-MCTS框架,将多模型逐步推理建模为马尔可夫决策过程,通过过程奖励引导的蒙特卡洛树搜索寻找最优推理链,在多个数学基准上显著优于现有方法。
2024-12-20 cs.CL
Discovering a Shared Logical Subspace: Steering LLM Logical Reasoning via Alignment of Natural-Language and Symbolic Views
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Computer & Information Science and Engineering, University of Florida(佛罗里达大学计算机与信息科学与工程系)
本文提出通过对齐自然语言和符号视角的逻辑子空间来提升LLM的多步逻辑推理能力,通过实验验证该方法在四个基准测试中提升了准确率并具备良好的泛化能力。
2026-04-21 cs.CL
Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey
虽然常识知识获取和推理传统上是知识表示和推理社区的核心研究课题,但近年来,自然语言处理社区对开发预训练模型并测试其解决各种新设计的常识知识推理和生成任务的能力的兴趣激增。本文介绍了这些任务的调查,讨论了最先进的预训练模型的优势和劣势,这些任务所揭示的常识推理和生成,并反映在未来的研究方向。
2022-01-28 cs.CL
MAPO: Advancing Multilingual Reasoning through Multilingual Alignment-as-Preference Optimization
Nanjing University(南京大学)
针对大语言模型因训练数据不平衡导致的多语言推理能力不一致问题,提出MAPO框架,以翻译模型保障的跨语言答案一致性为偏好进行优化,显著提升多基准下的多语言推理表现与跨语言一致性。
2024-04-13 cs.CL
Large Language Models Still Face Challenges in Multi-Hop Reasoning with External Knowledge
The University of Manchester(曼彻斯特大学)
该研究从外部知识运用、非顺序推理、多跳泛化三方面测试大语言模型多跳推理能力,经在四个基准上用思维链提示测试GPT-3.5,发现其仍存明显缺陷,与人类水平有较大差距。
2024-12-11 cs.CL
Improving Mathematical Reasoning Capabilities in Large Language Models via Reasoning Process Error Classification
Human Informatics Labs., NTT, Inc.(NTT公司人类信息学实验室)
本研究通过定义并分类21种推理错误,设计聚焦八种错误类别的提示词,有效提升了大语言模型在数学推理任务上的性能。
2026-09-15 cs.CL
mCoT: Multilingual Instruction Tuning for Reasoning Consistency in Language Models
Center for Language and Cognition (CLCG)(语言与认知中心(CLCG));University of Groningen(格罗宁根大学)
针对大语言模型多语言推理可靠性存疑的问题,构建覆盖11种语言的mCoT-MATH数据集,提出多语言CoT指令微调,7B参数的mCoT模型实现跨语言推理一致性和优异性能。
2024-07-10 cs.CL
Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement of Language Models
SAP AI Research(SAP人工智能研究院)
我们能否获得现有的语言模型,并将其细化为zero-shot常识推理?本文提出了一个初步的研究,探索zero-shot常识推理的可行性Winograd模式挑战制定的任务作为自我监督细化的预训练语言模型。与以往依赖于微调注释数据集的研究相比,我们寻求通过损失景观细化来提高概念化。为此,我们提出了一种新的自监督学习方法,利用一组相似概念关系的语言扰动来改进语言模型。我们的概念上简单的框架实证分析表明,多个基准上的可行性zero-shot常识推理。
2021-09-10 cs.CL
Large Language Models Are Cross-Lingual Knowledge-Free Reasoners
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);China Mobile Research(中国移动研究院)
本研究将推理任务分解为知识检索与无知识推理,发现无知识推理能力可跨语言完美迁移而知识检索会阻碍迁移,并揭示其机制在于不同语言共享推理神经元而知识分语言存储。
2025-03-03 cs.CL
LogiNumSynth: Synthesizing Joint Logical-Numerical Reasoning Problems for Language Models
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
提出LogiNumSynth问题合成器,通过细粒度控制生成联合逻辑-数值推理任务,支持过程与答案评估及针对性训练,有效诊断并提升语言模型的综合推理能力。
2025-10-13 cs.CL
Unifying Structure Reasoning and Language Model Pre-training for Complex Reasoning
Fudan University(复旦大学);ShanghaiTech University(上海科技大学)
本文提出融合显式结构推理与语言预训练的统一框架,通过构建结构化查询并在PLM语义表示空间上逐步推理,提升模型跨结构复杂推理、少样本迁移及KG模态推理能力。
2023-07-15 cs.CL
LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院自然语言处理实验室);Meituan Inc.(美团公司);NiuTrans Research, Shenyang, China(牛译研所)
本文提出LANG框架,通过语言条件提示引导非英语推理任务的探索,解决了多语言环境下强化学习在输入语言一致性与推理质量之间的权衡问题,提升了推理性能而不影响语言一致性。
2026-05-21 cs.CL
Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);Salesforce AI Research(赛富时人工智能研究院)
本文提出显式对齐模型的三种元能力(演绎、归纳和溯因)的三阶段流水线方法,通过自动生成任务和特定领域强化学习,显著提升了大型推理模型的性能上限与可靠性。
2025-05-27 cs.CL
A Neural-Symbolic Approach to Natural Language Understanding
Shanghai Jiaotong University(上海交通大学);ByteDance(字节跳动)
由预先训练的语言模型授权的深度神经网络在自然语言理解(NLU)任务中取得了显着的成果。然而,当需要逻辑推理时,它们的性能会急剧恶化。这是因为NLU原则上不仅依赖于深度神经网络擅长的类比推理,还依赖于逻辑推理。根据双加工理论,类比推理和逻辑推理分别由人脑中的系统1和系统2完成。受该理论的启发,我们提出了一个新的框架NLU称为神经符号处理器(NSP),它执行基于神经处理的类比推理和基于神经和符号处理的逻辑推理。作为一个案例研究,我们进行了两个NLU任务,问答(QA)和自然语言推理(NLI),当数值推理(一种逻辑推理)是必要的实验。实验结果表明,我们的方法显着优于国家的最先进的方法在这两个任务。
2022-10-21 cs.CL
Large Language Models Perform Diagnostic Reasoning
National Taiwan University(台湾大学)
该研究提出DR-CoT提示方法,将思维链提示扩展至医学自动诊断推理,仅用两个示例即可让通用大语言模型的诊断准确率较标准提示提升15%,域外场景下提升18%,验证了恰当提示可激发大模型的专家知识推理能力。
2023-07-18 cs.CL
x1: Learning to Think Adaptively Across Languages and Cultures
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);The University of Hong Kong(香港大学);Huawei Technologies Co., Ltd(华为技术有限公司)
x1通过在实例层面选择有利语言进行推理,提升多语言数学推理和文化相关任务的性能,挑战了单纯扩大模型规模的假设。
2026-04-18 cs.CL
MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation
Chinese University of Hong Kong(香港中文大学);Smartmore Co.Ltd(思谋科技有限公司);Tencent AI Lab(腾讯AI Lab)
本研究提出元推理评估范式,将LLM从问答角色转变为解答评分角色,并基于GSM8K构建MR-GSM8K基准,揭示现有模型在元推理任务上的显著性能差距。
2024-06-05 cs.CL
Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning
JIUTIAN Research, China Mobile, Beijing, China(JIUTIAN研究, 中国移动, 北京);National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室, 南京大学)
PASMR通过基准语言自反馈机制提升多语言数学推理能力,解决LLMs在多语言环境下的性能下降问题。
2026-01-25 cs.CL
Reasoning Strategies in Large Language Models: Can They Follow, Prefer, and Optimize?
Université Sorbonne Paris Nord(索邦巴黎北大学);CNRS(法国国家科学研究中心);Université Paris Cité(巴黎西岱大学)
本研究探讨了通过提示控制LLMs推理策略以提升逻辑问题求解的可行性,发现单一策略无法持续提升准确率,并提出引导模型自适应选择最优策略的方法来完善其推理能力。
2025-07-16 cs.CL
Rethinking the Multilingual Reasoning Gap with Layer Swap
LightOn;Inria(法国国家科学研究中心)
本文通过构建多语言推理数据集并微调专家模型,发现本地推理与英语枢轴推理的性能差距远小于先前报道,并提出层交换方法将英语专家的推理中间层迁移到本地专家,以缩小差距。
2026-08-27 cs.CL
SoT: Structured-of-Thought Prompting Guides Multilingual Reasoning in Large Language Models
Key Laboratory of Big Data & Artificial Intelligence in Transportation (Beijing Jiaotong University), Ministry of Education(大数据与人工智能交通 key laboratory(北京交通大学));School of Computer Science and Technology, Beijing Jiaotong University(计算机科学与技术学院(北京交通大学));University of Montreal(蒙特利尔大学)
针对非高资源语言下大语言模型多语言推理能力不足的问题,提出无需训练的结构化思维提示方法SoT,通过两步变换实现跨语言一致推理,在多基准上优于强基线且可兼容其他免训练策略。
2025-10-03 cs.CL
Linear Reasoning vs. Proof by Cases: Obstacles for Large Language Models in FOL Problem Solving
Nanjing University of Science and Technology(南京理工大学);Westlake University(西湖大学);Zhejiang University(浙江大学)
本文提出PC-FOL数据集,通过对比线性推理与基于情况的推理,揭示大型语言模型在FOL问题解决中的核心挑战。
2026-02-24 cs.CL
ReasonXL: A Large-Scale Corpus for Language-Specific Reasoning in LLMs
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Saarland University(萨尔兰州立大学);Berliner Hochschule für Technik(柏林技术学院)
本文提出ReasonXL,首个跨领域多语言推理平行语料库,通过SFT+RLVR方法实现LLM在目标语言中推理,保留性能并提升跨语言迁移能力。
2026-10-14 cs.CL
Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning
Department of Computing, The Hong Kong Polytechnic University(计算机系,香港理工大学);Ningbo Digital Twin Institute, Eastern Institute of Technology(宁波数字孪生研究院,东部技术研究所)
本文综述潜在思维链推理这一新兴LLM推理范式,建立系统分类,分析其方法、设计原则、应用与挑战,为该领域发展提供结构化基础。
2026-09-01 cs.CL
Guiding Reasoning in Small Language Models with LLM Assistance
KAIST AI(韩国科学技术院人工智能研究所);LG AI Research(LG人工智能研究院)
本文提出 SMART 框架,通过基于评分识别不确定步骤并注入 LLM 的纠正性推理,以最优策略搜索引导小语言模型的推理轨迹,显著提升其在复杂数学推理任务上的性能。
2025-06-02 cs.CL
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
Think Multilingual, Not Harder: A Framework for Analyzing and Teaching Code-Switched Reasoning
University of Michigan(密歇根大学)
本文提出一种数据高效的框架,用于识别并教授推理模型更有效的语言混合行为,通过分析不同模型的语言混合行为,开发出有效的微调干预措施,提升推理模型的语言混合能力。
2026-10-06 cs.CL
Chain-of-Reasoning: Towards Unified Mathematical Reasoning in Large Language Models via a Multi-Paradigm Perspective
Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
针对大语言模型单范式数学推理的局限性,提出整合多推理范式的Chain-of-Reasoning框架及渐进式训练策略,训练得到的CoR-Math-7B在多项数学任务上显著优于现有SOTA模型,实现跨任务零样本泛化。
2025-09-04 cs.CL
Enhancing Large Language Models with Neurosymbolic Reasoning for Multilingual Tasks
Portland State University(波特兰州立大学)
本文提出神经符号增强推理(NSAR),通过显式提取符号事实并生成 Python 代码,在多语言长上下文任务中显著优于 RAG 和提示策略。
2025-06-03 cs.CL
Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph
Tsinghua University(清华大学);Microsoft Research(微软研究院)
尽管生成预训练的语言模型在一系列文本生成任务上取得了成功,但在生成过程中需要对底层常识知识进行推理的情况下,它们仍然会受到影响。将常识知识集成到生成式预训练语言模型中的现有方法简单地通过对个体知识三元组进行后训练来传递关系知识,而忽略了知识图谱内的丰富连接。我们认为,利用结构和语义信息的知识图谱有利于常识意识的文本生成。在本文中,我们提出了多跳推理流生成(GRF),它使预训练模型能够在从外部常识知识图谱中提取的多关系路径上进行动态多跳推理。我们的经验表明,我们的模型优于现有的基线上的三个文本生成任务,需要推理常识知识。我们还证明了动态多跳推理模块的有效性与推理路径推断的模型,提供合理的生成。
2020-09-24 cs.CL
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective
Shanghai AI Laboratory(上海人工智能实验室)
本文从元学习视角将推理轨迹视为伪梯度更新,形式化推理训练为元学习过程,实证验证了LLM推理与元学习的强关联,为改进模型提供实践见解。
2025-05-26 cs.AI cs.CL
Exploring the Role of Reasoning Structures for Constructing Proofs in Multi-Step Natural Language Reasoning with Large Language Models
Ingenuity Labs Research Institute(Ingenuity Labs 研究院);NEC Laboratories America(美国 NEC 实验室)
本文研究通用大语言模型能否通过上下文学习利用少量示例中的结构来更好地构建多步推理的证明结构,提出结构感知演示与结构感知剪枝方法,实验证明二者均能提升模型性能。
2025-01-30 cs.AI cs.CL
Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data
McGill University(麦吉尔大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所)
本研究探索基于图的合成数据作为训练信号,通过监督微调增强LLM在归纳与空间推理任务上的能力,且不影响其他基准表现。
2024-12-16 cs.CL cs.LG
Think$^{2}$: Grounded Metacognitive Reasoning in Large Language Models
IIIT Hyderabad(IIIT海得拉尔)
Think$^{2}$通过引入基于心理理论的元认知框架,提升大语言模型的自我诊断与纠正能力,显著提高推理准确性和可信度。
2026-02-21 cs.AI cs.CL
Understanding Syllogistic Reasoning in LLMs from Formal and Natural Language Perspectives
本文从形式和自然语言角度研究大语言模型的三段论推理能力,通过测试14种模型的符号推理和自然语言理解,探讨大语言模型是否正向形式化推理机制发展。
2025-12-29 cs.AI cs.CL
Enhance Reasoning Ability of Visual-Language Models via Large Language Models
Beijing Jiaotong University(北京交通大学)
针对视觉语言模型推理能力不足的问题,提出TReE方法,通过观察、思考和重新思考三阶段,在零样本场景下将大型语言模型的推理能力迁移至视觉语言模型,从而增强其推理表现。
2023-05-22 cs.AI cs.CL
Reasoning Transfer for an Extremely Low-Resource and Endangered Language: Bridging Languages Through Sample-Efficient Language Understanding
本文提出英语引导的Co T训练方法,通过监督微调提升极低资源语言的推理能力,并发布首个爱尔兰语数学任务基准测试,展示多语言推理的可行路径。
2025-11-26 cs.AI cs.CL
Meta-Reasoning Improves Tool Use in Large Language Models
Imperial College London(伦敦帝国学院)
本文提出TECTON两阶段系统,通过先推理生成候选工具再进行元推理选择最终工具,显著提升大语言模型在数学推理任务中的工具使用效果。
2025-02-08 cs.AI cs.CL
Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出 Meta-CoT 框架,显式建模生成思维链背后的推理过程,并结合过程监督、合成数据、搜索轨迹指令微调和强化学习,为 LLM 实现类系统2推理提供路线图。
2025-01-08 cs.AI cs.CL
Reasoning-Grounded Natural Language Explanations for Language Models
本文提出一种通过推理过程生成可信自然语言解释的方法,通过将推理过程转化为token序列并解码为自然语言,提升解释的准确性与答案质量。
2026-03-14 cs.CL cs.LG
Logical Reasoning over Natural Language as Knowledge Representation: A Survey
Nanyang Technological University(南洋理工大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文综述了以自然语言作为知识表示、预训练语言模型作为推理器的逻辑推理新范式,涵盖其优势、基准、挑战及未来方向,该范式有效缓解了形式表示的瓶颈并优于端到端神经方法。
2024-02-16 cs.AI cs.CL
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Google Research(谷歌研究院)
我们将探讨如何生成一个思维链--一系列中间推理步骤--显著提高大语言模型执行复杂推理的能力。特别是,我们展示了如何自然地出现在足够大的大语言模型,通过一个简单的方法,称为思维链提示,其中一些思维链示范提供了作为范例,提示这样的推理能力。在三个大语言模型上的实验表明,思维链提示提高了一系列算术、常识和符号推理任务的性能。经验上的收获可能是惊人的。例如,仅用8个思维链示例就能提示540 B参数语言模型,在数学应用题的GSM 8 K基准测试中达到最先进的精度,甚至超过了使用验证器的微调GPT-3。
2023-01-10 cs.AI cs.CL
LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning
Institute of Computing and Intelligence, Harbin Institute of Technology(哈尔滨工业大学计算与智能学院);Peng Cheng Laboratory(鹏城实验室)
本文提出两阶段指令微调框架 LinguaLIFT,通过语言对齐层和语码转换微调,仅用英文数据将推理能力迁移至低资源语言,并构建覆盖48种语言的 MMWP 基准,实验表现优于多个基线。
2025-02-17 cs.AI cs.CL
Metaphors are a Source of Cross-Domain Misalignment of Large Reasoning Models
The University of New South Wales(新南威尔士大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61)
研究发现训练数据中的隐喻会导致大推理模型在推理输出中出现跨领域失调,通过隐喻干预可显著改变失调程度,并设计出高精度检测器。
2026-06-26 cs.AI cs.CL cs.LG
Intermediate Languages Matter: Formal Choice Drives Neurosymbolic LLM Reasoning
TU Wien, Vienna, Austria(维也纳技术大学);Johannes Kepler University Linz, Linz, Austria(林茨约翰尼斯·凯普勒大学)
本研究针对神经符号LLM推理的成功影响因素不明确的问题,通过多组对比实验发现形式语言选择是关键因素,提出中间语言挑战,并验证上下文感知编码可提升推理效果。
2025-05-21 cs.AI cs.CL
Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所)
本研究提出推理引导的翻译框架,构建覆盖11种语言的多语言评估集合,发现开源LLMs存在语言依赖型漏洞,强调任务敏感型基准构建的重要性。
2026-10-15 cs.AI cs.CL
MindMerger: Efficient Boosting LLM Reasoning in non-English Languages
Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对LLM非英语推理能力不足的问题,提出MindMerger方法,融合多语言模型的外部语言理解能力与LLM内建推理能力,通过两步训练提升多语言推理性能,实验显示在低资源语言上显著优于基线。
2024-05-27 cs.AI cs.CL
LLM+AL: Bridging Large Language Models and Action Languages for Complex Reasoning about Actions
Arizona State University(亚利桑那州立大学);Samsung Research(三星研究院)
本文提出LLM+AL方法,将大语言模型的自然语言理解与动作语言的符号推理结合,在复杂动作推理中仅需少量人工纠正即可持续得到正确答案,并支持动作语言的自动生成。
2025-02-04 cs.AI cs.CL