Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners
Peking University（北京大学）；National Key Laboratory of General Artificial Intelligence, BIGAI（北京通用人工智能研究院通用人工智能国家重点实验室）；Tsinghua University（清华大学）
本文通过将语义与推理过程解耦，评估 LLM 的演绎、归纳和溯因能力，证明其上下文推理主要依赖与常识一致的语义而非真正的符号推理。
2023-06-08 cs.AI cs.CL
Towards a Neurosymbolic Reasoning System Grounded in Schematic Representations
CRIL CNRS & Artois University（法国国家科学研究中心与阿图瓦大学计算机科学研究实验室）
针对大语言模型逻辑推理易出错、缺乏稳固心理表征的问题，提出基于意象图式的神经符号系统Embodied-LM，用回答集编程的声明式空间推理实现认知结构操作化，经逻辑演绎评估验证了其推理有效性与可解释性，为复杂动态表征研究奠基。
2025-09-03 cs.AI cs.CL
LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT BCS（麻省理工学院脑与认知科学系）
提出神经符号方法LINC，利用LLM将自然语言翻译为一阶逻辑表达式并交由外部定理证明器执行推理，在FOLIO和ProofWriter上显著提升了逻辑推理性能。
2024-02-14 cs.AI cs.CL
Large Language Models are Contrastive Reasoners
Sun Yat-sen University Shenzhen, China（中山大学深圳校区）
本文提出对比提示方法，通过简单提示提升大型语言模型的推理能力，在算术和常识推理任务中优于零样本和少样本方法。
2025-02-17 cs.AI cs.CL
Grounding Agent Reasoning in Image Schemas: A Neurosymbolic Approach to Embodied Cognition
CRIL CNRS & Artois University（CRIL 法国国家科学研究中心与阿图瓦大学）
针对智能体推理难以捕捉人类基本概念结构的问题，提出一种利用意象图式形式化表征、结合LLMs与神经符号方法的框架，将智能体理解扎根于感觉运动模式，从而提升效率与可解释性并实现更直观的人机交互。
2025-03-31 cs.AI cs.CL
Enhancing Large Language Models with Neurosymbolic Reasoning for Multilingual Tasks
Portland State University（波特兰州立大学）
本文提出神经符号增强推理（NSAR），通过显式提取符号事实并生成 Python 代码，在多语言长上下文任务中显著优于 RAG 和提示策略。
2025-06-03 cs.CL
ProSLM : A Prolog Synergized Language Model for explainable Domain Specific Knowledge Based Question Answering
University of California Santa Cruz（加州大学圣克鲁兹分校）
针对现有神经符号方法未用形式逻辑为大语言模型提供查询上下文、验证输出的问题，提出融合领域知识库、逻辑推理与LLM的ProSLM框架，可实现上下文收集与事实验证，开辟神经符号生成式AI文本验证与用户个性化新方向。
2024-09-17 cs.AI cs.CL
From Large Language Model Predicates to Logic Tensor Networks: Neurosymbolic Offer Validation in Regulated Procurement
Harz University of Applied Sciences（哈尔茨应用科学大学）；Merseburg University of Applied Sciences（梅泽堡应用科学大学）；University of New South Wales (UNSW)（新南威尔士大学）
本文提出一种结合符号与子符号人工智能的神经符号方法，用于验证受规制公共机构的投标文件，通过语言模型提取信息并结合逻辑张量网络（LTN）进行可审计决策，提升决策的可解释性和合规性。
2026-07-31 cs.AI
Transformers as Soft Reasoners over Language
Allen Institute for AI（艾伦人工智能研究所）
从McCarthy的Advice Taker（1959）开始，AI追求的目标是提供一个具有明确的一般知识的系统，并让系统对这些知识进行推理。然而，表达的知识在一个正式的（逻辑或概率）表示一直是一个主要的障碍，这项研究。本文研究了一种现代的方法来解决这个问题，其中的事实和规则提供的自然语言句子，从而绕过了正式的表示。我们训练Transformers使用综合生成的数据对这些句子进行推理（或模拟推理）。我们的模型，我们称之为RuleTakers，提供了第一个经验证明，这种对语言的软推理是可学习的，可以达到高（99%）的准确率，并推广到测试数据，需要比训练期间更深的链接（95%+分数）。我们还表明，模型转移到两个手工编写的规则库，并解释成更多的自然语言的规则库。这些发现是重要的，因为它表明了Transformers的新作用，即作为有限的“软定理证明器”在语言中的明确理论操作。这反过来又为问答中的可解释性、可纠正性和反事实推理提供了新的可能性。
2020-05-05 cs.AI cs.CL
Language Models as Inductive Reasoners
Nanyang Technological University（南洋理工大学）；Microsoft Research（微软研究院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出从自然语言事实归纳自然语言规则的新范式，构建DEER数据集（1.2k规则-事实对），并利用预训练语言模型作为推理器，提出新框架在自动和人工评估中超越基线。
2024-02-05 cs.AI cs.CL
Mentor-KD: Making Small Language Models Better Multi-step Reasoners
Korea University（高丽大学）
提出Mentor-KD框架，利用中间规模的导师模型增强CoT标注并提供软标签，有效解决LLM教师模型蒸馏集不足问题，将多步推理能力蒸馏至小型语言模型。
2024-10-11 cs.AI cs.CL
Evaluating statistical language models as pragmatic reasoners
MIT（麻省理工学院）
本研究评估大语言模型（LLMs）的语用推理能力，通过可分级形容词“strong”的阈值估计及多种组合语境测试，发现LLMs能生成类人的语境化语用解读分布，但否定组合表现不佳，为其语义解析应用提供参考。
2023-05-01 cs.AI cs.CL
A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners
University of Pennsylvania（宾夕法尼亚大学）；Argonne National Laboratory（阿贡国家实验室）
本文通过假设检验框架和合成逻辑推理数据集，发现多数大型语言模型主要依赖令牌偏误而非真正推理，在经典问题上表现良好但泛化能力存疑。
2024-10-04 cs.AI cs.CL
Abstraction-of-Thought Makes Language Models Better Reasoners
Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能学院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯AI实验室）
本文提出新型结构化推理格式思维抽象（AoT），通过构建包含348k样本的微调数据集AoT Collection，引导语言模型在推理中先进行抽象思考再融入具体细节，在Big-Bench Hard基准上显著优于传统思维链方法。
2024-09-26 cs.AI cs.CL
Language Models are Multilingual Chain-of-Thought Reasoners
Google Research（谷歌研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Stanford University（斯坦福大学）；Dartmouth College（达特茅斯学院）
我们评估的推理能力的大语言模型在多语种设置。我们引入了多语言小学数学（MGSM）基准，通过手动翻译GSM8K数据集的250个小学数学问题（Cobbe等人，2021年）分为10个不同类型的语言。我们发现，通过思维链提示解决MGSM问题的能力随着模型规模的增加而出现，并且模型具有非常强大的多语言推理能力，即使在孟加拉语和斯瓦希里语等代表性不足的语言中也是如此。最后，我们表明，多语言推理能力的语言模型扩展到其他任务，如常识推理和词的上下文语义判断。MGSM基准可在https://github.com/google-research/url-nlp上公开获得。
2022-10-06 cs.AI cs.CL cs.LG
Neurosymbolic AI approach to Attribution in Large Language Models
AI Institute（AI研究所）；University of South Carolina（南卡罗来纳大学）
针对大语言模型归因存在的幻觉、偏差、来源不可靠等问题，本文提出整合结合神经网络与结构化符号推理的NesyAI，以提升归因模型的可靠性、可解释性与适应性。
2024-09-30 cs.CL
Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability, Explainability, and Safety
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
针对大语言模型黑箱、安全性不足等问题，提出基于神经符号方法的CREST框架，融合数据与过程、图知识，构建具备一致性、可靠性、用户级可解释性与安全性的可信AI系统。
2023-12-05 cs.AI cs.CL cs.LG
Making Large Language Models Better Reasoners with Step-Aware Verifier
Microsoft Research Asia（微软亚洲研究院）；Microsoft Corporation（微软公司）；Peking University（北京大学）
提出DIVERSE方法，通过生成多样化推理路径、加权投票过滤错误答案及逐步验证推理步骤，显著提升了大型语言模型在GSM8K等推理基准上的性能。
2023-05-24 cs.AI cs.CL
Learning to Self-Verify Makes Language Models Better Reasoners
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
通过自我验证学习提升语言模型的推理能力，有效提高生成和验证性能。
2026-02-07 cs.AI cs.CL
Neurosymbolic Graph Enrichment for Grounded World Models
Institute for Cognitive Sciences and Technologies - National Research Council（国家研究委员会认知科学与技术研究所）；Department of Philosophy - University of Bologna（博洛尼亚大学哲学系）
本文提出一种神经符号方法，将图像经大语言模型生成描述后转换为AMR图并注入逻辑与知识语义，再反馈给LLM扩展隐性知识，以增强复杂场景的理解与推理能力。
2024-11-19 cs.AI cs.CL cs.ET
KG-Reasoner: A Reinforced Model for End-to-End Multi-Hop Knowledge Graph Reasoning
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出KG-Reasoner，通过强化学习整合多步推理至LLM的'思考'阶段，实现动态探索推理路径，实验表明其在多跳和知识密集型推理任务中表现优异。
2026-04-14 cs.AI cs.CL
Large Language Models Are Self-Taught Reasoners: Enhancing LLM Applications via Tailored Problem-Solving Demonstrations
Yonsei University（延世大学）
本文提出SELF-TAUGHT框架，通过零样本方式自动生成定制且过滤的高质量示例，在多项选择和阿尔茨海默病诊断等任务上优于强基线。
2024-08-22 cs.AI cs.CL
TEN: Table Explicitization, Neurosymbolically
提出神经符号方法TEN，通过结构化分解提示与符号检查器结合LLM自调试循环，从半结构化文本中提取表格数据，显著提升了准确率并降低了幻觉率。
2025-08-12 cs.AI cs.CL
Neurosymbolic Auditing of Natural-Language Software Requirements
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出神经符号方法用于审计自然语言软件需求，通过形式逻辑转换和SMT求解器检测歧义与不一致，提升医疗设备软件需求的严谨性。
2026-05-13 cs.AI cs.SE
LLM Reasoners: New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models
UC San Diego（加州大学圣地亚哥分校）；University of Florida（佛罗里达大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对大语言模型推理链评估缺自动化方法、推理方法缺统一实现的问题，提出AutoRace全自动评估方法与LLM Reasoners统一推理库，系统分析了多类推理方法的影响因素。
2024-08-11 cs.AI cs.CL
PhyNiKCE: A Neurosymbolic Agentic Framework for Autonomous Computational Fluid Dynamics
PhyNiKCE通过神经符号框架提升CFD模拟的可信度与效率，实现96%的性能提升并减少59%的自我校正循环。
2026-02-12 cs.AI cs.CL
Large Language Models are Clinical Reasoners: Reasoning-Aware Diagnosis Framework with Prompt-Generated Rationales
Yonsei University（延世大学）
针对临床理由标注昂贵、诊断推理研究不足的问题，提出推理感知诊断框架，利用提示生成 Clinical CoT 理由并学习推理，实验验证 LLM/LM 的临床推理能力。
2024-05-10 cs.AI cs.CL
Large Language Models Are Also Good Prototypical Commonsense Reasoners
Zhejiang University（浙江大学）；Northeastern University（东北大学）；Ant Group（蚂蚁集团）
本文通过半自动设计任务相关、支持性证据生成和多样化路径解码等提示策略，在无需微调的情况下使大型语言模型在ProtoQA等常识推理基准上取得新的最优结果，并提升了模型可解释性。
2023-09-22 cs.AI cs.CL
Position: Logical Soundness is not a Reliable Criterion for Neurosymbolic Fact-Checking with LLMs
School of Computer Science University of Sheffield（计算机科学学院 伦敦大学谢菲尔德分校）
本文指出，逻辑正确性无法有效检测误导性声明，提出利用LLM的人类推理倾向来验证神经符号系统中的正式组件输出。
2026-04-25 cs.CL
Break the Chain: Large Language Models Can be Shortcut Reasoners
Gaode Map, Alibaba Group（阿里巴巴集团高德地图）；Zhejiang University（浙江大学）；Westlake University（西湖大学）
本文提出“打破链条”策略，将类人启发式与捷径引入大语言模型推理，并构建ShortcutQA数据集，以降低推理消耗并提升推理效率。
2024-06-04 cs.AI cs.CL
Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；Toyota Technological Institute at Chicago（丰田技术研究所（芝加哥））；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出CCDD模型，结合连续和离散空间，提升扩散语言模型的表达能力和训练效果，通过联合多模态扩散过程实现高质量的生成与推理。
2026-05-12 cs.AI cs.CL
Can Large Language Models Act as Symbolic Reasoners?
School of Information Technology, University of Cincinnati（辛辛那提大学信息技术学院）
本文围绕大语言模型的符号推理能力展开文献综述，探究其是否具备固有推理能力、能力适用范围，同时明确LLM可解释性的研究空白与未来方向。
2024-10-28 cs.AI cs.CL cs.ET
Physics Reasoner: Knowledge-Augmented Reasoning for Solving Physics Problems with Large Language Models
Institute for Artificial Intelligence, Tsinghua University (THUAI)（清华大学人工智能研究院）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Department of Automation, Tsinghua University（清华大学自动化系）；TMLR Group, Hong Kong Baptist University（香港浸会大学TMLR组）
针对大型语言模型因缺乏知识或应用错误导致解决物理问题失败的问题，提出Physics Reasoner框架，通过构建公式集和检查清单，经问题分析、公式检索和引导推理三阶段增强推理，在SciBench上准确率提升5.8%。
2024-12-18 cs.CL
From the Least to the Most: Building a Plug-and-Play Visual Reasoner via Data Synthesis
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Ant Group（蚂蚁集团）
针对视觉语言模型多步推理数据缺乏的问题，提出从最少到最多的视觉推理范式及数据合成方法，构建5万样本微调出即插即用的视觉推理器，在四个VQA基准上显著提升了四种VLMs的推理能力。
2024-10-11 cs.AI cs.CL
Large Language and Reasoning Models are Shallow Disjunctive Reasoners
Cardiff University（卡迪夫大学）
本文通过定性时空推理任务研究大型推理模型的分布外泛化能力，发现零样本LRMs仅在单路径推理中优于LLMs，在多路径设置下均表现不佳，并揭示其本质是浅层析取推理器。
2025-06-02 cs.AI cs.CL cs.LG
Neurosymbolics for Data Engineering: Achieving Long Context Token Reduction Without Finetuning
本文提出一种可即插即用的神经符号层，无需微调即可增强LLM逻辑推理能力，在BIRD-CRITIC等基准上平均准确率提升85%，还能将长上下文任务有效时间复杂度从O(n²)降至约O(n)，减少令牌使用超50%。
2026-09-02 cs.AI cs.CL cs.LG
Are Pretrained Language Models Symbolic Reasoners Over Knowledge?
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
预训练的语言模型（PLM）如何从训练集中学习事实知识？我们研究了两个最重要的机制：推理和记忆。先前的工作试图量化PLM学习的事实数量，但我们目前，使用合成数据，第一次研究，调查培训中存在的事实和PLM学习的事实之间的因果关系。对于推理，我们表明，PLM似乎学会正确地应用一些符号推理规则，但与其他人，包括两跳推理斗争。进一步的分析表明，即使是学习推理规则的应用也是有缺陷的。对于记忆，我们确定图式一致性（由其他事实系统地支持的事实）和频率是成功的关键因素。
2020-10-10 cs.CL
Advancing Symbolic Integration in Large Language Models: Beyond Conventional Neurosymbolic AI
Data Science, AI & Modelling Centre (DAIM)（数据科学、人工智能与建模中心）；School of Digital and Physical Sciences（数字与物理科学学院）；University of Hull（霍尔大学）
本文提出一种新的LLMs符号集成分类法及四维路线图，以解决LLMs透明度不足的问题，并推动符号技术与LLMs的有效融合。
2025-10-24 cs.AI
Large Language Models are Better Reasoners with Self-Verification
The Laboratory of Cognition and Decision Intelligence for Complex Systems, IA, CAS（中国科学院自动化研究所复杂系统认知与决策智能实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）；Unisound（云知声）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对大型语言模型在思维链推理中易受误差累积影响的问题，提出自我验证方法，通过反向验证模型推导的答案并计算验证分数来选择最优候选，有效提升了多类推理任务的性能。
2023-10-19 cs.AI cs.CL
S^3cMath: Spontaneous Step-level Self-correction Makes Large Language Models Better Mathematical Reasoners
Meituan Group（美团集团）
本文提出S$^3$c-Math系列模型，通过步骤级采样构建自我纠正数据并实施训练策略，使LLMs具备自发步骤级自我纠正能力，在GSM8K等数学基准上取得显著进步。
2025-06-28 cs.AI cs.CL
StackSight: Unveiling WebAssembly through Large Language Models and Neurosymbolic Chain-of-Thought Decompilation
University of Southern California（南加州大学）
StackSight 结合大语言模型与静态程序分析，通过跟踪虚拟栈变化和链式思维提示，将复杂 WebAssembly 代码反编译为可读 C++ 片段，显著提升反编译质量和代码语义理解。
2024-06-07 cs.AI cs.LG cs.SE
A Neurosymbolic Approach to Natural Language Formalization and Verification
Amazon Web Services（亚马逊网络服务）；University College London（伦敦大学学院）；University of Toronto（多伦多大学）；Queen Mary University of London（伦敦大学女王学院）
针对大型语言模型缺乏形式正确性保证的问题，提出神经符号方法ARc，通过使用带人工指导的大型语言模型形式化自然语言政策，并在推理时验证逻辑正确性，实现高健全性和低误报率，还能产生可审计工件。
2026-07-15 cs.AI cs.CL cs.LG
Large Language Models Are Better Logical Fallacy Reasoners with Counterargument, Explanation, and Goal-Aware Prompt Formulation
Sungkyunkwan University（成均馆大学）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）
本研究提出一种结合反论证、解释和目标感知的提示公式化方法，显著提升大型语言模型在零样本和微调设置下的逻辑谬误检测性能。
2025-03-30 cs.AI cs.CL cs.LG
Explanations from Large Language Models Make Small Reasoners Better
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft（微软）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
将自由文本解释与大语言模型（LLM）的上下文学习相结合，可以产生强大的推理能力和合理的解释。在本文中，我们考虑利用LLM生成的解释来提高小型推理机的训练的问题，由于其成本低，这在实际生产部署中更有利。我们系统地探讨了三种解释生成方法，从LLM和利用多任务学习框架，以促进小模型，以获得强大的推理能力与解释生成能力。在多个推理任务上的实验表明，我们的方法可以在不同的设置中持续且显著地优于微调基线，甚至比微调/提示60倍大的GPT-3（175 B）模型的准确率高出9.5%。作为一个附带的好处，人类评估进一步表明，我们的方法可以生成高质量的解释来证明其预测的合理性，朝着可解释的AI的目标迈进。
2022-10-13 cs.CL
Agent Instructs Large Language Models to be General Zero-Shot Reasoners
Washington University in St. Louis（圣路易斯华盛顿大学）；UC Berkeley（加州大学伯克利分校）
本研究构建自主智能体指导大语言模型推理，提升其通用零样本推理能力，在29个数据集中20个达SOTA，大幅提升多款主流大模型性能。
2024-08-14 cs.AI cs.CL cs.LG
Large Language Models are few(1)-shot Table Reasoners
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
最近的文献表明，大语言模型（LLM）通常是优秀的Few-Shot推理机来解决文本推理任务。然而，LLM在表推理任务上的能力还有待探索。在本文中，我们的目的是了解如何以及LLM可以执行表相关的任务与Few-Shot上下文学习。具体来说，我们在流行的表格QA和事实验证数据集（如WikiTableQuestion，FetaQA，TabFact和FEVEROUS）上评估了LLM，发现LLM能够胜任表格结构的复杂推理，尽管这些模型没有在任何表格语料库上进行预训练。当与“思维链”提示相结合时，LLM只需一次演示就可以实现非常强大的性能，甚至可以与某些SoTA模型相提并论。我们表明，LLM在FetaQA上生成全面的长形式答案方面比调谐的T5-large更有能力。我们进一步人工研究了从LLM引出的推理链，发现这些推理链与底层语义形式高度一致。我们相信，LLM可以作为未来研究的一个简单而通用的基线。代码和数据发布在https://github.com/wenhuchen/TableCoT上。
2023-01-23 cs.CL
From Chaos to Order: The Atomic Reasoner Framework for Fine-grained Reasoning in Large Language Models
Tianjin University（天津大学）
针对大语言模型推理存在思维流碎片化、计算复杂度高的问题，提出Atomic Reasoner框架，通过原子认知单元与认知路由实现细粒度结构化推理，在降低计算负担的同时提升了长序列逻辑推理能力。
2025-03-20 cs.CL
Small Language Models are Equation Reasoners
Hongik University（弘益大学）；Sangmyung University（祥明大学）；Ewha Womans University（梨花女子大学）；Yonsei University（延世大学）
本文研究小型语言模型在算术推理上表现不佳的原因，提出自然语言格式变异性带来歧义的假设，并通过仅用方程格式的实验证明其能有效提升sLM（尤其是T5-Tiny）的算术推理能力。
2024-09-19 cs.CL
Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought
Center for Data Science, New York University（纽约大学数据科学中心）
大语言模型（LLM）在给出思维链提示（具有中间推理步骤的示例）的情况下显示出了卓越的推理能力。现有的基准通过评估数学推理等下游任务的准确性来间接测量推理能力。然而，目前还不清楚这些模型是如何获得答案的，以及它们是否依赖于简单的数学推理，而不是生成的思维链。为了系统地探索LLM的推理能力，我们提出了一个新的合成问答数据集称为PrOntoQA，其中每个例子都是从一阶逻辑表示的合成世界模型生成的。这使我们能够将生成思维链解析为符号证明以进行形式分析。我们对InstructGPT和GPT-3的分析表明，LLM非常有能力做出正确的个人演绎步骤，因此通常能够推理，即使在虚构的环境中。然而，他们在证明计划方面有困难：当有多个有效的演绎步骤可用时，他们无法系统地探索不同的选项。
2023-03-02 cs.CL
Program-Aided Reasoners (better) Know What They Know
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文比较程序辅助语言模型（PAL）与文本思维链（COT）的校准性能，发现PAL在多数数据集和模型上更准确且校准更好，并通过温度缩放进一步验证了其优势。
2023-11-16 cs.AI
When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners
Harbin Institute of Technology（哈尔滨工业大学）；Singapore Management University（新加坡管理学院）；Monash University（墨尔本大学）；Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（国立新加坡大学）
通过解耦语言和推理能力，使LLM在多语言推理中表现更优，无需额外训练开销。
2025-12-11 cs.CL
Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation into Multicultural Proverbs and Sayings
Technical University of Darmstadt（达姆施塔特工业大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文通过构建多语言谚语与俗语对话理解数据集 MAPS，系统评估多语言大语言模型的文化推理能力，揭示其在谚语知识、比喻理解和跨文化迁移方面存在明显不足。
2024-03-30 cs.CL
Large Language Models are Zero-Shot Reasoners
The University of Tokyo（东京大学）；Google Research（谷歌研究院）
预训练的大语言模型（LLM）被广泛应用于自然语言处理（NLP）的许多子领域，并且通常被称为具有特定任务样本的优秀Few-Shot学习器。值得注意的是，思维链（CoT）提示，最近的技术，通过一步一步的答案的例子引出复杂的多步推理，实现了最先进的性能在算术和符号推理，困难的系统2的任务，不遵循标准的缩放定律的LLM。虽然这些成功通常归因于LLM的少样本学习能力，但我们通过在每个答案之前简单地添加“让我们一步一步思考”来证明LLM是体面的zero-shot推理机。实验结果表明，我们的零射击CoT，使用相同的单一提示模板，显着优于zero-shot LLM性能在不同的基准推理任务，包括算术（MultiArith，GSM 8 K，AQUA-RAT，SVAMP），符号推理（最后一封信，硬币翻转），以及其他逻辑推理任务（日期理解，跟踪洗牌对象），没有任何手工制作的Few-Shot的例子，例如，使用大型InstructGPT模型，将MultiArith的准确度从17.7%提高到78.7%，将GSM 8 K的准确度从10.4%提高到40.7%（text-davinci-002），以及另一个现成的大型模型540 B参数PaLM的类似改进幅度。这种单一提示在非常多样化的推理任务中的多功能性暗示了LLM的未开发和未充分研究的基本zero-shot能力，这表明可以通过简单的提示提取高水平的多任务广泛的认知能…
2023-01-29 cs.AI cs.CL cs.LG
Large Language Models Are Cross-Lingual Knowledge-Free Reasoners
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；China Mobile Research（中国移动研究院）
本研究将推理任务分解为知识检索与无知识推理，发现无知识推理能力可跨语言完美迁移而知识检索会阻碍迁移，并揭示其机制在于不同语言共享推理神经元而知识分语言存储。
2025-03-03 cs.CL
