MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task
Zhejiang University(浙江大学);Meituan Group(美团集团);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
MathFimer通过填空中间任务扩展推理步骤,提升大语言模型的数学推理能力,无需依赖强大外部模型或昂贵计算资源。
2026-02-25 cs.AI cs.CL
Enhancing Logical Reasoning in Large Language Models to Facilitate Legal Applications
National Institute of Informatics(信息学研究所)
本文提出逻辑反馈强化学习(RLLF)方法以提升LLMs的逻辑推理能力,从而扩展其在法律等逻辑密集型学科中的应用,并探索该领域研究的新途径。
2023-11-22 cs.AI cs.CL
Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data
Electrical and Computer Engineering, Queen’s University(皇后大学电气与计算机工程学院);Mechanical and Materials Engineering, Queen’s University(皇后大学机械与材料工程学院);Ingenuity Labs Research Institute, Queen’s University(皇后大学创新实验室研究 institute)
Chat-TS通过整合时间序列标记提升多模态推理能力,提供新数据集和训练策略,在保持自然语言能力的同时增强时间序列推理性能。
2026-01-22 cs.AI cs.CL
Logic Agent: Enhancing Validity with Logic Rule Invocation
本文提出 Logic Agent 框架,通过将自然语言转为逻辑形式并动态调用命题逻辑规则,提升 LLM 推理的有效性、可解释性与跨规模任务表现。
2024-12-06 cs.AI cs.CL
Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up
East China Normal University(东华大学);Macquarie University(麦考瑞大学)
提出思维反转(RoT)框架,通过偏好引导的反向推理预热,在推理前增强LLM逻辑能力,实验证明其准确性和效率均优于现有方法。
2025-05-26 cs.AI cs.CL
CSCE: Boosting LLM Reasoning by Simultaneous Enhancing of Causal Significance and Consistency
School of Computer and Communication Engineering(计算机与通信工程学院);University of Science and Technology Beijing(北京科技大学)
针对大语言模型链式推理中存在的因果幻觉问题,本文提出非链式推理框架CSCE,通过定制损失函数增强因果显著性与一致性,将级联推理改为一次性输出,同时提升了推理成功率与速度。
2025-03-24 cs.AI cs.CL
Meaningful Learning: Enhancing Abstract Reasoning in Large Language Models via Generic Fact Guidance
Fudan University(复旦大学);Du Xiaoman (Beijing) Science Technology Co., Ltd.(度小满(北京)科技有限公司)
针对大型语言模型在抽象推理上的不足,本文定制了AbsR数据集并提出有意义的学习范式,通过通用事实引导有效提升了模型的一般与抽象推理能力。
2024-11-11 cs.AI cs.CL
Enhancing LLM Reasoning via Non-Human-Like Reasoning Path Preference Optimization
University of Technology Sydney(悉尼技术大学);Shanghai Innovation Institute(上海创新研究院);Southeast University(东南大学);Microsoft Research(微软研究院);Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学);Independent Researcher(独立研究者)
本文提出CGPO方法,通过置信度信号优化推理路径,提升大语言模型在代码和数学推理任务中的性能。
2026-01-31 cs.AI cs.CL
Enhancing LLM Reasoning with Reward-guided Tree Search
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);BAAI(北京智源人工智能研究院);Baichuan AI(百川智能)
本文提出STILL-1框架,通过奖励引导的树搜索算法整合策略模型与奖励模型,在数学推理任务上显著提升大语言模型的推理能力。
2024-12-31 cs.AI cs.CL
Teaching-Inspired Integrated Prompting Framework: A Novel Approach for Enhancing Reasoning in Large Language Models
The University of Hong Kong(香港大学);Youdao, NetEase, Inc.(网易有道公司)
提出教学启发的集成提示框架,通过模拟教师指导过程为LLMs提供概念、定理和相似问题,并在四个数学基准上取得新的最优性能。
2024-10-10 cs.AI cs.CL
Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对LLM单次推理无法纠错的问题,提出Forest-of-Thought框架,通过集成多推理树、稀疏激活、动态自纠正和共识引导决策,显著提升了模型解决复杂推理任务的精度与效率。
2025-04-01 cs.AI cs.CL
RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Wuhan University of Science and Technology(武汉科技大学);National University of Singapore(新加坡国立大学);Northeastern University at Qinhuangdao(东北大学秦皇岛分校);BOSS Zhipin(BOSS直聘)
针对复杂推理任务,提出RAG-Star方法,结合检索增强验证与蒙特卡洛树搜索,利用外部知识引导内部推理,实验证明其优于现有方法。
2024-12-17 cs.AI cs.CL
RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoning
Xi’an Jiaotong University(西安交通大学);Huawei Technologies Ltd.(华为技术有限公司);Nankai University(南开大学)
RAG+通过联合检索知识与应用示例,将应用感知推理显式融入RAG流程,在数学、法律和医学任务中平均提升3-5%,最高提升13.5%。
2025-09-23 cs.AI cs.CL
Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
用自然语言进行常识推理是人工智能系统所要求的一种能力。为了解决复杂的常识推理任务,一个典型的解决方案是使用知识感知的图神经网络编码器来增强预训练的语言模型,该编码器对常识知识图谱进行建模。尽管这些方法是有效的,但它们都是建立在沉重的体系结构上的,并且不能清楚地解释外部知识资源如何提高PTM的推理能力。考虑到这个问题,我们进行了深入的实证分析,并发现它确实是从CSKG的关系特征(而不是节点特征),主要有助于PTM的性能改善。基于这一发现,我们设计了一个简单的基于MLP的知识编码器,利用统计关系路径的功能。在五个基准测试上进行的大量实验证明了我们方法的有效性,并且大大减少了编码CSKG的参数。我们的代码和数据可在https://github.com/RUCAIBox/SAFE上公开获取。
2022-05-04 cs.AI cs.CL
MediRec: Enhancing Chinese Medication Recommendation with Explainable Clinical Reasoning
Dalian University of Technology(大连理工大学)
本文研究了大型语言模型在中文代谢性疾病出院药物推荐中的应用,评估了多种LLM家族的性能,发现监督微调虽提升效果,但仍有改进空间。
2026-08-06 cs.AI cs.CL
PGPO: Enhancing Agent Reasoning via Pseudocode-style Planning Guided Preference Optimization
Shanghai Jiao Tong University(上海交通大学);Taobao & Tmail Group of Alibaba(阿里巴巴淘宝天猫集团);Alibaba Group(阿里巴巴集团)
本文提出PGPO方法,利用伪代码风格规划引导偏好优化,通过两种面向规划的奖励增强LLM智能体生成高质量结构化规划的能力,从而提升推理效率、泛化性并减少动作错误与遗漏。
2025-06-02 cs.AI cs.CL
Enhancing Structural Mapping with LLM-derived Abstractions for Analogical Reasoning in Narratives
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Southern California(南加州大学)
本文提出YARN框架,利用LLM分解叙事并抽象单元,提升叙事类比推理能力,实验表明抽象显著提升性能,揭示了抽象层级、隐含因果关系和类比模式分类的挑战。
2026-03-31 cs.AI cs.CL
Enhancing Reasoning Abilities of Small LLMs with Cognitive Alignment
Shanghai Jiao Tong University(上海交通大学);Alibaba Cloud Computing(阿里云计算)
本文提出CRV系统和CogPO算法,通过多智能体批判、重思与验证思维链,并将推理过程与小型模型认知能力对齐,有效提升了小型大型推理模型的推理能力。
2025-11-03 cs.AI cs.CL
Enhancing Numerical Reasoning with the Guidance of Reliable Reasoning Processes
Harbin Institute of Technology(哈尔滨工业大学)
针对LLM生成的推理过程不可靠问题,提出Encore方法,通过分解答案公式推导可靠推理过程,并设计预训练任务利用合成数据辅助模型学习,在五个数据集上平均提升1.8%。
2024-02-16 cs.CL
Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models
Xiamen University(厦门大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软公司);IDEA Research(IDEA研究院)
本文提出Iter-CoT,一种迭代自举的思维链提示方法,通过自主纠错和选择中等难度示例,提升大语言模型在不同难度推理任务上的泛化性能,在十个数据集上取得竞争性结果。
2024-03-15 cs.AI cs.CL
Enhancing reasoning accuracy in large language models during inference time
Firstsource
本文研究了提升大语言模型推理准确性的推理时技术,通过自一致性、双模型推理一致性和自反思三种策略,发现自一致性在核采样和受控温度下能显著提高准确性,适用于低风险领域。
2026-03-22 cs.AI cs.CL
IoT-LLM: a framework for enhancing Large Language Model reasoning from real-world sensor data
MARS Lab, School of Mechanical and Aerospace Engineering, Nanyang Technological University, Singapore(MARS实验室,机械与航空航天工程学院,南洋理工大学,新加坡);School of Mechanical and Aerospace Engineering, Nanyang Technological University, Singapore(机械与航空航天工程学院,南洋理工大学,新加坡)
IoT-LLM通过整合物联网数据与常识知识,提升大语言模型在现实世界传感任务中的推理能力。
2025-11-29 cs.AI cs.CL
GlobalRAG: Enhancing Global Reasoning in Multi-hop Question Answering via Reinforcement Learning
GlobalRAG通过强化学习框架提升多跳问答的全局推理能力,引入规划质量奖励和子目标完成奖励,结合渐进权重退火策略,有效解决多步推理中的全局规划和执行不一致问题。
2026-03-16 cs.AI cs.CL
Enhancing Low-Resource Language Reasoning via High-Resource Language Feature Transfer
Korea University(高丽大学);Hankuk University of Foreign Studies(韩国外国语大学);Noah’s Farm(诺亚农场);AIGEN Sciences(AIGEN科学公司)
该研究提出跨语言特征迁移机制框架,通过分离高资源语言的任务推理特征注入低资源语言,以提升低资源语言的推理能力,将部分跨语言推理差距归因于机制引出失败。
2026-09-01 cs.AI cs.CL
GeoThought: A Dataset for Enhancing Mathematical Geometry Reasoning in Vision-Language Models
Baidu Inc.(百度公司);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Intel Lab, Intel(英特尔实验室)
针对LLM在几何视觉推理中性能下降的问题,本文构建了GeoThoughts数据集并训练GeoThought-MLLM模型,通过思维链训练显著提升了领域内外几何推理能力。
2025-10-23 cs.AI cs.CL
Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting
Algoverse AI Research(Algoverse人工智能研究院)
本文提出语义自一致性方法,通过在多数投票前结合推理路径的语义信息与最终决策,增强语言模型的推理可靠性与复杂任务表现。
2026-11-04 cs.CL
UltraLogic: Enhancing LLM Reasoning through Large-Scale Data Synthesis and Bipolar Float Reward
Hunyuan, Tencent(腾讯 Hunyuan);Waseda University(早稻田大学)
UltraLogic通过大规模数据合成和双极浮点奖励机制,提升大语言模型的推理能力,强调任务多样性和难度匹配对训练效率的促进作用。
2026-01-06 cs.AI cs.CL
Context-CoT: Enhancing Context Learning via High-Quality Reasoning Synthesis
Peking University(北京大学);Xiamen University(厦门大学);Tsinghua University(清华大学)
针对大语言模型在动态提取和应用新知识方面的上下文学习能力不足,提出Context-CoT方法,通过合成高质量推理链来增强上下文学习,在CL-Bench上显著提升性能。
2026-05-25 cs.AI
Enhancing Reasoning through Process Supervision with Monte Carlo Tree Search
AI Lab, Giant Network(巨量引擎AI实验室)
本文提出利用蒙特卡洛树搜索让LLM自生成过程监督数据,通过加权对数似然迭代训练,在数学推理任务上显著提升性能并展现跨数据集迁移能力。
2025-01-02 cs.AI cs.CL cs.LG
DeepThink3D: Enhancing Large Language Models with Programmatic Reasoning in Complex 3D Situated Reasoning Tasks
Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
DeepThink3D针对3D情境推理中程序推理链过短的问题,在SQA3D上通过组合迭代进化生成复杂问题,并结合微调与DPO优化工具链策略,提升大语言模型的3D工具使用与复杂推理能力。
2025-08-21 cs.AI
RAISE: Enhancing Scientific Reasoning in LLMs via Step-by-Step Retrieval
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);Hanyang University(翰阳大学)
RAISE通过逐步检索增强科学推理,其核心方法是问题分解、逻辑查询生成和逻辑检索,优于其他基线模型。
2026-03-19 cs.CL
Enhancing LLM Reasoning with Multi-Path Collaborative Reactive and Reflection agents
本文提出RR-MP框架,通过多路径反应与反思智能体协同推理并整合多路径见解,在不额外训练的情况下提升大语言模型在道德、物理和数学等复杂科学推理任务中的准确率,实验证明其优于基线方法。
2025-01-03 cs.CL
Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data
McGill University(麦吉尔大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所)
本研究探索基于图的合成数据作为训练信号,通过监督微调增强LLM在归纳与空间推理任务上的能力,且不影响其他基准表现。
2024-12-16 cs.CL cs.LG
From Emotion Classification to Emotional Reasoning: Enhancing Emotional Intelligence in Large Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过合成情绪链式思维数据提升大语言模型的情感推理能力,实验表明微调后模型在情绪理解与意识评估上显著提升。
2026-01-04 cs.CL
GraphReason: Enhancing Reasoning Capabilities of Large Language Models through A Graph-Based Verification Approach
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种基于图的验证方法GraphReason,通过将LLM生成的多个推理解决方案表示为推理图并进行分析验证,显著提升了大型语言模型的推理能力,且优于现有验证器方法。
2024-04-21 cs.AI
TRACE: A Framework for Analyzing and Enhancing Stepwise Reasoning in Vision-Language Models
Meta Reality Lab(Meta现实实验室)
TRACE通过辅助推理集和一致性评估,提升视觉-语言模型的推理透明性和错误检测能力,促进模型改进和优化。
2025-12-11 cs.AI
CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning
针对多模态大语言模型视觉接地与推理不足的问题,提出CURV课程学习框架,结合CCQA数据集,在图表问答任务中实现显著性能提升并具备良好泛化性。
2026-08-05 cs.AI cs.CL cs.CV
Are Retrials All You Need? Enhancing Large Language Model Reasoning Without Verbalized Feedback
Aarhus University(奥胡斯大学)
针对大型语言模型推理中复杂迭代策略成本高的问题,提出无需反馈的重试机制,让模型识别错误后重新尝试,该简单方法常优于复杂框架,为高效推理提供新方向。
2025-04-17 cs.AI cs.CL cs.LG
Enhancing Large Language Models with Neurosymbolic Reasoning for Multilingual Tasks
Portland State University(波特兰州立大学)
本文提出神经符号增强推理(NSAR),通过显式提取符号事实并生成 Python 代码,在多语言长上下文任务中显著优于 RAG 和提示策略。
2025-06-03 cs.CL
Enhancing Japanese Large Language Models with Reasoning Vectors
University of California, Davis(加州大学戴维斯分校);Santa Clara University(圣克拉拉大学);NTT DOCOMO, INC(NTT DOCOMO公司);DOCOMO Innovations, Inc(DOCOMO创新公司)
本文提出从推理大语言模型中提取推理向量并应用于日语大语言模型,以资源高效的方式显著提升其推理性能,为其他语言提供借鉴。
2025-08-04 cs.AI
Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning
Peking University(北京大学);ByteDance Inc.(字节跳动公司)
针对自回归思维链生成长且正确轨迹的挑战,该研究提出RELAY方法,将思维链推理步骤与循环Transformer的迭代对齐并施加中间监督,提升其泛化性以生成超长推理链,进而微调自回归模型并显著提升其性能。
2025-02-12 cs.AI cs.CL cs.LG
Enhancing Reasoning Skills in Small Persian Medical Language Models Can Outperform Large-Scale Data Training
Faculty of Computer Engineering University of Isfahan(计算机工程系 布鲁金斯大学);School of Computer Science University of Windsor(计算机科学学院 温莎大学)
通过RLAIF和DPO方法,提升小规模波斯语医疗模型推理能力,使其在有限数据下超越大规模训练模型。
2026-01-06 cs.CL
SEER: Self-Enhancing Chain-of-Thought Compression for Reasoning Models
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学);State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
SEER通过自适应压缩链式推理,提升LLM在软件工程和数学任务中的效率与鲁棒性。
2026-10-08 cs.AI cs.CL cs.SE
Enhancing Tabular Reasoning with Pattern Exploiting Training
Bloomberg(彭博社);IIT Guwahati(印度理工学院古瓦哈提分校);University of Utah(犹他大学)
基于预训练的语言模型的最近方法已经表现出优于表格任务的性能(例如,表格NLI),尽管显示出固有的问题,例如在对表格数据进行推理时不使用正确的证据和跨输入的不一致预测。在这项工作中,我们利用模式开发训练(PET)(即,策略MLM),以加强这些表格式语言模型模型的预先存在的知识和推理能力。与当前基线相比,我们升级后的模型对知识事实和表格推理有更好的理解。此外,我们还证明了这种模型对于InfoTabs上表格推理的底层下游任务更有效。此外,我们还展示了我们的模型对通过各种字符和单词级扰动生成的对抗集的鲁棒性。
2022-10-21 cs.CL
Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学)
本文提出生成对抗推理器,通过对抗性强化学习联合训练LLM推理器和判别器,提升推理质量与准确性。
2026-03-25 cs.AI cs.CL cs.LG
"Well, Keep Thinking": Enhancing LLM Reasoning with Adaptive Injection Decoding
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
针对显式 CoT 提示依赖人工工程的问题,本文提出自适应注入解码策略,在模型即将过早结束时注入短语以延续推理,实验表明其可显著增强 LLM 推理能力。
2025-03-18 cs.CL
LongFaith: Enhancing Long-Context Reasoning in LLMs with Faithful Synthetic Data
IDEA Research, International Digital Economy Academy(IDEA研究院,国际数字经济学院);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));DataArc Tech Ltd.(DataArc科技有限公司);Hithink RoyalFlush Information Network Co., Ltd(Hithink皇家Flush信息网络有限公司)
提出LongFaith流水线,通过整合真实数据和基于引用的推理提示合成忠实长上下文推理指令数据集,显著提升了LLM在长上下文推理与问答任务上的性能。
2025-05-29 cs.CL
Self-Evolved Preference Optimization for Enhancing Mathematical Reasoning in Small Language Models
Microsoft Research, India(微软研究院(印度));IIT Delhi, India(印度德里理工学院)
本文提出自进化数据生成流水线SPHERE,通过自我生成、自我纠正和多样性诱导三个阶段迭代优化推理链,显著提升小型语言模型的数学推理能力,并在多个数学基准上达到或超越GPT-4o。
2025-03-04 cs.AI cs.CL cs.LG
The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination
The Pennsylvania State University(宾夕法尼亚州立大学);Nanjing University of Science and Technology(南京理工大学);Independent Researcher(独立研究者)
研究探讨增强LLM推理能力是否导致工具幻觉增加,通过SimpleToolHalluBench验证因果关系,发现推理增强与幻觉成正比,且不受过拟合影响,揭示需新的训练目标平衡能力和可靠性。
2026-04-17 cs.AI cs.LG
Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
本文提出Dynamic Experts Search(DES),通过在推理时动态控制MoE激活专家数并继承配置,以零额外成本生成多样且稳定的推理路径,在多类基准上优于TTS基线。
2025-09-26 cs.AI cs.CL cs.LG
Hierarchical Chain-of-Thought: Enhancing LLM Reasoning Performance and Efficiency
Huawei Technologies Canada, Canada(华为技术加拿大公司,加拿大)
本文提出层次化思维链提示方法,通过分层步骤规划与执行提升复杂多步推理的准确率和效率,实验显示在多种模型和任务中平均准确率提升6.2%。
2026-07-13 cs.CL
LLM-ARC: Enhancing LLMs with an Automated Reasoning Critic
Elemental Cognition Inc.(Elemental Cognition公司)
LLM-ARC通过结合LLM Actor与自动化推理评论员,利用ASP实现逻辑程序生成与测试反馈迭代,在FOLIO基准上达到88.32%准确率,显著优于纯LLM基线。
2024-07-19 cs.AI cs.CL cs.LO
RoT: Enhancing Table Reasoning with Iterative Row-Wise Traversals
Harbin Institute of Technology(哈尔滨工业大学)
针对表格推理中长思维链方法训练成本高、易产生表格内容幻觉的问题,提出无需训练的RoT迭代逐行遍历推理方法,通过逐行扩展推理与反思优化减少幻觉,在多个基准上取得更优性能与更高效率。
2025-05-21 cs.CL
Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique
Tencent(腾讯)
针对大语言模型多步推理中传统标量奖励缺乏定性信息的问题,提出逐步自然语言自我批评方法PANEL,通过自生成自然语言批评指导步骤级搜索,无需任务特定验证器,在AIME、GPQA等基准上性能优于传统方法。
2025-03-21 cs.CL