Thinking with Knowledge Graphs: Enhancing LLM Reasoning Through Structured Data
Yahoo Research(雅虎研究院)
本文提出将知识图谱的结构与语义紧密集成到大语言模型中,通过编程语言表示知识图谱并微调预训练模型,显著提升复杂推理性能并增强推理的可解释性。
2024-12-14 cs.CL cs.LG
Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学)
本文提出生成对抗推理器,通过对抗性强化学习联合训练LLM推理器和判别器,提升推理质量与准确性。
2026-03-25 cs.AI cs.CL cs.LG
Auto-Patching: Enhancing Multi-Hop Reasoning in Language Models
Tel Aviv University(特拉维夫大学)
针对大型语言模型多跳推理困难的问题,提出Auto-Patch方法,在推理时动态修补隐藏状态,在MuSiQue数据集上将求解率提升至23.63%,缩小了与思维链提示的差距。
2025-05-31 cs.CL cs.LG
Agora: Enhancing LLM Agent Reasoning Via Auction-Based Task Allocation
University of Birmingham(伯明翰大学)
研究旨在增强LLM智能体推理能力,提出Agora框架,通过基于拍卖的机制动态分配任务,将推理步骤视为可交易项目让智能体依纠正能力投标,实验表明该框架在多基准测试中表现优且能实现成本-质量权衡。
2026-09-01 cs.AI cs.CL
SynthPert: Enhancing LLM Biological Reasoning via Synthetic Reasoning Traces for Cellular Perturbation Prediction
InverseBio;Novo Nordisk
本文提出SynthPert方法,通过合成推理轨迹提升LLM在细胞扰动预测中的性能,展现了合成数据在生物推理中的有效性,并实现了跨细胞类型泛化。
2026-04-26 cs.AI cs.LG q-bio.CB
Spatial-ViLT: Enhancing Visual Spatial Reasoning through Multi-Task Learning
Florida State University(佛罗里达州立大学)
针对视觉语言模型在3D场景空间推理上的不足,研究提出整合空间特征的SpatialViLT及变体、集成模型,在VSR数据集上实现SOTA空间推理性能,助力AI空间智能提升。
2025-10-03 cs.AI cs.CV cs.LG
Enhancing Numerical Reasoning with the Guidance of Reliable Reasoning Processes
Harbin Institute of Technology(哈尔滨工业大学)
针对LLM生成的推理过程不可靠问题,提出Encore方法,通过分解答案公式推导可靠推理过程,并设计预训练任务利用合成数据辅助模型学习,在五个数据集上平均提升1.8%。
2024-02-16 cs.CL
Self-Evolved Preference Optimization for Enhancing Mathematical Reasoning in Small Language Models
Microsoft Research, India(微软研究院(印度));IIT Delhi, India(印度德里理工学院)
本文提出自进化数据生成流水线SPHERE,通过自我生成、自我纠正和多样性诱导三个阶段迭代优化推理链,显著提升小型语言模型的数学推理能力,并在多个数学基准上达到或超越GPT-4o。
2025-03-04 cs.AI cs.CL cs.LG
Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
本文提出Dynamic Experts Search(DES),通过在推理时动态控制MoE激活专家数并继承配置,以零额外成本生成多样且稳定的推理路径,在多类基准上优于TTS基线。
2025-09-26 cs.AI cs.CL cs.LG
Reason from Fallacy: Enhancing Large Language Models' Logical Reasoning through Logical Fallacy Understanding
School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Key Laboratory of Data Science(上海市数据科学重点实验室)
本文提出WHAT、WHY、HOW三维LFU任务,并构建基于GPT-4与少量人工校验的LFUD数据集,用于评估和微调LLM,显著提升其逻辑推理能力。
2024-04-04 cs.AI cs.CL
Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic
University of Hamburg(汉堡大学)
本文提出 LoT 框架,利用符号逻辑中的反证法逐步验证和纠正推理过程,显著提升了大型语言模型在多领域的零样本思维链推理能力。
2024-03-26 cs.AI cs.CL cs.LG
A Survey on Enhancing Causal Reasoning Ability of Large Language Models
University of Technology Sydney(悉尼科技大学)
本文系统综述了增强大型语言模型因果推理能力的研究,梳理了关键挑战,提出新分类法对现有方法进行归类比较,并总结了评估基准与未来方向。
2025-03-12 cs.AI cs.CL
Enhancing Temporal Sensitivity and Reasoning for Time-Sensitive Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出结合时间信息感知嵌入与粒度对比强化学习的新框架,以增强大模型的时间敏感性与推理能力,并在四个TSQA数据集上显著超越现有模型。
2024-09-29 cs.AI cs.CL
Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting
Algoverse AI Research(Algoverse人工智能研究院)
本文提出语义自一致性方法,通过在多数投票前结合推理路径的语义信息与最终决策,增强语言模型的推理可靠性与复杂任务表现。
2026-11-04 cs.CL
CVPO: Enhancing LLM Reinforcement Learning Reasoning via Value-Variance Adaptation and Dynamic Curriculum Learning
针对LLM强化学习推理中反馈精度不足与问题难度漂移问题,提出CVPO方法,通过值方差自适应与动态课程学习优化,在数学任务上性能优于VAPO等基线。
2026-08-05 cs.AI cs.CL cs.LG
DiPT: Enhancing LLM reasoning through diversified perspective-taking
Virginia Tech(弗吉尼亚理工大学);UC Davis(加州大学戴维斯分校)
本文提出 DiPT 方法,通过在推理阶段融入多样化视角来补充单一推理路径,提升 LLM 的推理性能、稳定性及安全性,并提供以数据为中心的微调增强方案。
2025-07-13 cs.AI cs.LG
Enhancing Large Language Models through Structured Reasoning
本文提出通过显式结构化推理增强大型语言模型的方法,利用监督微调(SFT)和引入MAX-Flow与最长公共子序列(LCS)算法的群体相对策略优化(GRPO)训练模型,实验证明该方法提升了复杂推理能力并降低了计算复杂度。
2025-06-25 cs.AI cs.CL
Context-CoT: Enhancing Context Learning via High-Quality Reasoning Synthesis
Peking University(北京大学);Xiamen University(厦门大学);Tsinghua University(清华大学)
针对大语言模型在动态提取和应用新知识方面的上下文学习能力不足,提出Context-CoT方法,通过合成高质量推理链来增强上下文学习,在CL-Bench上显著提升性能。
2026-05-25 cs.AI
MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task
Zhejiang University(浙江大学);Meituan Group(美团集团);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
MathFimer通过填空中间任务扩展推理步骤,提升大语言模型的数学推理能力,无需依赖强大外部模型或昂贵计算资源。
2026-02-25 cs.AI cs.CL
Enhancing Reasoning Capabilities in SLMs with Reward Guided Dataset Distillation
Shreyansh Padarha(独立研究者)
本文提出AdvDistill框架,通过奖励引导的数据集蒸馏利用教师模型多次生成及规则验证器奖励作为权重训练学生模型,显著提升小型语言模型在数学和复杂推理任务上的性能。
2025-06-25 cs.AI cs.CL cs.LG
DeepThink3D: Enhancing Large Language Models with Programmatic Reasoning in Complex 3D Situated Reasoning Tasks
Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
DeepThink3D针对3D情境推理中程序推理链过短的问题,在SQA3D上通过组合迭代进化生成复杂问题,并结合微调与DPO优化工具链策略,提升大语言模型的3D工具使用与复杂推理能力。
2025-08-21 cs.AI
RAISE: Enhancing Scientific Reasoning in LLMs via Step-by-Step Retrieval
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);Hanyang University(翰阳大学)
RAISE通过逐步检索增强科学推理,其核心方法是问题分解、逻辑查询生成和逻辑检索,优于其他基线模型。
2026-03-19 cs.CL
Enhancing LLM Reasoning with Multi-Path Collaborative Reactive and Reflection agents
本文提出RR-MP框架,通过多路径反应与反思智能体协同推理并整合多路径见解,在不额外训练的情况下提升大语言模型在道德、物理和数学等复杂科学推理任务中的准确率,实验证明其优于基线方法。
2025-01-03 cs.CL
DiCoRe: Enhancing Zero-shot Event Detection via Divergent-Convergent LLM Reasoning
Computer Science Department, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
本文提出DiCoRe框架,通过Dreamer发散推理提升事件覆盖率,Grounder收敛推理对齐预测与指令,LLM-Judge验证输出,在零样本事件检测任务上显著优于基线。
2025-09-18 cs.AI cs.CL cs.LG
Enhancing Reasoning Capabilities of Small Language Models with Blueprints and Prompt Template Search
Microsoft(微软)
提出结合LLM生成蓝图与提示模板搜索的框架,在不训练、不扩模的情况下提升SLM在GSM8K、MBPP和BBH上的推理表现。
2025-06-10 cs.AI cs.LG
From Emotion Classification to Emotional Reasoning: Enhancing Emotional Intelligence in Large Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过合成情绪链式思维数据提升大语言模型的情感推理能力,实验表明微调后模型在情绪理解与意识评估上显著提升。
2026-01-04 cs.CL
Enhancing Logical Reasoning in Large Language Models to Facilitate Legal Applications
National Institute of Informatics(信息学研究所)
本文提出逻辑反馈强化学习(RLLF)方法以提升LLMs的逻辑推理能力,从而扩展其在法律等逻辑密集型学科中的应用,并探索该领域研究的新途径。
2023-11-22 cs.AI cs.CL
Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data
Electrical and Computer Engineering, Queen’s University(皇后大学电气与计算机工程学院);Mechanical and Materials Engineering, Queen’s University(皇后大学机械与材料工程学院);Ingenuity Labs Research Institute, Queen’s University(皇后大学创新实验室研究 institute)
Chat-TS通过整合时间序列标记提升多模态推理能力,提供新数据集和训练策略,在保持自然语言能力的同时增强时间序列推理性能。
2026-01-22 cs.AI cs.CL
GraphReason: Enhancing Reasoning Capabilities of Large Language Models through A Graph-Based Verification Approach
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种基于图的验证方法GraphReason,通过将LLM生成的多个推理解决方案表示为推理图并进行分析验证,显著提升了大型语言模型的推理能力,且优于现有验证器方法。
2024-04-21 cs.AI
Enhancing Causal Reasoning in Large Language Models: A Causal Attribution Model for Precision Fine-Tuning
University of California, Irvine(加州大学尔湾分校);North Carolina State University(北卡罗来纳州立大学);Amazon(亚马逊公司)
本文提出一种因果归因模型,通过精确微调提升大语言模型的可解释性和因果推理能力,展示了模型在不同领域中的因果发现任务中的有效性。
2026-05-21 cs.AI cs.CL cs.LG
TRACE: A Framework for Analyzing and Enhancing Stepwise Reasoning in Vision-Language Models
Meta Reality Lab(Meta现实实验室)
TRACE通过辅助推理集和一致性评估,提升视觉-语言模型的推理透明性和错误检测能力,促进模型改进和优化。
2025-12-11 cs.AI
Process In-Context Learning: Enhancing Mathematical Reasoning via Dynamic Demonstration Insertion
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Huawei Poisson Lab, China(华为Poisson实验室)
PICL通过动态插入相关演示来提升数学推理能力,有效缓解推理过程中的困惑问题。
2026-01-17 cs.AI cs.LG
Beyond Correctness: Confidence-Aware Reward Modeling for Enhancing Large Language Model Reasoning
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(上海数据科学关键实验室,计算机科学学院,复旦大学)
针对小规模大语言模型纯规则奖励强化学习导致推理链质量差或过程与答案不一致的问题,提出置信度感知奖励模型,惩罚错误答案和低置信度正确响应,提升STEM推理能力,在基准上优于现有模型并开源。
2025-11-09 cs.AI cs.LG
Enhancing Mathematical Problem Solving in LLMs through Execution-Driven Reasoning Augmentation
North Carolina State University(北卡罗来纳州立大学)
本研究提出IIPC方法,通过迭代优化程序推理链并结合执行反馈,提升大语言模型的数学问题解决能力。
2026-02-08 cs.AI cs.LG cs.MA
Logic Agent: Enhancing Validity with Logic Rule Invocation
本文提出 Logic Agent 框架,通过将自然语言转为逻辑形式并动态调用命题逻辑规则,提升 LLM 推理的有效性、可解释性与跨规模任务表现。
2024-12-06 cs.AI cs.CL
Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up
East China Normal University(东华大学);Macquarie University(麦考瑞大学)
提出思维反转(RoT)框架,通过偏好引导的反向推理预热,在推理前增强LLM逻辑能力,实验证明其准确性和效率均优于现有方法。
2025-05-26 cs.AI cs.CL
CSCE: Boosting LLM Reasoning by Simultaneous Enhancing of Causal Significance and Consistency
School of Computer and Communication Engineering(计算机与通信工程学院);University of Science and Technology Beijing(北京科技大学)
针对大语言模型链式推理中存在的因果幻觉问题,本文提出非链式推理框架CSCE,通过定制损失函数增强因果显著性与一致性,将级联推理改为一次性输出,同时提升了推理成功率与速度。
2025-03-24 cs.AI cs.CL
Enhancing Large Language Models with Neurosymbolic Reasoning for Multilingual Tasks
Portland State University(波特兰州立大学)
本文提出神经符号增强推理(NSAR),通过显式提取符号事实并生成 Python 代码,在多语言长上下文任务中显著优于 RAG 和提示策略。
2025-06-03 cs.CL
Enhancing Japanese Large Language Models with Reasoning Vectors
University of California, Davis(加州大学戴维斯分校);Santa Clara University(圣克拉拉大学);NTT DOCOMO, INC(NTT DOCOMO公司);DOCOMO Innovations, Inc(DOCOMO创新公司)
本文提出从推理大语言模型中提取推理向量并应用于日语大语言模型,以资源高效的方式显著提升其推理性能,为其他语言提供借鉴。
2025-08-04 cs.AI
Enhancing Reasoning Skills in Small Persian Medical Language Models Can Outperform Large-Scale Data Training
Faculty of Computer Engineering University of Isfahan(计算机工程系 布鲁金斯大学);School of Computer Science University of Windsor(计算机科学学院 温莎大学)
通过RLAIF和DPO方法,提升小规模波斯语医疗模型推理能力,使其在有限数据下超越大规模训练模型。
2026-01-06 cs.CL
Brain-Inspired Two-Stage Approach: Enhancing Mathematical Reasoning by Imitating Human Thought Processes
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Innovation Center for Processor Technologies(上海处理器技术创新中心);School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学与技术学院)
提出脑启发两阶段方法 Brain,由额叶模型制定计划、顶叶模型生成并执行代码,从而增强多步数学推理,并在 Code LLaMA 7B 基线上达到 SOTA。
2024-02-23 cs.AI cs.CL cs.LG
Meaningful Learning: Enhancing Abstract Reasoning in Large Language Models via Generic Fact Guidance
Fudan University(复旦大学);Du Xiaoman (Beijing) Science Technology Co., Ltd.(度小满(北京)科技有限公司)
针对大型语言模型在抽象推理上的不足,本文定制了AbsR数据集并提出有意义的学习范式,通过通用事实引导有效提升了模型的一般与抽象推理能力。
2024-11-11 cs.AI cs.CL
Enhancing Quantitative Reasoning Skills of Large Language Models through Dimension Perception
Fudan University(复旦大学);DataGrand Co., LTD.(达观数据有限公司)
针对LLMs因忽略带单位数量的维度概念而导致定量推理性能低的问题,提出基于维度感知的增强框架,构建DimUnitKB知识库与DimEval基准,使GPT-4定量推理准确率从43.55%提升至50.67%。
2023-12-29 cs.AI cs.CL cs.LG
CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning
针对多模态大语言模型视觉接地与推理不足的问题,提出CURV课程学习框架,结合CCQA数据集,在图表问答任务中实现显著性能提升并具备良好泛化性。
2026-08-05 cs.AI cs.CL cs.CV
Enhancing Tabular Reasoning with Pattern Exploiting Training
Bloomberg(彭博社);IIT Guwahati(印度理工学院古瓦哈提分校);University of Utah(犹他大学)
基于预训练的语言模型的最近方法已经表现出优于表格任务的性能(例如,表格NLI),尽管显示出固有的问题,例如在对表格数据进行推理时不使用正确的证据和跨输入的不一致预测。在这项工作中,我们利用模式开发训练(PET)(即,策略MLM),以加强这些表格式语言模型模型的预先存在的知识和推理能力。与当前基线相比,我们升级后的模型对知识事实和表格推理有更好的理解。此外,我们还证明了这种模型对于InfoTabs上表格推理的底层下游任务更有效。此外,我们还展示了我们的模型对通过各种字符和单词级扰动生成的对抗集的鲁棒性。
2022-10-21 cs.CL
Enhancing LLM Reasoning via Non-Human-Like Reasoning Path Preference Optimization
University of Technology Sydney(悉尼技术大学);Shanghai Innovation Institute(上海创新研究院);Southeast University(东南大学);Microsoft Research(微软研究院);Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学);Independent Researcher(独立研究者)
本文提出CGPO方法,通过置信度信号优化推理路径,提升大语言模型在代码和数学推理任务中的性能。
2026-01-31 cs.AI cs.CL
Enhancing LLM Reasoning with Reward-guided Tree Search
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);BAAI(北京智源人工智能研究院);Baichuan AI(百川智能)
本文提出STILL-1框架,通过奖励引导的树搜索算法整合策略模型与奖励模型,在数学推理任务上显著提升大语言模型的推理能力。
2024-12-31 cs.AI cs.CL
Teaching-Inspired Integrated Prompting Framework: A Novel Approach for Enhancing Reasoning in Large Language Models
The University of Hong Kong(香港大学);Youdao, NetEase, Inc.(网易有道公司)
提出教学启发的集成提示框架,通过模拟教师指导过程为LLMs提供概念、定理和相似问题,并在四个数学基准上取得新的最优性能。
2024-10-10 cs.AI cs.CL
SEER: Self-Enhancing Chain-of-Thought Compression for Reasoning Models
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学);State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
SEER通过自适应压缩链式推理,提升LLM在软件工程和数学任务中的效率与鲁棒性。
2026-10-08 cs.AI cs.CL cs.SE
Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对LLM单次推理无法纠错的问题,提出Forest-of-Thought框架,通过集成多推理树、稀疏激活、动态自纠正和共识引导决策,显著提升了模型解决复杂推理任务的精度与效率。
2025-04-01 cs.AI cs.CL
RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Wuhan University of Science and Technology(武汉科技大学);National University of Singapore(新加坡国立大学);Northeastern University at Qinhuangdao(东北大学秦皇岛分校);BOSS Zhipin(BOSS直聘)
针对复杂推理任务,提出RAG-Star方法,结合检索增强验证与蒙特卡洛树搜索,利用外部知识引导内部推理,实验证明其优于现有方法。
2024-12-17 cs.AI cs.CL
"Well, Keep Thinking": Enhancing LLM Reasoning with Adaptive Injection Decoding
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
针对显式 CoT 提示依赖人工工程的问题,本文提出自适应注入解码策略,在模型即将过早结束时注入短语以延续推理,实验表明其可显著增强 LLM 推理能力。
2025-03-18 cs.CL
RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoning
Xi’an Jiaotong University(西安交通大学);Huawei Technologies Ltd.(华为技术有限公司);Nankai University(南开大学)
RAG+通过联合检索知识与应用示例,将应用感知推理显式融入RAG流程,在数学、法律和医学任务中平均提升3-5%,最高提升13.5%。
2025-09-23 cs.AI cs.CL
BioMaze: Benchmarking and Enhancing Large Language Models for Biological Pathway Reasoning
Peking University(北京大学);The University of Hong Kong(香港大学);Xi’an Jiaotong University(西安交通大学)
本文提出BioMaze基准数据集与PathSeeker智能体,通过交互式子图导航增强大语言模型在复杂生物通路推理中的能力,解决现有模型在扰动系统中推理表现不佳的问题。
2025-07-22 cs.AI cs.LG q-bio.QM