Diagnosing and Improving Probabilistic Reasoning in Large Language Models
Northwestern University(西北大学)
本文提出决策理论框架,将LLM决策损失分解为信念形成与行动优化,通过合成基准诊断概率推理,发现联合干预信念与决策可改进性能但依赖格式匹配。
2026-11-06 cs.AI
MARGE: Improving Math Reasoning for LLMs with Guided Exploration
Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China(清华大学交叉信息学院);Alibaba Group(阿里巴巴集团);Shanghai Qi Zhi Institute, Shanghai, China(上海启智研究院)
针对大语言模型数学推理受限于高质量查询、现有自生成数据方法探索效率低的问题,提出MARGE方法,通过命中引导探索中间推理状态,无需额外标注或价值模型即可提升推理准确率与多样性,释放自生成数据的规模潜力。
2025-05-18 cs.AI
Improving Rationality in the Reasoning Process of Language Models through Self-playing Game
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Key Laboratory of Data Intelligence and Advanced Computing, Soochow University(苏州大学数据智能与先进计算重点实验室)
本文提出批评者-辨别博弈(CDG),通过自博弈让模型在无外部监督下学会辨别误导性与建设性批评,从而提升大语言模型对自身推理过程的理解与理性。
2025-07-06 cs.AI
Improving LLMs' Generalized Reasoning Abilities by Graph Problems
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出GraphPile图问题推理预训练语料并训练GraphMind,以增强大语言模型跨数学、逻辑和常识任务的泛化推理能力。
2025-07-23 cs.AI
CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning
Department of Electronic Engineering, Kyung Hee University(韩国庆熙大学电子工程系);School of Computer Science and Engineering, University of Electronic Science and Technology of China(中国电子科技大学计算机科学与工程学院);Henan Polytechnic University(河南理工大学);School of Computing, Kyung Hee University(韩国庆熙大学计算机学院)
CAP-CoT通过循环对抗提示框架提升LLM推理的准确性和稳定性,通过生成候选推理链、构造有缺陷的链并对比反馈,优化推理过程。
2026-07-07 cs.AI
Adaptive Selection of Symbolic Languages for Improving LLM Logical Reasoning
本文提出一种自适应选择符号语言的方法,通过在翻译前为不同自然语言逻辑推理问题匹配最优符号语言(一阶逻辑、逻辑编程或布尔可满足性),显著提升了LLM的逻辑推理性能。
2025-10-12 cs.AI
Asking the Right Questions: Improving Reasoning with Generated Stepping Stones
FAIR at Meta(Meta的FAIR);Stanford University(斯坦福大学);University of Oxford(牛津大学)
本文研究了生成中间步骤对提升LLM推理能力的作用,提出ARQ框架通过生成问题增强推理过程,展示了生成问题的有效性和训练方法。
2026-05-15 cs.AI
SPAN: Benchmarking and Improving Cross-Calendar Temporal Reasoning of Large Language Models
Li Auto(利亚特)
SPAN通过开发时间代理提升大型语言模型跨日历时间推理能力,实验显示其准确率高达95.31%
2026-01-09 cs.AI
SciTrek: Evaluating and Improving Long-Context Numerical Reasoning over Scientific Articles
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
SciTrek基准测试通过长上下文科学文章问题探索LLM的数值推理能力,发现即使最佳模型在长上下文下也面临显著挑战,尤其在处理引用和复合逻辑问题时表现不佳。
2026-07-24 cs.AI
Causal Reasoning through Two Layers of Cognition for Improving Generalization in Visual Question Answering
Tokyo Institute of Technology(东京工业大学)
针对视觉问答泛化能力不足的问题,提出两层认知架构的CopVQA模型,通过多通路因果推理与专家模块协作提升性能,在多数据集上取得优异表现且模型规模更小。
2023-10-09 cs.AI
Improving Math Reasoning through Value-guided Informative Search
Amazon(亚马逊);Texas A&M University(德克萨斯A&M大学)
提出APIVIS框架,将有限预算Gumbel搜索适配至分块级数学推理,通过价值引导选择与选择性监督改进RLVR训练,在多个基准上显著优于现有搜索方法。
2026-10-02 cs.AI
Improving LLM Reasoning via Dependency-Aware Query Decomposition and Logic-Parallel Content Expansion
University of Science and Technology of China(中国科学技术大学)
针对LLM集成到实时Web应用时推理效率与质量难以兼顾的瓶颈,提出Orion框架,通过依赖感知查询分解、逻辑并行扩展和跨查询流水线调度,同时提升推理速度与质量。
2025-10-28 cs.AI
Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks
Università di Pisa(比萨大学);Dipartimento di Ingegneria dell’Informazione(信息工程系)
本文提出用大规模LLM生成正确与错误函数调用推理链偏好数据,并通过RLHF中的DPO训练小规模模型,以较低计算成本提升其数学和逻辑推理任务的函数调用能力。
2024-10-24 cs.AI
Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Advantage Policy Optimization
Skywork AI, Kunlun Inc.(昆仑万维天工大模型);Fudan University(复旦大学)
针对强化学习提升大语言模型推理时的稀疏奖励和训练不稳定问题,提出步级离线强化学习算法DAPO,通过critic函数预测每步推理准确性生成密集信号,并独立训练Actor和Critic组件,有效提升了模型在数学和代码基准上的能力。
2024-12-24 cs.AI
LinTree: Improving LLM Reasoning with Explicitly Structured Search Histories
National University of Singapore(新加坡国立大学);University of Oxford(牛津大学)
针对LLM推理中隐式搜索树导致性能不佳的问题,提出LinTree方法,通过添加父指针显式表示线性化树结构,在Blocks World、网格导航和Sokoban任务中提升了任务性能和搜索效率。
2026-05-29 cs.AI
SHAPE of Thinking: Mathematical Heuristics for Analyzing and Improving LLM Reasoning
本研究提出用于分析LLM思维链轨迹的\texttt{SHAPE}框架,发现数学启发式比传统CoT特征更能解释答案正确性,基于此的后训练可提升LLM数学推理准确率。
2026-10-15 cs.AI
VecCISC: Improving Confidence-Informed Self-Consistency with Reasoning Trace Clustering and Candidate Answer Selection
Computer Science Department, Brandeis University(布拉德雷大学计算机科学系)
VecCISC通过推理轨迹聚类和候选答案筛选优化置信度引导的自一致性方法,减少计算开销并保持高精度。
2026-05-08 cs.AI
Improving Numerical Reasoning Skills in the Modular Approach for Complex Question Answering on Text
Monash University(莫纳什大学)
数字推理技能对于文本上的复杂问答(CQA)是必不可少的。它需要包括计数、比较、加法和减法在内的操作。一种成功的文本CQA方法,神经模块网络(NMN),遵循程序员-解释器范式,并利用专门的模块来执行组合推理。然而,国家独立网络框架在问题和段落中都没有考虑数字和实体之间的关系。我们提出了有效的技术,以提高NMN的数值推理能力,使解释器的问题意识和捕捉实体和数字之间的关系。在用于文本CQA的DROP数据集的同一子集上,实验结果表明,我们的添加比原始NMN的整体F1得分高出3.0分。
2021-09-06 cs.AI cs.CL
Improving Large Language Models for Code through Runtime Program-State Reasoning
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Microsoft(微软)
本文提出通过两种运行时程序状态推理任务(有缺陷输入输出推理和前置条件后置条件推理)训练代码大语言模型,开发出Comet-9B,在多个基准上显著提升补丁生成、回归测试生成等能力。
2026-09-29 cs.AI
Improving Medical Reasoning with Curriculum-Aware Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
针对医学VQA中开放式推理不足的问题,提出首个课程驱动强化学习框架MedCCO,统一封闭与开放数据,在八个基准上分别提升11.4%和5.7%的准确率。
2025-05-25 cs.AI
Improving Multimodal LLMs Ability In Geometry Problem Solving, Reasoning, And Multistep Scoring
IIIT Delhi(德里印度信息技术学院);MIDAS LAB(MIDAS实验室);NUS(新加坡国立大学)
本文提出几何多模态数据集GPSM4K,含5340个含分步解答的问题,可评估LVLMs几何推理能力;测试表明开源模型需提升,微调及图像描述、RAG技术可改善性能,还实现了答案评估自动化。
2024-12-01 cs.AI
Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering
South China Normal University(华南师范大学)
针对云端LLM零样本提示准确率低的问题,提出Fed-SP-SC和Fed-DP-CoT方法,利用联邦同义问题池结合自洽性与思维链技术,无需模型微调即可显著提升分布式用户查询的回答精度。
2023-06-30 cs.AI
Improving Chain-of-Thought for Logical Reasoning via Attention-Aware Intervention
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
通过注意力感知干预改进逻辑推理的链式思维,提出一种非交互式端到端框架,提升模型推理能力与可分析性,无需外部资源。
2026-01-24 cs.AI cs.LG
MAF: Multi-Aspect Feedback for Improving Reasoning in Large Language Models
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出 Multi-Aspect Feedback 迭代精炼框架,通过集成多个专注特定错误类别的反馈模块(含冻结LM和外部工具),有效解决LM推理链中的多种错误,在数学推理和逻辑蕴含任务上分别实现高达20%和18%的相对提升。
2023-10-19 cs.AI cs.CL
Improving LLM Interpretability with User-Centric Chain-of-Thought Reasoning
University of Ulm(乌尔姆大学)
本研究提出以人为本的LLM推理轨迹构建方法,采用类XML标签编码,在保持数学推理性能的同时提升可解释性,显著改善用户感知的有用性与易用性,助力高风险AI部署的人机协作。
2026-08-28 cs.AI cs.HC
Improving Mathematical Reasoning Capabilities of Small Language Models via Feedback-Driven Distillation
针对小型语言模型数学推理能力不足的问题,提出反馈驱动的蒸馏框架,通过按难度分类生成变体问题并进行多轮迭代蒸馏,使SLMs达到SOTA数学推理性能。
2024-11-22 cs.AI cs.CL
Towards Benchmarking and Improving the Temporal Reasoning Capability of Large Language Models
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);National University of Singapore(新加坡国立大学)
本文针对现有时间依赖问答数据集的偏差问题,提出了全面探测数据集TempReason以评估大语言模型的时间推理能力,并设计了基于时间跨度提取与时间敏感强化学习的新框架来提升该能力,实验证明其方法有效。
2023-06-27 cs.AI cs.CL
Two-Stage Reasoning-Infused Learning: Improving Classification with LLM-Generated Reasoning
本文提出两阶段推理注入学习方法,先微调 Llama-3.2-1B-Instruct 生成推理,再用其增强下游模型训练,在情感分类任务上准确率提升 8.7 个百分点,证明显式推理训练能有效改进 NLP 分类性能。
2025-06-30 cs.AI cs.CL
Improving Arithmetic Reasoning Ability of Large Language Models through Relation Tuples, Verification and Dynamic Feedback
The University of Tokyo(东京大学)
本文提出利用半结构化关系元组表示大型语言模型推理步骤,结合本地代码解释器自动验证与动态反馈机制,有效提升了模型在算术数据集上的推理能力。
2024-06-25 cs.AI cs.CL
Neuro-Symbolic Artificial Intelligence: Towards Improving the Reasoning Abilities of Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University, China(国家新型软件技术重点实验室,南京大学,中国);School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学,中国);School of Intelligence Science and Technology, Nanjing University, China(智能科学与技术学院,南京大学,中国)
本文系统综述了利用神经符号方法提升大语言模型推理能力的最新进展,从Symbolic->LLM、LLM->Symbolic和LLM+Symbolic三个视角梳理方法,并讨论关键挑战与未来方向。
2025-08-19 cs.AI cs.LG
Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs
Huazhong University of Science and Technology(华中科技大学);Alibaba Cloud(阿里云)
通过视觉对比提升VLMs的推理能力,提出VC-STaR框架,有效减少推理幻觉并提升多种VLMs的视觉推理性能。
2026-03-03 cs.AI cs.CL cs.CV
Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction
Zhejiang University(浙江大学);HKUST(香港科技大学);University of Edinburgh(爱丁堡大学)
本文提出了概念反转的CR-WSC数据集以评估LLMs的鲁棒推理能力,并提出Abstraction-of-Thought(AoT)提示方法,通过概念抽象将对抗样本恢复为正常样本,显著提升了LLMs推理的鲁棒性和一致性。
2024-10-15 cs.AI cs.CL
Improving Context Fidelity via Native Retrieval-Augmented Reasoning
DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);MetaGPT;Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Yale University(耶鲁大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能教席)
提出原生检索增强推理框架CARE,通过模型自身检索能力在推理链中显式整合上下文证据,显著提升了LLMs的上下文保真度及知识密集型任务的准确性。
2025-09-17 cs.AI cs.CL
From Good to Great: Improving Math Reasoning with Tool-Augmented Interleaf Prompting
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
本文提出IMP-TIP框架,通过自我提示与工具增强交错提示结合LLM和工具增强LLM的多个解答并交叉检验,在GSM8K-Hard上将准确率从56.0%提升至65.2%,显著增强数学推理能力。
2023-12-18 cs.AI math.HO
Direct Value Optimization: Improving Chain-of-Thought Reasoning in LLMs with Refined Values
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所);University College London(伦敦大学学院)
提出强化学习框架 DVO,用单步价值信号和均方误差损失优化 LLM 思维链推理,无需偏好标注,并在数学与常识任务上以更少训练步骤超越离线偏好优化方法。
2025-02-19 cs.AI cs.CL
STAR-S: Improving Safety Alignment through Self-Taught Reasoning on Safety Rules
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
STAR-S通过自教推理提升大型语言模型的安全性,有效防御对抗攻击。
2026-01-07 cs.AI cs.CL
P-FOLIO: Evaluating and Improving Logical Reasoning with Abundant Human-Written Reasoning Chains
Yale University(耶鲁大学);Harvard University(哈佛大学);NVIDIA(英伟达公司);Salesforce Research(Salesforce研究院)
提出P-FOLIO人工标注数据集,通过单步推理规则分类评估并利用多样本提示与微调显著提升LLM逻辑推理能力,在域外数据集上性能提升超10%。
2024-10-11 cs.AI cs.CL
Thinking Before Looking: Improving Multimodal LLM Reasoning via Mitigating Visual Hallucination
Columbia University(哥伦比亚大学);Lehigh University(理海大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出视觉推理链(VIC)框架,通过先基于纯文本构建推理链再引入视觉输入,缓解多模态大语言模型中由误导性图像引起的幻觉,并显著提升零样本视觉推理性能。
2024-11-15 cs.AI cs.CV
Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain
Nomura Research Institute, Ltd.(摩根士丹利研究机构)
本研究提出了一种通用方法,通过构建合成指令数据集提升领域特定大语言模型的推理能力,并在金融领域进行了验证。
2026-03-02 cs.AI cs.CL cs.LG
FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning
The Ohio State University(俄亥俄州立大学);Amazon(亚马逊)
为缓解LLMs对良性查询的过度拒绝问题,本文提出FalseReject资源及图信息增强的对抗性多智能体框架,生成16k数据集以训练模型进行结构化推理,在保障整体安全性的同时大幅减少了不必要的拒绝。
2025-07-15 cs.AI cs.CL
Think-Augmented Function Calling: Improving LLM Parameter Accuracy Through Embedded Reasoning
Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团);School of Software and Microelectronics(软件与微电子学院);Peking University(北京大学)
TAFC通过嵌入式推理提升LLM参数准确性,实现函数调用的显式推理和细粒度优化,增强多参数函数的生成准确性和可解释性。
2026-02-06 cs.AI cs.CL cs.LG
Narrative-of-Thought: Improving Temporal Reasoning of Large Language Models via Recounted Narratives
University of Michigan(密歇根大学);Northeastern University(东北大学)
本文提出了一种名为Narrative-of-Thought(NoT)的新提示技术,通过将事件集合转换为Python类并引导小模型生成时间叙事,从而在无需微调的预算约束下显著提升了大型语言模型的时间推理能力,其F1分数和结构相似性甚至可媲美GPT-3.5/4。
2024-11-17 cs.AI cs.CL
SafeCoT: Improving VLM Safety with Minimal Reasoning
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学)
本文提出轻量可解释框架 SafeCoT,通过基于规则的 CoT 最小监督引导 VLM 推理安全风险并实现情境化拒绝,在多个基准上减少过度拒绝并提升泛化。
2025-06-11 cs.AI cs.LG
Think Clearly: Improving Reasoning via Redundant Token Pruning
KAIST(韩国科学技术院);Korea University(韩国大学);Amazon AGI(亚马逊人工智能实验室)
本文提出一种无需训练的冗余Token剪枝方法,通过测量对特殊思考结束Token的注意力分数识别并移除推理路径中的冗余,显著提升了大型语言模型在AIME等推理密集型基准上的准确率。
2025-06-17 cs.AI cs.CL cs.LG
Finding the Cracks: Improving LLMs Reasoning with Paraphrastic Probing and Consistency Verification
School of Data Science, University of Virginia, Charlottesville, United States.(数据科学学院,弗吉尼亚大学,切萨皮克市,美国)
PPCV通过反语探测和一致性验证改进大语言模型推理,通过识别和替换关键标记以提升推理准确性。
2026-02-11 cs.AI cs.CL cs.LG
Less is More: Improving LLM Reasoning with Minimal Test-Time Intervention
HKUST(GZ)(香港科技大学(广州));Kuaishou Technology(快手科技);AIML(人工智能实验室);ZJU(浙江大学);Ant Group(蚂蚁集团);HKUST(香港科技大学)
针对大语言模型推理中高计算成本问题,提出最小测试时干预(MTI)框架,通过仅在不确定位置应用分类器自由引导和轻量负提示引导,在保持高效的同时提升推理准确性和稳定性。
2026-06-16 cs.AI cs.CL
NormTab: Improving Symbolic Reasoning in LLMs Through Tabular Data Normalization
University of Alberta(阿尔伯塔大学)
本文提出 NormTab 框架,通过将表格规范化作为独立的预处理步骤,有效解决了网络表格结构差异与不一致问题,显著提升了 LLM 在 WikiTableQuestion 和 TabFact 数据集上的符号推理性能。
2025-04-02 cs.AI cs.CL cs.DB
Step Guided Reasoning: Improving Mathematical Reasoning using Guidance Generation and Step Reasoning
Huawei Technologies Co., Ltd.(华为技术有限公司);Shanghai Jiaotong University(上海交通大学)
本文提出免训练的Step Guided Reasoning框架,通过在推理阶段引入逐步反思引导机制,使通用大语言模型无需额外训练即可显著提升数学推理性能,并在多个模型上验证了其优于数学专用模型的效果。
2025-09-21 cs.AI cs.CL cs.HC
Improving Symbolic Translation of Language Models for Logical Reasoning
本文通过微调和增量推理框架,提升小型语言模型在逻辑推理中的符号翻译能力,减少错误率并提高推理性能。
2026-01-14 cs.AI cs.CL
Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
VietAI Research(VietAI研究院)
提出Distillation Contrastive Decoding(DCD)方法,结合对比提示与Dropout、Quantization等蒸馏技术,免除业余模型需求并降低内存,在GSM8K和StrategyQA等基准上显著提升LLMs推理性能。
2024-08-23 cs.AI cs.CL cs.LG
EMCEE: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context
Yonsei University(延世大学)
提出EMCEE框架,通过从LLM自身提取并融合语言特定知识,结合推理输出,显著提升多语言任务性能,尤其在低资源语言上平均提升31.7%。
2026-05-29 cs.AI cs.CL
Improving Retrieval Augmented Language Model with Self-Reasoning
Baidu Inc.(百度公司);Baidu Research(百度研究院)
提出自推理框架,通过相关性感知、证据感知选择和轨迹分析三个过程利用LLM自身生成的推理轨迹,提升了RALM的可靠性与可追溯性,在四个数据集上以极少样本超越SOTA并媲美GPT-4。
2024-12-19 cs.AI cs.CL
CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning
Adobe Research(Adobe研究院);Northeastern University(东北大学)
通过 grounded 推理改进指称表达任务,提出CoT Referring方法,提升多模态大语言模型在复杂指称场景中的性能。
2026-01-17 cs.AI cs.CL
Cross-lingual Prompting: Improving Zero-shot Chain-of-Thought Reasoning across Languages
Central South University(中南大学);Harbin Institute of Technology(哈尔滨工业大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对零样本思维链推理局限于单一语言的问题,提出跨语言提示CLP及跨语言自洽提示CLSP,通过跨语言对齐与任务特定求解生成推理路径,在多个基准上达到最先进性能。
2023-10-23 cs.AI cs.CL