Enhancing LLMs' Clinical Reasoning with Real-World Data from a Nationwide Sepsis Registry
Korea Advanced Institute of Science and Technology(韩国科学技术院);Microsoft(微软);Asan Medical Center, University of Ulsan College of Medicine(釜山大学医学院阿桑医疗中心);Samsung Medical Center, Sungkyunkwan University School of Medicine(成均馆大学医学院三星医疗中心);Seoul National University Bundang Hospital, Seoul National University College of Medicine(首尔国立大学医学院首尔国立大学医院)
研究旨在增强大语言模型临床推理能力,利用全国脓毒症登记处数据构建问题,通过强化学习微调模型得到C-Reason,该模型在域内测试集表现出色,推理能力能推广到不同任务和疾病,为开发通用临床推理模型提供思路。
2026-07-21 cs.AI cs.LG
Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学)
本文提出生成对抗推理器,通过对抗性强化学习联合训练LLM推理器和判别器,提升推理质量与准确性。
2026-03-25 cs.AI cs.CL cs.LG
CVPO: Enhancing LLM Reinforcement Learning Reasoning via Value-Variance Adaptation and Dynamic Curriculum Learning
针对LLM强化学习推理中反馈精度不足与问题难度漂移问题,提出CVPO方法,通过值方差自适应与动态课程学习优化,在数学任务上性能优于VAPO等基线。
2026-08-05 cs.AI cs.CL cs.LG
Reasoning Before Translation: Enhancing Legal Machine Translation with Structured Reasoning
研究法律领域神经机器翻译难题,通过比较多种方法,评估小型语言模型在不同再训练范式下的表现,以瑞士法律系统为测试平台,发现强化学习效果好,增强小型模型接近前沿推理模型,再训练范式随模型规模收益递减。
2026-11-11 cs.AI cs.CL cs.LG
Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data
McGill University(麦吉尔大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所)
本研究探索基于图的合成数据作为训练信号,通过监督微调增强LLM在归纳与空间推理任务上的能力,且不影响其他基准表现。
2024-12-16 cs.CL cs.LG
Multi-Layer GRPO: Enhancing Reasoning and Self-Correction in Large Language Models
Shenzhen Jinzheng Youzhi Technology(深圳金政智科技)
本文提出多层GRPO(MGRPO),通过第二层GRPO对第一层生成的初始响应进行错误识别与纠正,以隐式过程级监督缓解奖励消失问题,并在数学推理基准上显著超越标准GRPO。
2025-06-05 cs.LG
Thinking with Knowledge Graphs: Enhancing LLM Reasoning Through Structured Data
Yahoo Research(雅虎研究院)
本文提出将知识图谱的结构与语义紧密集成到大语言模型中,通过编程语言表示知识图谱并微调预训练模型,显著提升复杂推理性能并增强推理的可解释性。
2024-12-14 cs.CL cs.LG
Auto-Patching: Enhancing Multi-Hop Reasoning in Language Models
Tel Aviv University(特拉维夫大学)
针对大型语言模型多跳推理困难的问题,提出Auto-Patch方法,在推理时动态修补隐藏状态,在MuSiQue数据集上将求解率提升至23.63%,缩小了与思维链提示的差距。
2025-05-31 cs.CL cs.LG
SynthPert: Enhancing LLM Biological Reasoning via Synthetic Reasoning Traces for Cellular Perturbation Prediction
InverseBio;Novo Nordisk
本文提出SynthPert方法,通过合成推理轨迹提升LLM在细胞扰动预测中的性能,展现了合成数据在生物推理中的有效性,并实现了跨细胞类型泛化。
2026-04-26 cs.AI cs.LG q-bio.CB
Spatial-ViLT: Enhancing Visual Spatial Reasoning through Multi-Task Learning
Florida State University(佛罗里达州立大学)
针对视觉语言模型在3D场景空间推理上的不足,研究提出整合空间特征的SpatialViLT及变体、集成模型,在VSR数据集上实现SOTA空间推理性能,助力AI空间智能提升。
2025-10-03 cs.AI cs.CV cs.LG
TS-HINT: Enhancing Semiconductor Time Series Regression Using Attention Hints From Large Language Model Reasoning
Engineering Product Development (EPD), SUTD, Singapore(新加坡南洋理工大学工程产品开发部);Institute for Infocomm Research (I$^2$R), A*STAR, Singapore(新加坡信息通信研究所)
TS-Hint通过结合大语言模型推理提供注意力提示,提升半导体时间序列回归在有限数据下的性能。
2025-12-05 cs.LG
Enhancing Reasoning with Collaboration and Memory
Google DeepMind(谷歌DeepMind)
本文研究多智能体协作与记忆库对LLM推理的增强作用,提出变语境智能体和摘要智能体,并发现随机示例选择常优于原则性方法,某些任务中示例反而干扰模型。
2025-03-07 cs.AI cs.LG
DiPT: Enhancing LLM reasoning through diversified perspective-taking
Virginia Tech(弗吉尼亚理工大学);UC Davis(加州大学戴维斯分校)
本文提出 DiPT 方法,通过在推理阶段融入多样化视角来补充单一推理路径,提升 LLM 的推理性能、稳定性及安全性,并提供以数据为中心的微调增强方案。
2025-07-13 cs.AI cs.LG
Enhancing Neural Mathematical Reasoning by Abductive Combination with Symbolic Library
Nanjing University(南京大学);Polixir Technologies(智谱科技)
近年来,数学推理已被证明是对神经系统的一个严峻挑战。包括表达翻译,逻辑推理和数学知识获取在内的能力似乎是克服挑战所必需的。本文证明了一些能力可以通过溯因组合与离散系统,已编程与人类知识。在一个数学推理数据集上,我们采用最近提出的溯因学习框架,提出了结合Transformer神经模型和符号数学库的ABL-Sym算法。ABL-Sym在插值任务上显示出9.73%的精度提高,在外推任务上显示出47.22%的精度提高,超过了最先进的方法。在线演示:http://math.polixir.ai
2022-03-28 cs.AI cs.LG
DTS: Enhancing Large Reasoning Models via Decoding Tree Sketching
Johns Hopkins University(约翰霍普金斯大学);University of North Carolina at Charlotte(北卡罗来纳大学教堂山分校);Rice University(莱斯大学);University of Minnesota(明尼苏达大学)
DTS通过解码树草图方法提升大推理模型的推理能力,显著提高准确性并减少重复生成,使小模型超越大模型。
2026-02-04 cs.AI cs.CL cs.LG
Enhancing Reasoning Capabilities of Small Language Models with Blueprints and Prompt Template Search
Microsoft(微软)
提出结合LLM生成蓝图与提示模板搜索的框架,在不训练、不扩模的情况下提升SLM在GSM8K、MBPP和BBH上的推理表现。
2025-06-10 cs.AI cs.LG
Process In-Context Learning: Enhancing Mathematical Reasoning via Dynamic Demonstration Insertion
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Huawei Poisson Lab, China(华为Poisson实验室)
PICL通过动态插入相关演示来提升数学推理能力,有效缓解推理过程中的困惑问题。
2026-01-17 cs.AI cs.LG
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time
Noah’s Ark Laboratory(诺亚方舟实验室);Huawei(华为)
提出纯推理搜索方法MindStar,将数学推理视为搜索问题,显著提升开源模型推理能力,性能媲美GPT-3.5但成本更低。
2024-06-26 cs.LG
Enhancing Reasoning through Process Supervision with Monte Carlo Tree Search
AI Lab, Giant Network(巨量引擎AI实验室)
本文提出利用蒙特卡洛树搜索让LLM自生成过程监督数据,通过加权对数似然迭代训练,在数学推理任务上显著提升性能并展现跨数据集迁移能力。
2025-01-02 cs.AI cs.CL cs.LG
STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出STEP方法,利用时空场景图引导视频大语言模型自生成推理数据,通过思维链监督提升多步组合推理能力,实验显示在复杂推理任务上提升21.3%。
2025-03-30 cs.CV cs.LG
Enhancing Mathematical Problem Solving in LLMs through Execution-Driven Reasoning Augmentation
North Carolina State University(北卡罗来纳州立大学)
本研究提出IIPC方法,通过迭代优化程序推理链并结合执行反馈,提升大语言模型的数学问题解决能力。
2026-02-08 cs.AI cs.LG cs.MA
Are Retrials All You Need? Enhancing Large Language Model Reasoning Without Verbalized Feedback
Aarhus University(奥胡斯大学)
针对大型语言模型推理中复杂迭代策略成本高的问题,提出无需反馈的重试机制,让模型识别错误后重新尝试,该简单方法常优于复杂框架,为高效推理提供新方向。
2025-04-17 cs.AI cs.CL cs.LG
TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding
Central South University(中南大学)
TempoGPT通过白盒系统分析构建复杂时间序列推理数据,并利用码本量化时间嵌入实现时序与文本表示一致,从而提升多模态时间序列语言模型的推理性能。
2025-03-07 cs.AI cs.LG
Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning
Peking University(北京大学);ByteDance Inc.(字节跳动公司)
针对自回归思维链生成长且正确轨迹的挑战,该研究提出RELAY方法,将思维链推理步骤与循环Transformer的迭代对齐并施加中间监督,提升其泛化性以生成超长推理链,进而微调自回归模型并显著提升其性能。
2025-02-12 cs.AI cs.CL cs.LG
BioMaze: Benchmarking and Enhancing Large Language Models for Biological Pathway Reasoning
Peking University(北京大学);The University of Hong Kong(香港大学);Xi’an Jiaotong University(西安交通大学)
本文提出BioMaze基准数据集与PathSeeker智能体,通过交互式子图导航增强大语言模型在复杂生物通路推理中的能力,解决现有模型在扰动系统中推理表现不佳的问题。
2025-07-22 cs.AI cs.LG q-bio.QM
Enhancing Reasoning Capabilities of LLMs via Principled Synthetic Logic Corpus
Advanced AI Innovation Center, Hitachi(日立高级人工智能创新中心);The University of Sheffield(谢菲尔德大学)
针对LLM推理能力不足的问题,本文提出附加逻辑训练(ALT)方法,并基于符号逻辑理论构建了高质量多步演绎合成语料库FLD×2。实验表明,该方法显著提升了LLaMA-3.1-70B等先进模型在逻辑、数学、编程及BBH基准上的表现。
2024-12-23 cs.AI cs.LG cs.LO
Learning by Applying: A General Framework for Mathematical Reasoning via Enhancing Explicit Knowledge Learning
University of Science and Technology of China(中国科学技术大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
数学推理是通用人工智能的关键能力之一,它要求机器从解决问题中掌握数学逻辑和知识。然而,就在推理过程中学习和应用的知识而言,现有的方法并不透明(因此不可解释)。在本文中,我们提出了一个通用的学习应用(LeAp)框架,以增强现有的模型(骨干)在一个原则性的方式通过显式知识学习。在LeAp中,我们在一个新的问题-知识-表达范式中进行知识学习,知识编码器从问题数据中获取知识,知识解码器将知识应用于表达推理。学习到的数学知识,包括词-词关系和词-算子关系,形成了一个显性的知识图谱,将知识的“学”与“用”有机地连接起来。此外,对于问题的解决,我们设计了一个语义增强模块和推理增强模块,应用知识,以提高问题的理解和符号推理能力的任何骨干,分别。从理论上证明了LeAp自主学习机制的优越性。在三个真实数据集上的实验表明,LeAp提高了所有骨干的性能,学习准确的知识,并实现了更可解释的推理过程。
2023-02-11 cs.AI cs.CL cs.LG
Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic
University of Hamburg(汉堡大学)
本文提出 LoT 框架,利用符号逻辑中的反证法逐步验证和纠正推理过程,显著提升了大型语言模型在多领域的零样本思维链推理能力。
2024-03-26 cs.AI cs.CL cs.LG
AAPO: Enhancing the Reasoning Capabilities of LLMs with Advantage Margin
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Frontier Research Department, Baidu Inc.(百度公司前沿研究部)
AAPO通过引入基于边际的估计方案优化交叉熵损失,有效解决传统分组相对优势估计方法的训练效率问题,在数学推理基准上表现出色。
2026-04-14 cs.CL cs.LG
Self-Evolved Preference Optimization for Enhancing Mathematical Reasoning in Small Language Models
Microsoft Research, India(微软研究院(印度));IIT Delhi, India(印度德里理工学院)
本文提出自进化数据生成流水线SPHERE,通过自我生成、自我纠正和多样性诱导三个阶段迭代优化推理链,显著提升小型语言模型的数学推理能力,并在多个数学基准上达到或超越GPT-4o。
2025-03-04 cs.AI cs.CL cs.LG
Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
本文提出Dynamic Experts Search(DES),通过在推理时动态控制MoE激活专家数并继承配置,以零额外成本生成多样且稳定的推理路径,在多类基准上优于TTS基线。
2025-09-26 cs.AI cs.CL cs.LG
CounterCurate: Enhancing Physical and Semantic Visio-Linguistic Compositional Reasoning via Counterfactual Examples
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
CounterCurate框架通过物理基础数据增强和语义反事实微调,显著提升了CLIP和LLaVA等模型的视觉-语言组合推理能力。
2024-06-12 cs.AI cs.CL cs.CV
Enhancing Causal Reasoning in Large Language Models: A Causal Attribution Model for Precision Fine-Tuning
University of California, Irvine(加州大学尔湾分校);North Carolina State University(北卡罗来纳州立大学);Amazon(亚马逊公司)
本文提出一种因果归因模型,通过精确微调提升大语言模型的可解释性和因果推理能力,展示了模型在不同领域中的因果发现任务中的有效性。
2026-05-21 cs.AI cs.CL cs.LG
Enhancing Reasoning to Adapt Large Language Models for Domain-Specific Applications
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);MIT-IBM Watson AI Lab(麻省理工学院-IBM 沃森人工智能实验室)
本文提出受神经科学启发的LLM推理网络架构SOLOMON,通过提示工程与上下文学习使通用大语言模型快速适应半导体版图设计等专门任务,性能显著超越基线并接近o1-preview。
2025-02-05 cs.AI cs.CL cs.LG
AT-RAG: An Adaptive RAG Model Enhancing Query Efficiency with Topic Filtering and Iterative Reasoning
Munich Reinsurance Co-Canada(慕尼黑再保险公司加拿大分公司)
AT-RAG 通过 BERTopic 主题过滤与迭代推理提升多跳问答的检索效率与答案质量,在通用及医学问答中均显著优于现有方法。
2024-10-16 cs.CL cs.IR cs.LG
Enhancing Reasoning Capabilities in SLMs with Reward Guided Dataset Distillation
Shreyansh Padarha(独立研究者)
本文提出AdvDistill框架,通过奖励引导的数据集蒸馏利用教师模型多次生成及规则验证器奖励作为权重训练学生模型,显著提升小型语言模型在数学和复杂推理任务上的性能。
2025-06-25 cs.AI cs.CL cs.LG
DiCoRe: Enhancing Zero-shot Event Detection via Divergent-Convergent LLM Reasoning
Computer Science Department, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
本文提出DiCoRe框架,通过Dreamer发散推理提升事件覆盖率,Grounder收敛推理对齐预测与指令,LLM-Judge验证输出,在零样本事件检测任务上显著优于基线。
2025-09-18 cs.AI cs.CL cs.LG