MultiDx: A Multi-Source Knowledge Integration Framework towards Diagnostic Reasoning
Xi’an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学);Tencent Jarvis Lab(腾讯 Jarvis实验室);Westlake University(西湖大学)
本文提出MultiDx框架,通过多源知识整合提升诊断推理能力,结合网络搜索、病例数据库等多视角证据,生成最终预测。
2026-04-27 cs.AI cs.CL
Delta1 with LLM: symbolic and neural integration for credible and explainable reasoning
本文提出Delta1与LLM结合的框架,通过符号推理与神经网络整合,实现可信且可解释的推理,适用于医疗、合规和监管领域。
2026-03-13 cs.AI cs.LO
Review of Case-Based Reasoning for LLM Agents: Theoretical Foundations, Architectural Components, and Cognitive Integration
本文针对LLM智能体在特定知识、灵活性和可解释决策上的局限,综述了将基于案例推理(CBR)整合到其框架的理论基础、架构组件与认知维度,提出CBR可增强LLM智能体的显性知识利用及推理能力。
2025-04-11 cs.AI cs.MA
Enhancing the Geometric Problem-Solving Ability of Multimodal LLMs via Symbolic-Neural Integration
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院)
针对多模态大语言模型(MLLMs)在几何问题求解(GPS)中存在的分步数据缺乏与推理幻觉问题,提出GeoGen流水线生成高质量问答对,训练GeoLogic模型融合符号-神经优势,显著提升MLLMs在几何推理基准上的性能。
2025-04-17 cs.AI cs.CL
Integrating Knowledge and Reasoning in Image Understanding
Adobe Research(奥多比研究院);Arizona State University(亚利桑那州立大学)
基于深度学习的数据驱动方法已成功应用于各种图像理解应用,从对象识别、语义分割到视觉问答。然而,缺乏知识整合以及更高层次的推理能力的方法仍然构成了障碍。在这项工作中,我们提出了一些代表性的推理机制,知识集成方法及其相应的图像理解应用程序开发的不同群体的研究人员,从不同的角度接近的问题进行了简要的调查。此外,我们还讨论了将外部知识与神经网络相结合的关键工作。从这些努力中得到线索,我们最后讨论了提高推理能力的潜在途径。
2019-06-24 cs.AI cs.CV
Can Large Language Models Integrate Spatial Data? Empirical Insights into Reasoning Strengths and Computational Weaknesses
University of Washington(华盛顿大学)
本研究实证探讨LLM整合城市空间数据的能力,发现其空间推理强但计算几何弱,提供特征并采用审查-修正法可显著提升性能,是传统规则方法的灵活替代方案。
2025-08-07 cs.AI cs.CL
VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration
Microsoft AI(微软人工智能)
VisTIRA通过结构化工具集成框架,解决图像形式数学问题的推理难题,改进视觉数学推理能力,实验表明工具监督和OCR定位能有效缩小模态差距。
2026-03-17 cs.AI cs.CL cs.LG
KG-o1: Enhancing Multi-hop Question Answering in Large Language Models via Knowledge Graph Integration
本文提出KG-o1,一种四阶段方法,通过集成知识图谱构建复杂子图、逻辑路径和自改进语料,训练大语言模型模仿长期推理,在多跳问答任务上超越现有大型推理模型。
2025-08-12 cs.AI cs.CL
$\mathrm{R}{\scriptstyle\mathrm{EAL}}\mathrm{G}{\scriptstyle\mathrm{UARD}}$: Reliable, Efficient, and Auditable LLM Safeguards via Latent Reasoning
LatentGuard是将连续潜在推理引入防护模型的高效可检查框架,其8B参数版本在提升安全判定性能的同时大幅降低推理成本,还具备良好的审计效用,为可部署的LLM安全防护提供了可行路径。
2026-10-14 cs.AI
Controllable Mathematical Reasoning via Self-Optimizing Thought Vectors
Kepler(开普勒)
本文提出利用自优化思维向量与熵最小化实现可控数学推理,在GSM8K上以Gemma-2-9B达到90.1%准确率,无需外部奖励标注,验证了框架的有效性。
2025-10-25 cs.AI
M2A: Synergizing Mathematical and Agentic Reasoning in Large Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Li Auto Inc.(Li Auto公司)
本文提出M2A框架,通过模型融合协同数学与代理推理,提升多任务学习下的推理稳定性与性能。
2026-05-11 cs.AI
ML-Master: Towards AI-for-AI via Integration of Exploration and Reasoning
School of Artificial Intelligence, Shanghai Jiao Tong University(人工智能学院,上海交通大学)
提出ML-Master智能体,通过选择性记忆机制整合探索与推理,在MLE-Bench上以29.3%平均奖牌率超越现有方法,并在12小时内完成任务,推动AI4AI发展。
2025-06-19 cs.AI cs.LG
ProReason: Multi-Modal Proactive Reasoning with Decoupled Eyesight and Wisdom
The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学)
ProReason通过解耦视觉感知与文本推理,采用多轮主动感知,有效提升LVLMs的视觉推理性能,平均提升13.2%,并可集成LLMs生成高质量数据。
2025-10-15 cs.AI cs.CV
Math Reasoning in LLMs is Organized by Approach, Not Topic
Clemson University(克莱姆森大学)
本研究通过生成-重放协议和激活签名聚类,证明数学能力LLM的内部计算按推理方法而非主题组织,对基准设计有重要启示。
2026-09-25 cs.AI
How to Auto-optimize Prompts for Domain Tasks? Adaptive Prompting and Reasoning through Evolutionary Domain Knowledge Adaptation
Johns Hopkins University(约翰霍普金斯大学)
提出EGO-Prompt框架,通过进化领域知识自适应优化提示与推理,提升LLM在领域任务上的性能与可解释性。
2025-10-24 cs.AI
Do MLLMs Really Understand Space? A Mathematical Reasoning Evaluation
Meituan Inc.(美团);Northeastern University(东北大学);University of Trento(特伦托大学)
本文通过MathSpatial数据集评估了大规模语言模型在数学空间推理上的能力,发现其在空间推理任务上表现不佳,提出该数据集有助于提升模型的空间推理能力。
2026-04-08 cs.AI
Pyramid-Driven Alignment: Pyramid Principle Guided Integration of Large Language Models and Knowledge Graphs
Panasonic Connect(松下互联)
本文提出金字塔驱动的对齐框架PDA,通过金字塔原理构建层次结构并利用递归机制挖掘知识图谱推理能力,实现LLM与KG更紧密集成,在问答任务上显著超越现有方法。
2024-10-17 cs.AI cs.CL
Initial Steps in Integrating Large Reasoning and Action Models for Service Composition
University of Stuttgart(斯图加特大学)
针对服务组合中推理与执行割裂的问题,论文提出整合LRM与LAM的架构框架,以实现由自然语言意图驱动的自动化服务推理与动态工作流执行。
2025-07-24 cs.AI cs.SE
CSVQA: A Chinese Multimodal Benchmark for Evaluating STEM Reasoning Capabilities of VLMs
Skywork AI;Kunlun Inc.
针对现有多模态基准缺乏真实科学推理场景的问题,研究提出中文多模态基准CSVQA,包含1378道STEM领域视觉问答题目及配套评估协议,评估15款VLM后发现最优模型准确率仅49.6%,凸显提升该类模型科学推理能力的紧迫性。
2025-06-17 cs.AI cs.CV
MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task
Zhejiang University(浙江大学);Meituan Group(美团集团);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
MathFimer通过填空中间任务扩展推理步骤,提升大语言模型的数学推理能力,无需依赖强大外部模型或昂贵计算资源。
2026-02-25 cs.AI cs.CL
SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows
Carnegie Mellon University(卡内基梅隆大学);Meta
SLVR是基于Qwen2.5-VL-7B的训练框架,通过将多模态推理组织为规划等类型化潜在阶段,在多模态推理基准上取得提升,可提升细粒度视觉推理且无文本思维链的解码开销。
2026-10-27 cs.AI cs.CV
Reasoning Curriculum: Bootstrapping Broad LLM Reasoning from Math
Salesforce AI Research(Salesforce AI研究院);University of California, Los Angeles(加州大学洛杉矶分校)
提出Reasoning Curriculum两阶段课程学习法,先通过纯数学强化学习激发推理技能,再经混合领域联合强化学习迁移巩固,在多模型上实现持续增益,提供通用推理的紧凑方案。
2025-10-30 cs.AI cs.CL
The Illusion of Clinical Reasoning: A Benchmark Reveals the Pervasive Gap in Vision-Language Models for Clinical Competency
Peking University Third Hospital(北京大学第三医院);Institute of Sports Medicine of Peking University(北京大学运动医学研究所);Beihang University(北京航空航天大学)
本研究提出B&J基准测试,揭示了视觉语言模型在临床推理任务中存在显著的多模态整合能力不足问题,强调需在多模态整合和视觉理解上取得突破才能实现临床应用。
2025-12-25 cs.AI cs.CV
CIRAG: Construction-Integration Retrieval and Adaptive Generation for Multi-hop Question Answering
Northeastern University(东北大学)
CIRAG通过构造-整合模块和自适应生成模块,提升多跳问答的准确性和鲁棒性。
2026-01-11 cs.AI cs.CL
Mitigating Hallucination in Large Language Models: A Capability-Oriented Survey on RAG, Reasoning, and Agentic Systems
Electronic Information School, Wuhan University(武汉大学电子信息学院);School of Computing, Dublin City University(都柏林城市大学计算机学院);School of Public Health, Wuhan University(武汉大学公共卫生学院);Insight Centre for Data Analytics, University of Galway(Galway大学数据分析研究中心);Insight Centre for Data Analytics, Dublin City University(都柏林城市大学数据分析研究中心)
该综述从应用导向的能力增强视角出发,提出基于知识与逻辑的幻觉分类体系,系统分析RAG、推理增强及二者在智能体系统中的整合对幻觉的缓解作用,构建结合实际应用与基准的统一框架。
2026-09-29 cs.AI cs.CL
ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));DAMO Academy, Alibaba Group(阿里巴巴达摩院);Hupan Lab(湖畔实验室);Zhejiang University(浙江大学)
提出ClinHallu基准,包含7031个实例,每个实例带有结构化推理轨迹(视觉识别、知识回忆、推理整合),通过阶段替换干预和轨迹监督微调,实现细粒度幻觉诊断与缓解。
2026-06-15 cs.AI cs.CL cs.CV
Compose and Fuse: Revisiting the Foundational Bottlenecks in Multimodal Reasoning
本文通过逻辑基础评估框架,发现多模态推理中模态交互的六个模式影响推理效果,指出任务组合和融合是主要瓶颈,提出通过分步提示和早融控制提升推理性能。
2026-04-30 cs.AI cs.CL
MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究提出MathCoder方法,通过构建穿插自然语言、代码与执行结果的MathCodeInstruct数据集,结合定制监督微调与推理策略训练开源大模型,显著提升其数学推理能力,在多个基准上超越现有开源及部分闭源模型。
2023-10-05 cs.AI cs.CL cs.CV
RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoning
Xi’an Jiaotong University(西安交通大学);Huawei Technologies Ltd.(华为技术有限公司);Nankai University(南开大学)
RAG+通过联合检索知识与应用示例,将应用感知推理显式融入RAG流程,在数学、法律和医学任务中平均提升3-5%,最高提升13.5%。
2025-09-23 cs.AI cs.CL
HintMR: Eliciting Stronger Mathematical Reasoning in Small Language Models
University at Albany(阿尔巴尼大学);University at Buffalo(布法罗大学);Stony Brook University(石溪大学)
本文提出HintMR框架,通过提示辅助引导小型语言模型进行多步数学问题解决,通过协作的双模型系统提升推理准确性,实验表明在多种数学基准上显著提升性能。
2026-04-14 cs.AI cs.CL
I-RAVEN-X: Benchmarking Generalization and Robustness of Analogical and Mathematical Reasoning in Large Language and Reasoning Models
IBM Research – Zurich(IBM瑞士研究中心);ETH Zurich(苏黎世联邦理工学院)
本文提出符号基准I-RAVEN-X,通过增加操作数复杂度、属性范围和感知不确定性,评估大语言模型与大推理模型在类比与数学推理上的泛化与鲁棒性,发现LRMs表现更优但仍难以应对不确定性推理。
2025-10-31 cs.AI cs.LG
Dual-Process Scaffold Reasoning for Enhancing LLM Code Debugging
National Taiwan University(国立台湾大学);AI Research Center, Inventec Corporation(Inventec公司人工智能研究中心);University at Albany, SUNY(纽约州立大学阿尔巴尼分校)
针对LLM推理步骤平衡复杂度与效率的问题,提出基于心理学的支架推理框架(含支架、分析、整合流),在DebugBench上实现88.91%通过率和5.36秒/问题的推理效率,优于其他方法且与人类认知一致。
2025-11-11 cs.AI cs.CL cs.SE
System-2 Mathematical Reasoning via Enriched Instruction Tuning
Tencent(腾讯);University of Technology Sydney(悉尼科技大学)
针对LLMs多步数学推理数据稀缺问题,提出EIT方法,通过ERP和ERS结合人类与AI反馈生成细粒度推理轨迹微调模型,无需符号验证即在GSM8K和MATH上超越现有方法。
2024-12-24 cs.AI cs.CL
FIQ: Fundamental Question Generation with the Integration of Question Embeddings for Video Question Answering
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
本文提出FIQ方法,通过从视频描述中生成基础问答对并融合问题嵌入与视觉特征,增强视频问答模型的场景理解、泛化与推理能力,在SUTD-TrafficQA上达到最先进性能。
2025-07-17 cs.AI cs.CV
From Next-Token to Mathematics: The Learning Dynamics of Mathematical Reasoning in Language Models
Department of Computer Science 1 and Psychology 2(计算机科学系和心理学系);Stanford University(斯坦福大学)
本研究分析了语言模型在预训练和后训练过程中数学推理能力的发展,揭示了数学技能学习顺序与课程设计的相关性,并探讨了指令微调对不同数学技能的影响。
2025-10-14 cs.AI cs.CL
Math Neurosurgery: Isolating Language Models' Math Reasoning Abilities Using Only Forward Passes
University of Virginia(弗吉尼亚大学)
本文提出MathNeuro方法,仅用前向传播隔离LLM的数学推理参数,通过剪枝删除或缩放增强数学能力,在GSM8K和MATH上分别提升4-17%和5-35%,且不影响非数学行为。
2025-06-18 cs.AI cs.CL
Enabling Intrinsic Reasoning over Dense Geospatial Embeddings with DFR-Gemma
DFR-Gemma通过轻量投影器将高维嵌入与LLM潜在空间对齐,使LLM能直接处理地理嵌入进行空间推理,提升效率和准确性。
2026-04-08 cs.AI cs.CL
Weaker LLMs' Opinions Also Matter: Mixture of Opinions Enhances LLM's Mathematical Reasoning
LG Electronics(LG电子)
提出意见混合(MoO)后训练方法,利用较弱辅助LLM的思维链推理增强较强LLM的数学推理能力,相比SFT等方法平均提升5%,验证了多样化视角的价值。
2025-03-05 cs.AI cs.CL
Explain Before You Answer: A Survey on Compositional Visual Reasoning
Monash University(墨尔本大学);Stanford University(斯坦福大学);University of Washington(华盛顿大学);Griffith University(格里菲斯大学);Princeton University(普林斯顿大学);Allen Institute for Artificial Intelligence(人工智能研究院)
综述2023年至2025年组合视觉推理文献,形式化核心定义,追溯范式转变,编目基准指标,提炼见解、识别挑战并概述方向,为该领域提供统一分类、历史路线图和批判性展望。
2026-07-09 cs.AI cs.CV
Step Guided Reasoning: Improving Mathematical Reasoning using Guidance Generation and Step Reasoning
Huawei Technologies Co., Ltd.(华为技术有限公司);Shanghai Jiaotong University(上海交通大学)
本文提出免训练的Step Guided Reasoning框架,通过在推理阶段引入逐步反思引导机制,使通用大语言模型无需额外训练即可显著提升数学推理性能,并在多个模型上验证了其优于数学专用模型的效果。
2025-09-21 cs.AI cs.CL cs.HC
ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning
针对数学推理中PPO的标记级信用分配难题,ReDiPPO引入参考引导评判器并通过值估计差异重加权标记优势,提升值估计精度且优于PPO、DAPO等基线。
2026-07-31 cs.AI cs.CL
No Train Still Gain. Unleash Mathematical Reasoning of Large Language Models with Monte Carlo Tree Search Guided by Energy Function
本文提出结合蒙特卡洛树搜索和轻量级能量函数的方法,将微调LLM重构为Residual-EBM并利用MCTS评估推理路径,无需额外训练即在GSM8k和AQUA-RAT上显著提升pass@1。
2023-09-12 cs.AI cs.LG
DISSECT: Diagnosing Where Vision Ends and Language Priors Begin in Scientific VLMs
IIIT Delhi(德里印度理工学院)
DISSECT通过12000个问题诊断科学VLMs中视觉与语言先验的界限,揭示了视觉信息提取与下游推理之间的差距,发现开源模型在自身描述推理中表现更优,而闭源模型无此差距,表明跨模态能力的前沿。
2026-04-06 cs.AI cs.CV
MathMixup: Boosting LLM Mathematical Reasoning with Difficulty-Controllable Data Synthesis and Curriculum Learning
CASIA(中国科学院自动化研究所);ZGCA(浙江大学);UCAS(中国科学技术大学);PKU(北京大学);ByteDance(字节跳动)
MathMixup通过难度可控的数据合成与课程学习策略,提升LLM的数学推理能力,实验显示其在多个基准测试中表现优于现有方法。
2026-01-14 cs.AI cs.LG
DenseSteer: Steering Small Language Models towards Dense Math Reasoning
North Carolina State University(北卡罗来纳州立大学);Rutgers University(罗格斯大学)
提出DenseSteer,一种无需训练的推理时引导框架,通过调节内部表征向密集推理模式靠拢,提升小型模型在多步数学推理中的准确性。
2026-05-28 cs.AI cs.CL cs.LG
Atom of Thoughts for Markov LLM Test-Time Scaling
HKUST(GZ)(香港科技大学(广州));DeepWisdom(DeepWisdom公司);Renmin University of China(中国人民大学)
本文提出思想原子(\our),通过马尔可夫链结构与树搜索等技术结合,实现高效推理,提升LLM测试时间扩展性能。
2025-12-27 cs.AI cs.CL cs.LG
Can A Gamer Train A Mathematical Reasoning Model?
Keio University(庆应大学)
本文结合强化学习与显存优化,在单张16GB RTX 3080 Ti上训练1.5B数学推理模型,使其性能媲美数倍大模型,降低高性能AI研究门槛。
2025-06-10 cs.AI cs.CL cs.LG
MathCoder2: Better Math Reasoning from Continued Pretraining on Model-translated Mathematical Code
Multimedia Laboratory (MMLab), The Chinese University of Hong Kong(香港中文大学多媒体实验室(MMLab))
提出生成附带推理步骤的数学代码方法,构建19.2B token的MathCode-Pile语料库进行持续预训练,显著提升模型数学推理能力,并开源全部代码。
2024-10-10 cs.AI cs.CL cs.CV
Large Language Models Meet Text-Attributed Graphs: A Survey of Integration Frameworks and Applications
The University of New South Wales(新南威尔士大学);The University of Technology Sydney(技术大学悉尼分校);University of Technology Sydney(技术大学悉尼分校);Duke University(杜克大学)
本综述从编排视角系统回顾了LLM与文本属性图的集成框架,提出双向分类法,涵盖顺序、并行和多模块策略,并总结应用与挑战。
2025-10-24 cs.AI cs.CL cs.LG
Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language Models
Stanford University(斯坦福大学);Meta Platforms, Inc.(Meta平台公司)
针对 Gemini 在常识推理上落后于 GPT 的初步评估,本文通过 12 个数据集全面评测其跨模态常识推理能力,发现其表现具有竞争力,并指出了当前模型的共同挑战。
2023-12-29 cs.AI cs.CL cs.CV
Evaluating Computational Accuracy of Large Language Models in Numerical Reasoning Tasks for Healthcare Applications
本研究评估了基于GPT-3架构的LLM在医疗数值推理任务中的计算准确性,通过1,000个问题数据集和事实核查管道,实现了84.10%的准确率,并提升了11%的性能,展示了其在临床决策支持中的潜力。
2025-01-14 cs.AI cs.CL cs.LG
CoMAT: Chain of Mathematically Annotated Thought Improves Mathematical Reasoning
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学);Imperial College London(伦敦帝国学院)
CoMAT通过符号转换和推理执行两个阶段提升数学推理能力,在多个基准测试中超越传统CoT方法。
2026-01-15 cs.AI cs.CL cs.LG
MathScale: Scaling Instruction Tuning for Mathematical Reasoning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Research Asia(微软亚洲研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对大语言模型数学推理能力不足的问题,提出可扩展方法MathScale,基于概念图生成200万道数学题数据集MathScaleQA,构建多难度基准MwpBench,微调后同规模模型数学推理性能达SOTA。
2024-03-05 cs.AI cs.CL cs.LG
Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process
CMU(卡内基梅隆大学);Meta FAIR;MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文通过受控实验研究语言模型解决小学数学问题的隐藏推理机制,探讨其是否真正具备推理技能及与人类推理的异同,揭示了超越当前LLM理解的内部机制。
2024-07-29 cs.AI cs.CL cs.LG