Multi-Path Collaborative Reasoning via Reinforcement Learning
Sichuan University(四川大学);GigaAI(极佳科技);Tsinghua University(清华大学)
本文提出M3PO框架,通过多路径协作机制提升大语言模型的推理能力,实现更可靠和高效的多步推理。
2025-12-08 cs.AI cs.LG
Self-Play Search Distillation for Large Language Model Reasoning
University of Bologna(博洛尼亚大学);University of Edinburgh(爱丁堡大学);Huawei Technologies R&D (UK) Ltd.(华为技术研发(英国)有限公司)
SPSD通过MuZero类网络自对弈搜索生成超人类思维链数据,训练LLM,在数学基准上平均分提升12.5,胜率提升30%,并迁移至未见数学任务。
2026-09-28 cs.AI
Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院)
多路思考是一种通过令牌级分支-合并机制实现软推理的新方法,能自适应地在离散和连续之间切换,从而在数学推理任务中优于传统CoT和RL基线。
2026-01-13 cs.AI cs.CL cs.LG
Mitigating Content Effects on Reasoning in Language Models through Fine-Grained Activation Steering
本文通过激活引导技术缓解语言模型的推理偏见,发现对比引导方法能有效减少内容偏见,提升形式推理准确性,且在不同任务中具有鲁棒性。
2026-04-01 cs.AI cs.CL
DLWM: Diverse Latent World Models for Efficient Multimodal Reasoning
University of Toronto(多伦多大学);Tsinghua University(清华大学)
提出DLWM框架,结合潜在空间推理与强化学习,通过多样化潜在假设和资源感知策略提升多模态推理效率,准确率提升2-5%,内存减少24%。
2026-06-16 cs.CV cs.LG
Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models
Department of Automation, Tsinghua University, Beijing, China(自动化系,清华大学,北京,中国);LLM Department, Tencent, Beijing, China(大模型部门,腾讯,北京,中国)
本文提出GPS方法,通过轻量级生成模型进行提示难度的贝叶斯推断,结合中间难度优先和历史锚定多样性,提升大模型强化学习后的训练效率和测试效率。
2026-05-15 cs.AI cs.LG
Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy
Fudan University(复旦大学);Zhejiang University(浙江大学);Wuhan University(武汉大学)
通过微分视觉推理策略增强强化学习的视觉理解能力,提升多模态任务性能。
2026-01-11 cs.AI cs.LG
Do Chess Explanations Reflect Model Decisions? Behavioral and Token-Level Tests of LLM Reasoning Faithfulness
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);Technical University of Munich(慕尼黑工业大学)
本研究通过行为与词元级测试,证明LLM在国际象棋中的流畅解释虽能影响动作偏好,但仅提供有限的推理忠实度证据,语言合理性与决策正确性相互独立。
2026-09-22 cs.AI cs.CL
Forward versus Backward: Comparing Reasoning Objectives in Direct Preference Optimization
Department of Math and Computer Science(数学与计算机科学系)
本文通过直接偏好优化比较正向与反向推理目标,发现正向训练提升准确性,反向训练降低误报率,两者互补提升模型推理可靠性。
2026-01-12 cs.AI cs.LG
From Plausible to Actionable: A Position on LLM Self-Explanations
Utrecht University(乌得勒支大学);Scuola Normale Superiore(高等师范学校);University of Pisa(比萨大学)
探讨大语言模型自我解释,指出其虽看似合理但忠实性存疑。从传统可解释人工智能角度识别评估局限,提出评估合理性与忠实性的指南,并强调评估应拓展到可操作性及相关应用,以支持不同利益相关者的明智决策和适当行动。
2026-09-23 cs.AI cs.CL
CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models
Xiaomi AI Lab(小米AI实验室)
该研究提出无需训练的CoTS框架,通过令牌级概率竞争动态平衡离散确定与软探索,在六个推理基准上优于标准CoT及现有无训练潜在推理方法。
2026-10-16 cs.AI cs.CL
Place-it-R1: Unlocking Environment-aware Reasoning Potential of MLLM for Video Object Insertion
HKUST(香港科技大学);Tencent Video(腾讯视频);Peking University(北京大学)
Place-it-R1通过多模态大语言模型的环境感知推理能力,实现物理一致的视频物体插入,提供两种模式以平衡保真度与合理性。
2026-11-02 cs.AI cs.CV
The Marathon of Scientific Reasoning: Robustness of Scientific Agents to Perturbations in Multi-Turn Interactions
Inria(法国国家信息与自动化研究所);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Zhejiang Key Laboratory of Artificial Intelligence of Things (AIoT) Network and Data Security(浙江省人工智能物联网网络与数据安全重点实验室)
本研究提出SciARP基准,通过620个科学问题和13种扰动类型评估八个LLM科学智能体的鲁棒性,发现扰动效应与任务进展可解耦、强基线不一定鲁棒、扰动影响具有时滞传播性。
2026-09-29 cs.AI
CLEVR-POC: Reasoning-Intensive Visual Question Answering in Partially Observable Environments
The University of Adelaide(阿德莱德大学);Flybits Labs(Flybits实验室);TMU Creative AI Hub(TMU创意AI中心);KULeuven(鲁汶大学)
本文提出推理密集型视觉问答基准CLEVR-POC,验证了现有预训练模型在该任务上表现不佳,同时证明融合大语言模型、视觉感知网络与逻辑推理器的神经符号模型性能优异。
2024-03-05 cs.AI
Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space
School of Computing and Information Systems, The University of Melbourne(计算与信息系统学院,墨尔本大学)
提出包含思维(IoT)策略,通过逐步自过滤干扰选项来重构多选题,从而稳定模型偏好并提升推理性能。
2026-06-03 cs.AI cs.CL
Is Reasoning Always Useful? Rethinking Reasoning Utility in Universal Multimodal Embeddings
Beijing Institute of Technology(北京理工大学)
本研究探讨推理在通用多模态嵌入中的效用,通过诊断发现推理常使难负样本更近,提出SURE方法提升检索性能,无需重训练。
2026-09-25 cs.AI
Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization
University of Minnesota(明尼苏达大学)
本研究比较了五种GPTNeoX变体在多跳推理任务上的表现,发现潜在推理模型通过稀疏循环搜索电路实现更好的深度泛化,优于思维链等方法。
2026-09-29 cs.AI
HalluRNN: Mitigating Hallucinations via Recurrent Cross-Layer Reasoning in Large Vision-Language Models
HalluRNN通过递归跨层推理模块缓解大规模视觉-语言模型中的幻觉问题,提升模型稳定性和性能。
2026-01-31 cs.AI cs.CV cs.LG
ReasoningRec: Bridging Personalized Recommendations and Human-Interpretable Explanations through LLM Reasoning
Texas A&M University(德克萨斯农工大学)
本研究提出基于推理的推荐框架ReasoningRec,用大LLM生成用户偏好合成解释来微调小LLM,在提升推荐准确率(最高超SOTA12.5%)的同时提供人类可理解的解释,弥合了推荐与可解释性之间的差距。
2024-10-30 cs.AI cs.IR
DEEPCHART: How Far are LLMs from Faithful Data-Science Chart Generation?
University of Science and Technology of China(中国科学技术大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
该研究推出专家标注的DEEPCHART基准,将图表生成分为提取-推理-可视化流程,发现现有LLMs生成的图表常隐藏数据幻觉,仅靠大上下文窗口无法实现忠实图表生成,需可靠的证据提取与定量推理。
2026-08-28 cs.AI
How Should Reasoning Be Organized in a Transformer's Latent Space?
University of Science and Technology of China(中国科学技术大学);Zhongguancun Academy and Technology of China(中关村科技学院)
本文研究连续潜在状态中推理叠加的容量问题,证明保留完整历史的累积叠加在固定维度下优于仅保留当前前沿的叠加,并提出均匀累积加权作为极小极大最优的稳健记忆策略。
2026-09-30 cs.AI
RoSeViT: Role-Separated Vision Transformers for ARC Visual Reasoning
University of Missouri - Columbia(密苏里大学哥伦比亚分校)
本文提出了一种新的视觉推理方法,通过分离控制器和工作区令牌,实现了更高效的规则执行,从而在ARC任务中取得优于人类和先前方法的准确率。
2026-10-30 cs.AI cs.CV cs.LG
Reinforcement Learning for Evidence-Seeking Diagnostic Reasoning with Large Language Models
Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院);Shanghai Innovation Institute(上海创新院);Shanghai AI Laboratoty(上海人工智能实验室)
将医学诊断形式化为迭代证据寻求任务,利用带可验证奖励的强化学习,引入基于检索增强生成的检查模拟器,使大语言模型从被动响应转变为自主助手。
2026-07-07 cs.AI
DERELAB: Probing Defeasible Reasoning and Confirmation Bias in LLMs with a Generative Benchmark
University of Utah(犹他大学);Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
本研究推出DeReLab生成式基准框架,评估9种大型语言模型,发现其普遍存在确认偏差,即易接受一致证据、抵制不一致更新,部分模型能识别弱化更新却不修正结论。
2026-09-01 cs.AI
Synthetic Contrastive Reasoning for Multi-Table Q&A
Iowa State University(爱荷华州立大学);Thoughtworks
针对多表问答缺乏推理监督的问题,提出通过异构LLM生成合成对比推理轨迹,并利用对比偏好优化微调模型,在MMQA上提升9.7%-16.3%。
2026-06-03 cs.AI
Abductive Reasoning with the GPT-4 Language Model: Case studies from criminal investigation, medical practice, scientific research
Stake Lab, University of Molise(莫利塞大学 Stake 实验室)
本研究通过互动访谈形式评估GPT-4在医疗、犯罪学、宇宙学领域的溯因推理能力,发现其在假设生成与选择上具备可靠性,凸显大语言模型复杂问题解决潜力,也指出需进一步研究拓展其实用性。
2023-07-17 cs.AI
Deep Hidden Cognition Facilitates Reliable Chain-of-Thought Reasoning
Zijun Chen, Wenbo Hu, Richang Hong Corresponding Author(对应作者)
本文提出利用模型内在真实性编码提升CoT推理的可靠性,通过置信度预测器和束搜索优化推理路径,显著提高数学、符号和常识推理任务的准确性和可靠性。
2025-11-25 cs.AI
ISA-Bench: A Benchmark for Computational Reasoning Across Instruction Set Architectures
IIT Hyderabad(印度理工学院海得拉巴分校);Microsoft Research, India(微软研究院(印度))
ISA-Bench通过受限指令集的编程游戏基准,评估大型语言模型在陌生计算模型中的推理能力,发现推理模型表现更优,但语法不熟悉是主要失败原因,并引入REG分析揭示策略与表达间的脱节。
2026-09-22 cs.AI
Fine-grained Verification via Diagnostic Reasoning Supervision for Aspect Sentiment Triplet Extraction
The Hong Kong Polytechnic University(香港理工大学);Lingnan University(岭南大学);Education University of Hong Kong(香港教育大学)
提出FiVeD框架,通过诊断推理监督进行细粒度验证,利用质量评分和错误分类等辅助任务提升ASTE三元组抽取的可靠性。
2026-05-29 cs.AI cs.CL
Improving Multimodal Reasoning via Worst Dimension Optimization
Beijing Institute of Technology(北京理工大学)
提出最差维度优化方法,通过识别并优先优化推理路径中最差的约束维度,提升多模态推理的整体有效性。
2026-06-05 cs.AI
CXReasonAgent: Evidence-Grounded Diagnostic Reasoning Agent for Chest X-rays
KAIST(韩国科学技术院)
本文提出CXReasonAgent,结合大语言模型和临床诊断工具,通过图像生成的诊断和视觉证据进行证据导向的诊断推理,展示了其在多轮对话基准测试中的可靠性。
2026-03-24 cs.AI
Enhancing Mathematical Reasoning in Large Language Models with Self-Consistency-Based Hallucination Detection
The Hong Kong University of Science and Technology(香港理工大学);Fudan University(复旦大学)
提出结构化自一致性框架,在中间步骤和最终输出上强制一致性,以减少大型语言模型在定理证明、符号变换和数值计算中的幻觉,显著提升推理准确性与稳定性。
2025-06-19 cs.AI
Not All Errors Are Equal: Consequence-Aware Reasoning Compute Allocation
The University of Sydney(悉尼大学);Shanghai Institute of Optics and Fine Mechanics(上海光学精密机械研究所)
提出后果感知的测试时计算分配方法,通过轻量级预测器估计任务错误成本,在相同预算下将高后果任务路由到更多计算资源,在SWE-bench上降低22%-33%的成本加权损失。
2026-10-02 cs.AI
Typed Chain-of-Thought: A Curry-Howard Framework for Verifying LLM Reasoning
Centre for Quantum Software and Information(量子软件与信息中心);University of Technology Sydney(悉尼技术大学)
针对大语言模型思维链推理依据的忠实性验证难题,提出基于Curry-Howard对应的类型化思维链框架,可将自然语言推理步骤映射为形式化类型化证明,实现推理忠实性的形式化验证,助力构建可信AI系统。
2025-10-01 cs.AI
The Error You See Is Not the Error You Made: Progression-aware Reasoning Origin for Reasoning Error Localization
针对多步LLM推理验证中错误定位不准的问题,提出无训练框架PRO,通过联合建模上下文支持与后续兼容性并利用干预证据区分错误起源,在多项任务上超越强基线。
2026-09-29 cs.AI
Reasoning Beyond the Obvious: Evaluating Divergent and Convergent Thinking in LLMs for Financial Scenarios
Deep Insight Labs(深洞察实验室)
本文提出 ConDiFi 基准,通过宏观金融提示与对抗性多选题评估 LLM 的发散和收敛推理,并比较 14 个模型在金融决策中的表现。
2025-07-24 cs.AI
When Slower Isn't Truer: Inverse Scaling Law of Truthfulness in Multimodal Reasoning
Institute for AI(人工智能研究院);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
研究探讨了多模态推理中慢思考模式的反比例定律,发现慢思考模型在面对不完整或误导性视觉输入时更易生成虚假细节,揭示了推理模型在处理模糊输入时的脆弱性。
2026-04-16 cs.AI
CRiT-QA: Evaluating Multi-hop Reasoning with Counterfactual Chains and Distractor Traps
Department of Artificial Intelligence, Chung-Ang University(Chung-Ang大学人工智能系);Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(Chung-Ang大学高级成像科学研究院,多媒体与电影)
研究大语言模型多跳推理能力评估难题,提出CRiT-QA数据集,通过反事实实体转换推理链、注入干扰链解决模型依赖知识和利用捷径问题,实验表明该数据集能暴露模型弱点,为评估多跳推理及开发可靠模型提供基础。
2026-07-14 cs.AI
Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Institute of Wireless Communications Technology, Shanghai Jiao Tong University(上海交通大学无线通信技术研究所)
针对长思维链推理中均匀分配 token 权重的缺陷,提出反事实敏感性权重重分配方法,在数学推理基准上优于 GRPO,验证了特权诱导方向不可靠的诊断。
2026-07-31 cs.AI
D-Grasp: Physically Plausible Dynamic Grasp Synthesis for Hand-Object Interactions
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);KAIST(韩国科学技术院)
我们介绍了动态抓取合成任务:给定一个已知的6D姿态和抓取参考的对象,我们的目标是生成运动,将对象移动到目标6D姿态。这是具有挑战性的,因为它需要对人手的复杂关节以及与物体的复杂物理交互进行推理。我们提出了一种新的方法,框架这个问题的强化学习框架,并利用物理模拟,学习和评估这种动态的相互作用。分层的方法分解成低层次的把握和高层次的运动合成的任务。它可以用来生成新的手序列,接近,抓住,并将对象移动到所需的位置,同时保持人类的相似性。我们表明,我们的方法导致稳定的把握,并产生广泛的运动。此外,即使是不完美的标签,可以通过我们的方法来纠正,以产生动态的相互作用序列。
2022-03-30 cs.CV cs.LG cs.RO
Automatic Curriculum Expert Iteration for Reliable LLM Reasoning
National University of Singapore(新加坡国立大学);Salesforce AI Research(Salesforce人工智能研究院)
针对大语言模型推理中的幻觉与惰性问题,提出自动课程专家迭代方法Auto-CEI,通过专家迭代修正推理路径、课程机制调整奖励,平衡作答主动性与保守性,在多类推理任务上实现更优的能力对齐效果。
2025-03-20 cs.AI cs.CL cs.LG
TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models
Independent Researcher(独立研究者)
TACIT基准提出一个程序化视觉推理测试,包含10个任务和6个领域,通过生成和判别双轨评估模型在空间导航、抽象模式完成等任务中的推理能力。
2026-02-27 cs.AI cs.CV
Evaluating the Effectiveness of Retrieval-Augmented Large Language Models in Scientific Document Reasoning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对大语言模型的幻觉问题,本研究评估检索增强型LLM的科学文献推理能力,发现这类模型仍会编造科学任务的证据,且用科学语料预训练无法缓解该风险。
2023-11-07 cs.AI cs.CL
MediRec: Enhancing Chinese Medication Recommendation with Explainable Clinical Reasoning
Dalian University of Technology(大连理工大学)
本文研究了大型语言模型在中文代谢性疾病出院药物推荐中的应用,评估了多种LLM家族的性能,发现监督微调虽提升效果,但仍有改进空间。
2026-08-06 cs.AI cs.CL
Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents
University of Florida(佛罗里达大学)
提出五项语义与副语言推理任务(蕴含、一致性、合理性、口音漂移、口音约束),评估音频语言模型在口音变化、领域迁移和语义过度推断下的推理能力,揭示当前评估的局限性。
2026-06-11 cs.AI cs.CL cs.SD
ExplanationLP: Abductive Reasoning for Explainable Science Question Answering
University of Manchester(曼彻斯特大学);Department of Computer Science(计算机科学系)
我们提出了一种新的方法来回答和解释多项选择科学问题的推理接地和抽象推理链。本文将问答问题归结为一个溯因推理问题,为每个选择构建合理的解释,然后选择具有最佳解释的候选者作为最终答案。我们的系统,elementation LP,elementary解释,通过构建一个加权图的相关事实为每个候选答案,并提取满足一定的结构和语义约束的事实。为了提取解释,我们采用了线性规划形式主义,旨在选择最佳的子图。图的加权函数由一组参数组成,我们可以微调这些参数以优化答案选择性能。我们在WorldTree和ARC-Challenge语料库上进行实验,以实证证明以下结论:(1)接地抽象推理链提供语义控制,以执行可解释的溯因推理(2)通过在类似设置中优于当代可解释和基于变换器的方法,以较少数量的参数进行学习的效率和鲁棒性(3)通过在一般科学问题集上优于SOTA可解释方法来实现普遍性。
2020-10-25 cs.AI cs.CL cs.IR
Critical-CoT: A Robust Defense Framework against Reasoning-Level Backdoor Attacks in Large Language Models
INRS, University of Quebec(INRS大学魁北克分校)
本文提出Critical-CoT,通过双阶段微调提升大语言模型的批判性思维,使其能自动识别潜在后门并拒绝生成恶意推理步骤,有效防御推理层后门攻击。
2026-04-16 cs.AI cs.CR
What Kind of Reasoning (if any) is an LLM actually doing? On the Stochastic Nature and Abductive Appearance of Large Language Models
Yale University(耶鲁大学);University of Bologna(博洛尼亚大学)
本文探讨了大语言模型的推理机制,指出其生成文本基于学习模式而非真实推理,且其看似假设推理的特性源于训练数据,而非实际推理能力。
2025-12-10 cs.AI cs.CL
VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior
Monash University(莫纳什大学);Dalian University of Technology(大连理工大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Oxford University(牛津大学);The University of Sydney(悉尼大学);ZMO AI(智源人工智能)
提出两阶段图生视频框架VLIPP,利用VLM结合思维链与物理感知推理预测粗略运动轨迹,并以此结合噪声引导VDM生成物理上合理且细节丰富的视频。
2025-04-04 cs.AI cs.CV
CodeCrash: Exposing LLM Fragility to Misleading Natural Language in Code Reasoning
The Chinese University of Hong Kong(香港中文大学);Johns Hopkins University(约翰霍普金斯大学)
提出压力测试框架CodeCrash,评估17个LLM在结构扰动和误导性自然语言下的代码推理鲁棒性,发现模型过度依赖自然语言线索导致性能显著下降,并揭示了大型推理模型在错误提示下因病态自我反思引发的推理崩溃现象。
2025-10-11 cs.AI cs.SE
Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought
Shanghai Jiao Tong University(上海交通大学)
本文通过因果和对抗分析揭示COCONUT作为伪推理机制的问题,指出其依赖捷径而非真实推理。
2026-10-27 cs.AI cs.CL
LogicGaze: Benchmarking Causal Consistency in Visual Narratives via Counterfactual Verification
Boston University(波士顿大学);Suffolk University(索尔福德大学)
LogicGaze通过反事实验证基准测试,评估视觉语言模型在视觉叙事中因果一致性验证的能力,揭示了现有模型在处理因果链和幻觉问题上的不足。
2026-01-30 cs.AI cs.CV
Counterfactual Reasoning with Knowledge Graph Embeddings
Faculty of Computer Science, University of Vienna(维也纳大学计算机学院);UniVie Doctoral School Computer Science, University of Vienna(维也纳大学UniVie计算机博士学院);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学语文学与文化学院)
提出CFKGR任务连接知识图谱补全与反事实推理,构建基准并开发COULDD适配KGE,实验表明其能检测符合规则的合理变化,但难识别规则外变化。
2024-03-11 cs.AI cs.CL cs.LG
Not All Code Is Equal: A Data-Centric Study of Code Complexity and LLM Reasoning
King's College London, United Kingdom(伦敦国王学院);King Abdullah University of Science(阿卜杜勒阿齐兹国王科学大学)
本文通过研究代码结构复杂性对大语言模型推理能力的影响,发现结构特性在提升推理性能中起关键作用,优于单纯扩大训练数据规模。
2026-01-29 cs.LG