InterveneBench: Benchmarking LLMs for Intervention Reasoning and Causal Study Design in Real Social Systems
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
InterveneBench通过真实社会科学研究评估LLM在干预推理和因果研究设计中的能力,发现现有模型表现不足,并提出STRIDES多智能体框架提升性能。
2026-03-16 cs.AI cs.CY
Improving Chain-of-Thought for Logical Reasoning via Attention-Aware Intervention
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
通过注意力感知干预改进逻辑推理的链式思维,提出一种非交互式端到端框架,提升模型推理能力与可分析性,无需外部资源。
2026-01-24 cs.AI cs.LG
Efficient Thought Space Exploration Through Strategic Intervention
Baidu(百度)
HPR框架通过战略干预减少计算成本,在保持高准确率的同时实现高效推理。
2026-01-31 cs.AI
Selective Regenerative Decoding: Trajectory-Level Intervention for Inference-Time Reasoning
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Netflix(网飞公司);Amazon Science(亚马逊科学研究院);Meta
提出选择性再生解码(SRD),通过对候选轨迹做片段级干预,在低计算量下以更少生成代币达到Best-of-N准确率,提升样本效率,开辟了推理时推理的准确率-计算权衡新领域。
2026-08-26 cs.AI
Effectively Controlling Reasoning Models through Thinking Intervention
Princeton University(普林斯顿大学);NVIDIA(英伟达)
针对推理增强型大语言模型的细粒度行为控制需求,提出思维干预范式,通过插入或修改思维token引导内部推理,在多类任务上显著优于基线提示方法,为推理LLM控制提供新方向。
2025-05-21 cs.AI cs.CL cs.LG
RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering
Tongji University(同济大学);Tencent(腾讯)
RISER通过构建可重用的推理向量库和轻量级路由器,实现自适应激活引导,提升LLM推理的准确率和效率。
2026-01-19 cs.AI
Perceive Before Reasoning: A Pre-Reasoning Perception Framework for Efficient and Reliable Proactive Mobile Agents
HyperAI Team, Xiaomi Corporation(HyperAI团队,小米公司);Zhongnan University of Economics and Law(中南财经政法大学);Jilin University(吉林大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出预推理感知框架(PRPF),通过轻量级多模态主动感知器(MPP)进行干预门控和上下文压缩,仅在需要时激活主动代理推理器(PAR),以解决主动移动代理中干预时机与方式决策的目标错位和冗余推理问题。
2026-09-01 cs.AI
Test-time Prompt Intervention
针对大语言模型推理中思维链冗余和幻觉问题,提出测试时提示干预框架PI,通过动态干预推理路径,缩短思维链并提升推理可靠性。
2025-10-22 cs.AI cs.CL
Scaffolding the Strategist: Architecture-Dependent Reasoning Interventions in Hotelling Spatial Markets
California Institute of Technology(加州理工学院)
研究结构化推理干预对大语言模型战略经济推理的影响及与模型架构的关系,以霍特林模型评估GPT - 4.1 - mini和GPT - 5 - mini,发现支架类型与模型架构有交叉交互作用,对抗性测试有损害,还存在陈述性 - 程序性差距。
2026-07-14 cs.AI cs.GT
Causal-Audit: Explicit and Auditable Graph-based Reasoning via Target-Aware Causal Chain Construction
School of Information and Communication Technology, Griffith University(信息与通信技术学院,格里菲斯大学)
针对无上下文干预问答,提出因果审计框架,通过目标感知因果图构建和路径级因果证据聚合机制,将因果推理结构化,实验证明该框架优于现有方法,能提供可解释且可审计的推理痕迹。
2026-07-20 cs.AI
Why context matters in VQA and Reasoning: Semantic interventions for VLM input modalities
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);German Cancer Research Center (DKFZ)(德国癌症研究中心);Helmholtz Imaging(亥姆霍兹成像中心);IBM Research(IBM研究院)
提出 SI-VQA 数据集与 ISI 工具,通过语义干预系统评估图像和文本模态对 VLM 在 VQA 与推理中准确率、不确定性及注意力的影响。
2024-10-02 cs.AI
Evaluating Interventional Reasoning Capabilities of Large Language Models
Université de Montréal(蒙特利尔大学);Mila(米拉计算科学研究所);Google DeepMind(谷歌DeepMind);ServiceNow Research(ServiceNow研究院)
本文研究LLMs在因果干预下的推理能力,构建涵盖多种因果图和变量类型的基准,评估六个LLMs,发现GPT模型在预测干预效应方面表现较好。
2024-12-22 cs.AI cs.CL cs.LG
Triggering Chain-of-Thought via Latent Feature Interventions in Large Language Models
University of Virginia(弗吉尼亚大学)
研究发现大型语言模型中的推理能力由潜在内部激活支持,通过引导特定潜在特征可提升性能,CoT提示并非唯一触发方式。
2026-09-01 cs.AI cs.CL
Causal Interventions on Causal Paths: Mapping GPT-2's Reasoning From Syntax to Semantics
University of Southern California(南加州大学)
本研究针对大语言模型自然语言推理难以通过电路解析的问题,以GPT-2 small为对象开展因果句干预实验,发现因果句法定位在前2-3层、深层特定头关注语义关系,为表征LLM因果推理提供了初步依据。
2024-10-28 cs.AI cs.CL
Less is More: Improving LLM Reasoning with Minimal Test-Time Intervention
HKUST(GZ)(香港科技大学(广州));Kuaishou Technology(快手科技);AIML(人工智能实验室);ZJU(浙江大学);Ant Group(蚂蚁集团);HKUST(香港科技大学)
针对大语言模型推理中高计算成本问题,提出最小测试时干预(MTI)框架,通过仅在不确定位置应用分类器自由引导和轻量负提示引导,在保持高效的同时提升推理准确性和稳定性。
2026-06-16 cs.AI cs.CL
A Survey of Scaling in Large Language Model Reasoning
University of Virginia(弗吉尼亚大学);Arizona State University(亚利桑那州立大学)
本文综述了大型语言模型推理中的扩展策略,分析了输入规模、推理步骤、推理轮次和训练增强推理等不同维度,探讨了如何通过不同扩展策略提升推理能力,并展望了未来发展方向。
2026-04-22 cs.AI
InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
InT通过自我提出干预实现LLM推理中的细粒度信用分配,提升模型在数学推理任务中的表现。
2026-01-20 cs.AI cs.CL cs.LG
Evaluation of Causal Reasoning for Large Language Models in Contextualized Clinical Scenarios of Laboratory Test Interpretation
Florida State University(佛罗里达州立大学);University of Florida(佛罗里达大学);University of South Florida(南佛罗里达大学)
本研究通过99个临床实验室检验场景评估GPT-o1和Llama-3.2-8b-instruct的因果推理能力,发现GPT-o1在关联、干预和反事实推理上均优于后者,但两者在高风险临床应用中仍需改进。
2025-09-19 cs.AI
LIFT: Likelihood-Based Intervention Faithfulness Training
Algoverse AI Research(Algoverse AI研究院)
本文提出FRIT,一种可扩展的对齐方法,通过干预推理步骤生成合成数据并应用直接偏好优化,训练模型产生因果一致的推理,显著提升了思维链的忠实性和准确率。
2026-10-14 cs.AI cs.LG
Efficient Test-Time Scaling via Temporal Reasoning Aggregation
School of Computer Science and Engineering, Beihang University(北航计算机科学与工程学院);Qingdao Research Institute, Beihang University(北航青岛研究院);Hangzhou Innovation Institute, Beihang University(北航杭州创新研究院)
本文提出TRACE框架,通过时间聚合多步骤证据实现高效测试时扩展,减少推理token使用25-30%,保持准确性,优于现有动态推理方法。
2026-04-19 cs.AI
Mitigating Strategy-Selection Bias in Reasoning for More Effective Test-Time Scaling
UESTC(乌兹克斯坦技术学院);Nanjing University(南京大学);Southeast University(东南大学);Hainan University(海南大学);SUTD(新加坡科技设计大学)
本文针对测试时扩展中推理策略选择偏差导致解空间探索不足的问题,提出TTS-Uniform框架,通过均匀分配采样预算并过滤不稳定策略,显著提升了多个主流LLMs的扩展效果。
2025-09-23 cs.AI
Reasoning Effort and Problem Complexity: A Scaling Analysis in LLMs
ETH Zürich(苏黎世联邦理工学院)
本研究利用可无限缩放的Tents谜题分析大语言模型推理努力随问题复杂度的缩放规律,发现存在临界复杂度阈值,超出后推理努力不再增长甚至下降,揭示了当前模型逻辑一致性的局限及不同前沿模型的性能差异。
2025-03-19 cs.AI
LLM Reasoning Is Latent, Not the Chain of Thought
School of Future Technology, South China University of Technology, China(未来技术学院,华南理工大学,中国)
本文提出大语言模型推理应研究为潜在状态轨迹形成而非表面思维链。研究指出,推理对象的定义影响了忠实性、可解释性、推理基准和推理时干预的主张。通过分离三个混淆因素,提出三种假设,发现当前证据更支持潜在状态轨迹作为默认假设。
2026-04-17 cs.AI
Rethinking Inference-Time Scaling: Efficiency Limits and Linguistic Signals
Duke University(杜克大学);Together AI;University of Chicago(芝加哥大学);Stanford University(斯坦福大学)
本研究分析推理时缩放的效率极限,发现非推理模型存在无法突破的推理底线,多数投票优于复杂框架,还识别出正确性的语言信号,为高效推理智能体提供了新路径。
2026-08-04 cs.AI
Can Linguistic Reasoning Vectors Enhance Multimodal Reasoning Ability?
Southeast University(东南大学);University of California, Los Angeles(加州大学洛杉矶分校)
提出LIFT方法,通过从基础LLM提取推理向量并注入VLM语言侧,无需重训练即可恢复多模态模型退化推理能力,实验证明LLM来源向量更有效。
2026-11-06 cs.AI
Do LLMs Experience an Internal Polylogue? Investigating Reasoning through the Lens of Personas
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文通过人物设定的视角探究推理过程,提出多声部概念,利用激活空间中的动态信号进行可解释的干预,提升模型准确性。
2026-11-16 cs.AI
Aligning Probabilistic Beliefs under Informative Missingness: LLM Steerability in Clinical Reasoning
Department of Biomedical Informatics(生物医学信息学系)
本文研究LLM能否利用信息性缺失进行预测推理,通过分析三种提示方法发现,尽管结构引导和上下文学习可提升概率对齐,但需精心干预才能利用信息性缺失。
2026-03-18 cs.AI
Reasoning Can Be Restored by Correcting a Few Decision Tokens
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
本文研究了基础模型在生成过程中推理优势的稀疏性,提出了一种基于分歧指导的标记干预方法,在少量干预下显著恢复甚至超越了同规模推理模型的性能。
2026-05-16 cs.AI
Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models
Alibaba Cloud Computing(阿里巴巴云计算);College of Software, Zhejiang University(浙江大学软件学院);Zhejiang University of Technology(浙江工业大学)
本文研究少样本 CoT 示范中局部 token 干扰 LLM 推理的问题,通过动态追踪注意力机制提出 FAI,识别并调整误导性 token 的注意力权重,在多个基准上取得稳定提升。
2025-03-14 cs.AI cs.CL
A Survey of Slow Thinking-based Reasoning LLMs using Reinforced Learning and Inference-time Scaling Law
School of Computer Science and Technology, East China Normal University(计算机科学与技术学院,东华大学)
本文综述了模拟人类慢思考的推理大语言模型,系统梳理了测试时扩展、强化学习和慢思考框架三类核心方法,并展望了其在科学发现与决策支持等领域的应用前景与挑战。
2025-05-08 cs.AI
Cognitive Demand Steering for Adaptive Meta-Reasoning in Large Language Models
Thomson Reuters Foundational Research(汤森路透基础研究部);Imperial College London(帝国理工学院)
该研究提出无需训练的元推理框架CDS,通过认知量表刻画需求,在三类大模型和六个基准上较直接调用、标准CoT分别提升21.9%、9%准确率,难数学编码任务增益显著。
2026-08-04 cs.AI
When Slower Isn't Truer: Inverse Scaling Law of Truthfulness in Multimodal Reasoning
Institute for AI(人工智能研究院);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
研究探讨了多模态推理中慢思考模式的反比例定律,发现慢思考模型在面对不完整或误导性视觉输入时更易生成虚假细节,揭示了推理模型在处理模糊输入时的脆弱性。
2026-04-16 cs.AI
From Prompts to Tokens: Internalizing Causal Supervision in Vision-Language Model for Multi-Image Causal Reasoning
University of Science and Technology of China(中国科学技术大学)
提出BridgeVLM,通过从多图像输入诱导因果图并转换为因果标记,注入LLM解码器进行因果消息传递,显著提升多图像因果推理性能。
2026-06-11 cs.AI cs.CV
Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis
研究通过可控数据集和激活分析,揭示Transformer模型中回忆与推理的分离电路,为模型泛化和安全部署提供依据。
2026-03-13 cs.AI cs.LG
Mathematical Reasoning via Intervention-Based Time-Series Causal Discovery Using LLMs as Concept Mastery Simulators
Kyushu Institute of Technology(九州工业技术大学)
本文提出CIKA框架,利用LLM自身作为干预模拟器,通过干预能力探针区分因果相关概念,提升数学推理能力。
2026-10-27 cs.AI cs.CL cs.LG
Adapter Merging Reactivates Latent Reasoning Traces: A Mechanism Analysis
Zjydiary Group(Zjydiary小组)
研究揭示适配器合并后推理痕迹的重新激活机制,通过几何方法减少泄漏并提升准确性。
2026-07-28 cs.AI cs.CL
ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Cloud AI Research(谷歌云人工智能研究);Yale University(耶鲁大学);Google Cloud AI(谷歌云人工智能)
本文提出ReasoningBank,通过整合智能体自我评估的成功与失败经验,提升其持续学习能力,并引入MaTTS加速学习过程,提升任务表现与效率。
2026-03-16 cs.AI cs.CL
Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models
Renmin University of China(中国人民大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出MathIF基准,发现推理能力增强与指令遵循之间存在张力,长思维链或推理强化学习会降低遵循能力,简单干预可部分恢复但牺牲推理性能。
2025-05-25 cs.AI cs.CL
Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution
研究大语言模型思维链前提依赖性问题,提出介入式基础审计方法,通过谓词替换干预前提并重新运行模型,在ProntoQA基准测试中检测前提依赖性表现优异,还发现了“正确答案,错误推理”信号。
2026-07-16 cs.AI cs.CL cs.LO
Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning
Peking University, Beijing, China(北京大学);University of Edinburgh, Edinburgh, UK(爱丁堡大学)
通过置信度驱动的对比解码方法提升大语言模型推理可靠性,减少输出长度并提高准确性。
2026-02-20 cs.AI cs.CL
ICE: Intervention-Consistent Explanation Evaluation with Statistical Grounding for LLMs
Indian Institute of Information Technology, Allahabad(印度阿勒颇信息学院);National Institute of Electronics and Information Technology(电子与信息技术国家研究院)
本文提出ICE框架,通过多干预操作比较解释与随机基线,发现解释一致性依赖于干预操作,且不同语言模型在不同任务上的表现存在显著差异,揭示了模型与语言之间的复杂交互。
2026-09-03 cs.AI cs.CL cs.LG
Woodpecker Distillation: Weak Models Diagnose Reasoning Bugs in Strong Models
Baidu Inc.(百度公司);Nanyang Technological University(南洋理工大学)
该研究提出Woodpecker Distillation框架,通过弱模型的局部干预对比学习,修复强模型的推理错误,在数学推理基准上提升了强模型性能且优于直接模仿基线。
2026-08-07 cs.AI cs.CL
LIMOPro: Reasoning Refinement for Efficient and Effective Test-time Scaling
The Hong Kong Polytechnic University(香港理工大学);Shanghai Jiao Tong University(上海交通大学);SII
针对大语言模型测试时推理中功能性步骤冗余导致计算开销高的问题,提出PIR框架定量评估推理步骤重要性并剪枝低重要功能步骤,优化后模型在多个推理基准上准确率提升、token用量减少且泛化性强。
2025-10-21 cs.AI cs.CL
m1: Unleash the Potential of Test-Time Scaling for Medical Reasoning with Large Language Models
UC Santa Cruz(加州大学圣克ruz分校);Amazon Research(亚马逊研究院)
本文提出m1方法,通过测试时缩放提升医疗推理能力,发现最佳推理预算和医学知识不足是关键瓶颈。
2026-02-18 cs.AI cs.CL
Beyond Scaling Law: A Data-Efficient Distillation Framework for Reasoning
本文提出一种数据高效的蒸馏框架DED,通过优化推理蒸馏的帕累托前沿,提升推理能力而不依赖大规模数据集。
2026-06-29 cs.AI cs.LG
External Hippocampus: Topological Cognitive Maps for Guiding Large Language Model Reasoning
School of Computer Science, Zunyi Normal University(计算机科学学院,遵义师范学院)
本文提出External Hippocampus框架,通过拓扑认知图引导大语言模型推理,解决多步推理中的认知死锁问题,提升推理效率和准确性。
2025-12-25 cs.AI cs.CL cs.LG
Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Microsoft Research(微软研究院)
针对过度延长思维链可能损害 LLM 推理性能的问题,提出思维最优缩放策略,利用种子数据训练模型自适应推理努力程度并自我改进,在数学基准上超越同类模型并媲美教师模型。
2025-10-12 cs.AI cs.CL
Improving Reasoning Performance in Large Language Models via Representation Engineering
Department of Computer Science, IT University of Copenhagen(计算机科学系,丹麦技术大学)
本文提出推理时表征工程方法,从LLM残差流激活推导控制向量以调节推理表征,在多类模型和推理任务上实现免训练性能提升。
2025-04-28 cs.AI cs.CL cs.LG
Reasoning-as-Logic-Units: Scaling Test-Time Reasoning in Large Language Models Through Logic Unit Alignment
Peking University(北京大学)
针对思维链提示的数值计算缺陷及程序辅助技术的“推理幻觉”问题,提出推理即逻辑单元(RaLU)框架,通过逻辑单元对齐构建可靠推理路径,在多推理任务中显著优于基线,提升大语言模型推理准确性与可解释性。
2025-02-05 cs.AI cs.LG
When Fewer Layers Break More Chains: Layer Pruning Harms Test-Time Scaling in LLMs
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Surrey(萨里大学)
研究层剪枝对大语言模型长链推理中测试时扩展性的影响,经大量实验发现剪枝会严重损害其扩展性,标准微调补救无效,确定了扩展性脆弱机制及应用层剪枝的风险,呼吁重新思考策略并为保推理鲁棒性方法提供见解。
2026-07-21 cs.AI cs.LG
Scaling-Aware Adapter for Structure-Grounded LLM Reasoning
Department of Computer Science, Western University, London, Canada(加拿大伦敦西方大学计算机科学系);Department of Biochemistry, Western University, London, Canada(加拿大伦敦西方大学生物化学系)
提出Cuttlefish,一种统一多模态大语言模型,通过缩放感知适配器和几何基础适配器,自适应调整结构令牌数量并注入几何线索,以提升异构结构推理性能。
2026-05-22 cs.AI cs.LG
Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所)
本研究提出推理引导的翻译框架,构建覆盖11种语言的多语言评估集合,发现开源LLMs存在语言依赖型漏洞,强调任务敏感型基准构建的重要性。
2026-10-15 cs.AI cs.CL
Towards Reasoning-Preserving Unlearning in Multimodal Large Language Models
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(Mohamed bin Zayed人工智能大学);University of Queensland(昆士兰大学);Provable Responsible AI and Data Analytics (PRADA) Lab(可证明责任人工智能与数据分析实验室);King Abdullah University of Science and Technology (KAUST)(卡塔尔科学与技术大学)
本文提出R-MUSE框架,通过子空间指导和自适应引导,在推理过程中有效消除多模态大语言模型中的推理痕迹,同时保留通用推理能力。
2025-11-26 cs.AI cs.CL cs.LG
ThinkBooster: A Unified Framework for Seamless Test-Time Scaling of LLM Reasoning
MBZUAI;ETH Zürich(苏黎世联邦理工学院);Imperial College London(伦敦帝国理工学院);NUS(国立大学新加坡);Accenture(埃森哲);Innopolis University(因诺普里斯大学);Independent Researcher(独立研究者)
提出ThinkBooster框架,通过模块化库、联合评估基准和可部署代理服务,实现LLM推理的测试时计算扩展,在数学和编码任务上验证了性能-计算权衡。
2026-06-08 cs.AI cs.CL cs.LG