大模型推理能力

Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context

Sangwon Yu, Ik-hwan Kim, Jongyoon Song, Saehyung Lee, Junsung Park, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学） ； AIIS, ASRI, INMC, ISRC, and IPAI, Seoul National University（人工智能研究所、人工智能研究机构、智能网络中心、智能系统研究所以及人工智能与公共政策研究所，首尔国立大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments NAACL 2025 Findings

SplitReason: Learning To Offload Reasoning

Yash Akhauri, Anthony Fei, Chi-Chih Chang, Ahmed F. AbouElhamayed, Yueying Li, Mohamed S. Abdelfattah

机构 * Cornell University（康奈尔大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Reasoning Under 1 Billion: Memory-Augmented Reinforcement Learning for Large Language Models

Hung Le, Dai Do, Dung Nguyen, Svetha Venkatesh

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.LG

Comments preprint,20 pages

STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training

Haiyi Qiu, Minghe Gao, Long Qian, Kaihang Pan, Qifan Yu, Juncheng Li, Wenjie Wang, Siliang Tang, Yueting Zhuang, Tat-Seng Chua

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.LG

New Trends for Modern Machine Translation with Large Reasoning Models

Sinuo Liu, Chenyang Lyu, Minghao Wu, Longyue Wang, Weihua Luo, Kaifu Zhang, Zifu Shang

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments arXiv admin note: text overlap with arXiv:1701.04715 by other authors

Attention Reveals More Than Tokens: Training-Free Long-Context Reasoning with Attention-guided Retrieval

Yuwei Zhang, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments Work in progress

IAO Prompting: Making Knowledge Flow Explicit in LLMs through Structured Reasoning Templates

Aissatou Diallo, Antonis Bikakis, Luke Dickens, Anthony Hunter, Rob Miller

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments Accepted as Oral at KnowFM @ AAAI 2025

Probing Large Language Models in Reasoning and Translating Complex Linguistic Puzzles

Zheng-Lin Lin, Yu-Fei Shih, Shu-Kai Hsieh

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 8 pages, 8 figures

Enhancing the Reasoning Capabilities of Small Language Models via Solution Guidance Fine-Tuning

Jing Bi, Yuting Wu, Weiwei Xing, Zhenjie Wei

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 11 pages, 4 figures, to be published in The 31st International Conference on Computational Linguistics (COLING 2025)

Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models

Song Jiang, Zahra Shakeri, Aaron Chan, Maziar Sanjabi, Hamed Firooz, Yinglong Xia, Bugra Akyildiz, Yizhou Sun, Jinchao Li, Qifan Wang, Asli Celikyilmaz

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 29 pages

ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting

Xiaoxue Cheng, Junyi Li, Wayne Xin Zhao, Ji-Rong Wen

专题命中 复杂问题求解 ：chain-of-thought(title,abstract)；reasoning(abstract)；CoT(abstract)；分类 cs.CL

Comments Accepted to LREC-COLING 2024

BBA: Bi-Modal Behavioral Alignment for Reasoning with Large Vision-Language Models

Xueliang Zhao, Xinting Huang, Tingchen Fu, Qintong Li, Shansan Gong, Lemao Liu, Wei Bi, Lingpeng Kong

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments Preprint

Towards a Unified Multimodal Reasoning Framework

Abhinav Arun, Dipendra Singh Mal, Mehul Soni, Tomohiro Sawada

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 6 pages, 11 figures

Exploring Chain-of-Thought Style Prompting for Text-to-SQL

Chang-You Tai, Ziru Chen, Tianshu Zhang, Xiang Deng, Huan Sun

专题命中 复杂问题求解 ：chain-of-thought(title,abstract)；reasoning(abstract)；CoT(abstract)；分类 cs.CL

Comments EMNLP 2023 main; long paper

Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework

Ruochen Zhao, Xingxuan Li, Shafiq Joty, Chengwei Qin, Lidong Bing

专题命中 复杂问题求解 ：chain-of-thought(title,abstract)；reasoning(abstract)；CoT(abstract)；分类 cs.CL

When do you need Chain-of-Thought Prompting for ChatGPT?

Jiuhai Chen, Lichang Chen, Heng Huang, Tianyi Zhou

专题命中 复杂问题求解 ：chain-of-thought(title,abstract)；reasoning(abstract)；CoT(abstract)；分类 cs.AI

Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs

Dayu Yang, Tianyang Liu, Daoan Zhang, Antoine Simoulin, Xiaoyi Liu, Yuwei Cao, Zhaopu Teng, Xin Qian, Grey Yang, Jiebo Luo, Julian McAuley

专题命中 复杂问题求解 ：reasoning(title,abstract)；planning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Project Repo: https://github.com/dayuyang1999/Awesome-Code-Reasoning

S$^2$-MAD: Breaking the Token Barrier to Enhance Multi-Agent Debate Efficiency

Yuting Zeng, Weizhe Huang, Lei Jiang, Tongxuan Liu, Xitai Jin, Chen Tianying Tiana, Jing Li, Xiaohua Xu

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；logical reasoning(abstract)

Comments Accepted to NAACL 2025 Main

Understanding Inter-Session Intentions via Complex Logical Reasoning

Jiaxin Bai, Chen Luo, Zheng Li, Qingyu Yin, Yangqiu Song

专题命中 复杂问题求解 ：reasoning(title)；logical reasoning(title)；分类 cs.CL、cs.AI

Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models

放大并不意味着具有预测性：思考模型中的推理行为

Jean de Dieu Nyandwi, Leena Mathur, Yonatan Bisk, Robert Hawkins, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Stanford University（斯坦福大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；self-correction(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究揭示思考模型存在“放大-提升差距”，即面向推理的训练放大了与正确性关联弱的推理行为，却未放大高提升值的关键行为，推动了过程级推理目标的研究。

Comments Published in COLM 2026

Early Stopping for Large Reasoning Models via Confidence Dynamics

通过置信度动态实现大推理模型的早停

Parsa Hosseini, Sumit Nawathe, Mahdi Salmani, Meisam Razaviyayn, Soheil Feizi

机构 * University of Maryland（马里兰大学） ； University of Southern California（南加州大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究推理过程中中间答案的置信度，提出CoDE-Stop方法利用置信度动态决定早停，无需额外训练，提升准确率与效率，减少25-50%的token使用。

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

通过分步置信度归因诊断黑盒大语言模型的多步推理失败

Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；self-correction(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种基于分步置信度归因（SCA）的方法，用于诊断黑盒大语言模型在多步推理中的失败，通过信息瓶颈原理对生成的推理轨迹进行置信度评估，并通过实验验证该方法在数学推理和多跳问答任务中的有效性。

Comments Accepted by ICML 2026

ReGuLaR: Relation-Grounded Latent Reasoning for Large Vision-Language Models

ReGuLaR：面向大型视觉语言模型的基于关系的潜在推理

Zihu Wang, Karthik Somayaji N. S, Peng Li

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

AI总结 提出ReGuLaR框架，通过训练时的ReGFormer将潜在推理显式地锚定在视觉证据中的对象和关系上，在多种基准上取得最优性能。

Beyond Accuracy: Decomposing the Reasoning Efficiency of LLMs

超越准确率：分解大语言模型的推理效率

Daniel Kaiser, Arnoldo Frigessi, Ali Ramezani-Kebrya, Benjamin Ricaud

机构 * Integreat - Norwegian Centre for knowledge-driven machine learning（Integreat - 挪威知识驱动机器学习中心） ； UiT - The Arctic University of Norway（UiT - 北极大学） ； University of Oslo（奥斯陆大学） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；self-correction(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种无需追踪的评估协议，通过完成率、条件正确性和生成长度三个指标分解大语言模型的token效率，同时考虑任务工作量元数据进行归一化处理，并评估模型在不同任务上的推理效率和冗余问题。

Comments Preprint (under review). 29 pages, 4 figures

Multimodal Latent Reasoning via Hierarchical Visual Cues Injection

多模态潜在推理 via 分层视觉提示注入

Yiming Zhang, Qiangyu Yan, Borui Jiang, Kai Han

机构 * Nanyang Technological University（南洋理工大学） ； Huawei Noah's Ark Lab（华为诺亚实验室） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)

AI总结 本文提出HIVE框架，通过分层视觉提示注入实现多模态潜在推理，提升模型在对齐潜在空间中的多步推理能力。

TRIM: Hybrid Inference via Targeted Stepwise Routing in Multi-Step Reasoning Tasks

TRIM：通过多步推理任务中的目标逐步路由进行混合推理

Vansh Kapoor, Aman Gupta, Hao Chen, Anurag Beniwal, Jing Huang, Aviral Kumar

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon（亚马逊） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TRIM通过目标逐步路由在多步推理任务中提升推理效率，通过识别错误步骤并分配不同模型处理，实现更高的成本效率。

Comments Accepted at ICLR 2026

MirageBackdoor: A Stealthy Attack that Induces Think-Well-Answer-Wrong Reasoning

MirageBackdoor: 一种诱导“思考良好但回答错误”推理的隐蔽攻击

Yizhe Zeng, Wei Zhang, Yunpeng Li, Juxin Xiao, Xiao Wang, Yuling Liu

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

AI总结 本文提出MirageBackdoor攻击，通过解锁模型后输出空间和定制训练流程，使模型在保持清洁推理过程的同时，选择性地将最终答案导向特定目标，显著提升攻击隐蔽性。

GoT-R1: Unleashing Reasoning Capability of MLLM for Visual Generation with Reinforcement Learning

GoT-R1：通过强化学习提升MLLM的视觉生成推理能力

Chengqi Duan, Rongyao Fang, Yuqing Wang, Kun Wang, Linjiang Huang, Xingyu Zeng, Hongsheng Li, Xihui Liu

机构 * HKU MMLAB（香港大学多媒体实验室） ； CUHK MMLAB（香港中文大学多媒体实验室） ； Sensetime（商汤科技） ； Beihang University（北京航空航天大学） ； SUAT（上海人工智能实验室） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GoT-R1通过强化学习提升视觉生成中的语义-空间推理能力，改进了复杂提示下的图像生成效果，实验表明在T2I-CompBench基准上表现优异。

Comments Github page refer to: https://github.com/gogoduan/GoT-R1. Published as a conference paper at ICLR 2026

Temperature-Dependent Performance of Prompting Strategies in Extended Reasoning Large Language Models

提示策略在扩展推理大语言模型中的温度依赖性能

Mousa Salah, Amgad Muneer

机构 * Gujarat Technological University（古吉拉特技术大学） ； The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心） 纠错

专题命中 复杂问题求解 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究评估了不同温度下链式思维和零样本提示策略在扩展推理中的表现，发现零样本提示在中等温度下性能最佳，链式思维在极端温度下表现最佳，扩展推理的收益随温度增加而提升。

Comments 3 Figures, 2 Tables

Decompose and Transfer: CoT-Prompting Enhanced Alignment for Open-Vocabulary Temporal Action Detection

分解与迁移：基于CoT提示的对齐增强开放词汇时序动作检测

Sa Zhu, Wanqian Zhang, Lin Wang, Xiaohua Chen, Chenxu Cui, Jinchao Zhang, Bo Li

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； State Key Laboratory of Cyberspace Security Defense（网络空间安全防御国家重点实验室） ； Hangzhou Dianzi University（杭州电子科技大学） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 复杂问题求解 ：CoT(title,abstract)；reasoning(abstract)；chain-of-thought(abstract)

AI总结 本文提出PDA框架，通过CoT提示语义分解和适应性相位对齐，提升开放词汇时序动作检测的跨类别迁移能力。

Comments Accepted by CVPR 2026