大模型推理能力

Evaluating Large Language Models in a Complex Hidden Role Game

评估大型语言模型在复杂隐藏角色游戏中的表现

Niklas Bauer

机构 * University of Göttingen（哥廷根大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过社交推理游戏《秘密希特勒》评估大型语言模型的推理、说服和欺骗能力，引入新指标并发现当前模型在复杂多轮操纵中效果不佳。

Comments Master's thesis, University of Göttingen

Perovskite-R1: a domain-specialized large language model for intelligent discovery of precursor additives and experimental design

钙钛矿-R1：一个专门领域的大型语言模型，用于智能发现前驱体添加剂和实验设计

Xin-De Wang, Zhi-Rui Chen, Peng-Jie Guo, Ze-Feng Gao, Cheng Mu, Zhong-Yi Lu

机构 * School of Physics, Renmin University of China（中国人民大学物理学院） ； School of Chemistry and Life Resource, Renmin University of China（中国人民大学化学与生命资源学院） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出Perovskite-R1，一个专门用于发现钙钛矿太阳能电池前驱体添加剂和实验设计的大型语言模型，通过系统挖掘和整理1232篇高质量科学文献，并整合33269种候选材料，构建了领域特定的指令微调数据集，从而提升材料发现的效率。

Comments 24 pages; 5 figures

Journal ref Communications Materials 7, 86 (2026)

Sanity Checks for Long-Form Hallucination Detection

长形式幻觉检测的合理性检查

Geigh Zollicoffer, Minh Vu, Hongli Zhan, Raymond Li, Manish Bhattarai

机构 * Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种控制不变性方法，通过强制和移除测试区分推理本身与最终答案的表面关联，展示轻量级评分器TRACT在未扰动轨迹上的有效性。

CAMEL: Confidence-Gated Reflection for Reward Modeling

CAMEL：基于置信度的反思机制用于奖励建模

Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

AI总结 CAMEL通过置信度门控机制实现轻量级偏好决策，并选择性地对低置信度实例进行反思，采用反事实前缀增强的强化学习训练，提升了奖励建模的准确性和效率。

Comments ICML 2026

AITP: Traffic Accident Responsibility Allocation via Multimodal Large Language Models

AITP：通过多模态大语言模型进行交通事故责任分配

Zijin Zhou, Songan Zhang

机构 * Global Institute of Future Technology（未来技术全球研究院） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出AITP模型，结合多模态链式推理和法律知识检索，解决交通事故责任分配问题，并构建DecaTARA基准测试集，验证模型在责任分配、事故检测和理解任务中的领先性能。

Journal ref CVPR 2026 Findings

Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment

通过辩证对齐平息代理中的行动者-观察者不对称性

Bobo Li, Rui Wu, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（国立新加坡大学） ； Sichuan University（四川大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校） ； University of Oxford（牛津大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ReTAS模型，通过辩证对齐方法减少代理中的行动者-观察者不对称性，提升故障解决能力。

Comments ACL 2026 Main Conference. Project page: https://unikcc.github.io/ReTAS/

More Than Sum of Its Parts: Deciphering Intent Shifts in Multimodal Hate Speech Detection

不止是部分之和：解码多模态仇恨言论检测中的意图转变

Runze Sun, Yu Zheng, Zexuan Xiong, Zhongjin Qu, Lei Chen, Jie Zhou, Jiwen Lu

机构 * Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 复杂问题求解 ：reasoning(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出H-VLI基准和ARCADE框架，通过模拟法庭辩论解码多模态仇恨言论中的隐含意图转变，提升检测性能。

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

ReflexiCoder：通过强化学习教大语言模型自我反思和自我纠正生成的代码

Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Amazon AGI（亚马逊人工智慧实验室） ； NAVER Cloud（NAVER云） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出ReflexiCoder，一种基于强化学习的框架，使大语言模型在推理过程中自我反思和纠正代码，通过细粒度奖励函数优化整个反思-纠正过程，实现无需外部反馈的自我调试能力，实验表明其在多个基准测试中表现优异，且在推理效率上更高效。

MARCH: Evaluating the Intersection of Ambiguity Interpretation and Multi-hop Inference

MARCH：评估歧义解释与多跳推理的交集

Jeonghyun Park, Ingeol Baek, Seunghyun Yoon, Haeun Jang, Aparna Garimella, Akriti Jain, Nedim Lipka, Hwanhee Lee

机构 * Chung-Ang University（Chung-Ang 大学） ； Adobe Research（Adobe 研究） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MARCH基准，通过多LLM验证和人工标注，包含2209个多跳歧义问题，揭示了当前模型在结合歧义解决与多步推理上的挑战，并提出CLARION框架提升推理系统鲁棒性。

Comments ACL 2026 Findings

The Two-Stage Decision-Sampling Hypothesis: Understanding the Emergence of Self-Reflection in RL-Trained LLMs

两阶段决策采样假说：理解RL训练LLM中自反思能力的产生

Zibo Zhao, Yuanting Zha, Haipeng Zhang, Xingcheng Xu

机构 * Arizona State University（亚利桑那州立大学） ； Shanghaitech University（上海科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了RL训练后LLM中自反思能力的形成机制，提出两阶段决策采样假说，通过梯度归因属性分析发现RL优于SFT的原因在于决策能力的提升而非生成能力。

Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG

代理检索增强生成：关于代理RAG的综述

Aditi Singh, Abul Ehtesham, Saket Kumar, Tala Talaei Khoei, Athanasios V. Vasilakos

机构 * Cleveland State University（克利夫兰州立大学） ； Kent State University（肯特州立大学） ； Northeastern University（东北大学） ； Roux Institute at Northeastern University（东北大学鲁克斯研究所） ； University of Agder (UiA)（阿格德尔大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了代理RAG系统，分析了其架构分类、设计权衡及应用，指出其在灵活性、可扩展性和上下文感知方面的优势，并探讨了未来研究方向。

Marco DeepResearch: Unlocking Efficient Deep Research Agents via Verification-Centric Design

Marco DeepResearch：通过以验证为中心的设计解锁高效的深度研究代理

Bin Zhu, Qianghuai Jia, Tian Lan, Junyang Ren, Feng Gu, Feihu Jiang, Longyue Wang, Zhao Xu, Weihua Luo

机构 * Alibaba International Digital Commerce（阿里巴巴国际数字商业集团） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Marco DeepResearch，通过在问题生成、轨迹构建和测试阶段引入验证机制，提升深度研究代理在长周期任务中的性能，实验表明其在BrowseComp等基准测试中表现优异。

Multi-Agent Dialectical Refinement for Enhanced Argument Classification

多智能体辩证细化用于增强论证分类

Jakub Bąba, Jarosław A. Chudziak

机构 * Faculty of Electronics 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MAD-ACC框架，通过多智能体辩论解决论证分类不确定性，实现85.7%的宏F1分数，无需领域特定训练，提供可解释的辩论记录。

Comments Accepted for publication in the proceedings of ACIIDS 2026

Complexity-aware fine-tuning

基于复杂度的微调

Andrey Goncharov, Daniil Vyazhev, Petr Sychev, Edvard Khalafyan, Alexey Zaytsev

机构 * Applied AI Institute（应用人工智能研究所） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种高效微调方法，通过熵识别复杂数据进行推理，使用小模型分割训练数据并提升大模型性能，数据使用减少81%，准确率优于传统SFT和蒸馏方法。

Journal ref 2026.findings-eacl.34

Gradually Excavating External Knowledge for Implicit Complex Question Answering

逐步挖掘外部知识以实现隐式复杂问题回答

Chang Liu, Xiaoguang Li, Lifeng Shang, Xin Jiang, Qun Liu, Edmund Y. Lam, Ngai Wong

专题命中 复杂问题求解 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种渐进式知识挖掘框架，通过迭代获取外部知识并动态调整策略，提升开放领域复杂问题回答的准确率和效率。

Comments 13 pages, 3 figures, EMNLP findings 2023

CCR-Bench: A Comprehensive Benchmark for Evaluating LLMs on Complex Constraints, Control Flows, and Real-World Cases

CCR-Bench：一个全面的评估基准，用于评估大语言模型在复杂约束、控制流和现实世界案例中的能力

Xiaona Xue, Yiqiao Huang, Jiacheng Li, Yuanhang Zheng, Huiqi Miao, Yunfei Ma, Rui Liu, Xinbao Sun, Minglu Liu, Fanyu Meng, Chao Deng, Junlan Feng

专题命中 复杂问题求解 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 CCR-Bench是一个用于评估大语言模型在复杂约束、控制流和现实世界案例中表现的全面基准，通过现实工业场景的样本揭示了当前模型在复杂指令理解上的不足。

LLM-ProS: Analyzing Large Language Models' Performance in Competitive Problem Solving

LLM-ProS: 分析大语言模型在竞争性问题解决中的性能

Md Sifat Hossain, Anika Tabassum, Md. Fahim Arefin, Tarannum Shaila Zaman

机构 * Department of Information Systems, University of Maryland, Baltimore County, Maryland, USA（信息系统系，马里兰大学巴尔的摩县分校，马里兰州，美国） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 LLM-ProS评估了多种大语言模型在ICPC问题中的性能，揭示了模型在泛化、适应和解决新问题方面的差异，并探讨了训练方法和数据集对性能的影响。

Comments To be published in LLM4Code 2025 workshop proceedings

Journal ref 2025 IEEE/ACM International Workshop on Large Language Models for Code (LLM4Code)

EduResearchBench: A Hierarchical Atomic Task Decomposition Benchmark for Full-Lifecycle Educational Research

EduResearchBench: 一个用于全生命周期教育研究的分层原子任务分解基准

Houping Yue, Zixiang Di, Mei Jiang, Bingdong Li, Hao Hao, Yu Song, Bo Jiang, Aimin Zhou

机构 * Shanghai Institute of AI for Education, East China Normal University（上海人工智能教育研究院，东华大学） ； Shanghai Innovation Institute（上海创新研究院） ； School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 EduResearchBench通过分层原子任务分解框架，构建了首个教育学术写作评估平台，展示了在垂直领域中数据质量和分层训练的重要性。

Comments 13 pages, 4 figures

PPoGA: Predictive Plan-on-Graph with Action for Knowledge Graph Question Answering

PPoGA: 基于图的预测计划与动作的知识图谱问答

MinGyu Jeon, SuWan Cho, JaeYoung Shu

机构 * MODULABS 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

AI总结 PPoGA通过引入规划器-执行器架构和预测处理机制，提升知识图谱问答的鲁棒性和灵活性，实现状态-of-the-art性能。

Lost in Transmission: When and Why LLMs Fail to Reason Globally

在传输中迷失：当且为什么大语言模型无法全球推理

Tobias Schnabel, Kiran Tomlinson, Adith Swaminathan, Jennifer Neville

专题命中 复杂问题求解 ：reasoning(abstract)；CoT(abstract)；分类 cs.AI、cs.LG

AI总结 研究指出大语言模型在处理需要高带宽通信的任务时存在能力限制，并通过BAPO模型证明了链式思维能将复杂问题简化为易处理形式。

Comments 39 pages; NeurIPS 2025, spotlight

Understanding Post-Training Structural Changes in Large Language Models

理解大型语言模型的训练后结构变化

Xinyu He, Xianghui Cao

机构 * School of Automation, Southeast University, Nanjing, China（自动化学院，东南大学，南京，中国） 纠错

专题命中 复杂问题求解 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过SVD分析揭示了大型语言模型训练后参数空间的结构变化，发现奇异值缩放和奇异向量旋转机制，为理解训练后调节机制提供了新视角。

Top 10 Open Challenges Steering the Future of Diffusion Language Model and Its Variants

推动扩散语言模型及其变体未来发展的十大开放挑战

Yunhe Wang, Kai Han, Huiling Zhen, Yuchuan Tian, Hanting Chen, Yongbing Huang, Yufei Cui, Yingte Shu, Shan Gao, Ismail Elezi, Roy Vaughan Miles, Songcen Xu, Feng Wen, Chao Xu, Sinan Zeng, Dacheng Tao

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； Peking University（北京大学） ； Huawei Technologies（华为技术有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出推动扩散语言模型及其变体发展的十大挑战，并提出以多尺度标记化、主动遮罩和潜在思考为核心的四支柱战略路线图，旨在突破因果瓶颈，实现复杂结构推理和多模态整合。

Autoregressive Models Rival Diffusion Models at ANY-ORDER Generation

自回归模型在任意阶生成中与扩散模型相媲美

Tianqi Du, Lizhe Fang, Weijie Yang, Chenheng Zhang, Zeming Wei, Yifei Wang, Yisen Wang

机构 * National Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（国家关键人工智能实验室，智能科学与技术学院，北京大学） ； School of Mathematical Sciences, Peking University（数学科学学院，北京大学） ； Amazon AGI SF Lab（亚马逊人工智能SF实验室） ； Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出A3框架，通过自回归建模实现任意阶生成，超越传统扩散模型，提升语言建模的灵活性和效率。

Think Then Embed: Generative Context Improves Multimodal Embedding

思考后再嵌入：生成性上下文提升多模态嵌入

Xuanming Cui, Jianpeng Cheng, Hong-you Chen, Satya Narayan Shukla, Abhijeet Awasthi, Xichen Pan, Chaitanya Ahuja, Shlok Kumar Mishra, Yonghuan Yang, Jun Xiao, Qi Guo, Ser-Nam Lim, Aashu Singh, Xiangjun Fan

机构 * AI at Meta（Meta人工智能部门） ； University of Central Florida（中央佛罗里达大学） ； New York University（纽约大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出Think-Then-Embed框架，通过生成性推理提升多模态嵌入性能，实现更高效的复杂指令处理。

Credible Plan-Driven RAG Method for Multi-Hop Question Answering

可信计划驱动的RAG方法用于多跳问答

Ningning Zhang, Chi Zhang, Zhizhong Tan, Xingxing Yang, Weiping Deng, Wenyong Wang

机构 * Macau University of Science and Technology（澳门科学技术大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 PAR-RAG通过引入复杂性感知的计划生成和双验证机制，提升了多跳问答任务中的推理稳定性和事实一致性，实现了更可靠的问答性能。

Comments 24 pages, 7 figures

Agent-as-a-Judge

代理作为裁判

Runyang You, Hongru Cai, Caiqi Zhang, Qiancheng Xu, Meng Liu, Tiezheng Yu, Yongqi Li, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； University of Cambridge（剑桥大学） ； Shandong Jianzhu University（山东建筑大学） ； Huawei Technologies（华为技术） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于代理的评估框架，通过规划、工具验证和多代理协作提升评估的鲁棒性和可验证性，并提供了该领域的发展分类和未来研究方向。

Confident RAG: Enhancing the Performance of LLMs for Mathematics Question Answering through Multi-Embedding and Confidence Scoring

Confident RAG: 通过多嵌入和置信度评分提升LLM在数学问题回答中的性能

Shiting Chen, Zijian Zhao, Jinsong Chen

机构 * Faculty of Education, The University of Hong Kong（香港大学教育学院） ； Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学土木与环境工程系） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 Confident RAG通过多嵌入和置信度评分提升LLM在数学问题回答中的性能，实验表明其在准确率上比普通LLMs和RAG分别提升10%和5%。

ConfTuner: Training Large Language Models to Express Their Confidence Verbally

ConfTuner: 训练大型语言模型以口头表达其置信度

Yibo Li, Miao Xiong, Jiaying Wu, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

AI总结 ConfTuner通过引入标记化布里尔分数损失函数，有效提升大型语言模型的置信度校准能力，适用于多种推理任务并泛化至黑盒模型。

Comments Accepted by NeurIPS 2025

Human Cognition Inspired RAG with Knowledge Graph for Complex Problem Solving

受人类认知启发的基于知识图谱的RAG用于复杂问题解决

Yao Cheng, Yibo Zhao, Jiapeng Zhu, Yao Liu, Xing Sun, Xiang Li

专题命中 复杂问题求解 ：reasoning(abstract)；CoT(abstract)；分类 cs.AI、cs.LG

AI总结 CogGRAG是一种受人类认知启发的基于图的RAG框架，通过树状思维图结构实现复杂问题分解、知识检索与推理，提升知识图谱问答的准确性和可靠性。

Comments The paper has been accepted by AAAI 2026

Self-Correcting Large Language Models: Generation vs. Multiple Choice

Hossein A. Rahmani, Satyapriya Krishna, Xi Wang, Mohammadmehdi Naghiaei, Emine Yilmaz

机构 * University College London（伦敦大学学院） ； Amazon AGI（亚马逊人工智能实验室） ； University of Sheffield（谢菲尔德大学） ； University of Southern California（南加州大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

Comments 20 pages