大模型推理能力

Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation

操纵法官：不忠的推理链可能损害智能体评估

Muhammad Khalifa, Lajanugen Logeswaran, Jaekyeom Kim, Sungryull Sohn, Yunxiang Zhang, Moontae Lee, Hao Peng, Lu Wang, Honglak Lee

机构 * University of Michigan（密歇根大学） ； LG AI Research（LG人工智能研究） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 推理评测 ：chain-of-thought(title,abstract)；reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 本文揭示了LLM法官对智能体推理轨迹操纵的脆弱性，表明基于内容的操纵能显著提高假阳性率，凸显了需验证推理与证据的评估机制的重要性。

Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data

Chat-TS: 提升时间序列与自然语言数据的多模态推理能力

Paul Quinlan, Qingguo Li, Xiaodan Zhu

机构 * Electrical and Computer Engineering, Queen’s University（皇后大学电气与计算机工程学院） ； Mechanical and Materials Engineering, Queen’s University（皇后大学机械与材料工程学院） ； Ingenuity Labs Research Institute, Queen’s University（皇后大学创新实验室研究 institute） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 Chat-TS通过整合时间序列标记提升多模态推理能力，提供新数据集和训练策略，在保持自然语言能力的同时增强时间序列推理性能。

SCALAR: Scientific Citation-based Live Assessment of Long-context Academic Reasoning

SCALAR: 基于科学引用的长上下文学术推理实时评估

Renxi Wang, Honglin Mu, Liqun Ma, Lizhi Lin, Yunlong Feng, Timothy Baldwin, Xudong Han, Haonan Li

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 SCALAR通过基于学术引用的长上下文推理评估框架，评估模型在学术写作中的推理能力，发现多项选择任务能有效区分模型性能，而填空式引用预测任务更具挑战性。

MiRAGE: A Multiagent Framework for Generating Multimodal Multihop Question-Answer Dataset for RAG Evaluation

MiRAGE：一种多智能体框架，用于生成多模态多跳问题-答案数据集以评估RAG系统

Chandan Kumar Sahu, Premith Kumar Chilukuri, Matthew Hetrich

机构 * ABB Inc（ABB公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 MiRAGE通过多智能体框架生成多模态多跳问题-答案数据集，提升RAG系统评估的准确性和复杂性。

Comments 12 pages, 2 figures, Submitted to ACL

Explainable Deepfake Detection with RL Enhanced Self-Blended Images

可解释的深度伪造检测与强化学习增强的自混合图像

Ning Jiang, Dingheng Zeng, Yanhong Liu, Haiyang Yi, Shijie Yu, Minghe Weng, Haifeng Shen, Ying Li

机构 * 1School of Software \& Microelectronics, Peking University, Beijing, China 2Mashang Consumer Finance Co., Ltd., Chongqing, China -0.15in 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)

AI总结 本文提出了一种基于强化学习增强的自混合图像方法，用于可解释的深度伪造检测，通过自动化数据生成和定制奖励机制提升检测性能。

Comments Accepted at ICASSP 2026

Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering

分块、检索与重排序：RAG架构在政策文件问答中的实证评估

Anuj Maharjan, Umesh Yadav

机构 * Computer Science (EECS) University of Toledo Toledo, OH, USA 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过实证评估，比较了RAG架构在政策文件问答中的有效性，发现Advanced RAG在忠实度上表现更优，但文档分段限制影响多步骤推理。

Medal Matters: Probing LLMs' Failure Cases Through Olympic Rankings

奖牌 matters：通过奥运排名探测 LLMs 的失败案例

Juhwan Choi, Seunguk Yu, JungMin Yun, YoungBin Kim

机构 * AITRCS, Republic of Korea, Seoul（韩国首尔AITRCS研究中心） ； Chung-Ang University, Republic of Korea, Seoul（韩国首尔 Chung-Ang 大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过奥运排名数据探测 LLMs 在知识整合和推理方面的局限性，揭示其在任务二中的失败案例，并提供改进方向及研究资源。

Comments COLM 2025 ORIGen Workshop

Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation

迈向可靠的医疗大语言模型：在真实医疗咨询中评估和增强大语言模型信心估计的基准测试

Zhiyao Ren, Yibing Zhan, Siyuan Liang, Guozheng Ma, Baosheng Yu, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） ； Wuhan University（武汉大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出MedConf框架，通过证据引导的语言自评估方法，在医疗咨询中提升大语言模型的信心估计精度与可靠性。

ALIGNAgent: Adaptive Learner Intelligence for Gap Identification and Next-step guidance

ALIGNAgent: 适应性学习智能用于知识缺口识别与下一步指导

Bismack Tokoli, Luis Jaimes, Ayesha S. Dina

机构 * Department Of Data Science and Business Analytics, *Department Of Computer Science, Florida Polytechnic University（数据科学与商业分析系、计算机科学系，佛罗里达理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 ALIGNAgent是一种多智能体教育框架，通过整合知识估计、技能缺口识别和定向资源推荐，实现个性化学习，实验证明其在知识熟练度估计上的高精度和高F1分数。

Comments 35 pages

AudioMotionBench: Evaluating Auditory Motion Perception in Audio LLMs

AudioMotionBench: 评估音频大语言模型中的听觉运动感知

Zhe Sun, Yujun Cai, Jiayu Yao, Yiwei Wang

机构 * Wuhan University（武汉大学） ； University of Queensland（昆士兰大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 AudioMotionBench通过评估音频大语言模型对移动声源方向和轨迹的感知能力，揭示了当前模型在听觉空间推理方面的局限性。

The Percept-V Challenge: Can Multimodal LLMs Crack Simple Perception Problems?

感知挑战：多模态大语言模型能否解决简单感知问题？

Samrajnee Ghosh, Naman Agarwal, Hemanshu Garg, Chinmay Mittal, Mausam, Parag Singla

机构 * IIT Delhi（德里印度理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 Percept-V挑战通过简单感知任务测试多模态大语言模型的表现，发现其在基本感知任务上远低于人类水平。

Being Kind Isn't Always Being Safe: Diagnosing Affective Hallucination in LLMs

善良并不总是安全：诊断大语言模型中的情感幻觉

Sewon Kim, Jiwon Kim, Seungwoo Shin, Hyejin Chung, Daeun Moon, Yejin Kwon, Hyunsoo Yoon

机构 * Department of Industrial Engineering, Yonsei University（工业工程系，延世大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出AHaBench和AHaPairs用于诊断LLM中的情感幻觉问题，通过DPO优化减少虚假社会存在感，提升模型的心理安全性和事实可靠性。

Comments EACL 2026 Findings

MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Dialogue Evaluators

MEDAL：一个用于评估LLM作为多语言开放领域对话评估器的框架

John Mendonça, Alon Lavie, Isabel Trancoso

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 MEDAL框架通过多语言多代理方法，评估LLM作为开放领域对话评估者的性能，揭示了现有评判者在检测细微问题上的不足。

Comments EACL 2026