大模型推理能力

StatABench: Dataset and Framework for Evaluating Statistical Analysis Capabilities of LLMs

StatABench：评估大语言模型统计分析能力的数据集与框架

Youxin Zhu, Yixuan Ding, Peng Lai, Longyue Wang, Bingyi Jing, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Alibaba Group（阿里巴巴集团） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The University of Hong Kong（香港大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出StatABench基准，包含404道封闭题和30道开放建模任务，评估LLM在统计分析上的能力，实验显示最佳模型仅达68.6%准确率，揭示工具推理和建模决策等挑战。

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

L20-Edu-135M: 一个可审计的单GPU数据高效小语言模型研究

Yin Li

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究在单块NVIDIA L20 GPU上训练134.5M参数的语言模型，使用约13B tokens，通过数据筛选、去重、SFT和RLVR等方法，在零样本任务上达到SmolLM-135M 87.1%的性能，但仅使用其2.17%的tokens。

Comments 13 pages, 8 tables. Model available at https://huggingface.co/AliceYin/l20-edu-135m

Latent Confidence Alignment for LLM Self-Assessment

潜在置信对齐用于大语言模型自我评估

Ting-Yu Chen, Tingting Yu, Pei-Cing Huang, Chan Hsu, Ming-Yen Lin, Yihuang Kang

机构 * Department of Information Management（信息管理系） ； National Sun Yat-Sen University（国立中山大学） ； Kaohsiung Medical University Hospital（高雄医学大学附设医院） ； Kaohsiung Medical University（高雄医学大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于Rasch模型的潜在置信对齐误差（LCAE）来评估LLM自我评估与潜在错误概率的一致性，并引入项目难度作为外部信号，实验表明该方法在不影响模型能力的情况下提升自我评估质量。

Comments 2026 IEEE 27th International Conference on Information Reuse and Integration for Data Science

Counsel: A Meta-Evaluation Dataset for Agentic Tasks

Counsel: 面向智能体任务的元评估数据集

Sashank Pisupati, Henry Broomfield, Eujeong Choi, Antonia Calvi, Charlie Wang, Roman Engeler, Max Bartolo, Patrick Lewis

机构 * Atla AI ； Cohere AI ； Mistral AI ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出Counsel数据集，通过人工标注对LLM评判的智能体轨迹错误进行元评估，用于校准和改进LLM评判器。

Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

通过稀疏自编码器提取和分析视觉语言模型中的多模态概念

Sergio Lanza, Jae Hee Lee, Stefan Wermter

机构 * Knowledge Technology, Department of Informatics, University of Hamburg（汉堡大学信息学系知识技术实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于稀疏自编码器的框架，从视觉语言模型中提取视觉、文本和多模态概念，通过余弦相似度评估概念与样本的对齐，在VQA数据集上提升视觉概念质量达45%。

Comments International Conference on Artificial Neural Networks (ICANN), 2026, Padua

MEDLAYXPLAIN: Benchmarking the Expert-Lay Gap in Medical Vision-Language Models

MEDLAYXPLAIN: 医学视觉语言模型中的专家-外行差距基准测试

Han Jang, Junhyeok Lee, Songsoo Kim, Chae Young Lim, Hyeonjin Goh, Heeseong Eum, Kyu Sung Choi

机构 * Seoul National University（首尔大学） ； Seoul National University Hospital（首尔大学医院） ； Seoul National University College of Medicine（首尔大学医学院） ； Sungkyunkwan University School of Medicine（成均馆大学医学院） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 提出首个大规模医学外行语言生成基准MedLayXPlain，包含12万+区域级样本和三层UMLS本体，通过HOVER管道构建外行描述，并引入轻量级评估器MedLayEval，揭示当前医学VLM在外行可读性与临床精度间的系统性差距。

Comments 40 pages (10 pages main text, 30 pages appendix), 4 main figures, 33 vision-language models benchmarked

Scalable Hierarchical Attention Transformers for Multi-Turn Jailbreak Detection in Long Conversations

可扩展的层次注意力Transformer用于长对话中的多轮越狱检测

Chenhui Hu, Muhammed Salih, Sudipto Guha, Subramanian Srinivasan

机构 * Zscaler, Inc.（Zscaler公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种层次化检测器，通过紧凑的轮次表示和轻量级对话模块捕捉跨轮推理，在14,038条对话上F1达0.9394，超越Claude Opus 4.7，误报率减半。

Specialize Roles, Mix Deployments: Pushing the Cost-Accuracy Frontier of LLM Agent Teams

专业化角色，混合部署：推动LLM代理团队的成本-精度前沿

Yinsicheng Jiang, Liang Cheng, Yeqi Huang, Yufan Zhao, Zhan Lu, Li Dong, Wenda Li, Edoardo Ponti, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） ； Microsoft Research（微软研究院） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出AgentCARD基准，通过角色感知评估和帕累托前沿分析，发现异构团队在成本-精度前沿上优于同构团队，混合部署可降低12倍成本。

OGD4All: A Framework for Accessible Interaction with Geospatial Open Government Data Based on Large Language Models

OGD4All: 基于大语言模型的可访问地理空间开放政府数据交互框架

Michael Siebenmann, Javier Argota Sánchez-Vaquerizo, Stefan Arisona, Krystian Samp, Luis Gisler, Dirk Helbing

机构 * Professorship of Computational Social Science, ETH Zurich（计算社会科学教授职位，苏黎世联邦理工学院） ； Esri R&D Center Zurich（埃斯里苏黎世研发中心） ； Complexity Science Hub（复杂性科学中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出OGD4All框架，结合语义检索、智能体推理和沙盒执行，实现基于大语言模型的地理空间开放政府数据交互，在430个数据集上达到98%分析正确率和94%召回率，有效减少幻觉风险。

Comments Author Accepted Manuscript (AAM). Proceedings of 2026 IEEE CAI (Granada, Spain). Update manuscript with final DOI. Code & data available at: https://github.com/ethz-coss/ogd4all

Journal ref 2026 IEEE Conference on Artificial Intelligence (CAI), pp. 882-888

From RAG to Agentic RAG for Faithful Islamic Question Answering

从RAG到智能体RAG：面向可靠的伊斯兰问答

Gagan Bhatia, Hamdy Mubarak, Mustafa Jarrar, George Mikros, Fadi Zaraket, Mahmoud Alhirthani, Mutaz Al-Khatib, Logan Cochrane, Kareem Darwish, Rashid Yahiaoui, Firoj Alam

机构 * Qatar Computing Research Institute, HBKU, Qatar（卡塔尔计算研究中心，HBKU，卡塔尔） ； College of Humanities and Social Sciences, HBKU, Qatar（人文与社会科学学院，HBKU，卡塔尔） ； Arab Center for Research and Policy Studies, Qatar（阿拉伯研究中心与政策研究所，卡塔尔） ； College of Islamic Studies, HBKU, Qatar（伊斯兰研究学院，HBKU，卡塔尔） ； College of Public Policy, HBKU, Qatar（公共政策学院，HBKU，卡塔尔） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM在伊斯兰问答中的幻觉与弃权问题，构建双语基准IslamicFaithQA，并提出基于结构化工具调用的智能体RAG框架，显著提升正确性与鲁棒性。

Comments Islamic Question Answering; Faithful Question Answering; Retrieval-Augmented Generation; Agentic RAG; Large Language Models

One Interaction Is Worth a Thousand Guesses: Benchmarking the Interactive Capabilities of Deep Research Agents

一次交互胜过千次猜测：深度研究代理的交互能力基准测试

Yingchaojie Feng, Qiang Huang, Xiaoya Xie, Zhaorui Yang, Jun Yu, Wei Chen, Anthony K. H. Tung

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院） ； Zhejiang University（浙江大学） ； State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出IDRBench基准，通过交互式框架和用户模拟器评估深度研究代理的交互能力，实验表明交互能提升研究质量和鲁棒性。

Comments 17 pages, 9 figures, 9 tables

NeedleChain: Measuring Intact Context Comprehension Capability of Large Language Models

NeedleChain: 测量大型语言模型的完整上下文理解能力

Hyeonseok Moon, Heuiseok Lim

机构 * Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有基准高估LLM上下文理解能力的问题，提出NeedleChain基准，通过全相关上下文测试模型整合所有证据的能力，并引入ROPE收缩策略提升全上下文整合。

Comments ACL2026 - findings

An Offline Mobile Conversational Agent for Mental Health Support: Learning from Emotional Dialogues and Psychological Texts with Student-Centered Evaluation

面向心理健康支持的离线移动对话代理：通过情感对话和心理文本学习并以学生为中心评估

Vimaleswar A, Prabhu Nandan Sahu, Nilesh Kumar Sahu, Haroon R. Lone

机构 * Department of Electrical Engineering and Computer Science, Indian Institute of Science Education and Research Bhopal（电子工程与计算机科学系，比哈尔印度科学教育与研究中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EmoSApp，一个离线智能手机应用，利用定制知识数据集训练的语言模型，提供心理健康支持，并通过学生和专业人员的定性评估及多项基准测试验证其在低资源环境下的有效性。

Journal ref https://aclanthology.org/2025.ijcnlp-long.191/

Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues

LLMs 是有效的谈判者吗？LLMs 在谈判对话中多方面能力的系统评估

Deuksin Kwon, Emily Weiss, Tara Kulshrestha, Kushal Chawla, Gale M. Lucas, Jonathan Gratch

机构 * University of Southern California（南加州大学） ； University of California, Berkeley（加州大学伯克利分校） ； Capital One 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 系统评估大型语言模型在谈判中的多方面能力，发现 GPT-4 表现优异，但在主观评估和生成策略性响应方面存在挑战。

Comments Accepted to Findings of EMNLP 2024

TriggerBench: Investigating Prospective Memory for Large Language Models

TriggerBench: 探究大型语言模型的前瞻记忆

Tianhua Zhang, Xinjiang Wang, Qianxi Zhang, Qi Chen, Kun Li, Yaoqi Chen, Dingdong Wang, Helen Meng, Yan Lu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出TriggerBench基准，系统评估LLM的前瞻记忆能力，发现其存在精度-召回权衡、注意力脆弱性，且比回溯记忆更难，可作为推理能力的指标。

Unlocking In-Context Learning in Audio-Language Models from Decentralized Medical Audio

从分散的医疗音频中解锁音频-语言模型的上下文学习

Ran Piao, Tsai-Ning Wang, Martijn den Dekker, Linda Moonen, Hareld Kemps, Yuan Lu, Aaqib Saeed

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Erasmus MC（伊拉斯姆斯医学中心） ； Rijnstate Hospital（莱茵州医院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出联邦自上下文学习（FSC）框架，通过无监督聚类构建伪标签片段，结合渐进式三阶段流水线，在联邦医院客户端实现少样本临床音频诊断，准确率达71.6%。

The Correct Answer Trap: Pedagogically-Grounded Detection and Feedback for Hidden Misconceptions

正确答案陷阱：基于教学法的隐藏误解检测与反馈

Moiz Imran, Sahan Bulathwela

机构 * Department of Computer Science, University College London, The United Kingdom（伦敦大学学院计算机科学系，英国） ； Centre for Artificial Intelligence, University College London, The United Kingdom（伦敦大学学院人工智能中心，英国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对学生通过错误推理得到正确答案时隐藏的误解，提出检测与反馈方法，利用分类器和推理模型检测，并设计分级评估与检测-验证-升级流程以减少误报。

Comments Accepted at the AIED PEAF 2026: Workshop on Pedagogical Evaluation of Automated Feedback, June 28, 2026, Seoul, South Korea

Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts

立场：正确答案，错误机制——当AI科学家用自身数据反驳其通用主张时

Steven Young Eulig

机构 * Department of Physics and Laboratory for Particle Physics and Cosmology (LPPC), Harvard University（哈佛大学物理系与粒子物理与宇宙学实验室（LPPC）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文通过编码代理在Geant4模拟中重新发现已知粒子识别可观测量的实验，指出仅以最终结果评估AI科学家系统不足，提出需分别衡量任务结果、机制保真度和认知诚实性，并发现正确答案但错误机制（CAWM）现象。

Comments 8 pages body plus 12 pages references and appendix, non-archival upload for ICML 2026 AI for Science workshop, selected as spotlight paper

When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents

当智能体过早承诺：诊断LLM智能体中的过早承诺问题

Aman Mehta

机构 * Snowflake AI Research 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出表征承诺作为跨运行隐藏状态收敛的指标，用于诊断长程LLM智能体过早承诺问题，并在多个模型和数据集上验证其预测轨迹一致性的能力。

Comments 22 pages, 16 figures Primary: cs.AI Secondary: cs.CL

The Origins of Stochasticity: Comprehensive Investigations on Uncertainty Quantification for Large Language Models

随机性的起源：大型语言模型不确定性量化的综合研究

Xiang-Jun Ou, Shuang Liang, Xin-Yu Hu, Rong-Hao Huang, Jing Wang, Shao-Qun Zhang

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Intelligent Science and Technology（智能科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出细粒度不确定性分类法，将LLM不确定性归因于输入、参数、标记和解码过程，并评估21种UQ方法，发现基于共识的方法（Deg和EigV）表现最佳，且模型规模与不确定性负相关。

PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs

PRIME: 评估大语言模型在不兼容指令下的提示解决能力

Tehreem Javed, Shumaim Fatimah, Masooma Bakhtiari, Gibrail Islam, Mehwish Fatima

机构 * School of Electrical Engineering ； Computer Science (SEECS), National University of Sciences 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出PRIME框架，通过生成校准冲突（响应长度、输出格式、推理）并采用确定性行为分类法，分析大语言模型处理冲突指令的行为，发现冲突类型比模型规模对行为影响更大。

AOR-Bench: Do Large Audio Language Models Over-Refuse Pseudo-Harmful Queries?

AOR-Bench: 大型音频语言模型是否会过度拒绝伪有害查询？

Jiaxi Yang, Chaewan Chun, Jason Lucas, Yuchen Yang, Dongwon Lee

机构 * Penn State University（宾夕法尼亚州立大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 提出首个针对大型音频语言模型过度拒绝问题的基准AOR-Bench，包含3000个伪有害音频样本，评估12个模型发现过度拒绝普遍存在，并探索了两种轻量缓解策略。

Infrastructure for the Agentic Web: Gap Analysis and Architecture from the Agentverse Platform

代理网络的基础设施：来自Agentverse平台的差距分析与架构

Robin Dey, Panyanon Viradecha

机构 * OpenHub Research（开放 hub 研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文通过实证审计Agentverse平台，识别出8类62项缺失能力，提出七层代理云栈参考架构，并规划了从存储到经济原语的五条关键演进路径，为2030年实现Web4代理云提供技术路线。

Comments 28 pages, 11 tables, 1 figure. Preprint, not peer-reviewed

Beyond Averages: Evaluating LLMs on Human Survey Replication at the Distributional Level

超越平均值：在分布层面评估LLM对人类调查的复现能力

Jeonghyeon Moon, Jiwon Kim, Yeheum Lah, Yoonju Han, Yuncheol Kang

机构 * Ewha Womans University（梨花女子大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究通过非公开的韩国方便面购买实验，在分布层面评估LLM复现人类调查响应的能力，发现均值匹配的模型可能产生更偏离人类的分布，且结构化角色和多模态输入提升对齐度，而推理提示则降低。

DeepResearch-9K: A Challenging Benchmark Dataset of Deep-Research Agent

DeepResearch-9K：一个具有挑战性的深度研究智能体基准数据集

Tongzhou Wu, Yuhao Wang, Xinyu Ma, Xiuqiang He, Shuaiqiang Wang, Dawei Yin, Xiangyu Zhao

机构 * Shenzhen Technology University（深圳技术大学） ； City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 为解决深度研究智能体缺乏大规模挑战性数据集和开源训练框架的问题，构建了DeepResearch-9K数据集，包含9000个多难度问题、搜索轨迹和可验证答案，并开发了开源训练框架DeepResearch-R1，实验表明训练后的智能体在基准测试上达到最优。

Comments 6 pages, 4 figures

Learning More from Less: Unlocking Internal Representations for Benchmark Compression

从更少中学习更多：解锁内部表示以实现基准压缩

Yueqi Zhang, Jin Hu, Shaoxiong Feng, Peiwen Yuan, Xinglin Wang, Yiwei Li, Jiayi Shi, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

机构 * School of Computer Science, Beijing Institute of Technology（北京理工大学计算机科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出RepCore方法，通过对齐异构隐藏状态构建代表性核心集，仅需少量源模型即可精确估计大语言模型在完整基准上的性能，显著优于基于输出的基线方法。

Enhancing Diversity of LLM-Generated Educational Tasks

增强大语言模型生成教育任务的多样性

Manh Hung Nguyen, Sebastian Tschiatschek, Adish Singla

机构 * MPI-SWS（马克斯·普朗克研究所-斯图加特研究所） ； University of Vienna（维也纳大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对大语言模型生成教育任务时内容同质化的问题，提出基于发散-收敛思维的两阶段提示框架CreativeDC，在Python编程领域生成的任务多样性提升约1.6倍，同时保持高实用性。

Comments EDM 2026 Poster Paper

AlgoSimBench: Identifying Algorithmically Similar Problems for Competitive Programming

AlgoSimBench: 识别算法相似问题的竞赛编程基准

Jierui Li, Raymond Mooney

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出AlgoSimBench基准，通过对抗性设计的多选题评估大语言模型识别算法相似问题的能力，并引入尝试解决方案匹配方法提升准确率。

Comments 14 pages, accepted to IJCAI 2026

MSU-Bench: Towards Speaker-Centric Understanding in Conversational Multi-Speaker Scenarios

MSU-Bench：面向对话多说话人场景中以说话人为中心的理解

Zhaokai Sun, Shuai Wang, Zhennan Lin, Chengyou Wang, Dehui Gao, Yuang Cao, Chunjiang He, Pan Zhou, Lei Xie

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出MSU-Bench基准，包含16个说话人中心任务和2300个问答实例，用于评估多说话人对话中的说话人定位与推理能力，揭示现有模型在复杂场景下的不足。

Comments 4 pages, accepted by interspeech 2026

PROMPT: A Pre-registered Randomized Protocol for Component-Level Evaluation of Clinical AI Prompts

PROMPT：临床AI提示组件级评估的预注册随机协议

Bin Hu, Avneek Sandhu, Shahryar Wasif

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出PROMPT协议，通过预注册、随机化、匹配对照和拆解设计，在合成和医学图像任务中识别提示组件的有益、有害和无效效应，揭示整体提示评估遗漏的安全漏洞。

Comments 4 figures, 1 table