大模型推理能力

CurveShift: Is Agent Progress Scalar? Separating Level from Shape

CurveShift：智能体的进展是标量吗？区分水平与形态

Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

机构 * University of Southern California（南加利福尼亚大学） ； University of Chicago（芝加哥大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学） ； University of California, Davis（加利福尼亚大学戴维斯分校） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Harvard University（哈佛大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对大型语言模型进展的标量总结问题，通过LiveCodeBench基准分离混淆，发现2024年9月后发布的模型在竞赛编程难任务上有超出预期的增益，发布了相关数据集与代码。

Comments 25 pages, 4 figures, 7 tables. Data and code: https://github.com/harvenstar/CurveShift

Semantics of Subterfuge: Benchmarking Legal Deception Detection Against General-domain State-of-the-Art

欺骗的语义：针对通用领域最先进模型的法律欺骗检测基准测试

Theekshana Samaradiwakara, Nisansa de Silva, George C. Lobb

机构 * University of Moratuwa（莫拉图瓦大学） ； The Law Office of George C. Lobb（乔治·C·洛布律师事务所） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对法律领域的自动欺骗检测，对比了微调Transformer模型与大型语言模型在通用和法律数据集上的表现，发现领域敏感性显著，思维链提示效果逊于直接分类，强调需开发适配法律领域的可解释系统。

Comments 5 pages paper

Journal ref ICAIL 2026

Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

公平剪枝：通过差分激活定位GLU-MLP层中的人口统计偏差

Pere Martra, Eugenio Martínez Cámara, Alfonso Ureña López

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出Fairness Pruning方法，通过最小对比提示对与激活捕获定位LLM的GLU-MLP层中人口统计偏差神经元，经实验验证该方法可针对性调控偏差且对模型能力影响极小。

Comments 15 pages, 3 figures, 9 tables. Code and datasets publicly available

Echoverse: Deep, Evolving Environments for Training Computer-Use Agents at Scale

Echoverse：用于大规模训练计算机使用智能体的深度演化环境

Yash Pandya, Sahil Gupta, Sarthak Harne, Archana Yadav, Kavyansh Chourasia, Hussein Mozannar, Vibhav Vineet, Sara Abdali, Corby Rosset, Yash Lara, Ahmed Awadallah, Ece Kamar, Akshay Nambi

机构 * Microsoft Research（微软研究院） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 Echoverse是用于大规模训练计算机使用智能体的深度演化环境，其协同演化循环可提升智能体性能，经12个环境训练后9B模型准确率大幅提升，还发布了基准环境与代码

From Single- to Cross-Document: Benchmarking Multi-Granularity Event Analysis of Large Language Models

从单文档到跨文档：大语言模型多粒度事件分析的基准测试

Tao Wen, Shuai Shao, Pei Ke, Xu Han, Jie Zou, Guannan Li, Tao Tian, Jinjie Qiu, Lan Wang, Ke Qin

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文推出MiGUE-Bench基准及MiGUE-Pipeline框架，通过四项核心任务评估LLMs多粒度事件分析能力，明确其能力边界与缺陷，为该领域改进提供方向。

Comments 9 pages. Published in the Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)

Journal ref Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '26), pp. 3464-3472, 2026

Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset

HLE多项选择子集的维度与测量精度

Mayank Sharma, Savira Nadela, Tyler Matteson

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估29个LLM在HLE多项选择子集上的表现，发现HLE仅测量单一一般推理因素，其领域子分数不具区分能力，且对前沿模型的区分能力有限。

Hearsay: Vision-Language Medical Diagnoses Without an Image

Hearsay：无需图像的视觉-语言医学诊断

Siddharth Vohra

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon Web Services AI Native（亚马逊网络服务AI原生部门） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究发现前沿视觉-语言模型在无图像时会基于人口统计学特征编造医学诊断，存在不同失败模式，提出需直接审计其结构化输出通道并将探针词敏感性作为核心评估维度。

Comments Peer-reviewed and presented at the 1st Workshop on Toward Trustworthy Vision-Language Models in the Wild (TrustVLM), co-located with ACM ICMR 2026, Amsterdam. Non-archival workshop. Reviews public on OpenReview. 5 pages, 2 figures

ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models

ForgetBench：语言模型中长期参数记忆的遗忘动态基准测试

Ruxi Gu, Zhenliang Zhang, Wei Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出ForgetBench基准测试，通过两种评估范式与统一分析框架，揭示现有LLMs在长期知识保留与泛化间难以平衡的问题，为未来模型记忆机制优化提供方向。

Comments 9 pages, 4 figures

Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach

对齐大语言模型模拟与人类应试者的心理测量校准：一种认知诊断画像方法

Wenjie Zhou, Yunting Liu, Renjiao Tang, Mark Wilson

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出认知诊断画像（CDP）零样本框架，优化LLM模拟应试者的心理测量对齐，在Tatsuoka分数减法数据集上提升了能力分布、掌握画像及题目难度与人类的匹配度，助力LLM模拟应试者用于测试开发。

Addressable Recall Compaction for Long Context-Window Control in AI Agents

用于人工智能代理中长上下文窗口控制的可寻址召回压缩

Thang Dang, Yuma Ichikawa, Sakina Fatima, Koichi Shirahata

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长时程语言模型代理上下文窗口超界问题，提出ARC框架，将存档与活动上下文分离，以ID可寻址日志存储工具观察结果，压缩时替换旧观察结果。实验表明该方法能提高信息保留和服务效率。

Comments 20 pages, 2 figures

Aletheia: An Offline-First Clinical Decision Support System for Differential Diagnosis in Low-Resource Healthcare Settings

Aletheia：用于低资源医疗环境中鉴别诊断的离线优先临床决策支持系统

Joseph Walusimbi, Ann Move Oguti, Abubakhari Sserwadda, Precious Boss Kasasira, Charles Brian Okoboi

机构 * Soroti University（索罗蒂大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对撒哈拉以南非洲低资源医疗环境，提出基于Qwen2.5 - 3B - Instruct并经QLoRA微调的Aletheia临床决策支持系统，评估显示其在诊断准确率等指标上表现良好，证明在无云设施的资源受限环境初级保健层部署大语言模型临床推理的可行性。

Comments 8 pages, 11 figures, 4 tables

RSMeM: Knowledge-Enhanced Memory Evolution for Remote Sensing Agents with Systematic Evaluation

RSMeM：用于遥感智能体的知识增强记忆进化及系统评估

Bingxian Wu, Yu Zhang, Zonghao Guo, Tang Liu, Chen Qian, Yuxiang Lu, Xingbo Du, Yanghao Li, Yidan Zhang, Chi Chen, Ling Yao, Maosong Sun

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有遥感智能体问题，提出RSMeM机制，通过分层知识基础和失败感知经验提炼两个组件，迭代吸收领域知识转化为执行经验，经实验验证能提升工具使用性能和答案质量，具有强大知识密度。

Comments Accepted to ACL 2026 Main. Code: https://github.com/AI9Stars/RSMeM

Closed-Loop Validation-Repair for Healthcare Interoperability: A Multi-Model Study of Schema Compliance in Clinical LLMs

医疗保健互操作性的闭环验证修复：临床大语言模型中模式合规性的多模型研究

Jianru Shen

机构 * University of Montana（蒙大拿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究医疗大语言模型集成到电子健康记录系统面临的模式不合规问题，通过在多场景下部署三个开源模型并评估，发现模式不合规具有一致性，验证 - 修复框架可有效提高合规率，为医疗互操作性提供保障。

Comments Accepted at the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC 2026)

Understanding Tone-Dependent Inference Cost in Large Language Models

理解大语言模型中与语气相关的推理成本

Akhil Kumar, Om Dobariya

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究提示语气对大语言模型答案准确性及推理成本的影响，通过在MMLU数据集上对七种语气进行实验，发现输出令牌长度变化超准确性变化，不同模型在不同语气下有不同表现，揭示语气对答案质量和推理资源消耗的作用。

Comments 16 pages, 1 figure, 9-page Appendix

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

新主张还是似曾相识？重新思考多模态自动事实核查的“无污染”动态评估

Haorui He, Xinwen Chen, Dacheng Wen, Reynold Cheng, Francis C. M. Lau, Yupeng Li

机构 * Hong Kong Baptist University（香港浸会大学） ； The University of Hong Kong（香港大学） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态自动事实核查中基准的污染风险，通过实证研究静态和动态基准，发现动态评估虽能减少但不能消除污染，新主张可多种方式验证，污染会致性能膨胀和排名扭曲，为可信评估提供实用指南。

Comments Accepted at ACM Multimedia (ACM MM), 2026

Structure Over Scale: Schema-Constrained Causal Graphs for RAG

结构跨越尺度：用于检索增强生成的模式约束因果图

Marc Saouda, Rajprakash Bale, Eren Aldis, Cloves Almeida

机构 * Boston Consulting Group（波士顿咨询集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对GraphRAG问题，提出HCG-RAG，用模式约束因果图取代开放式提取，构建紧凑两层图。该方法成本低，答案质量优，在医学等基准测试中表现出色，对比实验显示因果图作为检索过滤器有优势，表明图内容比节点数量更重要。

Comments 26 pages, 6 figures

Industrial Tokenization for LLM-Based Health Intelligence: A Federated Architecture for Industrial Evidence Integration

基于大语言模型的工业健康智能的工业令牌化：一种用于工业证据集成的联邦架构

Deshui Li, Xiao-Ming Yuan, Zishun Wang

机构 * Mingyang Smart Energy Co., Ltd.（明阳智慧能源集团股份有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究工业健康管理中异构信息源集成问题，提出工业令牌化概念及联邦架构，将特定源分析输出转为工业令牌，以实现跨源推理。给出基于振动诊断输出等的端到端诊断令牌路径，定位工业令牌化为语义接口。

Comments 10 pages, 1 figure

Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation

用于 CUDA 内核生成的具有结构和性能感知奖励的多轮强化学习

Quazi Ishtiaque Mahmud, Nesreen K. Ahmed, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Cisco AI Research（思科人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对 CUDA 内核生成，提出 CudaPerf 框架，结合可验证执行奖励与结构代码感知奖励，分离线排序和在线训练两阶段，利用执行反馈迭代细化，通过实验证明其显著优于基线，在加速和正确性上有大幅提升。

NVIDIA-labs OO Agents: Native Python Object-Oriented Agents

NVIDIA实验室的OO智能体：原生Python面向对象智能体

Paul Furgale, Severin Klingler, James Nolan, Matt Staats, Gaia Di Lorenzo, Elisa Martinez Abad, Christian Schüller, Razvan Dinu, Alessio Devoto, Pascal Berard, Gal Kaplun, Elad Sarafian, Riccardo Roveri, Leon Derczynski, Ricardo Silveira Cabral

机构 * NVIDIA-labs（英伟达实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出NOOA这一Python框架构建可靠AI智能体，采用智能体即Python对象的编程模型，结合六个面向模型的理念，证明当前模型能有效使用此接口并在相关测试中表现良好，为智能体开发提供新途径。

StabilityBench: Benchmarking Instability in LLMs

StabilityBench：评估大语言模型中的不稳定性

Emma Kondrup, Zachary Yang, Anne Imouza, Reihaneh Rabbany

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型实际行为难测、现有评估协议有局限的问题，提出StabilityBench基准测试工具，通过注入现实模拟增强现有基准，应用于四个基准测试评估九个模型，发现性能不稳定，还提出StabilityBench-Mini以实现更现实评估。

ConfidenceBench: Evaluating Confidence Calibration in Large Language Models

ConfidenceBench：评估大语言模型中的置信度校准

Matthew ffrench-Constant, Daniel Yang, Xinmeng Huang, Sanyam Kapoor

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Pennsylvania（宾夕法尼亚大学） ； New York University（纽约大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型在特定场景下仅靠准确性不足的问题，提出ConfidenceBench校准基准，用Brier分数评估15个前沿LLMs口头置信度，经实验发现模型准确性与校准差异大，证明口头置信度校准是LLM可靠性重要维度，补充了基于准确性的评估。

Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain

电信-GAIA：电信领域智能体的双语基准测试

Dmitrii Khizbullin, Zaid Alyafeai, Abdelrahman Eldesokey, Nourah AlSultan, Raghad Alshalan, David R. Pugh, Bernard Ghanem

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； stc（沙特电信公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 介绍电信-GAIA双语多模态基准测试，含100个人工验证问答任务，需多跳推理，跨越多种异构源。以沙盒化Docker环境提供，通过规范化精确字符串匹配评分。评估发现其具有挑战性，为企业智能体提供测试平台和构建基准测试的模板。

Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models

基于超网络的大语言模型知识注入的缩放定律

Nischay Dhankhar, Dos Baha, Abulhair Saparov

机构 * Nace AI（Nace人工智能公司） ； Purdue University（普渡大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型训练时知识注入问题，核心方法是用超网络生成LoRA适配器，主要贡献是发现超网络注入能力随规模变化规律，能可靠进行分布外泛化，为训练时适应提供新基础及缩放定律。

Comments Preprint, 22 pages, 14 figures. Dataset collection available at https://huggingface.co/collections/nace-ai/hypernetwork-datasets

Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX

在英特尔 TDX 下对 NVIDIA H100 上的机密 GPU 推理进行基准测试

Wei Wang, Abdul Hyee Waqas, Burns Smith

机构 * Mozilla 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 研究在英特尔 TDX 下 NVIDIA H100 GPU 上，比较标准与机密计算模式对语言模型推理的影响。通过两个模型实验，测量多项指标，发现机密模式会使首次令牌时间增加、全局令牌吞吐量下降，较大模型更早饱和，为容量规划提供参考。

Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards

超越分数预测：基于强化学习和评分标准奖励的基于大语言模型的作文评分与反馈生成

Xuefeng Jin, Jiashuo Zhang, Teng Cao, Bin Yang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究基于大语言模型的作文评分与反馈生成，提出RLAES框架，通过强化学习联合优化。引入RFE评估框架，提出AGFO和ACR方法。实验表明RFE能捕捉一致性，RLAES-AGFO在评分性能上最佳，保持反馈质量同时避免反馈退化。

Comments 12 pages, 4 figures, 9 tables

Supra Cognitive Modes: A Routed Architecture for Agent Memory

超认知模式：一种用于智能体记忆的路由架构

Joshua Tobkin, David Yang

机构 * Supra Research（超研） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究智能体记忆工作负载，提出超认知模式（SCM）架构，通过共享摄取底层及相关机制处理查询，在三个基准上进行表征，给出参考运行成绩等，展示了一种路由配置及故障模式，验证了相关设计。

Computational Humor with Multimodal LLMs: Methods, Datasets, Evaluation, and Challenges

基于多模态语言模型的计算幽默：方法、数据集、评估及挑战

Tuo Liang, Zhe Hu, Disheng Liu, Jing Li, Yu Yin

机构 * Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究聚焦于单图像和多面板作品中的视觉幽默理解，通过与先前综述对比，按能力层次组织文献，综合基准设计等内容，追溯领域转变，指出进展的主要障碍包括易出现捷径的评估、文化覆盖有限等问题。

HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers

HALLMARK：诊断大语言模型引用验证器中的三种失败模式

Patrik Reizinger, Wieland Brendel

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型引用验证器的失败模式，通过HALLMARK基准测试评估多种验证器，发现误报率决定验证器是否可部署，并具体指出三种失败模式，强调误报率是部署瓶颈，未检测到的伪造对科学记录代价更高。

Comments 59 pages, 7 figures, 40 tables. Benchmark and code: https://github.com/rpatrik96/hallmark (v1.2.0); verification tool: https://github.com/rpatrik96/bibtexupdater (v1.5.0)

Logical Judgments Under Pressure: Diagnosing Syllogistic Stability with Learned Soft Prefixes

压力下的逻辑判断：用学习到的软前缀诊断三段论稳定性

Brian K Chen

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究在三段论推理基准前加软前缀，探究学习到的上下文压力对模型逻辑判断的影响，发现软前缀能改变正确答案，在多模型测试中效果优于随机对照，主要影响是答案偏好，不同模型有显著差异。

Comments 41 pages, 6 figures

FIFA World Cup 2026 as a Contamination-Free Benchmark for LLM Forecasting Agents: Four Models, a Bookmaker, and 104 Matches

2026年国际足联世界杯作为语言模型预测代理的无污染基准：四个模型、一个博彩公司和104场比赛

Jiacheng Ding, Cong Guo, Jason Xu

机构 * University of Memphis（孟菲斯大学） ； QuantaInsight（量子洞察） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 介绍WC2026-Agents基准和数据集，用于评估大语言模型作为世界杯预测代理。四个前沿模型对104场比赛运行相同循环，与博彩市场数据配对。揭示模型预测虽有相同首选，但在决策质量等方面差异大，可衡量校准等方面。