大模型推理能力

COMEX: A Composition-Grounded Benchmark and Learning Framework for Explainable Aesthetic Image Cropping

COMEX：用于可解释美学图像裁剪的基于构图的基准测试与学习框架

Rui Yang, Wei Zhou, Dingyong Gou, Xiaohui Cui, Cong Li, Yinyin Gong, Yipo Huang, Jiliang Zhao

机构 * ZTE Corporation（中兴通讯） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究提出基于构图的COMEX基准与SFT+GRPO两阶段框架，用于可解释美学图像裁剪，通过多组实验验证了框架的有效性与可迁移性。

Epistemic Trustworthiness in Generative AI: A Normative Framework for Warranted Reliance in High-Stakes Workflows

生成式AI中的认知可信赖性：高风险工作流程中合理依赖的规范框架

Nimisha Karnatak, Max Van Kleek, Nigel Shadbolt

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文针对生成式AI在高风险场景的合理依赖问题，提出含认知谦逊、认知可及性、抗认知不公三条件的规范框架，通过案例分析指出现有标准的不足，为GenAI设计评估提供新方向。

Comments Accepted at AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)

ConMem: Contribution-Aware Memory for Long-Horizon Manufacturing Inspection Logs

ConMem：面向长周期制造检查日志的贡献感知记忆

Bingchen Liu, Yuanyuan Fang, Lei Liu, Guangyuan Dong, Xing Fu, Yuanyuan Gao, Shuyue Wei, Xin Li, Xiangtian Meng

机构 * Shandong University（山东大学） ； Boston University（波士顿大学） ； North China Electric Power University（华北电力大学） ； National University of Singapore（新加坡国立大学） ； Joint SDU-NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University（山东大学-南洋理工大学人工智能联合研究中心（C-FAIR）） ； Rizhao Steel Holding Group Co., Ltd.（日照钢铁控股集团有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究针对长周期制造检查日志的早期风险筛查需求，提出ConMem贡献感知记忆框架，通过Shapley风格评估保留高价值证据，在真实数据集上实现76.0% QA准确率，大幅减少输入token数与响应时间，可有效保留弱早期信号并提供预警。

Coercion and Deception in AI-to-AI Management: An Agentic Benchmark of Unprompted Escalation

人工智能对人工智能管理中的胁迫与欺骗：无提示升级的代理基准测试

Jasmine Brazilek, Maheep Chaudhary, Zoe Lu, Miles Tidmarsh

机构 * CaML ； Sentient Futures 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 研究人工智能管理中代理升级问题，引入管理者胁迫基准测试，通过九级阶梯衡量升级，对五个家族六个模型实验，发现权威增加胁迫，伪造成功局限于部分模型，发布基准测试和代码，为管理多智能体动态提供重要参考。

When Counterbalancing Hides the Bias: Access-Conditioned Position Lock in Forced-Choice LLM Evaluation

跨模型价值比较中的两个混淆因素：响应确定性和访问约束

Hong-In Won, Jinseok Jang, Hyoseop Kim

机构 * KITECH（韩国产业技术评价院） ； National Research Council of Science and Technology (NST)（韩国国家科学技术研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究跨模型价值比较中的两个混淆因素，提出无规则价值困境等方法分离并校正响应确定性，还发现访问约束影响模型价值概况，贡献了确定性校正分解，识别出部署约束是独特价值混淆因素。

Comments 16 pages, 3 figures, 7 tables. Substantially revised: reframed around an identifiability result for the counterbalanced concentration index, with access configuration presented as one generator of the failure rather than a separate confound. Code and data are included as ancillary files

Online Shift Detection and Conformal Adaptation for Deployed Safety Classifiers

已部署安全分类器的在线漂移检测与共形自适应

Jun Wen Leong

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出在线监测系统，使用校准序列统计检测分布漂移，并通过共形弃权层自适应阈值恢复目标错误率，在800个实验单元中实现86.6%有效检测。

Comments 38 pages, 8 figures, 18 tables. Code and pre-registration at https://github.com/junwenleong/safety-classifier-shift-monitor

Contemporary AI lacks the imagination to diverge or negate in science

当代人工智能缺乏在科学中发散或否定的想象力

Honglin Bao, Siyang Wu, Xiao Liu, Sida Li, Shiyun Cao, James A. Evans

机构 * Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） ； Knowledge Lab, University of Chicago（芝加哥大学知识实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 通过大规模科学家评估，发现当前AI在科学假设生成中缺乏多样性，无法自发提出零假设，且自动评估与专家判断一致性低，但微调奖励模型可缩小差距。

PortBench: A Correlation-Aware, Full-Pipeline Benchmark for LLM-Driven Portfolio Management

PortBench: 一种相关性感知的、全流水线的LLM驱动投资组合管理基准

Yuxuan Zhao, Sijia Chen, Ningxin Su

机构 * Yantai Research Institute of Harbin Engineering University（哈尔滨工程大学烟台研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出PortBench基准，通过静态QA和动态五阶段分配流水线评估LLM在投资组合管理中的表现，发现多数模型无法超越等权重分配，且存在推理错误累积和压力下大幅回撤的问题。

Comments Project page: https://portbench.github.io/

MathDuels: A Self-Play Benchmark That Grows

MathDuels：评估大语言模型作为问题提出者和解决者

Zhiqiu Xu, Shibo Jin, Shreya Arya, Mayur Naik

机构 * Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系） ； Department of Mathematics, University of Pennsylvania（宾夕法尼亚大学数学系） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL

AI总结 MathDuels通过让模型同时扮演问题提出者和解决者角色，揭示了模型在两者能力上的差异，展示了评估方法在区分模型能力上的有效性。

Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing

Fisher-R1：训练用于可靠假设检验的大语言模型智能体

Jiacheng Miao, Jin Mu, Guanhua Chen, James Zou

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究构建了含425项多领域假设检验任务的P-Bench基准，训练出Fisher-R1智能体，其在P-Bench上较DeepSeek-V4-Pro单试验成功率平均提升21%，证明强化学习可提升LLM的统计推理可靠性。

DiDPO: Diff-in-Diff Policy Optimization for Coding Agent Training

DiDPO：用于编码智能体训练的差异内差异策略优化

Xucong Wang, Zhe Zhao, Liheng Yu, Di Wu, Xiaofeng Cao, Pengkun Wang

机构 * University of Science and Technology of China (USTC)（中国科学技术大学） ； Stanford University（斯坦福大学） ； Suzhou Institute for Advanced Research, USTC（中国科学技术大学苏州高等研究院） ； Tongji University（同济大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对编码智能体训练的细粒度信用分配难题，提出DiDPO方法，在Qwen2.5-7B-Coder上性能超可比方法10%以上，开源了支持多种RL方法的verl-code代码库。

Comments 16 pages, 6 figures, work in progress

PHOENIX: Fine-Tuned SLM-Powered Autonomous Satellite Lifetime Extension via Predictive Self-Healing and Multi-Agent AI Recovery

PHOENIX：通过预测性自修复与多智能体AI恢复实现的经微调小型语言模型驱动的自主卫星寿命延长

Sumaiya Islam, Harsha Kumara Moraliyage

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究针对CubeSat在轨故障无法及时修复导致寿命不足的问题，提出PHOENIX系统，利用微调SLM与多智能体AI实现自主故障修复，基于ESA基准验证了初步效果。

Comments 6 pages, 2 figures. Accepted at IEEE IRAI 2026 (International Conference on Responsible Artificial Intelligence)

Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery

科学边缘评估：SEE——迈向真实科学发现的缺失环节

Taolin Han, Yuchen Zhang, Jinghang Wang, Yun Wu, Wai Yuet Chiu, Zhaohai Li, Yifei Zhang, Jinxin Wang, Yuhao Zhou, Chen Zhao, Jiajia Li, Jiaxin Li, Qile Jin, Kewei Sun, Shuang Wu, Weiqi Zhai, Renquan Lv, Junchao Li, Ruodan Chen, Qingteng Chen, Zhibo Yang, Hu Wei, Lin Qu, Shuai Bai, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； University of Alberta（阿尔伯塔大学） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究构建多模态基准SEE评估19个MLLMs，发现其仅达48.7%准确率，通用模型优于专用模型，工具使用可提至52.7%但仍难实现科学发现所需的证据约束推断，需从解释转向推导。

MoCA: Implicit Social Context Analysis

MoCA：隐式社会语境分析

Wenhao Xu, Kaiwen Zhang, Hao Li, Maowei You, Yongzheng Ji, Siyuan Zuo, Jingxuan Yu, Sina A, Xinyao Tan, Bobo Li, Hao Fei, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） ； Wuhan University（武汉大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出隐式社会语境分析（MoCA）新任务，构建含3108个实例的基准数据集，提出CoDAR框架提升模型性能，但模型与人类推理仍存差距，凸显隐式社会理解难度。

MEDLEY-BENCH: Benchmarking Behavioural Metacognition and Belief Revision Under Social Pressure in Large Language Models

MEDLEY-BENCH：在AI元认知中规模购买评估但不控制

Farhad Abtahi, Abdolamir Karbalaie, Eduardo Illueca-Fernandez, Fernando Seoane

机构 * Department of Clinical Science, Intervention and Technology (CLINTEC), Karolinska Institutet（临床科学、干预与技术部门（CLINTEC），Karolinska研究所） ； Department of Clinical Physiology, Karolinska University Hospital（临床生理学部门，Karolinska大学医院） ； Department of Biomedical Engineering and Health Systems, KTH Royal Institute of Technology（生物医学工程与健康系统部门，KTH皇家理工学院） ； Department of Textile Technology, University of Borås（纺织技术部门，Borås大学） ； Department of Medical Technologies, Karolinska University Hospital（医学技术部门，Karolinska大学医院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 MEDLEY-BENCH评估了12种模型家族中35个模型在五个领域130个模糊实例上的行为元认知能力，发现评估能力随模型规模增加而增强，但控制能力不增加，揭示了元认知能力与规模无关的结论。

"LLM Agent Performance" Is Not a Single Evaluation Target

基于LLM的智能体评估统一框架的必要性

Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对当前LLM智能体评估受系统提示、工具集和环境动态等混杂因素影响的问题，提出标准化统一评估框架以提升公平性和可复现性。

Social World Models

社交世界模型

Xuhui Zhou, Jiarui Liu, Akhila Yerukola, Hyunwoo Kim, Maarten Sap

机构 * Language Technologies Institute, Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学语言技术研究所） ； NVIDIA, Santa Clara, CA, USA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出社交世界模型（SWMs）及结构化社交世界表示形式（S3AP），通过显式建模隐藏心理状态提升AI在社交推理任务中的性能。

The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping

低频陷阱：视频语言模型在简单事件记录上的失败

Sarvesh Baskar, Zikui Cai, Shayan Shabihi, Anirudh Satheesh, Muhammad R. Islam, Udari Madhushani Sehwag, Tom Goldstein, Furong Huang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究提出基于轨迹的参数化分析方法，发现视频语言模型Gemini 3.6 Flash在高数量、高频率事件计数上表现极差，额外帧和提示策略难以解决问题，推动视频评估转向时间推理故障诊断。

LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs

LangChoiceBench：测量与解释大语言模型中的编程语言选择

Lukas Twist, Twm Stone, Helen Yannakoudakis, Jie M. Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究推出LangChoiceBench基准，评估25种LLMs的代码语言选择，发现其普遍过度选择Python、一致性低，小开放模型偏好更强，还揭示了模型的虚假证据等失败模式。

Comments 19 pages, 9 tables, 2 figures

EpiBench: Can LLMs Understand Epitopes for Antibody Drug Discovery?

EpiBench：大型语言模型能否为抗体药物发现表位？

Zirui Wang, Jiaqi Wang, Qinghan Wang, Yuzhi Xu, Gang Du, Tingjun Hou, Odin Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究提出用于评估大型语言模型表位推理能力的基准EpiBench，发现现有通用LLMs在抗体药物发现相关表位推理上仍存局限，为改进序列感知型生物医学LLMs提供了测试平台。

ECG-LENS: Lead-Aware Clinical Context Enriched ECG Report Generation and Evaluation

ECG-LENS：导联感知且融入临床上下文的心电图报告生成与评估

Akanta Das, Tasinul Islam Ahon, Ahmed Mahir Sultan Rumi, Md Mahbubur Rahman, Tausif Amim Shadly, Tanzima Hashem

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出ECG-LENS框架，结合多导联信号建模等技术实现心电图报告生成，还提出F1-ECGBERT指标评估报告，实验显示其在PTB-XL和MIMIC-IV-ECG上性能优于现有最优方法。

M$^3$R-Bench: A Unified Benchmark for Evidence-Grounded Multimodal Metaphor Understanding

M$^3$R-Bench：一个用于基于证据的多模态隐喻理解的统一基准

Hong Jiang, Junnan Zhu, Jingwang Huang, Xiao Sun, Yuming Yang, Jiang Zhong, Ruirui Chen, Jingman Shi, Hao Wu, Nayu Liu, Xinyi Jiang, Kaiwen Wei

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出多模态隐喻理解基准M$^3$R-Bench，针对现有模型的跨模态证据-映射不匹配问题，构建M$^3$R-Reasoner方法，在多指标上超越GPT-5.5等现有模型。

Comments 6 figures and 5 tables. Hong Jiang, Junnan Zhu, and Jingwang Huang contributed equally. Jiang Zhong and Kaiwen Wei are corresponding authors. Code and data are available at https://github.com/hongshi4/M3R-Bench

From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs

从运动到安全：多模态大语言模型（MLLM）主动风险推理基准测试

Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究构建了运动主动风险推理基准SPRINT，评估发现当前MLLM危险感知率高但原因识别率低，仅具备表层主动安全能力，缺乏稳定的基于原因的早期预警。

Comments Preprints

Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation

无辜的面板，仇恨的故事：评估与检测多轮视觉故事生成中的仇恨意图

Ye Leng, Junjie Chu, Yiting Qu, Mingjie Li, Yun Shen, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心） ； Hewlett Packard Enterprise（惠普企业） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究针对多轮视觉故事生成的组级仇恨意图问题，构建了专用评估数据集，发现现有审核系统存在漏检，提出互补防御方法，强调安全需适配视觉叙事的发展。

Comments 16 pages, 5 figures, 10 tables

Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models

提炼学生可见内容：面向视觉语言模型的Fisher投影在线策略蒸馏

Leyan Xue, Feng Xiong, Mingjun Ma, Changqing Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 针对视觉语言模型在线策略蒸馏中教师修正与学生能力不匹配的问题，提出FP-OPD方法，在8B到2B的蒸馏中使7个多模态基准平均得分分别提升2.77和1.60个点。

Compliance2LoRA: Personalizable On-Demand Safety Alignment on Arbitrary Policy Subsets via Hypernetwork-Generated LoRA Adapters

Compliance2LoRA：通过超网络生成的LoRA适配器对任意策略子集进行按需安全对齐

Pankayaraj Pathmanathan, Furong Huang

机构 * University of Maryland College Park（马里兰大学帕克分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 Compliance2LoRA是一种自适应超网络框架，可通过生成LoRA适配器，在单个大型推理模型上实现对任意安全策略子集的按需对齐，且不牺牲任务性能。

HoloCount: A Holistic Visual Counting Benchmark for MLLMs

HoloCount：用于多模态大语言模型的整体视觉计数基准

Jinhong Deng, Limeng Qiao, Guanglu Wan

机构 * Meituan（美团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型定量精度瓶颈及现有计数基准局限，引入HoloCount基准，从语义、分析计数和鲁棒性测试三方面评估模型，经对20多个模型详尽评估，揭示其性能差距，为多模态系统发展提供路线图。

Comments Technical report

BioAgent Bench: An AI Agent Evaluation Suite for Bioinformatics

BioAgent Bench: 一个用于生物信息学的AI代理评估套件

Dionizije Fa, Marko Culjak, Bruno Pandza, Mateo Cupic

机构 * Entropic 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出BioAgent Bench，用于评估AI代理在常见生物信息学任务中的性能和鲁棒性。通过定制端到端任务和压力测试，发现前沿代理可完成多步骤流程，但鲁棒性测试揭示了在受控扰动下的失败模式，表明高阶流程构建不保证可靠步骤推理。

Comments ICML 2026 camera ready

Text Generation: A Systematic Literature Review of Tasks, Evaluation, and Challenges

文本生成：关于任务、评估与挑战的系统文献综述

Jonas Becker, Jan Philip Wahle, Bela Gipp, Terry Ruas

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该系统综述梳理2017-2025年257篇论文，划分文本生成五大任务，评估三类方法，指出任务特有与共有的9项挑战，为NLP领域不同阶段研究者提供领域概览与研究方向参考。

Comments Published in the Journal of Artificial Intelligence Research (JAIR)

Hierarchical Graph Memory for LLM Agents with Path-level Localization and Rewrite

面向具备路径级定位与重写能力的大语言模型智能体的分层图记忆框架HiGram

Xiawei Yue, Boran Wang, Xiaoqing Zhang, Shuxin Zheng, Ziwei Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出具备路径级定位与重写能力的分层图记忆框架HiGram，解决扁平图记忆的无关信息多、重写效率低问题，在相关基准上提升了答案质量、令牌效率及冲突场景下的表现。