大模型推理能力

RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments

RLVE: 利用自适应可验证环境扩展语言模型的强化学习

Zhiyuan Zeng, Hamish Ivison, Yiping Wang, Lifan Yuan, Shuyue Stella Li, Zhuorui Ye, Siting Li, Jacqueline He, Runlong Zhou, Tong Chen, Chenyang Zhao, Yulia Tsvetkov, Simon Shaolei Du, Natasha Jaques, Hao Peng, Pang Wei Koh, Hannaneh Hajishirzi

机构 * University of Washington（华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出RLVE方法，通过程序化生成问题并提供可验证奖励的可验证环境，自适应调整难度以扩展语言模型的强化学习，在400个环境中联合训练使六个推理基准平均提升3.37%。

Comments ICML 2026

SubtleMemory: A Benchmark for Fine-Grained Relational Memory Discrimination in Long-Horizon AI Agents

SubtleMemory: 面向长时程AI智能体的细粒度关系记忆辨别基准

Wenxuan Wang, Haoyu Sun, Fukuan Hou, Mingyang Song, Weinan Zhang, Yu Cheng, Yang Yang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tongji University（同济大学） ； Xiamen University（厦门大学） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出SubtleMemory基准，通过构建关系控制的潜在语义伪影并嵌入用户-智能体交互历史，评估长时程AI智能体在后续查询中恢复分布式关系结构的能力。

Comments 48 pages

MCERF: Advancing Multimodal LLM Evaluation of Engineering Documentation with Enhanced Retrieval

MCERF：通过增强检索推进工程文档的多模态大语言模型评估

Kiarash Naghavi Khanghah, Hoang Anh Nguyen, Anna C. Doris, Amir Mohammad Vahedi, Daniele Grandi, Faez Ahmed, Hongyi Xu

机构 * School of Mechanical, Aerospace, and Manufacturing Engineering, University of Connecticut, Storrs, CT 06269（机械、航空航天与制造工程学院，康涅狄格大学，斯托尔斯，CT 06269） ； Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA（机械工程系，麻省理工学院，剑桥，MA 02139，美国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出MCERF框架，结合多模态检索器ColPali与大语言模型推理，通过混合查找、视觉文本融合、高推理和自一致性决策等策略，在DesignQA基准上实现平均准确率相对提升41.1%，无需完整规则书摄入即可处理工程文档中的多模态问答。

PinpointQA: A Benchmark for Small Object-Centric Spatial Understanding in Indoor Videos

PinpointQA: 一个用于室内视频中微小物体中心空间理解的数据集和基准

Zhiyu Zhou, Peilin Liu, Ruoxuan Zhang, Luyang Zhang, Cheng Zhang, Hongxia Xie, Wen-Huang Cheng

机构 * Jilin University（吉林大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 推理评测 ：reasoning(abstract,comments)；分类 cs.AI

AI总结 本文提出PinpointQA数据集，用于评估多模态大语言模型在室内视频中对微小物体空间定位的精准理解能力，通过四个递进任务验证模型性能，并展示其作为诊断基准和训练数据集的效果。

Comments Accepted at the ECCV 2026 Workshop on Embodied Multimodal Reasoning in Physical Environments (EMR)

A Model-Internal Protocol for Assessing Multimodal Models as Integrated Systems

你能看到你所绘制的内容吗？面向统一多模态模型整体评估的语义闭环框架

Hao Zhang, Jiaxin Qi, Zhijiang Tang, Jianqiang Huang

机构 * Hangzhou Institute for Advanced Study（杭州高等研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Computer Network Information Center（计算机网络信息中心） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究针对统一多模态模型的系统级评估缺口，提出无标注的SGU语义闭环框架，通过感知-生成-推理流程评估模型综合能力，发现高性能模型存在自生成上下文推理局限，为下一代模型开发提供基准基础。

Comments 21 pages, 8 figures, 12 tables. Title updated; author contribution and corresponding-author notes added. Hao Zhang and Jiaxin Qi contributed equally; Jianqiang Huang is the corresponding author

When Contextual Inference Fails: Cancelability in Interactive Instruction Following

当情境推理失效时：交互指令跟随中的可取消性

Natalia Bila, Kata Naszádi, Alexandra Mayn, Christof Monz

机构 * Language Technology Lab, University of Amsterdam（阿姆斯特丹大学语言技术实验室） ； Department of Language Science and Technology, Saarland University（萨尔兰大学语言科学与技术系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究探讨了在协作积木构建任务中，如何区分字面解释与情境推理，引入了交互基准测试BWIM，发现模型在判断与行动间存在脱节，未能有效利用信息进行澄清。

PACT: Phenotype-Aware Contrastive Team Representation for Multi-Phenotype Grouped Ad Hoc Teamwork

PACT：面向多表型分组临时协作的表型感知对比团队表示

Beiwen Zhang, Yongheng Liang, Guowei Zou, Haitao Wang, Liu Cong, Hejun Wu

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对多智能体系统中需与多样表型陌生队友协作的MPG-AHT问题，提出PACT方法，经实验验证其在分布外评估与样本效率上均优于现有最优基线。

ConspirED: A Dataset for Cognitive Traits of Conspiracy Theories and Large Language Model Safety

ConspirED：一个用于研究阴谋论认知特质与大语言模型安全性的数据集

Luke Bates, Max Glockner, Preslav Nakov, Iryna Gurevych

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究推出首个标注阴谋内容通用认知特质的CONSPIRED数据集，利用其开发识别阴谋特质的计算模型，并发现大语言模型易被阴谋框架误导而复制其修辞模式。

Comments Accepted at TACL

AVA-Encoder: Towards Agent-Native Video Representation Learning

AVA-Encoder：面向智能体原生的视频表示学习

Chuyue Li, Jinpeng Yu, Haozhe Wang, Tian Xueyun, Zhijing Zhang, Bingnan Li, Shuqi Gu, Kan Ren, Jiaming Liu, Ruihua Huang

机构 * Qwen Business Unit of Alibaba（阿里巴巴通义千问业务部） ； ShanghaiTech University（上海科技大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Institute of Computing Technology（中国科学院计算技术研究所） ； Southeast University（东南大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对创意智能体缺乏从高质量电影学习的有效方式的问题，提出AVA-Encoder框架，其视频表示经重构优化后，在相关基准上性能优于现有方法，还发布了配套框架、基准及数据集。

Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM

Dripper：一种轻量级的HTML主内容提取框架

Mengjie Liu, Jiahui Peng, Wenchang Ning, Pei Chu, Jiantao Qiu, Ren Ma, He Zhu, Rui Min, Lindong Lu, Linfeng Hou, Kaiwen Liu, Yuan Qu, Zhenxiang Li, Chao Xu, Zhongying Tu, Wentao Zhang, Conghui He

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 Dripper通过轻量级框架实现高效HTML主内容提取，兼顾效率与准确性，开源模型促进高质量数据集构建。

Eval4Sim: An Evaluation Framework for Persona Simulation

Eval4Sim: 一种用于人设模拟的评估框架

Eliseo Bao, Anxo Perez, Javier Parapar, Xi Wang

机构 * University of Sheffield（谢菲尔德大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 Eval4Sim提出了一种评估框架，用于衡量模拟对话与人类对话模式的契合度，通过三个互补维度评估人设的忠实性、一致性和自然性。

Comments Accepted at CIKM 2026

Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework

基于基准的公开基准印度基础模型对比评估：能力与评估成熟度框架

Avinash Agarwal, Vridhi Jain

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出能力与评估成熟度框架，对公开基准的印度基础模型与全球同类模型对比评估，发现其在传统基准表现尚可但参与新评估不足，还提出基准成熟度指数，指出能力差距或源于评估生态问题。

Comments 19 pages, 11 tables

Honeyquest for LLMs: Rethinking Cyber Deception for AI Attackers

Honeyquest for LLMs: 重新思考针对AI攻击者的网络欺骗

Kerri Prinos, Lilianne Brush, Cameron Denton

机构 * Horizon3.ai 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究提出自动评估框架，测试21个LLM（从8B到1T参数）对网络欺骗陷阱的反应，发现LLM比人类更容易上当，缺乏注意力转移效应，且存在认知-行动差距（73.4%识别陷阱但仍被利用），表明以人为中心的欺骗假设不适用于AI攻击者。

Comments 20 pages, 4 figures, 2 tables

Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models

追踪真相：面向视频大语言模型的物体感知时空监控

Tri Cao, Khoi Le, Thong Nguyen, Cong-Duy Nguyen, Quynh Vo, Anh Tuan Luu, Chunyan Miao, See-Kiong Ng, Shuicheng Yan, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） ； VinUniversity（文大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出STEMO-Bench基准测试，通过分解查询验证时空监控能力，改进视频大语言模型的时空推理一致性。

Comments The authors are withdrawing this manuscript due to errors identified in the experimental evaluation and result aggregation, which affect several reported quantitative results and some conclusions. These issues require substantial re-evaluation of the experiments and analysis

ML-AutoResearch: Training Machine Learning Research Agents with Automatically Generated Environments

通过合成任务扩展实现AI科学家

Ziyang Cai, Amir Saeidi, Harkirat Behl

机构 * Princeton University（普林斯顿大学） ； Microsoft Research（微软研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出一种合成环境生成管道，用于训练能从实践中学习的机器学习代理。通过真实数据集验证和自调试循环，生成高质量合成任务，提升Qwen3-4B和Qwen3-8B在MLGym上的性能，AUP指标分别提升9%和12%。

Lost in Historical Time? A Polish History Matura Benchmark for Large Language Models

大语言模型通过了历史考试却遗漏了《历史》：波兰高中毕业考试Matura基准测试

Adrian Trzoss, Kacper Dudzic, Wiktor Werner, Marcin Moskalewicz

机构 * Adam Mickiewicz University（亚当·密茨凯维奇大学） ； IDEAS Research Institute（IDEAS研究院） ； AMU Center for Artificial Intelligence（亚当·密茨凯维奇大学人工智能中心） ； Poznań University of Medical Sciences（波兹南医科大学） ； Maria Curie-Skłodowska University（玛丽·居里-斯克洛多夫斯卡大学） ； WSB Merito University（WSB梅里托大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究针对波兰Matura历史考试评估8款LLM，发现其总分远超人类考生，但存在波兰历史得分惩罚、源内容混淆等缺陷，推出了首个基于波兰国家课程的LLM历史基准。

SportD: How do VLMs physically strategize?

SportD：视觉语言模型能进行物理策略制定吗？

Jasin Cekinmez, Addison J. Wu, Haotian Xia, Kyumin Andrew Shim, Anay Putty, Jinglin Xiao, Zhuohan Liu, Leo Liu, Weining Shen

机构 * Princeton University（普林斯顿大学） ； Rice University（莱斯大学） ； UC Irvine（加州大学欧文分校） ； POSTECH（浦项科技大学） ； NYU Shanghai（纽约大学上海分校） ； UC Santa Barbara（加州大学圣塔芭芭拉分校） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究视觉语言模型在足球场景中能否进行物理策略制定，引入SportD基准，通过控球价值模型评估模型决策，发现模型表现低于职业球员，有偏好低方差低回报动作等问题，为衡量模型物理策略推理提供测试平台。

Research-Oriented Human-Centric Evaluation for Foundation Models

面向研究的基础模型以人为中心的评估

Yijin Guo, Kaiyuan Ji, Xiaorong Zhu, Junying Wang, Farong Wen, Chunyi Li, Zicheng Zhang, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） ； East China Normal University（华东师范大学） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对现有基础模型评估忽视用户主观体验的问题，提出Human-Centric Evaluation框架，通过604次人类评估会话及LLM-as-a-judge实验，证实人类主观评估不可替代，为基础模型研究提供新评估方式。

CIDER: A Dataset of Contextual Disclosure Boundaries for Privacy Preference Alignment

CIDER：用于隐私偏好对齐的上下文披露边界数据集

Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

机构 * University of Washington（华盛顿大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Northeastern University（东北大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文推出包含169名用户标注的CIDER数据集，用于评估LLM隐私偏好对齐，发现上下文个性化可提升预测准确率，GPT-5.4和Claude Sonnet 4.6表现更优。

Comments Accepted to COLM 2026

PhysMaster: Building an Autonomous AI Physicist for Theoretical and Computational Physics Research

PhysMaster：构建一个自主的AI物理学家用于理论和计算物理学研究

Tingjia Miao, Wenkai Jin, Jinxin Tan, Muhua Zhang, Xianghe Pang, Zexi Liu, Yuwen Du, Tian Jin, Tu Guo, Zhengliang Zhang, Jingkun Liu, Yuelin Hu, Jiejun Zhang, Yunjie Huang, Yuhan Wang, Wenbo Li, Yinuo Gao, Shuo Chen, Rui Ye, Yuzhi Zhang, Linfeng Zhang, Kun Chen, Wei Wang, Weinan E, Siheng Chen

机构 * School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； School of Physics and Astronomy（物理天文学院） ； State Key Laboratory of Dark Matter Physics（暗物质物理国家重点实验室） ； Tsung-Dao Lee Institute（李政道研究所） ； Zhiyuan College（智源学院） ； Institute of Theoretical Physics（理论物理研究所） ； Chinese Academy of Sciences（中国科学院） ； DP Technology（DP技术） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 PhysMaster通过结合抽象推理与数值计算，利用LANDAU数据宇宙提升决策可靠性，实现理论与计算物理学研究的自动化与自主发现。

Comments 23 pages, 4 figures

MOSAIC: Unveiling the Moral, Social and Individual Dimensions of Large Language Models

MOSAIC：揭示大型语言模型的道德、社会和个体维度

Erica Coppolillo, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； University of Calabria and ICAR-CNR（卡利亚里大学和ICAR-CNR） ； Thomas Lord Department of Computer Science（托马斯·劳德计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 MOSAIC首次提出评估大型语言模型道德、社会和个体维度的综合基准测试，通过九个问卷和四个游戏全面考察伦理推理能力，揭示MFT的局限性。

SpaRRTa: A Synthetic Benchmark for Evaluating Spatial Intelligence in Visual Foundation Models

SpaRRTa：用于评估视觉基础模型空间智能的合成基准

Turhan Can Kargin, Wojciech Jasiński, Adam Pardyl, Bartosz Zieliński, Marcin Przewięźlikowski

机构 * AGH University of Krakow（克拉科夫AGH大学） ； IDEAS NCBR 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 SpaRRTa通过评估视觉基础模型的空间推理能力，揭示其在不同空间任务中的表现差异，旨在推动更高效的空间意识视觉模型发展。

Comments Project page is available at https://sparrta.gmum.net/

SLAyiNG: A Diverse and Community-validated Dataset of Queer Slang

SLAyiNG：一个经社群验证的多元酷儿俚语数据集

Leonor Veloso, Lea Hirlimann, Lucija Mihić Zidar, Philipp Wicke, Valentin Hofmann, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对酷儿语言处理偏差问题，本文提出首个经社群验证的英语酷儿俚语数据集Slaying，揭示语言模型对酷儿社群无表征偏差但存在语言偏差等发现，可提升酷儿用户NLP体验。

Comments Preprint

HexEval: An Evidence-Driven Hexagonal Framework for Multidimensional Scholar Assessment

HexEval：一种用于多维学者评估的证据驱动六边形框架

Xiaokang Qu, Yiting Lin

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究提出HexEval框架，将学者评估构建为证据驱动的推理问题，通过内在与外部两个互补证据层评估，实现可解释可审计的AI辅助学者评估，同时指出公开学术数据的局限性。

Comments remove copyright information

Multimodal QUD: Inquisitive Questions from Scientific Figures

多模态QUD：来自科学图表的探究性问题

Yating Wu, William Rudman, Venkata S Govindarajan, Alexandros G. Dimakis, Junyi Jessy Li

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Ithaca College（伊萨卡学院） ； UC Berkeley, BespokeLabs.ai（伯克利大学，BespokeLabs.ai） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出多模态QUD数据集，通过结合图表与文本上下文生成探究性问题，提升多模态推理能力，实现更高质量的视觉 grounding。

Adaptive Supervised Anchoring for On-Policy Self-Distillation

面向策略内自蒸馏的自适应监督锚定

Meilin Yang, Zixuan Ding, Jianhao Nie, Weite Zhang, Yuxin Zhang, Zhiming Shao, Li Yu, Zhe Fu

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 针对策略内自蒸馏的 rollout 条件信号退化问题，提出分离监督路径并自适应调整锚定强度的框架，提升了任务获取能力并优化了可塑性-稳定性权衡。

Comments 9 pages, 4 figures, and 3 tables. Meilin Yang and Zixuan Ding contributed equally. Corresponding authors: Li Yu and Zhe Fu

Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation

提交前的证据锁定：冻结界面会降低“大模型作为评判者”的评估效果

Divyansh Singh

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究测试了证据锁定等不同LLM-as-Judge评估方案，发现证据锁定会降低与人类偏好的一致性、增加答案顺序不一致性，而结构化证据引出效果接近标准评判，持久化证据可支持审计但不应替代源答案。

Comments Withdrawn due to an error identified in the code during debugging. The error affects the reported results

KrishokChat: A Provenance-Traceable Multi-Task Bengali Agricultural Benchmark with Safety-Critical Chemical Advisory

KrishokChat: 一个基于引用的孟加拉语农业咨询数据集与基准

Khan Raiyan Ibne Reza, Sumaiya Tabassum Nimi, Omar Ibne Shahid

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出KrishokChat，首个基于引用的孟加拉语农业指令微调数据集，通过分层知识节点扩展生成14.55万QA对，并引入农夫基准评估，发现微调改善格式但化学剂量泛化仍困难，强调其作为RAG知识库的价值。

Checkup2Action: A Multimodal Clinical Check-up Report Dataset for Patient-Oriented Action Card Generation

Checkup2Action：面向患者行动的多模态临床检查报告数据集

Sike Xiang, Shuang Chen, Kevin Qinghong Lin, Jialin Yu, Yijia Sun, Philip Torr, Amir Atapour-Abarghouei

机构 * Durham University（杜伦大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出Checkup2Action数据集，用于生成结构化的行动卡，通过多模态检查报告生成患者导向的行动建议，评估行动的准确性、优先级和安全性。

Epistemic Trustworthiness in Generative AI: A Normative Framework for Warranted Reliance in High-Stakes Workflows

生成式AI中的认知可信赖性：高风险工作流程中合理依赖的规范框架

Nimisha Karnatak, Max Van Kleek, Nigel Shadbolt

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文针对生成式AI在高风险场景的合理依赖问题，提出含认知谦逊、认知可及性、抗认知不公三条件的规范框架，通过案例分析指出现有标准的不足，为GenAI设计评估提供新方向。

Comments Accepted at AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)