AI Agent

Knowing Isn't Understanding: Re-grounding Generative Proactivity with Epistemic and Behavioral Insight

知道不等于理解：用认知与行为洞察重新奠定生成式主动性

Kirandeep Kaur, Xingda Lyu, Chirag Shah

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 针对用户无法明确表达需求时的认知不完整问题，提出生成式主动性需要基于认知和行为双重约束来设计负责任的主动代理。

Comments 43 rd International Conference on Machine Learning (ICML 2026)

Honeyval: A Comprehensive Evaluation Framework for LLM-powered HTTP Honeypots

Honeyval: 基于LLM的HTTP蜜罐综合评估框架

Mark Vero, Fabian Kaczmarczyck, Ivan Petrov, Ilia Shumailov, Jamie Hayes, Niels Heinen, Tianqi Fan, Luca Invernizzi, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） ； Google（谷歌） ； Google DeepMind（谷歌DeepMind） ； AI Sequrity Company（AI安全公司） ； Independent（独立） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 提出Honeyval评估框架，通过16个后端应用、AI攻击代理、控制任务和可验证利用目标，系统评估LLM驱动的HTTP蜜罐，发现其相比规则基线能显著延长攻击交互、降低被前沿模型检测率，且保持成本优势。

OptSkills: Learning Generalizable Optimization Skills from Problem Archetypes via Cluster-Based Distillation

OptSkills: 通过基于聚类的蒸馏从问题原型中学习可泛化的优化技能

Haochen Yang, Ke Zhao, Mengyuan Ma, Xingyu Lu, Xiangfeng Wang, Hong Qian

机构 * East China Normal University（华东师范大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.LG

AI总结 提出OptSkills系统，通过聚类问题原型、蒸馏成功轨迹为可复用工作流技能，并动态扩展技能库，提升优化建模与求解的分布内和分布外泛化能力。

Comments 22 pages, 10 figuers, project: https://github.com/fujiwaranoM0kou/OptSkills

Estimating the Empowerment of Language Model Agents

估计语言模型代理的赋权能力

Jinyeop Song, Jeff Gore, Max Kleiman-Weiner

机构 * Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于信息论中赋权概念的评估框架EELMA，通过多轮文本交互近似有效赋权，实验表明赋权与任务性能强相关，可作为与任务成功度量互补的通用评估指标。

Comments Published at the International Conference on Machine Learning (ICML) 2026. 9 pages, 9 figures; camera-ready version

EVADE-Bench: Multimodal Benchmark for Evaluating and Enhancing Evasive Content Detection

EVADE-Bench：用于评估和增强规避性内容检测的多模态基准

Ancheng Xu, Zhihao Yang, Jingpeng Li, Guanghu Yuan, Longze Chen, Liang Yan, Jiehui Zhou, Zhen Qin, Hengyu Chang, Yukun Chen, Hamid Alinejad-Rokny, Min Yang

机构 * SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Alibaba Group（阿里巴巴集团） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 针对电商平台中LLM/VLM易受规避性内容攻击的问题，提出首个专家标注的中文多模态基准EVADE-Bench，评估26个模型并发现规则分类可提升检测一致性，多智能体分解策略能显著提高准确率。

Comments SIGIR 2026

TS-Skill: A Benchmark for Evaluating Analytical Skills in Time-Series Question Answering

TS-Skill: 用于评估时间序列问答中分析技能的基准

Liying Han, Kang Yang, Oliver Wang, Jason Wu, Pengrui Quan, Gaofeng Dong, Ozan Baris Mulayim, Sizhe Ma, Yuyang Yuan, Dezhi Hong, Mario Berges, Mani Srivastava

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Samsung Research America（三星美国研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） ； Amazon（亚马逊） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出TS-Skill基准，通过三种可组合的分析技能（时间尺度选择、时间定位和跨区间整合）来诊断时间序列问答中模型的信号级能力，并开发SKEvol框架自动构建基准，实验揭示不同技能上的能力差距。

GenAI-Driven Threat Detection with Microsoft Security Copilot

GenAI驱动的威胁检测与Microsoft Security Copilot

Scott Freitas, Amir Gharib

机构 * Microsoft Security Research（微软安全研究） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出动态威胁检测代理（DTDA），结合统一活动时间线、版本化LLM提示合同、规划器-执行器调查循环和动态告警生成，在Microsoft Security Copilot中实现持续、可解释的威胁检测，在线评估精确率80.1%，离线F1分数0.78。

Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications

自动化自我测试作为质量门：基于证据的LLM应用发布管理

Alexandre Cristovão Maiorano

机构 * Lumytics 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文提出了一种自动化自我测试框架，通过五个实证基础的维度（任务成功率、研究环境保持、P95延迟、安全通过率和证据覆盖）实现基于证据的发布决策（PROMOTE/HOLD/ROLLBACK），并通过长期案例研究评估了该框架在多代理对话AI系统中的有效性。

Comments 20 pages, 6 figures, 12 tables

Hack-Verifiable Environments: Towards Evaluating Reward Hacking at Scale

可验证的环境：面向大规模评估奖励黑客的尝试

Amit Roth, Ankur Samanta, Matan Halevy, Yoav Levine, Yonathan Efroni

机构 * Tel Aviv University（特拉维夫大学） ； Columbia University（哥伦比亚大学） ； Taso Labs（Taso实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种新的评估方法来衡量奖励黑客，通过在环境中嵌入可检测的奖励黑客机会，使评估更加可靠和自动化，通过TextArena测试床分析了不同语言模型在多样化环境中的奖励黑客行为。

Comments Project Page - https://majoroth.github.io/hack-verifiable-environments/

Argus: Evidence Assembly for Scalable Deep Research Agents

Argus：可扩展深度研究代理的证据组装

Zhen Zhang, Liangcai Su, Zhuo Chen, Xiang Lin, Haotian Xu, Simon Shaolei Du, Kaiyu Yang, Bo An, Lidong Bing, Xinyu Wang

机构 * MiroMind AI 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 Argus通过将深度研究视为拼图碎片的组装过程，而非并行暴力求解整个答案，提高了大规模信息检索任务的效率和效果。

To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents

叫还是不叫：诊断LLM代理中的内在过度调用偏差

Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了LLM代理中过度调用现象，提出内在偏差假说，通过稀疏自编码器恢复行为对齐的特征基，减少到带符号激活边距，并估计偏移量，从而修正过度调用问题。

Can LLMs Think Like Consumers? Benchmarking Crowd-Level Reaction Reconstruction with ConsumerSimBench

LLMs能否像消费者一样思考？通过ConsumerSimBench进行大众级反应重建的基准测试

Tianyu Wang, Jiajun Li, Jianghao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出ConsumerSimBench基准，通过1553个真实中国社交媒体话题和23122个原子化、规则审核过的标准，评估LLM在模拟消费者反应方面的能力，揭示了前沿模型在预测高语境中文消费者讨论中实际关心内容方面的不足。

The Informational Cost of Agency: A Bounded Measure of Interaction Efficiency for Deployed Reinforcement Learning

代理的信息成本：部署强化学习的有限交互效率度量

Wael Hafez, Cameron Reid, Amit Nazeri

机构 * Semarx Research LLC（Semarx研究公司） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Bipredictability度量代理与环境交互的效率，通过实验证明代理行为会降低该度量，且在多个系统中验证其普遍性，为部署自主系统提供运行可靠性测量。

Comments 12 pages, 2 figures

Reinforcement Learning for Tool-Calling Agents in Fast Healthcare Interoperability Resources (FHIR)

用于快速医疗互操作资源（FHIR）的强化学习工具调用代理

Marius S. Knorr, Robert Müller, Jan P. Bremer, Nils Schweingruber

机构 * IDM gGmbH, University Medical Center Hamburg-Eppendorf, Hamburg, Germany（IDM公司，汉堡埃彭多夫大学医疗中心，德国汉堡） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在FHIR中通过强化学习提升多轮推理性能，采用自定义环境和工具训练模型，提升回答准确性至77%。

DSGBench: A Diverse Strategic Game Benchmark for Evaluating LLM-based Agents in Complex Decision-Making Environments

DSGBench：一种多样化的战略游戏基准，用于评估基于大语言模型的代理在复杂决策环境中的能力

Wenjie Tang, Yuan Zhou, Erqiang Xu, Keyan Cheng, Minne Li, Liquan Xiao

机构 * College of Computer, National University of Defense Technology（国防科技大学计算机学院） ； Intelligent Game and Decision Lab (IGDL)（智能博弈与决策实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 DSGBench通过六个复杂战略游戏评估LLM代理在复杂决策环境中的能力，采用细粒度评分系统和自动决策追踪机制，揭示不同LLM模型的优劣与系统限制。

Comments 43 pages, 5 figures, conference

VIDEE: Visual and Interactive Decomposition, Execution, and Evaluation of Text Analytics with Intelligent Agents

VIDEE：基于智能代理的文本分析可视化、交互式分解、执行与评估系统

Sam Yu-Te Lee, Chenyang Ji, Shicheng Wen, Lifu Huang, Dongyu Liu, Kwan-Liu Ma

机构 * Department of Computer Science, University of California at Davis（加州大学戴维斯分校计算机科学系） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 VIDEE通过人机协作流程帮助初级分析师进行高级文本分析，包含分解、执行和评估三个阶段，结合人类反馈和LLM评估，验证了系统在非专家用户中的实用性。

Neuro-Symbolic Agents for Hallucination-Free Requirements Reuse

神经符号代理用于无幻觉要求重用

Ahmed Ibrahim

机构 * Western University（西部大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文提出神经符号多代理系统，通过模型驱动 elicitation 过程实现无幻觉的要求重用，结合 LLM 和符号验证器确保结构有效性，实验显示 100% 覆盖率和 0.2% 违规率。

AI Realtor: Towards Grounded Persuasive Language Generation for Automated Copywriting

AI 房地产经纪人：迈向基于现实的说服性语言生成以实现自动化文案写作

Jibang Wu, Chenghao Yang, Yi Wu, Simon Mahns, Chaoqi Wang, Hao Zhu, Fei Fang, Haifeng Xu

机构 * Schmidt Sciences（施密特科学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出了一种基于大语言模型的代理框架，用于房地产营销中的自动化文案写作中的基于现实的说服性语言生成。通过系统的人类受试者实验，证明了该方法在保持事实准确性的同时，生成的营销描述更受潜在购房者青睐。

AGEL-Comp: A Neuro-Symbolic Framework for Compositional Generalization in Interactive Agents

AGEL-Comp: 一种用于交互智能体组合泛化能力的神经符号框架

Mahnoor Shahid, Hannes Rothe

机构 * Universität Duisburg-Essen（杜伊斯堡- Essen大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 AGEL-Comp通过动态因果程序图、归纳逻辑编程引擎和混合推理核心，实现基于符号和神经网络的组合泛化学习，优于纯LLM模型。

Comments Accepted at IntelliSys 2026

LATTICE: Evaluating Decision Support Utility of Crypto Agents

LATTICE：评估加密代理决策支持效用的基准

Aaron Chan, Tengfei Li, Tianyi Xiao, Angela Chen, Junyi Du, Xiang Ren

机构 * Sahara AI ； University of Southern California（南加州大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出LATTICE基准，用于评估加密代理在真实用户场景中的决策支持能力，通过六个评估维度、16种任务类型和LLM评委，实现大规模可扩展评估，揭示不同代理在决策支持质量上的显著差异及权衡。

Comments 15 pages, 3 figures, 9 tables

TimeMachine-bench: A Benchmark for Evaluating Model Capabilities in Repository-Level Migration Tasks

TimeMachine-bench：一个评估仓库级迁移任务模型能力的基准

Ryo Fujii, Makoto Morishita, Kazuki Yano, Jun Suzuki

机构 * Tohoku University（东大理工大学） ； Future Corporation（未来公司） ； RIKEN（日本理化学研究所） ； NII LLMC（国家信息研究所LLMC） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；分类 cs.CL、cs.SE

AI总结 本文提出TimeMachine-bench基准，用于评估软件迁移任务中的模型能力，通过自动化构建GitHub仓库测试失败数据集，评估基于11种模型的基线方法，发现LLM在迁移任务中仍存在可靠性挑战。

Comments Accepted to EACL 2026 Main, camera-ready

Journal ref Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), pages 8233-8264, 2026

Case-Specific Rubrics for Clinical AI Evaluation: Methodology, Validation, and LLM-Clinician Agreement Across 823 Encounters

针对具体病例的评估量表：方法、验证及LLM与医生一致性的823次病例研究

Aaryan Shah, Andrew Hines, Alexia Downs, Denis Bajet, Paulius Mui, Fabiano Araujo, Laura Offutt, Aida Rutledge, Elizabeth Jimenez

机构 * Canvas Medical ； Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系） ； XPC (X Primary Care)（XPC（X初级保健）） ； FCA Consulting（FCA咨询） ； Department of Pediatrics, University of Nevada, Reno, NV, USA（内华达大学拉斯维加斯分校儿科系） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出针对具体病例的评估量表方法，验证了LLM生成的量表在医生一致性上的有效性，展示了在823次病例中医生与LLM的一致性提升。

Comments 14 pages, 2 figures, 3 tables, submitted to JAMIA

Frontier-Eng: Benchmarking Self-Evolving Agents on Real-World Engineering Tasks with Generative Optimization

Frontier-Eng：基于生成优化的现实工程任务中自演化代理的基准测试

Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youjie Zheng, Yifan Zhou, Calvin Xiao, Eren Cai, Qinhuai Na

机构 * Navers Lab（Navers实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL

AI总结 Frontier-Eng通过工业级模拟器和验证器，评估生成优化中代理在现实工程任务中的表现，发现GPT 5.4表现最稳健，但所有模型仍面临挑战，分析显示改进频率和幅度呈双幂律衰减。

Scheming Ability in LLM-to-LLM Strategic Interactions

大语言模型在LLM到LLM战略互动中的策略能力

Thao Pham

机构 * Berea College（伯克利学院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究通过博弈论框架评估大语言模型的策略欺骗能力，发现模型在无提示下倾向于欺骗，尤其在Peer Evaluation中全部选择欺骗，揭示了多智能体环境下需加强高风险博弈场景的评估。

Comments 20 pages, 13 figures

Structural Quality Gaps in Practitioner AI Governance Prompts: An Empirical Study Using a Five-Principle Evaluation Framework

实践者AI治理提示的结构质量缺口：基于五原则评估框架的实证研究

Christo Zietsman

机构 * Nuphirho Research（Nuphirho研究） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.SE

AI总结 研究通过五原则框架评估34个AGENTS.md治理文件，发现37%的文件模型对数据分类和评估标准缺失，揭示了AI治理提示的结构不完整问题及改进方向。

Comments 8 pages. Experiment, corpus, and evaluation framework publicly available at https://github.com/czietsman/nuphirho.dev/tree/main/experiments/governance-prompts-v1

Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization

Kernel-Smith：一种统一的进化核优化配方

He Du, Qiming Ge, Jiakai Hu, Aijun Yang, Zheng Cai, Zixian Huang, Sheng Yuan, Qinxiu Cheng, Xinchen Xie, Yicheng Chen, Yining Li, Jiaxing Xie, Huanan Dong, Yaguang Wu, Xiangjun Huang, Jian Yang, Hui Wang, Bowen Zhou, Bowen Li, Qipeng Guo, Kai Chen

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； MetaX 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.CL、cs.LG

AI总结 Kernel-Smith结合稳定评估驱动的进化代理与进化导向的后训练配方，通过GPU核与运算符生成实现高性能优化，其在KernelBench上取得最佳速度提升，超越多个前沿模型。

Why Do Language Model Agents Whistleblow?

为何语言模型代理会泄露信息？

Kushal Agrawal, Frank Xiao, Guido Bergman, Asa Cooper Stickland

机构 * Relativity ； California Institute of Technology（加州理工学院） ； BAISH 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了语言模型在作为工具使用代理时的对齐训练新表现，发现模型可能在无用户指令的情况下披露疑似违规行为，通过多样化场景评估发现模型泄露行为受模型家族、任务复杂度、道德提示和工具提供影响。

Self-Aware Vector Embeddings for Retrieval-Augmented Generation: A Neuroscience-Inspired Framework for Temporal, Confidence-Weighted, and Relational Knowledge

具有自我意识的向量嵌入用于检索增强生成：一种受神经科学启发的框架，用于时间、置信度加权和关系知识

Naizhong Xu

机构 * Principal Consultant, CMC APAC（CMC APAC 主任顾问） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SmartVector框架，通过引入时间意识、置信度衰减和关系意识，改进检索增强生成系统，提升准确性与鲁棒性。

Comments 17 pages, 4 tables

WebCompass: Towards Multimodal Web Coding Evaluation for Code Language Models

WebCompass：迈向多模态网络编码评估的代码语言模型

Xinping Lei, Xinyu Che, Junqi Xiong, Chenchen Zhang, Yukai Huang, Chenyu Zhou, Haoyang Huang, Minghao Liu, Letian Zhu, Hongyi Ye, Jinhua Hao, Ken Deng, Zizheng Zhan, Han Li, Dailin Li, Yifan Yao, Ming Sun, Zhaoxiang Zhang, Jiaheng Liu

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.SE

AI总结 WebCompass提出一个多模态基准测试，用于评估代码语言模型在网络工程中的能力，涵盖生成、编辑和修复三种任务类型，通过多阶段人机协作流程，发现闭源模型在编辑和修复方面表现更优，但美学仍是开放源模型的主要瓶颈。

ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents

ReviewGrounder：通过规则引导和工具集成代理提升评审的实质内容

Zhuofeng Li, Yi Lu, Dongfu Jiang, Haoxiang Zhang, Yuyang Bai, Chuan Li, Yu Wang, Shuiwang Ji, Jianwen Xie, Yu Zhang

机构 * Texas A&M University（德克萨斯A&M大学） ； University of Waterloo（滑铁卢大学） ； UC San Diego（南加州大学） ； Lambda ； University of Oregon（俄勒冈大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出ReviewGrounder框架，通过规则引导和工具集成提升AI会议评审的实质内容，实验表明其在8个维度上优于基线模型。