AI Agent

WirelessOpsAgent: A Benchmark and Agent Design for Action Assurance in Wireless Networks

WirelessOpsAgent：无线网络行动保障的基准测试与智能体设计

Zijian Lu, Yiping Zuo, Hao Xu, Weicong Chen, Xin He, Jiajia Guo, Shi Jin

专题命中 Agent评测 ：agent(title)

AI总结 针对现有无线网络运维LLM智能体基准未测试执行阶段支持检查的问题，本文提出WirelessOptBench基准与WirelessOpsAgent智能体，使后者在600片段评估中精确行动准确率达0.983，不安全执行率大幅下降。

Comments 10 pages, 7 figures

VideoArgus: Agentic Rubric-Grounded Unified Evaluation for Video Generation and Editing

VideoArgus：基于智能体评分规则的视频生成与编辑统一评估框架

Ziyun Zeng, Zixuan Wang, Yongsheng Yu, Hang Hua, Jiebo Luo

机构 * University of Rochester（罗切斯特大学） 纠错

专题命中 Agent评测 ：agentic(title)

AI总结 针对现有视频评估基准的局限，本文提出VideoArgus框架，构建含1026个实例的VideoArgus-Bench，其在与人类判断的相关性上优于基准特定评估器，且模型排名稳定。

Comments Preprint

PCTD: Preference-Guided Counterfactual Task Decomposition for Agent Tool Retrieval

PCTD：用于智能体工具检索的偏好引导反事实任务分解

Chu Zhao, Lei Tang, Minghang Li, Jianzhe Zhao, Guibing Guo, Zhengzong Chen, Yuanyuan Zhao, Fei Huang

专题命中 Agent评测 ：agent(title)

AI总结 研究针对任务分解中因直接用检索指标作奖励易致奖励作弊及削弱域外泛化能力的问题，提出偏好引导反事实任务分解框架PCTD，通过反事实和偏好奖励改进，构建基准MTDTool，实验证明其在多方面超越现有方法。

Cooperative Guidance and Control for Active Asset Protection with Time-Varying Agent Speeds

时变速度下主动资产保护的协同制导与控制

Ram Milan Kumar Verma, Shashi Ranjan Kumar, Hemendra Arya

专题命中 Agent评测 ：agent(title)

AI总结 提出一种资产与防御者协同的制导控制策略，通过时变速度与航向协调，结合视线率归零、防御者保持在视线线上以及基于剩余时间引导的三种几何与时间目标，实现对机动威胁的拦截。

Inadvertent Context Leakage in Language Models

语言模型中的无意上下文泄漏

Jaiden Fairoze, Neal Mangaokar, Kamalika Chaudhuri, Sanjam Garg, Saeed Mahloujifar

机构 * FAIR, Meta Superintelligence Labs（Meta超级智能实验室FAIR） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.LG

AI总结 该研究发现语言模型的上下文窗口会无意泄漏敏感用户信息，提出自适应攻击方法，在8个专有模型上验证了2、4位数秘密的重建准确率，还展示了两种实际攻击方式，指出泄漏是模型能力的副产品。

One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

单次成功并非可靠：Thinkingbox——面向有状态业务工作流智能体的沙箱与基准测试集

Zhuochun Li, Youngmin Ko, Ali Keramati, Nicola Ferri, Susana Palmaz Lopez Pelaez, Liang-Chun Tsai, Calvin Wang, Mirco Milletari, Tuhin Kundu, Vadim Smolyakov, Kjartan Olafsson, Tommy Guy

机构 * University of Pittsburgh（匹兹堡大学） ； Northwestern University（西北大学） ； University of California Irvine（加州大学欧文分校） ； Microsoft（微软公司） 纠错

专题命中 Agent评测 ：agent(abstract)；function calling(abstract)；分类 cs.CL

AI总结 研究人员推出面向有状态业务工作流智能体的沙箱Thinkingbox及基准测试集Thinkingbox-bench，发现现有智能体在该基准上可靠完成任务的表现远逊于单次成功表现，凸显了端到端任务可靠评估的必要性。

Symposium: Trust via Auditable Records for Communities of AI Scientist Agents

专题讨论会：面向AI科学家智能体社群的可审计记录信任机制

Dexter Pratt

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 Symposium是面向AI科学家智能体社群的可审计记录信任框架，通过保留科研活动的不可变历史与科学论证，支持信任评估，且提供可快速部署的实现。

SysEvolve: An AI-native, safe, autonomous adversarial attack-defense co-evolutionary system

SysEvolve：一种原生AI、安全且自主的对抗攻防协同进化系统

Yuhan Meng, Shaofei Li, Jionghao Huang, Jiandong Jin, Puyi Wang, Hanlin Jiang, Anis Yusof, Peng Jiang, Zhenkai Liang, Yao Guo, Ding Li

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 该研究针对网络安全攻防不对称问题，提出SysEvolve协同进化系统，含三个组件，实验验证其攻防性能，还揭示了LLM智能体能力的三项关键发现。

Comments Technical Report For SysEvolve System

Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams

Diagram-MMU：面向科学图表的多模态基准测试

Weihao Bo, Shan Zhang, Yanpeng Sun, Jie Liu, Yongke Yao, Jinhao Du, Wei He, Kai Zou, Zechao Li, Jingdong Wang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Baidu Inc（百度公司） ； AIML, Adelaide University（阿德莱德大学AIML） ； SUTD（新加坡科技设计大学） ； Southeast University（东南大学） ； East China Normal University（华东师范大学） ； University of Oxford（牛津大学） 纠错

专题命中 Agent评测 ：agentic(abstract,abstract_cn)；分类 cs.AI

AI总结 本文构建了多模态基准测试Diagram-MMU，评估MLLMs的科学图表解析与理解能力，发现图表转代码任务更具挑战，Claude-4.6 Opus在智能体场景下表现最优。

InfraBench: Evaluating Infrastructure Agents Across Layers, Lifecycle, and Risk

InfraBench：评估跨层级、全生命周期与风险的基础设施智能体

Yuan Gao, Zeren Yang, Junnan Li, Shawn, Zhong, Ahmed Dajani, Mai Zheng, Andrea Arpaci-Dusseau, Remzi Arpaci-Dusseau

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Iowa State University（爱荷华州立大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 针对AI智能体应对真实基础设施复杂度能力不明的问题，提出跨全系统栈、全生命周期且支持细粒度风险评估的InfraBench基准套件，实验表明现有最强智能体仍存在多方面失败模式。

Comments 17 pages, 6 figures. Preprint

MedUP: Awakening Unified Understanding and Perception in Medical Vision-Language Models

MedUP：唤醒医学视觉-语言模型中的统一理解与感知能力

Yuan Wang, Hualiang Wang, Yixin Chen, Songtao Jiang, Shujian Gao, Jiaming Lin, Siming Fu, Jian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 Agent评测 ：agentic(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出MedUP模型，通过UniMedTok分词器在共享token空间统一医学视觉-语言模型的感知与理解，构建相关训练语料库和评估基准，在多医学任务上性能优于现有模型。

Comments 10 pages, 6 figures

One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models

一个方案，多种适配：自演化在不同语言和模型中编码了什么

Siqi Yang, Qianlan Yang, Yu-Xiong Wang, Saurabh Pujar, Martin Hirzel

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.SE

AI总结 该研究固定演化方案，在八种编程语言和三个基础模型上分析自演化适配工具，发现其为语言需求与模型差距共同塑造的补偿层，可提升编码智能体性能并能蒸馏为通用工具。

Comments 20 pages, 12 figures, 9 tables. Includes appendix

WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation

WorldSimProbe：面向具身操控的动作条件世界模型的模拟器保真度诊断

Peterson Co, Sicheng Hu, Chunxuan Jiao, Hongyang Cheng, Yulin Luo, Yijie Xu, Sixiang Chen, Zhongxia Zhao, Zihao Wang, DaFeng Chi, Peidong Liu, YuTong Chen, Henghua Liu, Zhihao Yuan, Huizhu Jia, Yuzheng Zhuang, Tianle Zhang, Liang Lin, Huajie Tan, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； EvoPhys AI（EvoPhys人工智能公司） ； Joy Future Academy, JD（京东探索研究院） ； The University of Sydney（悉尼大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究提出WorldSimProbe框架，通过五套受控测试评估动作条件世界模型的模拟器保真度，发现其存在动作实现退化等问题，为具身操控模型提供标准化诊断方法。

Comments 20 pages, 18 figures, and 10 tables, including supplementary material. Code and data: https://evophys.com/WorldSimProbe/

EnergyBridge: Benchmarking Household Energy Management, User Participation, and Grid Flexibility

EnergyBridge：家庭能源管理、用户参与度与电网灵活性基准测试

Xudong Wu, Zeqing Wu, Jiarui Zhang, Xuhao Fan, Ziang Ding, Yuming Zhuang, Mingqi Yuan, Yilun Du, Hongjie Jia, Yunfei Mu, Jiayu Chen

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究提出EnergyBridge基准框架，结合特定区域EnergyPlus环境与LLM用户模拟器，在含584组人类角色扮演判断的实验中，实现了更高授权率、更低能耗与更可靠容量承诺，推动以人为本的电网灵活性研究。

Business Arena: Benchmarking LLM Agents in a Realistic Marketplace

商业竞技场：在现实市场中对大语言模型智能体进行基准测试

Yijun Pan, Yukun Lian, Kunyu Shi, Junbo Li, Hongwei Xue, Sicong Xie, Guannan Zhang, Xiaoying Xing

机构 * Alibaba Group（阿里巴巴集团） ； Yale University（耶鲁大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 研究人员推出Business Arena测试平台，评估15个前沿LLM智能体在跨境商店运营中的表现，发现其平均最终净资产差9倍，最优模型仍逊于人类策略，为商业智能体评估提供了现实测试基准。

The Anatomy of a Prompt Injection: A Component Model for Structured Analysis

提示注入的剖析：用于结构化分析的组件模型

Jeremy McHugh

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出七个组件的提示注入结构化分析模型，统一相关分类法，结合实例与CTI模式，助力标记、分析提示注入攻击。

Towards Researcher Agents for Knowledge-Graph Question Answering

面向知识图谱问答的研究者智能体

Tommaso Soru, Abdulsobur Oyewale

机构 * Liber AI Research（Liber AI研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究提出研究者智能体式文本转SPARQL系统，在DBpedia上迭代优化后，其在2025年DBpedia验证集上总体准确率达0.22，发现瓶颈在谓词选择，建议基准采用多指标评分。

Comments Second International TEXT2SPARQL Challenge, co-located with Text2KG at ESWC 2026

When LLM Agents Negotiate: Private Information and Dynamic Bargaining in Supply Chains

当大语言模型智能体进行谈判：供应链中的私人信息与动态议价

Chen Liang, Fasheng Xu

机构 * School of Business, University of Connecticut（康涅狄格大学商学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 该研究以供应链议价问题为场景，将9个LLM与完美贝叶斯均衡基准测试，发现LLM智能体的谈判能力、提供商身份及提示策略对剩余分配和效率有显著影响，为AI智能体审计提供了三维框架。

EmoPatient: An Emotion-Directed Patient Simulator for Realistic Palliative Care Communication Training

EmoPatient：用于姑息治疗沟通训练的情绪导向患者模拟器

Yining Wu, Tianshu Du, Jinrui Fang, Chi Zhang, Sonal Admane, Ying Ding

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对现有LLM患者模拟器无法捕捉动态情绪变化的问题，提出情绪导向的EmoPatient模拟器，引入情绪指导代理生成动态情绪控制信号，经评估其在情绪真实性指标和稳健性上均优于基线，可提升姑息治疗沟通训练的真实性。

Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery

科学边缘评估：SEE——迈向真实科学发现的缺失环节

Taolin Han, Yuchen Zhang, Jinghang Wang, Yun Wu, Wai Yuet Chiu, Zhaohai Li, Yifei Zhang, Jinxin Wang, Yuhao Zhou, Chen Zhao, Jiajia Li, Jiaxin Li, Qile Jin, Kewei Sun, Shuang Wu, Weiqi Zhai, Renquan Lv, Junchao Li, Ruodan Chen, Qingteng Chen, Zhibo Yang, Hu Wei, Lin Qu, Shuai Bai, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； University of Alberta（阿尔伯塔大学） ； Zhejiang University（浙江大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；分类 cs.AI

AI总结 该研究构建多模态基准SEE评估19个MLLMs，发现其仅达48.7%准确率，通用模型优于专用模型，工具使用可提至52.7%但仍难实现科学发现所需的证据约束推断，需从解释转向推导。

OPERA: Operator-residual feedback for reliable autonomous optical experiments with language-model agents

OPERA：面向语言模型智能体的可靠自主光学实验的算子残差反馈

Ning Xu, Xiang Zheng, Fuqiang Zhong, Huadong Wang, Xiaolong Wu, Zhiyuan Liu, Hui Ning

机构 * Tsinghua University（清华大学） ； ModelBest Inc.（模贝斯特公司） ； Hunan University（湖南大学） ； Northwest Institute of Nuclear Technology（西北核技术研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 本研究提出面向语言模型智能体的OPERA算子残差框架，将实验动作表示为光学算子并结合物理解释残差评估，在三项光学任务中可减少无物理改进的决策占比，提升任务目标达成概率并降低实验预算。

Comments 34 pages, 15 figures

PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents

PAST-Bench：评测个人智能体递归自我改进的基础

Shuhan Xue, Zixin Ding, Yichen Shen, Yinjie Wang, Zhenfei Yin, Yingcheng Wu, Yuxin Chen, Mengdi Wang, Ling Yang

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.CL

AI总结 本研究推出PAST-Bench基准评测个人智能体递归自我改进能力，发现改进不均，在此基础上开发Hermes+提升收益，为相关研究提供评估诊断基础

Comments Code: https://github.com/Gen-Verse/PAST-Bench

Dr. AGENTONOMICS: A Didactic Experiment of AGENTONOMICS

Dr. AGENTONOMICS：AGENTONOMICS的教学实验

Fengjunjie Pan, Alois Knoll

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 本研究介绍了AGENTONOMICS框架的首个应用Dr. AGENTONOMICS，将其作为教学智能体，提出其可拓展为多角色系统并探讨其对多中心AI经济的意义。

Comments Technical report, Technical University of Munich

ShiJianBench: From Dialogue to Decision for Long-Horizon Evaluation of Investment Advisors

ShiJianBench：面向投资顾问长周期评估的从对话到决策基准

Jie Gong, Maowei Jiang, Zhiwei Liu, Yang Qiao, Wenxi Wu, Mengxi Xiao, Enze Zhang, Ziyan Kuang, Yankai Chen, Caishuang Huang, Meng Zhou, Xiku Du, Xue Liu, Guojun Xiong, Min Peng, Qianqian Xie, Sophia Ananiadou

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 该研究推出ShiJianBench离线框架，用多智能体投资者模拟器评估对话式投资顾问，发现LLM顾问在个性化内容与投资者轨迹上表现更优，凸显需开展轨迹感知评估。

PATH-Bench: Path-Dependent Evaluation of Lifelong Agents

PATH-Bench：面向终身智能体的路径依赖评估基准

Xidong Yang, Xingyi Zhang, Wenhao Li, Wenyan Liu, Junjie Sheng, Yun Hua, Wei Yin, Tao Fang, Chuyun Shen, Xiangfeng Wang

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；分类 cs.AI

AI总结 本研究构建了面向终身智能体路径依赖评估的基准PATH-Bench，评估8个智能体后提出SEU机制，该机制可减少遗忘、提升正向迁移，为设计更优终身智能体提供指导。

MMHBench: A Multi-Perspective Benchmark for Mental Health Understanding in Long-Form Videos

MMHBench：用于长视频心理健康理解的多视角基准测试集

Jinpeng Hu, Erqiang Wang, Shan Wang, Zhuo Li, Peipei Song, Xun Yang, Meng Wang

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出MMHBench多视角心理健康理解基准，含268个长视频与2184条问题，采用MAQG框架生成问题，评估22个多模态大语言模型后发现该任务仍具挑战性。

Mental World Modeling

心理世界建模

Hao Fei, Yiran Zhao

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.CL

AI总结 该研究提出将心理变量作为核心组件的MWM框架，实例化为MENTIS基线，实验证明显式建模心理状态对预测人类决策至关重要，推动世界建模从物理场景模拟转向心智模拟。

Comments project website: https://mental-world.github.io/

StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents

StealthBench：衡量自主进攻性安全智能体的操作隐蔽性

Ads Dawson, Adrian Wood

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 研究人员推出StealthBench基准，通过含三个LLM的评判小组评估自主进攻性安全智能体的OPSEC表现，发现无模型安全成功率超54%，证实OPSEC失败具系统性，该基准用于支持相关智能体开发与监控。

Comments 29 pages, 9 tables, 1 figure, 2 appendices. Code: https://github.com/GangGreenTemperTatum/stealthbench Dataset: https://huggingface.co/datasets/0xmoose/stealthbench Website: https://stealthbench.com

Position: Evaluation Scores Are Perishable Knowledge Claims

Position: 评估分数是易逝的知识主张

Sankalp Gilda, Shlok Gilda

机构 * DeepThought Solutions（深度思考解决方案公司） ； Meta ； University of Florida（佛罗里达大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 该研究指出语言模型评估存在信任膨胀问题，提出将评估分数视为具有形式性、范围性和有效性窗口的认知主张，建议添加元数据并采用最弱链聚合，发现HELM排行榜上两种聚合方式的前五名模型完全不重合。

Comments 7 pages, 1 figure, 1 table. Published at the Fifth Workshop on Generation, Evaluation and Metrics (GEM), ACL 2026, San Diego

Journal ref Proceedings of the Fifth Workshop on Generation, Evaluation and Metrics (GEM), ACL 2026, pages 1029-1035

NISPO: Open-source IUPAC name generation tool

NISPO：开源IUPAC名称生成工具

Nicholas T. Runcie, Fergus Imrie, Charlotte M. Deane

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.SE

AI总结 针对化学领域IUPAC名称生成需求，该研究开发了基于RDKit、采用智能体自改进循环的开源Python工具NISPO，经SureChEMBL分子优化后，在1.03亿个PubChem分子上实现98.1%的往返准确率，可免费获取。