AI Agent

Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens

通过计算机系统视角理解与评估爪类智能体安全性

Peizhi Niu, Wenjie Qu, Shangding Gu, Tianneng Shi, Yuankai Li, Ahmad Tawaha, Hend Alzahrani, Vincent Siu, Boyi Li, Chenguang Wang, Jiaheng Zhang, Basel Alomair, Ming Jin, Muhao Chen, Chi Wang, Costas Spanos, Dawn Song

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； NUS（新加坡国立大学） ； UC Berkeley（加州大学伯克利分校） ； UC Davis（加州大学戴维斯分校） ； Virginia Tech（弗吉尼亚理工大学） ； KACST（阿卜杜勒阿齐兹国王科技城） ； UC Santa Cruz（加州大学圣克鲁兹分校） ； NVIDIA（英伟达） ； Google DeepMind（谷歌DeepMind） ； UW Seattle（华盛顿大学西雅图分校） ； HUMAIN（胡迈因研究所） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 针对爪类AI智能体安全漏洞，提出计算机系统类比，构建SafeClawArena基准测试，评估406个对抗任务，发现最高攻击成功率70%，恶意插件100%成功。

DRFLOW: A Deep Research Benchmark for Personalized Workflow Prediction

DRFLOW：用于个性化工作流预测的深度研究基准

Md Tawkat Islam Khondaker, Raymond Li, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Issam H. Laradji

机构 * ServiceNow AI Research（ServiceNow人工智能研究） 纠错

专题命中 Agent评测 ：workflow(title,abstract)；agent(abstract,abstract_cn)；分类 cs.AI

AI总结 提出DRFLOW基准，评估AI代理从异构源预测个性化工作流的能力，包含5领域100任务，并设计7个诊断指标，实验显示现有代理性能有限。

TwinBI: An Agentic Digital Twin for Efficient Augmented Interactions with Business Intelligence Dashboards

TwinBI：一种用于与商业智能仪表盘高效增强交互的智能数字孪生

Jisoo Jang Wen-Syan Li

机构 * Graduate School of Data Science, Seoul National University（首尔大学数据科学研究生院） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出TwinBI框架，通过LLM代理与可执行仪表盘状态耦合，统一对话、操作、语义和溯源，提升多步分析中状态一致性，将精确匹配准确率从43.3%提升至63.3%，超时率从40%降至10%。

RAILS: Verification-Native Clearing For Agentic Commerce

RAILS: 面向代理商务的验证原生清算

Adrian de Valois-Franklin, Alex Bogdan

机构 * Evolutionairy AI 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 针对自主代理在商务活动中缺乏中立清算机制的问题，提出RAILS协议，通过可靠性评分、记录和清算函数实现验证原生清算，确保财务结算基于充分证据。

Comments 49 pages, 15 figures

Self-Improvements in Modern Agentic Systems: A Survey

现代智能系统中的自我改进：一项综述

Zhe Ren, Yimeng Chen, Dandan Guo, Guowei Rong, Tonghui Li, R. B. Xiong, Qingfeng Lan, Wenyi Wang, Li Nanbo, Yibo Yang, Mingchen Zhuge, Jürgen Schmidhuber

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； University of Alberta（阿尔伯塔大学） ； The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室IDSIA/USI/SUPSI） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract,comments)；autonomous agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 综述现代自我改进智能体从研究走向部署，目标是经验驱动的可控进化。提出系统级框架，将智能体视为基础模型与操作支架的耦合配置，自我改进形式化为更新算子，还组织回顾了相关工作、应用、评估等内容并展望未来。

Comments 97 pages, 12 figures. Project page: https://selfimproving-agent.github.io/ Repository: https://github.com/selfimproving-agent/awesome-Self-Improving-Agents

Active Inference as Context Acquisition for AI Agents

主动推理作为AI智能体的上下文获取机制

Sanchayan Dutta, Sai Niranjan Ramachandran, Suvrit Sra

机构 * University of California, Davis（加利福尼亚大学戴维斯分校） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 该研究将AI智能体的上下文获取权衡形式化为主动推理，在最优提问框架中验证其有效性，为智能体上下文获取层提供模型无关的设计原则。

Vero: Can AI Agents Build Formally Verified Software Repositories?

Vero：AI智能体能否构建形式化验证的软件仓库？

Zhe Ye, Hantao Lou, Yuechun Sun, Peiyang Song, Zhengxu Yan, Timothe Kasriel, Qingyang Zhang, Kaiyu Yang, Soonho Kong, Jingxuan He, Dawn Song

机构 * University of Chicago（芝加哥大学） ； California Institute of Technology（加州理工学院） ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； Amazon Web Services（亚马逊云计算服务） ； Apodex 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 研究推出首个仓库级验证软件综合基准Vero，含43个多模块实例，评估发现前沿智能体仅解决27个实例，为相关研究提供测试平台。

What Could the Agent See at 19:05? Generating Temporal Enterprise Scenarios from Real Research and Replaying Them to Evaluate Agents

智能体在19:05能看到什么？从真实研究生成时间化企业场景并回放以评估智能体

Tezan Sahu, Himani Arora

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 本研究提出从真实研究生成时间化企业场景并回放的系统，用于解决现有离线评估智能体仅基于最终静态快照的问题，可在任意时刻评估可插拔智能体。

Comments 6 pages, 3 figures, 4 tables. Accepted as a poster at SERI 2026

C-RE-ACT: Causal RE-ACTing Agent for O-RAN Forensic Triage

C-RE-ACT：用于O-RAN取证分类的因果反应代理

Pau Baguer, J. Xavier Salvat Lozano, Gines Garcia-Aviles, Xavier Costa-Pérez

专题命中 Agent评测 ：agent(title,abstract)；autonomous agent(abstract)；agentic(abstract)

AI总结 研究O-RAN架构下性能降级攻击难区分问题，提出C-RE-ACT框架，用结构不可知模型构建加权有向无环图，经图同构网络编码，在测试平台评估，能准确分离根本原因，提升LLM准确率及代理异常分类准确率。

Protocol-Level Attacks on Agentic Commerce Platforms: A Cross-Platform Taxonomy, AIP-Bench, and Unified Defense

对智能商务平台的协议级攻击：跨平台分类法、AIP基准和统一防御

Yedidel Louck

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)

AI总结 研究智能商务平台协议层安全问题，识别出33个结构性漏洞。贡献分类法，构建AIP-Bench基准和PCAT防御机制，将部分结构类攻击成功率降至零，强调协议层安全防护的重要性。

HiMe: Real-Time Self-Hosted Personal Agent Platform for Health Insights with Wearable Devices

HiMe：用于健康洞察的实时自托管个人代理平台与可穿戴设备

Wei Liu, Siya Qi, Linhai Zhang, Lorainne Tudor Car, Yulan He

机构 * King’s College London（伦敦国王学院） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 针对传统可穿戴健康信号分析的局限，HiMe提出本地可部署、隐私至上的代理平台，遵循数据库为一等组件等原则，能与多种可穿戴设备实时健康数据生态系统兼容，实现个人持续、个性化健康监测以提升幸福感。

ArchEval: Measuring AI Agents as Computer Architects

ArchEval：将人工智能代理作为计算机架构师进行评估

Chenyu Wang, Zishen Wan, Jeffrey Ma, Shvetank Prakash, Zhenting Qi, Haebin Do, Andy Cheng, Arya Tschand, Jiahe Shi, Yilun Du, Vijay Janapa Reddi

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；tool use(abstract)；workflow(abstract)

AI总结 介绍用于评估大语言模型代理在计算机架构设计与优化方面的ArchEval基准和平台，含20个挑战及8个模拟器，通过不同设置运行，报告性能并记录轨迹，揭示当前代理的优缺点及后续所需能力。

Buildrix: An Open Platform for Sharing and Benchmarking Agentic AI Skills in Building Engineering

Buildrix：建筑工程中共享和基准测试代理式AI技能的开源平台

Zixin Jiang, Bing Dong

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；workflow(abstract)

AI总结 提出Buildrix开源平台，通过标准化技能包、Web中心与本地代理框架，支持建筑工程的代理式AI技能开发、共享与可重复基准测试。

PowerAgentBench-Dyn: A Benchmark for Agentic AI in Power System Dynamic Studies

PowerAgentBench-Dyn：电力系统动态研究中智能体AI的基准测试

Qian Zhang, Andrea Pomarico, Costas Mylonas, Magda Foti, Alberto Berizzi, Le Xie

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；planning(abstract)

AI总结 提出PowerAgentBench-Dyn基准，用于评估基于LLM的智能体在电力系统动态分析任务中的能力，涵盖模型质量审查和安全风险筛选两个任务。

Human-on-the-Bridge: Scalable Evaluation for AI Agents

Human-on-the-Bridge: 可扩展的AI智能体评估方法

Fouad Bousetouane

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；agentic(abstract)

AI总结 提出Human-on-the-Bridge (HOB)范式，通过专家预先策划可复用的评估智能体（包括领域上下文、红队陷阱、陪审员角色等），结合ProofAgent测试框架进行多轮对抗评估，实现可扩展的AI智能体行为评估。

Comments 33 pages, 3 figures

Adaptive Arena-based Contestable Argumentative Network-of-Experts for Open-Ended Care Plan Coordination

面向开放式护理计划协调的自适应竞技场式可争议专家论证网络

Truong Thanh Hung Nguyen, Hoang-Loc Cao, Phuc Ho, Phuc Truong Loc Nguyen, René Richard, Hung Cao

机构 * University of New Brunswick（新不伦瑞克大学） ； National Research Council Canada（加拿大国家研究委员会） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 针对开放式护理计划协调中单一LLM流程的不足，提出多Agent神经符号框架CANOE，经医学微调模型在相关数据集上表现出强临床正确性，且CANOE具备可解释性与人类可争议性。

Comments Accepted at the 4th International Conference on Frontiers of Artificial Intelligence, Ethics, and Multidisciplinary Applications

ASTELD: A Six-Axis Classification Framework for Autonomous AI Agents - Design, Evaluation, and an OpenClaw Case Study

ASTELD：自主AI智能体的六轴分类框架——设计、评估与OpenClaw案例研究

Siyuan Li, Peng Shu, Churan Yu, Peilong Wang, Ruidong Zhang, Bowen Guo, Xinliang Li, Ruiyu Yan, Arif Hassan Zidan, Yi Pan, Wei Ruan, Lifeng Chen, Junhao Chen, Zhaojun Ding, Yiwei Li, Zhengliang Liu, Haixing Dai, Lin Zhao, Yu Bao, Xiang Li, Wei Zhang, Tianming Liu

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract,comments)；分类 cs.AI

AI总结 该研究提出ASTELD六轴分类框架，用于比较自主AI智能体平台，通过案例研究验证其效用，揭示跨平台模式与创新方向，发现本地优先部署与企业级安全结合的空白区域。

Comments 40 pages, 4 figures, 6 tables. Introduces and empirically evaluates the ASTELD six-axis classification framework across eight autonomous AI agent platforms, with OpenClaw as an in-depth case study

From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents

从分析到综合：个性化大语言模型智能体中的隐式行为对齐基准测试

Jiajia Song, Bobo Li, Haiwen Yi, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Toronto（多伦多大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； University of Oxford（牛津大学） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型智能体的个性化问题，构建了IBA-Bench基准，提出IBA-Agent框架，实验显示其可在九类场景中提升隐式行为对齐效果，但有效个性化仍是重大挑战。

Kozuchi Agent: A Language-Agnostic Open-Weight Agent for Software Repair

Kozuchi智能体：一款与语言无关的开源权重软件修复智能体

Mehdi Bahrami, Kosaku Kimura, Satoshi Munakata, Satoshi Nakashima, Yu Ishikawa, Kosuke Maeda, Nao Soma, Kenichi Kobayashi, Keisuke Miyazaki, Keizo Kato, Shigeki Fukuta, Tatsuo Kumano, Nobutaka Imamura, Kevin Musgrave, Shahbaz Abdul Khader, Kwun Ho Ngan, Joe Townsend, Fayas Asharindavida, Matthieu Parizy, Akira Sakai, Yuma Ichikawa, Yang Zhao, Michiaki Takizawa, Taku Fukui, Hiroki Ohtsuji, Wei-Peng Chen, Hiromichi Kobashi

专题命中 Agent评测 ：agent(title,abstract)；tool-use(abstract)；分类 cs.AI、cs.SE

AI总结 本文提出Kozuchi智能体，一款与语言无关的开源权重软件修复智能体，结合CI评估流水线，在SWE-bench等基准上取得优异性能，降低操作接触点，为软件修复提供新方案。

Comments 13 pages, 4 figures. Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE '26), Industry Showcase track, Munich, Germany, October 12-16, 2026

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

基于缩放假设的无标签智能体学习控制器能力评估

Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

机构 * Georgian 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出基于缩放假设的无标签智能体学习控制器评估框架，以教师模型与学生模型的收敛度为评分指标，验证其可作为标签缺失时控制器真实增益的有效代理。

Comments 18 pages, 6 figures. Accepted at CAMLIS 2025 (Conference on Applied Machine Learning for Information Security)

The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark

智能体网络安全的下一个挑战：一个现实、无污染的逆向工程基准

Jeremy Spence, Nicholas Assaderaghi, Jinhao Zhu, Nikil Ravi, Raluca Ada Popa, Guannan Wei, Yangruibo Ding, Zhuo Zhang

专题命中 Agent评测 ：agentic(title,abstract)；AI agent(abstract)；分类 cs.AI、cs.SE

AI总结 研究针对智能体逆向工程基准的缺陷，构建SRE-Bench基准，评估五款前沿LLMs的逆向工程能力，发现RE仍未解决，强调其为智能体网络安全重要前沿及SRE-Bench的测试价值。

TRACE Bench: Task-driven Roleplay Agentic Checklist Evaluation

TRACE Bench：任务驱动的角色扮演智能体清单评估基准

Jiahui Zhang, Ziwei Zhang, Yipeng Wang, Yibo Liu, Haozhou Pang, Yikai Hu, Hongyan Ren, Lan Zhou, Qi Gan, Kai Sheng

机构 * Kuaishou GameMind Lab（快手GameMind实验室） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究针对角色扮演评估的黑箱问题，提出TRACE Bench框架，通过清单分解与对话跟踪实现更透明的评估，在覆盖度、鲁棒性等方面优于现有基准，支持闭环演化。

Comments Project page: https://kuaishou-gamemind.github.io/projects/trace_bench/. Code: https://github.com/KuaishouGameMind/TRACE-Bench

Agentic self-driving microscopy benchmarks support qualification but do not necessarily generalize to unseen tasks

智能体自动驾驶显微镜基准测试支持性能验证，但不一定能泛化到未见任务

Nathan S Johnson, Ian Abshire

机构 * Carl Zeiss Research Microscopy Solutions（卡尔蔡司研究显微镜解决方案） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 本研究开发基准框架评估显微镜智能体架构等因素的性能，发现其虽可用于验证比较，但现有基准无法预测智能体在未见显微镜任务上的表现。

Comments 20 pages, 8 figures

CUADebug: Diagnosing and Repairing Computer-Use Agent Failures

CUADebug：计算机使用智能体故障的诊断与修复

Weijia Zhang, Kunlun Zhu, Zeyi Liu, Yinting Chen, Tianyi Ma, Jiateng Liu, Jiaxun Zhang, Bingxuan Li, Xiangru Tang, Heng Ji, Jiaxuan You

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE

AI总结 本研究提出CUADebug框架，含错误分类、CUAErrorBench基准与CUADebugger工具，可诊断修复计算机使用智能体故障，提升任务完成与重新执行成功率，证明其能提供可操作修复信号。

Comments 23 pages, 10 figures, 6 tables

SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response

SecRespond：面向真实入侵后事件响应的AI智能体基准测试集

Lehan Wang, Boli Chen, Ruixue Ding, Pengjun Xie, Jinwei Huang, Zhendong Liu, Shuo Wang, Tao Lei, Xin Ouyang, Xiaomeng Li

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 研究人员推出首个入侵后事件响应AI智能体基准测试集SecRespond，评估23种前沿LLM在10个靶场的表现，发现现有智能体难以及时发现隐蔽入侵并制定全面修复计划，存在根本瓶颈。

EvoPINN: Agentic Discovery of Executable Algorithms for Physics-Informed Neural Networks

EvoPINN：面向物理信息神经网络可执行算法的智能体式发现框架

Peng Yin, Kai Li, Yifan Zhang, Jian Cheng

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 EvoPINN是智能体式框架，将PINN开发转化为基于执行的算法发现，通过LLM智能体迭代优化，自主发明SLRC-PINN，可显著降低PDE求解的相对L₂误差，为科学计算提供新机制。

SARC-DQ: Runtime Data-Quality Gating for Agentic AI: Silent Evidence Defects, the Incompetence Shield, and Downstream-Only Remediation

SARC-DQ：智能体AI的运行时数据质量门控：隐性证据缺陷、无能防护机制与仅下游修复

Gaston Besanson

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.SE

AI总结 该研究针对智能体AI的元数据缺陷问题，提出SARC-DQ运行时数据质量门控机制，实验显示模型能力未提升怀疑能力，所提门控结合下游修复可恢复部分损失，无模型预言机能精准跟踪缺陷率。

Comments https://github.com/besanson/dqSarc

Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation

用于基础设施即代码生成的智能语言模型的验证优先评估

Mohamed Jouini

专题命中 Agent评测 ：agentic(title,abstract)；planning(abstract)；分类 cs.AI、cs.SE

AI总结 研究针对自然语言生成基础设施即代码的问题，对七种智能策略在特定基准测试上进行验证优先评估，通过多种方法得出如主动检索提升性能、迭代优化有收敛效果等五个主要发现，为相关研究提供了重要参考。

Comments 26 pages, 3 figures, 17 tables. Benchmark dataset available at https://huggingface.co/datasets/iac-eval-v2/iac-eval-v2

OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios

OmniaBench：跨多样场景对通用人工智能智能体进行基准测试

Chengyu Shen, Yujie Fu, Gangtao Xin, Yanheng Hou, Wenlong Fei, Guojie Zhu, Jiawei Li, Hongcheng Gao, Runming He, Zhen Hao Wong, Meiyi Qiang, Hao Liang, Zhao Cao, Hao Jiang, Chong Chen, Wentao Zhang

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；planning(abstract)；分类 cs.AI、cs.CL

AI总结 研究针对大语言模型向通用智能体演变，现有基准测试有局限的问题，引入OmniaBench。通过多渠道获取场景知识形成分类法，构建可执行环境并合成任务，还引入能力分类法等。其数据集含多任务，对前沿模型构成挑战，能表征通用智能体能力边界。

Inside the Skill Market: From Software Engineering Activities to Reusable Agent Skills

深入技能市场：从软件工程活动到可复用的智能体技能

Jialun Cao, Xinru Yan, Songqiang Chen, Yaojie Lu, Zhongxin Liu, Shing-Chi Cheung

机构 * The Hong Kong University of Science（香港科技大学） ； University of Chinese Academy of Sciences Beijing, China（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences Beijing, China（中国科学院软件研究所） ； Zhejiang University Hangzhou, China（浙江大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)；分类 cs.AI、cs.SE

AI总结 研究探讨软件工程活动如何转化为可复用智能体技能。通过对公共库和市场中SE技能大规模实证研究，分析其封装活动、生命周期覆盖等，发现SE活动正通过技能成为可复用工件，为技能推荐等提供研究机会及相关机制需求。