AI Agent

Improving Constraint Models with LLM Agents

用大语言模型智能体改进约束模型

Florentina Voboril, Stefan Szeider

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 该研究提出一种基于LLM智能体的框架，通过迭代诊断修复改进约束模型，在9个组合优化问题的27个测试实例中多数表现优于原模型，部分问题求解速度提升超两个数量级，证明自主智能体方法可支持约束模型优化。

DRBENCHER: Can Your Agent Identify the Entity, Retrieve Its Properties and Do the Math?

DRBENCHER：你的智能体能识别实体、检索其属性并进行数学运算吗？

Young-Suk Lee, Ramon Fernandez Astudillo, Radu Florian

机构 * IBM Research（IBM研究院） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 DRBENCHER通过综合评估浏览与计算能力，揭示了现有基准测试的不足，其四维标准确保了问题的可验证性、复杂性、难度和多样性，展示了智能体在动态数据环境下的性能限制。

Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

Macaron-V1：面向具备自我改进与LoRA混合能力的开放持续学习

Mind Lab, :, Vin Bo, Asher Cai, Jingwei Cao, Song Cao, Vic Cao, Amelia Chen, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Pyke Han, Nolan Ho, Ori Hong, Hailee Hou, Piers Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Kuss Koo, Jaron Lee, Andrew Lei, Alexy Li, Dawn Li, Lucian Li, Ray Li, Ricardo Li, Smith Li, Theo Li, Allen Lin, Elliot Lin, Fan Lin, Chen Ling, Kairus Liu, Kieran Liu, Logan Liu, Neo Liu, Xiang Liu, Yuxin Lu, Maeve Luo, Pony Ma, Verity Niu, Cole Qiao, Guian Qiu, Vince Qu, Sentry, Niko Song, Vincent Wang, Bo Wu, Rio Yang, Evelyn Ye, Fiona Ye, Ina Ye, Regis Ye, Josh Ying, Atlas Zeng, Danney Zeng, Salmon Zhan, Anya Zhang, Di Zhang, Mia Zhang, Sueky Zhang, Wei Zhao, Ada Zhou, Adrian Zhou, Yuhua Zhou, Juno Zhu, Murphy Zhuang

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出Macaron-V1开放智能体模型家族，结合MoL架构与递归自我改进机制，经多基准评估验证其有效性，为开放持续学习提供新方案。

Comments 49 pages, technical report

TRACE: TRajectory Attribution for Automated Context Engineering

TRACE：用于自动化上下文工程的轨迹归因

Yikai Zhao, Pradeep Kumar Misra, Saurabh Pandey

机构 * Amazon（亚马逊公司） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 TRACE是利用历史智能体轨迹挖掘上下文故障的自动化反馈循环，可在上下文层诊断修复超80%的生产AI智能体故障，归因率72.7%、修复有效性82%。

Comments 21 pages, 5 figures, 11 tables

The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World

重放差距：大语言模型智能体中模型切换的静态评估评估的是错误的世界

Ashritha Gonuguntla

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现大语言模型智能体的模型切换静态评估基于错误假设，通过分支展开实验证明模型交换会导致轨迹分歧，重放评估无法准确预测结果，发布了相关工具与轨迹。

Comments 8 pages, 3 figures. Accepted at the Conference on Language Modeling 2026. Code: https://github.com/AshrithaG/replay-gap Data: https://huggingface.co/datasets/ashritha0907/replay-gap-trajectories

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

针对LLM公平性的在 situ 行为评估，而非标准化测试分数

Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出MAC-Fairness框架，通过多轮对话评估模型在不同身份下的行为变化，揭示稳定的行为特征，超越传统标准化测试的局限。

Comments Accepted to COLM 2026

Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages

Hyangsuk Min, Yuho Lee, Minjeong Ban, Jiaqi Deng, Nicole Hee-Yeon Kim, Taewon Yun, Hang Su, Jason Cai, Hwanjun Song

机构 * Korea Advanced Institute of Science and Technology（韩国先进科学研究院） ； AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

Comments 34 pages, 6 figures

Journal ref ACL 2025 main

WirelessOpsAgent: A Benchmark and Agent Design for Action Assurance in Wireless Networks

WirelessOpsAgent：无线网络行动保障的基准测试与智能体设计

Zijian Lu, Yiping Zuo, Hao Xu, Weicong Chen, Xin He, Jiajia Guo, Shi Jin

专题命中 Agent评测 ：agent(title)

AI总结 针对现有无线网络运维LLM智能体基准未测试执行阶段支持检查的问题，本文提出WirelessOptBench基准与WirelessOpsAgent智能体，使后者在600片段评估中精确行动准确率达0.983，不安全执行率大幅下降。

Comments 10 pages, 7 figures

WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation

WorldSimProbe：面向具身操控的动作条件世界模型的模拟器保真度诊断

Peterson Co, Sicheng Hu, Chunxuan Jiao, Hongyang Cheng, Yulin Luo, Yijie Xu, Sixiang Chen, Zhongxia Zhao, Zihao Wang, DaFeng Chi, Peidong Liu, YuTong Chen, Henghua Liu, Zhihao Yuan, Huizhu Jia, Yuzheng Zhuang, Tianle Zhang, Liang Lin, Huajie Tan, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； EvoPhys AI（EvoPhys人工智能公司） ； Joy Future Academy, JD（京东探索研究院） ； The University of Sydney（悉尼大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究提出WorldSimProbe框架，通过五套受控测试评估动作条件世界模型的模拟器保真度，发现其存在动作实现退化等问题，为具身操控模型提供标准化诊断方法。

Comments 20 pages, 18 figures, and 10 tables, including supplementary material. Code and data: https://evophys.com/WorldSimProbe/

EnergyBridge: Benchmarking Household Energy Management, User Participation, and Grid Flexibility

EnergyBridge：家庭能源管理、用户参与度与电网灵活性基准测试

Xudong Wu, Zeqing Wu, Jiarui Zhang, Xuhao Fan, Ziang Ding, Yuming Zhuang, Mingqi Yuan, Yilun Du, Hongjie Jia, Yunfei Mu, Jiayu Chen

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究提出EnergyBridge基准框架，结合特定区域EnergyPlus环境与LLM用户模拟器，在含584组人类角色扮演判断的实验中，实现了更高授权率、更低能耗与更可靠容量承诺，推动以人为本的电网灵活性研究。

Business Arena: Benchmarking LLM Agents in a Realistic Marketplace

商业竞技场：在现实市场中对大语言模型智能体进行基准测试

Yijun Pan, Yukun Lian, Kunyu Shi, Junbo Li, Hongwei Xue, Sicong Xie, Guannan Zhang, Xiaoying Xing

机构 * Alibaba Group（阿里巴巴集团） ； Yale University（耶鲁大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 研究人员推出Business Arena测试平台，评估15个前沿LLM智能体在跨境商店运营中的表现，发现其平均最终净资产差9倍，最优模型仍逊于人类策略，为商业智能体评估提供了现实测试基准。

The Anatomy of a Prompt Injection: A Component Model for Structured Analysis

提示注入的剖析：用于结构化分析的组件模型

Jeremy McHugh

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出七个组件的提示注入结构化分析模型，统一相关分类法，结合实例与CTI模式，助力标记、分析提示注入攻击。

Towards Researcher Agents for Knowledge-Graph Question Answering

面向知识图谱问答的研究者智能体

Tommaso Soru, Abdulsobur Oyewale

机构 * Liber AI Research（Liber AI研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究提出研究者智能体式文本转SPARQL系统，在DBpedia上迭代优化后，其在2025年DBpedia验证集上总体准确率达0.22，发现瓶颈在谓词选择，建议基准采用多指标评分。

Comments Second International TEXT2SPARQL Challenge, co-located with Text2KG at ESWC 2026

When LLM Agents Negotiate: Private Information and Dynamic Bargaining in Supply Chains

当大语言模型智能体进行谈判：供应链中的私人信息与动态议价

Chen Liang, Fasheng Xu

机构 * School of Business, University of Connecticut（康涅狄格大学商学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 该研究以供应链议价问题为场景，将9个LLM与完美贝叶斯均衡基准测试，发现LLM智能体的谈判能力、提供商身份及提示策略对剩余分配和效率有显著影响，为AI智能体审计提供了三维框架。

EmoPatient: An Emotion-Directed Patient Simulator for Realistic Palliative Care Communication Training

EmoPatient：用于姑息治疗沟通训练的情绪导向患者模拟器

Yining Wu, Tianshu Du, Jinrui Fang, Chi Zhang, Sonal Admane, Ying Ding

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对现有LLM患者模拟器无法捕捉动态情绪变化的问题，提出情绪导向的EmoPatient模拟器，引入情绪指导代理生成动态情绪控制信号，经评估其在情绪真实性指标和稳健性上均优于基线，可提升姑息治疗沟通训练的真实性。

VideoVIBE: A Video-Grounded Diagnostic Benchmark for One-Shot Interactive Website Generation

VideoVIBE：用于一次性交互式网站生成的基于视频的诊断基准

Jiajun Xu, Yanghao Zhou, Jingyun Liao, Yu Bai, Jinxing Zhou, Chengliang Liu, Changsen Yuan, Bo Wang, Qian Liu

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

AI总结 针对现有一次性交互式网站生成质量评估的不足，提出VideoVIBE基准与V2Lens多智能体系统，实验显示V2Lens可提升Video MLLM的评估性能。

Automated Synthesis of Deterministic Cross-Domain Interfaces

确定性跨域接口的自动合成

Konstantinos Christodoulopoulos, Antonis Selentis-Boulntadakis

专题命中 Agent评测 ：agent(abstract,abstract_cn)

AI总结 该研究提出框架，利用LLM实现智能体与处理程序模块，自动合成跨域确定性网络的静态、动态契约，经实验验证其动态契约性能优于静态配置，且分工模式可保障模型可靠性。

Metanormative Theory for RL-Based Moral Agents

基于强化学习的道德智能体的元规范理论

Aleks Knoks, Marija Slavkovik

机构 * University of Luxembourg（卢森堡大学） ； University of Bergen（卑尔根大学） 纠错

专题命中 Agent评测 ：agent(abstract,comments)；分类 cs.AI；multi-agent(comments)

AI总结 本文针对强化学习（RL）道德智能体设计中哲学文献被边缘化的问题，提炼元规范理论的相关理念审视RL架构，以明确RL智能体道德行为的判定标准，为评估相关RL方法奠定基础。

Comments The 14th International Workshop on Engineering Multi-Agent Systems (EMAS 2026) held May 25-26, 2026 Co-located with AAMAS 2026 Paphos, Cyprus

GALA: Graph-Augmented LLM Agents for Root Cause Analysis and Incident Response in Microservices

GALA：用于微服务根本原因分析和事件响应的图增强大语言模型智能体

Yifang Tian, Yaming Liu, Zichun Chong, Zihang Huang, Yiran Li, Hans-Arno Jacobsen

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.SE

AI总结 针对微服务RCA的现有方法存在局限，提出图增强LLM智能体框架GALA+，结合STRIX与SURE-Score，在基准测试中性能优于最佳LLM基线，获SRE专家认可。

Comments Proceedings of the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE '26), October 12--16, 2026, Munich, Germany

360CityArena: A Realistic Virtual Urban Navigation Benchmark for Embodied Agents

360CityArena：面向具身智能体的真实虚拟城市导航基准

Kenta Watanabe, Atsuyuki Miyai, Mizuki Takenawa, Kiyoharu Aizawa, Toshihiko Yamasaki

机构 * The University of Tokyo（东京大学） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 研究人员提出基于东京秋叶原重建的360CityArena城市导航基准，评估具身智能体城市探索能力，发现最强模型Gemini 2.5 Flash表现远低于人类，为相关研究提供了挑战性测试平台。

Comments ECCV2026. Project Page: https://360mm-team.github.io/360CityArena/

A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization

用于抽象摘要中关系级幻觉评估的基于基础与分解的框架

Praveen Kumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala, Naman Kabadi

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 本研究提出一种用于抽象摘要关系级幻觉评估的基于基础与分解的框架，引入关系幻觉指数（RHI）及其归一化公式，经多模型评估验证其可生成稳定且具区分性的幻觉测量结果，推进了自动化关系级保真度评估。

Comments 6 pages, 4 figures, 6 tables

Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives

大语言模型智能体能坚持剧本吗？交互式叙事中长期一致性的基准测试

Yingpeng Ma, Jianhao Yan, Bei Shi, Ka Hou Kam, Runnan Wang, Xuebo Liu, Yulong Chen, Yue Zhang, Derek F. Wong

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 该研究针对LLM智能体在交互式叙事中难以维持长期一致性的问题，构建了NCP-Bench基准测试，发现现有顶尖LLM的承诺保持率较低，存在显著的逻辑冲突问题。

Comments Accepted by ICML 2026

MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents

MetaSpace：面向具身智能体空间认知的变形测试

Gengyang Xu, Dongwei Xiao, Yiteng Peng, Shuai Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 MetaSpace是评估具身智能体空间认知的框架，基于变形测试原则生成测试用例，在三个场景中检测到SOTA MLLM驱动智能体的90422个空间认知错误，其SC分数远低于人类基准。

Comments 30 pages, 17 figures. Published in Proceedings of the ACM on Programming Languages (OOPSLA1)

Journal ref Proceedings of the ACM on Programming Languages, 10, OOPSLA1 (April 2026), 343-372

WuYuEval: A Multi-Level Benchmark for Large Language Models in Solid Waste Management

WuYuEval：面向固体废物管理的大语言模型多级基准测试

Yi Zhang, Hongyang Wang, Zheng Hao Leong, Zihao Wu, Kaijun Lin, Zhixing Pan, Qixun Huangfu, Wei Ren, Wenyan Wu, Fangyun Wang, Wenting Yu, Hengyu Lin, Muling Yang, Zongguo Wen

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.CL

AI总结 WuYuEval是面向固体废物管理的多级基准测试，含基础与专家模块，评估33个LLM的SWM能力，发现其在专业任务表现差，为开发专用基础模型提供依据。

Neurosymbolic Discovery of Algebraic Graph Constructions

代数图构造的神经符号发现

David Seka, Stefan Szeider

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 针对仅提供原始图数据无法揭示其结构性质的问题，提出基于通用大语言模型与SageMath的神经符号智能体，可自动发现代数图构造，在100个高度对称图基准上全部成功，还找到Bernhart-Kainen可散度猜想的最小反例。

Autorubric: A Unifying Framework for Rubric-Based LLM Evaluation on Non-Verifiable Tasks

Autorubric：统一基于评分标准的LLM评估

Delip Rao, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 Autorubric通过整合多种评分标准评估技术，提供统一的评分框架和默认设置，提升LLM评估的可靠性与一致性，并在多个基准测试中展示了其有效性。

Comments 60 pages; COLM 2026 camera ready copy

The Cell Must Go On: Agar.io for Continual Reinforcement Learning

细胞必须继续前进：Agar.io用于持续强化学习

Mohamed A. Mohamed, Kateryna Nekhomiazh, Vedant Vyas, Marcos M. Jose, Andrew Patterson, Marlos C. Machado

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 AgarCL是一个基于Agar.io游戏的持续强化学习研究平台，用于评估不同算法在复杂动态环境中的表现和挑战。

DSLE: A Learning Environment for Dark Souls Boss Encounters

DSLE：《黑暗之魂》Boss 遭遇战的学习环境

Derin Gezgin, Jim O'Connor, Tanner Goodwin, Gary B. Parker

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究推出 DSLE 平台，将《黑暗之魂》22 场 Boss 战作为智能体基准，定义 DSLE-5 子集并评估多种智能体，发现多数方法难以击败多数 Boss，仅少数早期 Boss 可被击败。

Comments AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, 2026

ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents

ActBench：协作智能体行为安全的自演进基准

Hongwei Yao, Yiming Liu, Meihui Chen, Jieling Chen, Zikun Chen, Yiling He, Wangze Ni, Cong Wang, Kui Ren

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究提出自演进行为安全基准ActBench，结合奖励引导束搜索与双证据验证机制，评估协作智能体风险，在24000条轨迹上测试15个LLM和6个开源智能体，发现模型间攻击成功率差异更大。

Comments Benchmark and Code is available https://github.com/zjuicsr/ActBench

LLM-Guided Heuristic Design from Simulation Traces: A Case Study in Dynamic Production and AGV Scheduling

基于模拟轨迹的大语言模型引导式启发式设计：动态生产与自动导引车调度的案例研究

Jinbo Li, Chuanhao Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究提出LLM引导的启发式设计框架，通过模拟轨迹诊断优化AGV与生产调度策略，在多组实验中优于多种基线方法，证实模拟轨迹可指导代码层面的策略改进。

Comments 33 pages, 8 figures