AI Agent

Perceived AGI: Believability as Dimensional Completeness, Not Capability

感知通用人工智能：可信度取决于维度完整性，而非能力

Sebastian Cochinescu

机构 * University of Bucharest（布加勒斯特大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究探讨大语言模型在对话中缺乏思维存在感的问题，提出可信度取决于维度完整性的假设，定义了时间、真相、熵和爱四个维度及相关行为立场，识别出行为层，还陈述了可证伪预测，为感知通用人工智能提供概念框架。

Comments 12 pages, 1 figure, 3 tables

IMBench: A Benchmark for Intuitive Robotic Manipulation

IMBench：直观机器人操作的基准测试

Anurag Maurya, Sukhvansh Jain, Prajwal Avhad, Gautham Balachandran, Ziyi Zhou, Atharva Kshirsagar, Satyam Singh, Bowen Li. Rishabh Mukund, Ritul Singh, Jatin Vira, Suvonil Chatterjee, Devesh K. Jha

专题命中 Agent评测 ：tool use(abstract)；分类 cs.AI

AI总结 IMBench旨在评估直观机器人操作这一综合能力，其任务含物理结构推断与动作序列生成。通过35个任务等进行实验，发现视觉语言模型和视觉 - 语言 - 动作模型的不足，为评估和发展物理智能提供基准。

Comments Accepted to SemRob Workshop, RSS 2026. Project Website: https://imbench.org/

Project Kaleidoscope: Contextual, Human-Aligned Evaluation for Real-World AI Applications

万花筒计划：面向现实世界人工智能应用的情境化、符合人类需求的评估

Leanne Tan, Rohan Jaggi, Shaun Khoo, Roy Ka-Wei Lee

机构 * GovTech（新加坡政府科技局） ； National University of Singapore（新加坡国立大学） ； University of British Columbia（英属哥伦比亚大学） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI

AI总结 该项目旨在解决现实世界AI应用评估瓶颈，提出万花筒计划，通过集成基于角色的测试生成、情境化评分标准和人工审查，实现可靠性门控自动评分，经试点和实验验证了其在端到端可靠自动评分方面的有用特征。

Lyapunov Exponent as Physics-Informed Dense Reward: RL Discovery of Stabilization Beyond the Kapitza Pendulum

李雅普诺夫指数作为物理信息密集奖励：强化学习发现超越卡皮察摆的稳定方法

Slava Andrejev

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 该研究针对强化学习中稳定垂直运动倒立摆的问题，提出将李雅普诺夫特征指数作为密集奖励信号，智能体借此成功找到卡皮察摆振荡运动并抑制摆动，让摆处于直立位置。

UESF-Bench: Benchmarking and Probing for Unified Embodied Seeking and Following

UESF-Bench：统一的具身寻找与跟随的基准测试与探究

Kun Yu, Jianhua Yang, Yixiang Chen, Changwei Wang, Hongyuan Yu, Yan Huang, Fushuo Huo, Ya Jing, Zhumin Chen, Keji He

机构 * Shandong University（山东大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Qilu University of Technology（齐鲁工业大学） ； Xiaomi Inc（小米公司） ； Beijing University Of Technology（北京工业大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究针对现有具身智能体语言引导人类跟随基准测试的局限，引入UESF-Bench基准，提出SeekFollow-VLA框架，可处理语义引导探索等任务，实验显示该框架在单人和多人环境中比基线有明显改进，为统一具身寻找与跟随建立基线。

HRIBench: Benchmarking Interaction-Centric Human-Robot Collaboration

HRIBench：以交互为中心的人机协作基准测试

Chang Liu, Jiawei Zhang, Tao Zhang, Ye Wang, Hongyu Zhou, Qin Jin

机构 * Renmin University of China（中国人民大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 研究针对当前VLA基准未充分考量人机交互结构的问题，引入HRIBench基准，它以结构化场景脚本定义协作任务与交互角色，含多项可解释指标。通过实验表明该基准能暴露机器人策略局限，提升协作性能，推动以交互为中心的机器人学习。

Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

对主观预期效用最大化的敏感性：一项方法学研究，并应用于大语言模型决策

Jeff Helzner

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究在标记结果稀缺等情况下评估不确定性决策的难题，通过含敏感性参数α的softmax选择模型得出相关可识别性结果，应用于大语言模型决策，检测到结构化比较α效应。

Comments 64 pages, 5 figures. Code and data archived at Zenodo: https://doi.org/10.5281/zenodo.21250951

Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models

认知立场灵活性探测：测量大语言模型中提示条件下的语域转换

Binwen Liu, Yilin Ren

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 研究大语言模型在不同归因提示下的认知立场灵活性，引入ESFP基准，涵盖多类别多模板项目，从四个维度评估模型响应，发现认知灵活性与模型能力正交，立场内容密度信号最强。

Skills That Don't Exist: A Large-Scale Study of Hallucinated Skill Recommendation in LLM Agents

不存在的技能：对大语言模型代理中幻觉技能推荐的大规模研究

Weifeng Yuan, Wenbo Guo, Feng Dong, Haoyu Wang, Yang Liu

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 研究大语言模型代理中技能名称幻觉漏洞，通过大规模测量发现各配置均有此问题，系统生成众多幻觉名称且非随机，测试的模型级防御存在安全与可用性冲突，修复需全生态系统结构改变。

Rethinking the Evaluation of Harness Evolution for Agents

重新思考智能体的 harness 进化评估

Yike Wang, Huaisheng Zhu, Zhengyu Hu, Yige Yuan, Zhengyu Chen, Shakti Senthil, Hannaneh Hajishirzi, Yulia Tsvetkov, Pradeep Dasigi, Teng Xiao

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 研究重新审视大语言模型智能体的自动 harness 进化评估，通过在可比条件下与基线比较及在保留任务上测试，发现其不总优于简单方法且泛化有限，对其有效性提出质疑，强调需更公平评估协议和基准。

In-Context Reinforcement Learning under Non-Stationarity: A Survey

非平稳性下的上下文强化学习：一项综述

A Run, Ziluo Ding

机构 * Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该综述围绕非平稳性下的上下文强化学习展开，探讨预训练或微调决策模型在交互中推断规则改善行为的能力。将其定义为策略固定时通过上下文适应问题，关联多种相关技术，并从变化内容、展开方式及智能体可观察性三方面组织文献。

MAGIC: Transition-Aware Generation of Navigable Multi-Scene Game Worlds with Large Language Models

MAGIC：利用大语言模型生成具有可导航多场景的游戏世界并感知过渡

Tsz Hei Fan, Choi Wing Fung, Yuxuan Wan, Shuqing Li, Michael R. Lyu

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究利用大语言模型生成多场景游戏世界时面临的问题，提出MAGIC系统，通过四阶段管道将自然语言提示转化为可运行项目，解决跨场景一致性等问题，在新基准测试中表现出色，生成可执行项目且过渡识别指标优。

Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos

Vinci2：在连续自我中心视频中提供主动协助

Gong Sitong, Tianyu Yan, Caixin Kang, Bo Zheng, Xiang Ruan, Huchuan Lu, Kaipeng Zhang, Yoichi Sato, Yifei Huang

机构 * Dalian University of Technology（大连理工大学） ； Alaya Lab（阿莱雅实验室） ； The University of Tokyo（东京大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究连续自我中心视频中智能助手的主动协助问题，提出Vinci2系统，包含EgoServe基准测试和EgoMemo智能体，通过依赖上下文决策及相关技术，在新基准测试上建立强大基线且在现有测试中具竞争力。

Comments Accepted by ECCV 2026

Are LLMs Ready for Scientific Discovery? A Capability-Oriented Benchmark for AI Scientists

大语言模型准备好进行科学发现了吗？面向能力的人工智能科学家基准测试

Chuhan Shi, Xiaoquan Ren, Sicheng Song, Haobo Li, Rui Sheng, Yushi Sun

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI

AI总结 研究围绕科学发现评估大语言模型的能力，引入SDABench基准，涵盖多领域多能力的真实和合成数据实例，评估15个模型，发现其在描述性分析好但在特定任务下降，还提供错误分析框架定位失败之处。

Dimensionality in Satisfaction Ratings

满意度评级中的维度

Andrew Hong, Jason Potteiger

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究用大语言模型注释消费品公司对话文本，分解客户服务满意度为多轴，验证注释与客户自评的关系，发现轴间相关性及共线性，指出分解价值在于归因和覆盖，能识别对话数据中细微的客户体验驱动因素。

Comments 25 pages, 7 figures, 6 tables

SETA: Scaling Environments for Terminal Agents

SETA：终端智能体的扩展环境

Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

机构 * Imperial College London（帝国理工学院） ； University College London（伦敦大学学院） ； SambaNova（桑巴诺瓦公司） ； KAUST（阿卜杜拉国王科技大学） ； Stanford University（斯坦福大学） ； University of Oxford（牛津大学） ； University of Waterloo（滑铁卢大学） ； RadixArk（基数方舟公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究针对终端智能体训练扩展难的问题，提出SETA框架，含SETA - Synth和SETA - Evol两个管道及统一验证机制，构建了SETA - Env数据集。实验显示该数据集能为终端智能体提供优质训练环境，推动相关研究发展。

NetInjectBench: Benchmarking Indirect Prompt Injection in Tool-Using Large Language Model Agents for Network Operations

NetInjectBench：用于网络操作的工具使用大型语言模型代理中间接提示注入的基准测试

Ruksat Khan Shayoni, Muhammad Faraz Shoaib, S M Asif Hossain, M. F. Mridha

机构 * School of Computing, Wichita State University（威斯康星州立大学计算机学院） ； Department of Computer Science, American International University-Bangladesh（孟加拉国国际大学计算机科学系） 纠错

专题命中 Agent评测 ：tool use(abstract)；分类 cs.LG

AI总结 研究网络操作中工具使用大型语言模型代理的间接提示注入问题，提出NetInjectBench基准测试。通过多种方法评估，发现单纯执行不安全率高，不同方法可降低该率，元数据感知策略门效果好，表明网络操作代理需执行时授权边界。

VRExplorer: A Model-based Approach for Semi-Automated Testing of Virtual Reality Scenes

VRExplorer：一种基于模型的虚拟现实场景半自动测试方法

Zhengyang Zhu, Hong-Ning Dai, Hanyang Guo, Zeqin Liao, Zibin Zheng

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 针对VR应用测试难题，提出基于模型的VRExplorer工具。设计EAT框架，结合路径查找算法和概率有限状态机实现场景探索与交互决策。实验显示其在覆盖率和效率上超现有方法，还成功检测出实际项目中的错误。

Comments Published in ASE 2025

Journal ref 2025 40th IEEE/ACM International Conference on Automated Software Engineering (ASE), pp. 482-494, 2025

SafeGuard: A Lightweight Client-Server Architecture for Real-Time Endpoint Threat Detection and Response

SafeGuard：一种用于实时端点威胁检测与响应的轻量级客户端-服务器架构

Gideon Francis Oghie, DivineDavid Shittu Abolanle

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 针对小型和资源受限组织，提出SafeGuard轻量级客户端-服务器架构用于实时端点威胁检测与响应。通过基于签名比较检测威胁，利用多种安全技术保障通信安全，经测试验证其能提供实时端点可见性且无商业许可成本，虽有局限但贡献显著。

Comments 21 pages, 7 figures, 4 tables

Prompting-MammAlps: Fine-Grained Text-to-Video Retrieval for Camera-Trap Data

Prompting-MammAlps：用于相机陷阱数据的细粒度文本到视频检索

Valentin Gabeff, Baptiste Maquignaz, Jennifer Shan, Sepideh Mamooler, Gencer Sumbul, Blair Costelloe, Devis Tuia, Alexander Mathis

机构 * Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院） ； Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所） ； University of Konstanz（康斯坦茨大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对相机陷阱数据自动检索视频的难题，提出Prompting-MammAlps基准及细粒度可解释TVR方法，训练视觉变压器并结合大语言模型处理查询，在基准测试中取得较好成绩，优于零样本VLM。

Comments Accepted at ECCV 2026; Project page: https://cnai.epfl.ch/prompting-mammalps

OmniSCS: Omni Safety-Critical Scenario Synthesis for Autonomous Driving via a Fully Editable Driving World

OmniSCS：通过完全可编辑的驾驶世界实现自动驾驶的全场景安全关键场景合成

Xiaoyun Dong, Qian Xu, Yang Lu, Yang Lou, Yung-Hui Li, Jianping Wang

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究针对自动驾驶安全关键场景合成难题，提出OmniSCS系统，通过完全可编辑驾驶世界构建和SCS合成两个模块，保持数据保真度，在多数据集实验中表现出色，能增强算法并支持实时闭环测试，为SCS优化测试提供高效方案。

From ML Predictions to Informed Diagnostic Assistance Using the Toulmin Model of Argumentation

从机器学习预测到使用论证的图尔敏模型提供信息丰富的诊断辅助

Anca Marginean, Adrian Groza

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究如何利用图尔敏模型为基于图像的诊断提供结构化评估，通过专门模型提取依据，医学知识智能体分析保证，基于定量评估确定限定词，用图像相似性度量构建反驳，辅助人类专家评估机器学习生成的诊断。

SLBench: Evaluating How LLM Agents Follow Logical Relations in Skills

SLBench：评估大语言模型智能体在技能中遵循逻辑关系的情况

Xuan Chen, Chengpeng Wang, Lu Yan, Xiangyu Zhang

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 研究评估大语言模型智能体遵循逻辑关系情况，引入SkillLogic框架，构建SLBench基准，扫描超500个公共技能，评估发现不安全率高，人工审核分析失败原因，还表明SLGuard可减少违规，确立遵循逻辑关系是技能引导智能体的可靠性挑战。

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

UniClawBench：面向实际任务中主动智能体的通用基准测试

Zhekai Chen, Chengqi Duan, Kaiyue Sun, Bohao Li, Yuqing Wang, Manyuan Zhang, Xihui Liu

机构 * HKU MMLab（香港大学多媒体实验室） ； Meituan（美团） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 针对现有基准测试难以评估主动智能体的问题，提出UniClawBench，基于五项基础模型能力设计400个双语现实任务，采用实时评估和闭环评估策略，通过多模型框架对比展示基础模型能力和框架设计对性能的影响，还公开了基准测试和代码。

Comments Project Page: https://uniclawbench.github.io | GitHub Repo: https://github.com/HKU-MMLab/UniClawBench

Measuring Intelligence Beyond Human Scale

超越人类水平的智能测量

Jerry Han, Rafael Moschopoulos, Ella Colby, Vishrut Goyal, Andrew Tu, Kia Ghods, Mark Braverman, Elad Hazan

机构 * Princeton（普林斯顿大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究如何测量超越人类能力的智能，提出基于相对测量的新范式，模型生成公开挑战，汇总结果得对抗性心理测量评级系统，还描述实用协议，在不同领域实例化框架，实现对超越人类前沿系统的测量。

Can Reinforcement Learning Efficiently Discover Price Manipulation?

强化学习能否有效地发现价格操纵行为？

Ioanna-Yvonni Tsaknaki, Andrea Macrì, Fabrizio Lillo

机构 * Scuola Normale Superiore（斯克沃尔纳正常大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究无模型强化学习智能体能否比传统基于模型方法更有效识别价格操纵机会，通过在单资产市场比较两种有限样本学习方法，发现中等波动率下强化学习表现良好，高波动率时都无法识别，低波动率时基于模型方法更优，凸显强化学习有效性及相关风险。

Comments 30 pages, 11 figures and 5 tables

Is Three the Magic Number? An Empirical Evaluation of LLM-Based Repair Loops

三是神奇数字吗？基于大语言模型的修复循环的实证评估

Tobias Kiecker, Eik Reichmann, Hosung Kang, Gabin An, Lars Grunske

专题命中 Agent评测 ：workflow(abstract)；分类 cs.SE

AI总结 研究基于大语言模型的修复循环迭代限制，通过多个软件工程任务观察到收益递减模式，前几次迭代收获大，后续贡献小，还发现修复行为受工作流编排和反馈设计影响更大。

Comments 4 Pages (+1 for references), NIER Paper

ClassicLogic: A Knowledge-Driven Benchmark of Classic Puzzle Games for Evaluating Compositional Generalization

ClassicLogic：用于评估组合泛化能力的经典益智游戏知识驱动基准集

Mahnoor Shahid, Hannes Rothe

机构 * Universität Duisburg-Essen（杜伊斯堡-埃森大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对现有组合泛化基准缺乏复杂显式结构的问题，构建含4类经典逻辑谜题的新基准，可细粒度评估智能体从基础规则学习到多步组合推理的能力。

Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning

大语言模型真的能恢复微服务故障吗？对诊断到行动推理的恢复感知评估

Jiaxing Qi, Zhongzhi Luan, Hongyu Zhang, Shaohan Huang, Carol Fung, Yongxin Tong, Hailong Yang, Depei Qian

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 研究大语言模型在云原生微服务系统中恢复故障的能力，提出R2Act框架，定义相关内容并实例化为基准数据集，评估多种方法，发现恢复失败多因难以将诊断证据转化为有效恢复行动。

Progressive Disclosure for LLM-Maintained Wiki Knowledge Bases: a Preregistered Ablation

大语言模型维护的维基知识库的渐进式披露：一项预注册的对比研究

Theodore O. Cochran

机构 * AI for Altruism (A4A)（人工智能促进利他主义组织） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 研究针对大语言模型维护的维基知识库，通过预注册对比研究，改造知识库实现渐进式披露。虽原节省索引加载成本未实现，但答案质量达标且成本降低，源于更有针对性的访问。

Comments 14 pages, 2 figures, 6 tables. Preregistered on OSF (https://osf.io/feka7, DOI 10.17605/OSF.IO/FEKA7). Materials-availability and deviations described in the paper