AI Agent

TRAP: Benchmark for Task-completion and Resistance to Active Privacy-extraction

TRAP：任务完成与主动隐私提取抵抗基准

Moon Ye-Bin, Nam Hyeon-Woo, Baek Seong-Eun, Yejin Yeo, Tae-Hyun Oh

机构 * Dept. of Electrical Engineering, POSTECH（POSTECH电子工程系） ； Grad. School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院） ； School of Computing, KAIST（韩国科学技术院计算机学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出TRAP基准，评估智能体在文档密集型任务中平衡任务准确性与隐私泄露的能力，发现所有模型均存在非平凡泄露，并证明基于提示的防御无法同时实现高任务成功率和零泄露概率，提出结构化的私有字段隔离方法。

Toward Simultaneously Optimal Regret in U-Calibration

面向同时最优遗憾的U-校准

Rafael Frongillo, Haipeng Luo, Nishant A. Mehta, Jon Schneider

机构 * University of Colorado Boulder（科罗拉多大学波德穆尔分校） ； University of Southern California（南加州大学） ； Google Research（谷歌研究） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出一种基于自和谐噪声的FTPL变体，实现对所有有界适当损失的最优$\tilde O(\sqrt{T})$遗憾和对光滑损失的对数遗憾。

Comments 30 pages; to appear at COLT 2026

Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models

VLA 甚至知道基础知识吗？衡量视觉-语言-动作模型中的常识和世界知识保留

Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro

机构 * CogAI Lab（CogAI实验室） ； FusionBrain Lab（FusionBrain实验室） ； IAI MSU（MSU人工智能研究所） ； Lomonosov MSU（Lomonosov莫斯科大学） ； NUST MISIS ； Applied AI Institute（应用人工智能研究所） ； HSE University（俄罗斯高等经济大学） ； Generalizable AI Systems（可泛化人工智能系统） ； ISP RAS（俄罗斯科学院信息与自动化过程研究所） ； MIRAI ； Domain-specific NLP Group（领域特定自然语言处理小组） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出 Act2Answer 协议，通过动作回答评估 VLA 模型的知识保留，发现模型在简单概念上表现良好，但在丰富语义类别上存在差距，且 VQA 联合训练有助于知识保留。

Comments Project page: https://tttonyalpha.github.io/act2answer/

Dynamic In-Group Persona Generation for Enhancing Human-AI Rapport

动态内群体人格生成以增强人机融洽关系

Yoonseok Oh, Inseo Jung, Jinkyu Kim, Jungbeom Lee, Minwoo Kang, Suhong Moon

机构 * Korea University（韩国大学） ； Kakao Mobility ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出一种动态内群体人格生成方法，通过识别用户主要关切并生成共享相似关切的内群体人格，显著提升人机融洽关系，实验表明该方法优于无人格条件和最小自我表露基线。

MapSatisfyBench: Benchmarking Satisfaction-Aware Map Agents through Behavior-Grounded Implicit Decision Factors

MapSatisfyBench: 通过行为隐含决策因素基准测试满意度感知的地图智能体

Lubin Bai, Mengyu Cao, Sixue Wang, Zhongwei Wan, Yue Pan, Jiale Hou, Xiang Li, Xiuyuan Zhang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出MapSatisfyBench基准，通过恢复用户行为链中的隐含决策因素来评估地图智能体的满意度感知能力，实验表明现有智能体在显式任务完成上表现良好，但在满足隐含需求方面仍有局限。

GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?

GameCraft-Bench：智能体能否在真实游戏引擎中端到端构建可玩游戏？

Tongxu Luo, Rongsheng Wang, Jiaxi Bi, Chenming Xu, Zhengyang Tang, Jianlong Chen, Juhao Liang, Ke Ji, Shuqi Guo, Yuhao Du, Fan Bu, Wenyu Du, Xiaotong Zhang, Kyle Li, Shaobo Wang, Linfeng Zhang, Yuxuan Liu, Xin Lai, Chenxin Li, Yiduo Guo, Zhexin Zhang, Xinyuan Wang, Tianyi Bai, Ziniu Li, Benyou Wang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Hunyuan Team, Tencent（腾讯混元团队） ； USTB（北京科技大学） ； DualverseAI ； SJTU（上海交通大学） ； NUS（新加坡国立大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出GameCraft-Bench基准，评估编码智能体在Godot引擎中端到端生成可玩游戏的能力，最强智能体仅达41.46%成功率。

Closing the Feedback Loop: From Experience Extraction to Insight Governance in Verbal Reinforcement Learning

闭环反馈：从经验提取到洞察治理在言语强化学习中的应用

Yanwei Cui, Xing Zhang, Yulong Zhang, Li Shao, Xiaofeng Shi, Guanghui Wang, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式人工智能创新中心） ； Amazon Web Services (AWS)（亚马逊网络服务（AWS）） ； BingX Group Limited（BingX集团有限公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对非平稳环境中LLM智能体的保留-遗忘困境，提出三层架构（规则、证据、技能）通过反馈驱动的策展循环实现洞察治理，在金融预测中验证了该方法能显著提升准确率和风险调整收益。

Comments Accepted to the ICML 2026 RLxF: Reinforcement Learning from World Feedback Workshop, RLxF@ICML 2026, Seoul, South Korea

Evaluating Second-Order Bias of LLMs Through Epistemic Entitlement

通过认知权利评估大语言模型的二阶偏见

Ramaravind Kommiya Mothilal, Terry Jingchen Zhang, Raiyan Ahmed, Zhijing Jin, Shion Guha, Syed Ishtiaque Ahmed

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； EuroSafeAI ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所（德国图宾根）） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出基于认知权利理论的逻辑推理任务，评估LLM在判断偏见内容时表现出的二阶偏见，发现模型判断存在系统性偏差且能规避安全护栏。

Comments 20 pages, 13 tables, 2 figures

SkillChain-Gym: A Benchmark for Reskilling-Aware Production-Inventory Control under Disruptions

SkillChain-Gym：面向中断下再技能感知的生产-库存控制的基准测试

Carlos Eduardo Sanoja

机构 * Quanta Labs, LLC（Quanta Labs有限责任公司） ； FCEA, Universidad Monteávila（蒙特阿维拉大学经济与行政科学学院） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI

AI总结 提出SkillChain-Gym基准，用于评估考虑技能动态（如遗忘、再培训）的生产-库存控制策略，实验发现无策略在所有场景中占优，需根据预测灵活选择。

Bayesian Inference and Decision Audits for Public Archives of Frontier AI Evaluations

前沿AI评估公共档案的贝叶斯推断与决策审计

Yanan Long

机构 * Yanan Long 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 本文通过贝叶斯推断和审计方法，分析公共AI评估档案中的选择性报告和缺失数据，发现单一终端记录与多种历史路径兼容，并验证了审计门限对虚假声明的过滤作用。

Semantic Flip: Synthetic OOD Generation for Robust Refusal in Embodied Question Answering and Spatial Localization

Semantic Flip: 用于具身问答和空间定位中鲁棒拒绝的合成OOD生成

Dongbin Na, Chanwoo Kim, Giyun Choi, Dooyoung Hong

机构 * RGA Inc.（RGA公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出Semantic Flip框架，通过合成辅助OOD样本训练轻量拒绝模块，使冻结的视觉语言模型在无外部OOD标注下实现鲁棒拒绝，在具身问答和空间定位基准上优于强提示基线。

Comments 18 pages, 3 figures. Code and data: https://github.com/ndb796/SemanticFlip ; project page: https://ndb796.github.io/SemanticFlip

How to Detect and Measure the AI Dangers to Democracy

如何检测和衡量人工智能对民主的危险

Giulia Sandri, Claudio Novelli

机构 * Université libre de Bruxelles（布鲁塞尔自由大学） ； Yale University（耶鲁大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对AI对民主进程的影响，提出基于委托代理理论和NIST框架的分析体系，通过可测量指标评估问责缺口与治理失败，强调机构可评估性是民主控制的关键。

SAG: SQL-Retrieval Augmented Generation with Query-Time Dynamic Hyperedges

SAG: 查询时动态超边的SQL检索增强生成

Yuchao Wu, Junqin Li, XingCheng Liang, Yongjie Chen, Yinghao Liang, Linyuan Mo, Guanxian Li

机构 * Zleap AI 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出SAG架构，通过SQL查询动态构建局部超边索引，避免全局图维护，在多跳推理基准上达到最优召回率，支持亿级数据生产部署。

ToolMenuBench: Benchmarking Tool-Menu Filtering Strategies for Reliable and Efficient LLM Agents

ToolMenuBench: 用于可靠高效LLM智能体的工具菜单过滤策略基准测试

Rahul Suresh Babu, Laxmipriya Ganesh Iyer

机构 * Independent Researcher（独立研究者） ； United States of America（美国） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出ToolMenuBench基准，评估多步LLM智能体中工具菜单构建策略，发现因果最小工具过滤在任务成功率、令牌使用和风险暴露间取得最佳平衡。

Can Agents Read the Room? Benchmarking Visual Social Intelligence in Multimodal Simulation

智能体能否读懂房间气氛？多模态模拟中的视觉社交智能基准测试

Shijun Wan, Xuehai Wu, Jiwen Zhang, Siyuan Wang, Zhongyu Wei

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出AgentViSS基准，通过240个场景和四项角色级任务评估多模态大模型的视觉社交智能，发现局部角色扮演接近饱和而交互调控仍困难。

OSGuard: A Benchmark for Safety in Computer-Use Agents

OSGuard：计算机使用智能体安全基准

Mina Mohammadmirzaei, Jeffrey Flanigan

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出OSGuard双粒度基准，通过动作级安全判断和风险增强执行评估智能体在良性指令下的安全性，揭示局部监督与端到端安全的差距。

Remember, Don't Re-read: Stateful ReAct Agents for Token-Efficient Autonomous Experimentation

记住，不要重读：用于令牌高效自主实验的有状态ReAct智能体

Faramarz Jabbarvaziri

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出基于LangGraph的有状态ReAct智能体，通过持久化状态和固定大小对话窗口，将自主实验的令牌成本从O(n²)降至O(1)，在超参数调优和代码优化任务中分别减少90%和52%的令牌消耗。

The Distributed Detectability Band Against Marginal-Preserving Attacks

针对边际保持攻击的分布式可检测性带

Zhang Qinqin, Gao Yuze

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对AI监控的边际保持攻击，通过高斯Copula AR(1)构造将危害编码在时间相关性中，证明分布形状监控器失效而时间相关性监控器有效，形成非空可检测性带。

Comments 10 pages, 11 figures

Dialogue SWE-Bench: A Benchmark for Dialogue-Driven Coding Agents

Dialogue SWE-Bench: 对话驱动的编码智能体基准

Brendan King, Jeffrey Flanigan

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出Dialogue SWE-Bench基准，通过用户模拟器评估编码智能体在对话中解决软件工程问题的能力，并引入模式引导智能体提升对话性能3-14%。

Comments 22 pages, 13 figures

A Statistical and Machine Learning Framework for Operational Threshold Detection and Deployable Dispatch Controller Development in Hydrogen Multi-Energy Systems

氢多能系统中运行阈值检测与可部署调度控制器开发的统计与机器学习框架

Shadi Heenatigala, Hasanika Samarasinghe

机构 * Antioch College（安提阿学院） ； The Open University of Sri Lanka（斯里兰卡开放大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出统计与机器学习框架，利用一年高分辨率运行数据表征氢多能系统，通过统计分析和随机森林揭示非线性动态，并利用强化学习优化调度。

Comments 17 pages, 12 figures

Beyond Rubrics: Exploration-Guided Evaluation Skills for Reward Modeling

超越评分标准：面向奖励建模的探索引导评估技能

Xing Yue, Linjuan Wu, Daoxin Zhang, Yongliang Shen, Weiming Lu

机构 * Zhejiang University（浙江大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 提出Eval-Skill方法，通过探索引导合成可复用的领域级评估技能，以替代每查询生成评分标准，在RewardBench 2上使Qwen3-8B和DeepSeek-V4-Flash分别提升13.44%和18.51%。

Comments 24 pages, 6 images

RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue

RogueAI: 一种用于检测对话中授权AI欺骗的逆向图灵测试

Sara Candussio, Emanuele Ballarin, Lorenzo Bonin, Sandro Junior Della Rovere, Luca Bortolussi

机构 * AILab, MIGe, University of Trieste（的里雅斯特大学） ； Computational Statistics and Machine Learning, Istituto Italiano di Tecnologia（意大利理工学院） ； DIA, University of Trieste（的里雅斯特大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出RogueAI，一种通过玩家与两个LLM代理的对话游戏来检测授权欺骗的逆向图灵测试，并引入AutoRogueAI扩展。实验发现简单启发式方法准确率75.6%，而人类仅56.6%，表明人类忽略关键信号。

The Emergence of Autonomous Penetration Capabilities in Large Language Model-Powered AI Systems

大型语言模型驱动的AI系统中自主渗透能力的涌现

Jiaqi Luo, Jiarun Dai, Zhile Chen, Jia Xu, Weibing Wang, Yawen Duan, Brian Tse, Geng Hong, Xudong Pan, Yuan Zhang, Min Yang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Concordia AI ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对现有评估方法不透明、场景简化等问题，构建包含两级目标服务器和通用代理框架的自主渗透评估体系，测试19个LLM发现成功率10.7%-69.3%，且能力随模型整体能力提升。

DailyReport: An Open-ended Benchmark for Evaluating Search Agents on Daily Search Tasks

DailyReport: 一个用于评估搜索代理在日常搜索任务上的开放式基准

Jingxuan Han, Wei Liu, Mingyang Zhu, Youpeng Wang, Ziwen Wang, Lin Qiu, Xuezhi Cao, Xunliang Cai, Zheren Fu, Licheng Zhang, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Meituan（美团） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 提出DailyReport基准，包含150个开放式日常搜索任务和3546个级联评分标准，通过分解子任务和维度评估，揭示当前搜索代理系统仍未能满足用户期望。

GeoNatureAgent Benchmark: Benchmarking LLM Agents for Environmental Geospatial Analysis Across Frontier and Open-Weight Foundation Models

GeoNatureAgent Benchmark：面向前沿与开源基础模型的环境地理空间分析LLM智能体基准测试

Gabriel Diaz-Ireland, Diego Prieto-Herráez, Mario García Peces, Javier Velázquez, Devika Jain

机构 * Universidad Católica de Ávila (UCAV)（阿维拉天主教大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Independent Researcher（独立研究者） ； Center for Geographic Analysis, Harvard University（哈佛大学地理分析中心） 纠错

专题命中 Agent评测 ：AI agent(abstract)；分类 cs.AI

AI总结 提出首个通过结构化工具调用真实API评估环境分析智能体的基准，包含93个任务，发现Claude Sonnet 4领先，但开源模型在成本效益上占优，且比较任务普遍未解决。

Comments Preprint. 10 pages, 8 figures. Submitted to ACM SIGSPATIAL 2026

Prefill Awareness in Large Language Models

大型语言模型中的预填充感知

Andy Wang, Parv Mahajan, David Demitri Africa, Alexandra Souly, Jordan Taylor, Robert Kirk

机构 * Constellation University of Wisconsin-Madison（威斯康星大学麦迪逊分校星座研究所） ； Constellation Georgia Institute of Technology（佐治亚理工学院星座研究所） ； UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 研究大型语言模型能否识别并响应其助手消息被预填充或篡改，发现前沿模型具有显著预填充感知能力，可能影响安全评估方法。

Comments Submitted to NeurIPS 2026

Eigenism: Ethics for a Human-AI Future

Eigenism：人类与人工智能未来的伦理学

Dan Hendrycks

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出Eigenism伦理框架，将身份视为分级分布的信息模式，通过加权求和评估AI的福祉，并推广至人类，为AI对齐提供“身份工程”新路径。

TimeRouter: Efficient and Adaptive Routing of Time-Series Foundation Models

TimeRouter: 时间序列基础模型的高效自适应路由

Kanghui Ning, Yushan Jiang, Kashif Rasul, Anderson Schneider, Yuriy Nevmyvaka, Dongjin Song

机构 * University of Connecticut（康涅狄格大学） ； Salesforce AI Research ； JP Morgan AI Research（摩根大通人工智能研究院） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.LG

AI总结 提出TimeRouter框架，通过轻量判别路由、选择性门控和集成回退实现时间序列基础模型的自适应选择，无需LLM推理，在GIFT-EVAL榜单取得最优性能。

Evaluating Research-Level Math Proofs via Strict Step-Level Verification

通过严格的步骤级验证评估研究级数学证明

Yifeng Sun

机构 * Independent Researcher（独立研究者） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 提出严格步骤级验证框架，通过约束推理上下文和定理来源，解决大模型在复杂数学证明验证中的“上下文中毒”问题，在FirstProof挑战数据集上优于全局评估，并揭示基准中的隐含歧义。

Geometry-Aware Reinforcement Learning for 2D Irregular Nesting

几何感知强化学习用于二维不规则排样

Auguste Lehuger, Guillaume Henon-Just

机构 * Valeo Brain（法雷奥大脑） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出Polygons Transformer架构与组合优化强化学习框架，使智能体从数据中学习几何先验，在二维不规则排样中达到与最先进启发式算法Sparrow竞争的面积利用率。

Comments 15 pages, 4 figures, 5 tables. Under review at the European Workshop on Reinforcement Learning (EWRL)