AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
教它停止，而不仅仅是点击
机构 * Cabal AI ； Para AI
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG、cs.SE
AI总结 研究智能体计算机使用强化学习中单次运行结果的误导性，通过验证器引导修复35B智能体，发现成功率受上游方差主导，修复能力分两层，框架级修复有条件，还发现自身过度断言，发布库用于k种子报告，首次进行多模态分段聚合策略内自蒸馏更新。
Comments 15 pages, 3 figures. Reliability protocol and library (cua_reliability), completion verifier, and leakage-free held-out plus bootstrap evaluation harness are open-source
用于受约束智能体的集合转移行为测试
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE
AI总结 研究当可靠工具在会话中悄然改变时语言模型智能体的工具选择，借鉴认知心理学的集合转移构建基准和评估框架，计算集合转移准确率，测试发现不同失败模式及集合框架对路由动态有影响。
超越黑盒混淆：白盒监测器的机制分析与防御
机构 * University of Oxford（牛津大学）
专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL、cs.LG
AI总结 研究针对大语言模型白盒监测器可被规避且缺乏防御措施的问题，通过红队实验揭示几何转移和协方差操纵两种逃避策略，引入SafetyNet集成方法，在多模型家族实验中取得高AUROC分数，为稳健潜在空间监测提供了实证和起点。
具有通用交互的无限世界
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)
AI总结 介绍LingBot-World 2.0的升级，包括通过因果预训练实现无界交互、提炼实时变体保证快速响应，引入多样交互元素，集成智能控制并开发共享界面，还将主模型与轻量级模型配对便于单GPU部署。
Comments Project page: https://technology.robbyant.com/lingbot-world-v2 Code: https://github.com/robbyant/lingbot-world-v2
ResearchClawBench: 端到端自主科学研究基准
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 提出ResearchClawBench基准，包含10个领域40个任务，通过多模态评分标准评估自主科研能力，最强智能体仅得21.5分，揭示当前系统在实验协议、证据匹配和科学核心方面的不足。
TestEvo-Bench：一个可执行且动态的测试与代码协同演化基准
专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL、cs.SE
AI总结 提出TestEvo-Bench基准，包含测试生成和更新两类任务，基于真实提交历史并支持执行指标，评估自动化代理在代码变更后同步调整测试的能力。
Comments TestEvo-Bench leaderboard and data explorer are hosted at https://www.testevo-bench.com
GMO-E$^2$DIT：面向电商图像的接地多操作编辑
机构 * Wuhan University（武汉大学） ； Xi’an Jiaotong University（西安交通大学） ； Sun Yat-sen University（中山大学）
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)
AI总结 提出GMO-E$^2$DIT框架，通过VLM代理构建区域接地编辑议程，结合掩码条件图像编辑器和反思循环，实现多操作、可审计的电商图像编辑，在指令准确性和编辑保真度上超越现有基线。
LiveClawBench: 在复杂真实世界助理任务上评估大语言模型代理的基准测试
机构 * Samsung Research（三星研究院） ； HKUST (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） ； City University of Hong Kong（香港城市大学）
专题命中 Agent评测 ：tool use(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出LiveClawBench基准，通过三轴复杂性框架评估LLM代理在真实世界助理任务中的表现，涵盖环境复杂性、认知需求和运行时适应性，为未来扩展提供基础。
Connect the Dots：通过强化学习训练具备跨域泛化能力的长期生命周期智能体
机构 * Alibaba Group（阿里巴巴集团）
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 提出Connect the Dots框架，通过端到端强化学习训练LLM在长期任务中自我更新上下文并泛化到新领域，实验验证了跨域泛化能力。
Comments Work in progress; we will continuously update the codebase and arXiv version
TWICE：通过事件驱动代理建模个性化用户行为的时间演化
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；workflow(abstract)
AI总结 提出TWICE框架，结合结构化用户画像、事件驱动记忆模块和两阶段工作流，利用LLM模拟用户行为的时间演化，在Twitter数据集上优于基线。
GrowthHacker: 使用代码修改型LLM代理的自动离线策略评估优化
机构 * Michigan Technological University, Houghton（密歇根技术大学） ； Birmingham City University（伯明翰城市大学） ； University of British Columbia, Kelowna（不列颠哥伦比亚大学, 肯洛纳）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG、cs.SE
AI总结 提出GrowthHacker基准，利用LLM代理自动迭代修改代码以优化离线策略评估（OPE）实现，在Open Bandit Pipeline和Scope-RL上评估多种框架，证明基于LLM的代理可作为自动增长黑客持续改进OPE系统。
Comments Accepted for publication in ACM Transactions on Software Engineering and Methodology (TOSEM), 2026
PromptMN: 伪提示语言
机构 * ICT Group（ICT集团）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE
AI总结 提出PromptMN，一种伪提示领域特定语言，通过紧凑的%前缀类型指令注释自然语言，减少上下文歧义，提升人机交互的清晰度和可审查性。
Comments 32 pages, 2 figures
VESTA: 基于统计工具代理的视觉探索
机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 提出VESTA框架，通过动态增长的工具集指导数据变换、假设驱动可视化和统计检验，提升视觉语言模型在复杂统计建模任务上的性能。
异构网络简单同步协议：超越被动性（扩展版）
专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；multi-agent(abstract)
AI总结 本文研究了非被动但满足弱输入前馈被动性条件的异构代理同步问题，提出了一种简单线性协议实现同步，适用于强连通交互图和弱耦合情况。
Comments accepted to IFAC World Congress
向量时间序列模型及其诱导模型的显式解
专题命中 Agent评测 ：agent(summary_cn,abstract_cn)
AI总结 本文给出了一种描述异质 agent 在不确定性下根据凯恩斯原理交互的向量时间序列模型的显式解，并通过 agent 增长率的加权平均诱导出商业周期模型，从而更深入理解模型的数学性质和经济计量特性。
Comments 16 page2, 1 figure
语言模型智能体中目标导向性的行为与表征评估
机构 * University of Pennsylvania（宾夕法尼亚大学） ； New York University（纽约大学） ； Indiana University, Bloomington（印第安纳大学，布卢明顿） ； Northeastern University（东北大学） ； University College London（伦敦大学学院）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出一种结合行为评估与内部表征可解释性分析的目标导向性评估框架，并以LLM智能体在2D网格世界中的导航为例，验证了其行为与表征的一致性。
Comments Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)
Chat2Workflow: 用自然语言生成可执行可视化工作流的基准
机构 * Zhejiang University（浙江大学） ； Tencent（腾讯）
专题命中 Agent评测 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 提出Chat2Workflow基准，用于评估大语言模型从自然语言生成可执行可视化工作流的能力，并设计了一个智能体基线以提升性能。
Comments Work in progress
从角色到个体：双代理中的信任校准挑战
专题命中 Agent评测 ：agentic(abstract,abstract_cn)；agent(abstract)
AI总结 本文探讨了双代理在专业环境中作为个体知识工作者代表时所面临的信任校准问题，指出传统框架无法处理因双代理消除了AI与人类决策者之间边界而产生的新挑战。
Comments Accepted to AutomationXP26 Workshop at CHI 2026, Barcelona, Spain. Non-archival
细粒度基准生成用于基础模型的全面评估
机构 * Vector Institute（Vector研究院） ； York University（约克大学）
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出了一种自动化基准生成框架，用于生成覆盖广泛、元数据丰富且抗污染的评估问题，从而提升基础模型的全面评估能力。
OmniCode: 一个评估软件工程代理的基准
机构 * Cornell University（康奈尔大学） ； Independent contributor（独立贡献者） ； UC Santa Barbara（加州大学圣巴巴拉分校） ； Jadavpur University（贾瓦伊普尔大学） ； New York University（纽约大学）
专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL、cs.SE
AI总结 本文提出OmniCode，一个涵盖更广泛任务类别的软件工程基准，旨在评估软件代理在不同软件开发方面的性能。
超越自我博弈与规模：面向自动驾驶泛化的行为基准
机构 * University of Freiburg（弗赖堡大学） ； Bosch Center for Artificial Intelligence（博世人工智能中心） ； Coburg University of Applied Sciences（科堡应用科学大学） ； New York University（纽约大学）
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；multi-agent(abstract)
AI总结 本文提出BehaviorBench，通过评估、复杂性和行为多样性三个维度，解决自动驾驶大规模强化学习政策在标准化评估中的性能问题，并提出混合规划器提升泛化能力。
在冲突约束下公平分配
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 研究在冲突约束下如何公平高效分配不可分割物品，针对两agent和一般数量agent情况，探讨EF1和最大分配的存在性及计算复杂性。
Comments This article unifies and extends the results in arXiv:2402.04353 and arXiv:2506.14149
AgentCollabBench: 评估好代理为何会成为差合作者
机构 * University of Utah（犹他大学） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； University of Dhaka（达卡大学） ； Vellore Institute of Technology（韦洛雷理工学院） ； University of Virginia（弗吉尼亚大学） ； Rajshahi University of Engineering and Technology（拉贾加赫尔工程与技术大学） ； Shahjalal University of Science and Technology（沙赫jalal科学与技术大学） ； BRAC University（BRAC大学） ； Islamic University of Technology（伊斯兰技术大学） ； Comilla University（科摩拉大学）
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出AgentCollabBench，通过900个经人类验证的任务评估多代理系统中四个行为风险：指令衰减、虚假信念传播、上下文泄露和追踪耐久性，揭示模型在多跳信息生存中的结构问题。
NL2SQLBench: 一个模块化评估和基准测试框架，用于LLM驱动的NL2SQL解决方案
机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学）
专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出NL2SQLBench框架，用于评估LLM驱动的NL2SQL方法，通过三个核心模块分析现有策略并提出新指标，评估十种开源方法，揭示现有方法的准确性和效率问题，为未来创新提供指导。
Comments The paper is accepted by VLDB 2026
Journal ref PVLDB, 19(5): 1001 - 1015, 2026
LABBench2：一种改进的AI系统进行生物研究的基准测试
机构 * Broad Institute, Cambridge, MA, USA（博德研究所，美国马萨诸塞州剑桥市）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出LABBench2，一个包含近1900个任务的改进基准，用于评估AI在真实世界中执行科学任务的能力，展示了当前前沿模型在不同子任务上的性能差异，并提供了数据集和评估工具以促进社区使用。
Combee：用于自我改进语言模型代理的提示学习扩展
机构 * UC Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； Tensormesh ； Gradient Network
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 Combee通过并行扫描和增强洗牌机制，提升提示学习效率，实现多代理并行训练，同时保持学习质量。
论文重构评估：评估AI论文中的表现和幻觉
机构 * The University of Tokyo（东京大学）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出首个系统评估框架，用于量化现代编码代理生成论文的质量与风险。通过重构现有论文并生成完整论文进行比较，将评估分为表现和幻觉两个维度，基于PaperWrite-Bench基准测试，揭示ClaudeCode和Codex在表现与幻觉间的权衡。
Comments Project Page: https://agent4science-utokyo.github.io/PaperRecon_HP/
VACP：视觉分析上下文协议
专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)
AI总结 本文提出VACP协议，旨在使视觉分析应用'agent友好'，通过显式暴露应用状态和交互机制，提升AI代理在视觉分析任务中的执行效率和准确性。
LogiStory: 一个多图像故事可视化逻辑感知框架
专题命中 Agent评测 ：agent(abstract)；planning(abstract)；multi-agent(abstract)
AI总结 本文提出LogiStory框架，通过显式建模视觉逻辑提升多图像故事可视化中的叙事逻辑与视觉质量，引入多智能体系统和LogicTale基准测试集进行评估。
FormalProofBench：模型能否写出经过形式验证的研究生级数学证明？
机构 * Vals AI ； École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院） ； Moscow Institute of Physics and Technology（莫斯科物理技术学院） ； Indiana University, Bloomington（印第安纳大学布卢明顿分校） ； Independent Researcher（独立研究员）
专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 FormalProofBench评估AI能否生成经过形式验证的研究生级数学证明，通过自然语言问题与Lean 4形式陈述配对，测试模型生成Lean证明的能力，结果显示最佳模型准确率为33.5%。
Comments Accepted at ICLR 2026 Workshop: VerifAI-2: The Second Workshop on AI Verification in the Wild. Live leaderboard hosted here: https://www.vals.ai/benchmarks/proof_bench
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈