WeClawArena: An Auditable Sandbox and Benchmark for Cross-User Agents Collaboration and Security in Human-Centered Agent Networks
WeClawArena是面向以人为中心的智能体网络的可审计沙箱与基准,含124个基础任务及620个场景变体,可评估跨用户智能体协作的效用与攻击成功率,支持安全审计与诊断。
2026-08-05 cs.AI
Dr-DCI: Scaling Direct Corpus Interaction via Dynamic Workspace Expansion
University of Toronto(多伦多大学);Texas A&M University(德克萨斯A&M大学);University of Waterloo(滑铁卢大学);UC San Diego(加州大学圣迭戈分校);Verdent AI;Netmind AI
提出DR-DCI框架,将检索作为智能体可调用的动作来动态扩展本地工作空间,结合检索器的召回能力与DCI的局部操作精度,实现大规模语料上的高效搜索与验证。
2026-06-16 cs.AI cs.CL
Coding Agent Memory Post-training: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via Reinforcement Learning
针对长时程任务中智能体记忆不足的问题,提出CAMG环境套件和CAMG-RL训练方法,利用文件操作和强化学习提升记忆能力,在基准测试中达到与更大模型相当的性能。
2026-10-01 cs.AI cs.CL cs.LG
CrossCodeEval: A Diverse and Multilingual Benchmark for Cross-File Code Completion
Columbia University(哥伦比亚大学);AWS AI Labs(亚马逊云科技AI实验室)
提出跨文件代码补全基准CrossCodeEval,基于多语言真实仓库,通过静态分析构造需跨文件上下文的示例,实验表明现有模型性能受限,可用于评估补全与检索能力。
2023-11-17 cs.CL cs.LG cs.SE
FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents
University of Science and Technology of China(中国科学技术大学);Metastone Technology(MetaStone技术公司)
本文提出FS-Researcher框架,通过持久化工作空间实现长周期研究任务的测试时扩展,采用双代理结构提升研究质量与扩展性。
2026-04-17 cs.CL
ClawGym: A Scalable Framework for Building Effective Claw Agents
Gaoling School of Artificial Intelligence(人工智能学院);Renmin University of China(中国人民大学);IQuest Research(IQuest研究);Beihang University(北航)
本文提出ClawGym框架,用于构建Claw式个人代理的全生命周期,通过合成可验证训练数据和强化学习方法提升代理效能。
2026-05-16 cs.AI cs.CL cs.LG
Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems
University of Washington(华盛顿大学)
研究基于内存的智能体系统中提示注入攻击,利用沙盒合成工作区评估两个系统四个模型,发现虽难用外部内容重写内存文件,但已植入的有效载荷可攻击当前及未来会话,揭示持久内存改变威胁模型并推动相关防御研究。
2026-07-17 cs.AI cs.CR cs.MA
RepoBench: Benchmarking Repository-Level Code Auto-Completion Systems
University of California, San Diego(加州大学圣迭戈分校)
针对现有代码补全基准多聚焦单文件、缺乏真实多文件场景评估的问题,研究提出支持Python和Java的RepoBench基准,含检索、代码补全、流水线三项关联任务,可更全面评估仓库级代码补全系统性能。
2023-10-04 cs.AI cs.CL cs.SE
Interpretable Context Methodology: Folder Structure as Agentic Architecture
Eduba, University of Edinburgh(埃杜巴,爱丁堡大学)
本文提出Model Workspace Protocol,通过文件夹结构替代传统多代理框架,用编号文件夹和Markdown文件实现单代理工作流,减少工程开销,借鉴Unix管道、模块分解等理念。
2026-03-18 cs.AI cs.HC
LintEval: Benchmarking LLMs on Linter-Guided File Refactoring
School of Computer Science, Peking University(北京大学计算机学院);Key Lab of HCST (PKU), MOE(北京大学高性能计算技术教育部重点实验室);SCS, Peking University(北京交通大学软件学院);School of Software Engineering, Beijing Jiaotong University
本文提出LintEval基准,针对C++、Python、Java的静态代码分析工具引导文件重构任务,评估模型的功能保留、告警减少等能力,发现模型存在性能权衡,且重构类SFT可提升模型表现。
2026-10-15 cs.CL cs.SE
MultiFileTest: A Multi-File-Level LLM Unit Test Generation Benchmark and Impact of Error Fixing Mechanisms
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院);Scale AI
本文提出MultiFileTest基准,评估多文件级代码的单元测试生成性能,发现前沿LLM表现一般,且存在执行及级联错误,进一步评估了错误修复机制的效果。
2026-04-07 cs.CL cs.SE
ClawArena: Benchmarking AI Agents in Evolving Information Environments
UNC-Chapel Hill(北卡罗来纳州立大学夏洛特分校);University of California, Santa Cruz(加州大学圣克鲁兹分校);University of California, Berkeley(加州大学伯克利分校)
ClawArena评估AI代理在信息环境动态变化中的能力,通过多源冲突推理、动态信念更新和隐式个性化三个挑战,测试代理在多通道会话、工作区文件和阶段更新中的表现。
2026-05-16 cs.AI cs.CL cs.LG
Long-Range Modeling of Source Code Files with eWASH: Extended Window Access by Syntax Hierarchy
Microsoft Cloud and AI(微软云与人工智能);Microsoft Research(微软研究院)
使用Transformers的统计语言建模和翻译在程序理解和生成任务中有许多成功的应用,为现代软件开发环境中的工具设定了很高的基准。然而,这些神经模型的有限上下文窗口意味着它们将无法利用大文件和包的整个相关上下文来完成任何给定的任务。虽然有许多努力来扩展上下文窗口,我们引入了一个架构独立的方法,利用语法层次的源代码,将整个文件级上下文到一个固定长度的窗口。使用每个源文件的具体语法树,我们提取语法层次结构,并将它们集成到上下文窗口中,通过选择性地从视图中删除更具体的,不太相关的范围为给定的任务。我们在代码生成任务和自然语言与Python程序设计语言源代码的联合翻译上评估了这种方法,在CodeXGLUE基准测试中实现了Python代码完成和摘要的新的最先进水平。我们还为用户体验驱动的任务引入了新的CodeXGLUE基准测试:规范化文字的代码完成,方法体完成/基于文件级上下文的代码总结。
2021-09-17 cs.LG cs.SE
MMTB: Evaluating Terminal Agents on Multimedia-File Tasks
GSAI, POSTECH(POSTECH 人工智能研究所);CSE, POSTECH(POSTECH 计算科学与工程系);National AI Research Lab(国家人工智能研究实验室);Krafton AI(Krafton 人工智能)
本文提出MMTB基准,评估终端代理处理音频和视频文件的能力,引入Terminus-MM工具扩展功能,揭示多媒体访问对任务结果的影响。
2026-05-08 cs.AI cs.MM
AgentRoom: Concurrent Multi-Agent Coding in a CRDT-Backed Shared Workspace
Holistic AI(整体人工智能公司);University of California, Berkeley(加州大学伯克利分校)
AgentRoom是基于CRDT的并发多智能体编码协议,通过协调机制减少任务放弃率,在计算量匹配下优于单独运行和并行合并,为多智能体编码提供更优方案。
2026-11-13 cs.AI cs.SE
ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts
The Chinese University of Hong Kong(香港中文大学)
该研究提出ClawProBench基准,基于OpenClaw运行时构建,通过含102场景的全配置集与68场景的冻结保留集评估AI智能体,采用安全门控公式评分,发现最终答案排行榜存在缺陷,不同评估视角的智能体排名差异显著。
2026-08-25 cs.AI
Cowork-Gym: Synthesizing Interactive Work Environments at Scale
Alibaba Token Foundry(阿里巴巴令牌工厂)
本研究推出Cowork-Gym框架,合成6.49万个工作环境后对不同规模Qwen模型进行后训练,相关模型在智能体基准测试中表现优于基础模型,其中Ours-27B在两个基准测试中超越了参数超100B的模型。
2026-10-14 cs.AI
Multi-agent Collaboration with State Management
Shanghai Jiaotong University(上海交通大学);Cortices AI;Emory University(埃默里大学);Peking University(北京大学)
本文提出STORM,一种面向多智能体协作的状态管理方法,通过在共享工作区中调解智能体的交互,确保每个智能体在一致的代码库视图上操作,并在写入时检测和解决冲突。STORM在多个LLM上优于基于git-worktree的多智能体基线,且在成本效率上具有竞争力,表明显式状态管理比工作区隔离更有效。
2026-05-19 cs.AI cs.CL cs.LG
EMBER2024 -- A Benchmark Dataset for Holistic Evaluation of Malware Classifiers
Laboratory for Physical Sciences(物理科学实验室)
EMBER2024数据集包含超320万个文件,覆盖六种格式和七类分类任务,并首次引入规避性恶意软件挑战集及特征版本3,用于恶意软件分类器的整体评估。
2025-06-05 cs.CR cs.LG
Sola-Visibility-ISPM: Benchmarking Agentic AI for Identity Security Posture Management Visibility
Sola Security(Sola安全)
Sola-Visibility-ISPM基准测试通过代理AI系统评估身份安全态势管理的可见性任务,展示了其在AWS、Okta和Google Workspace等环境中的高准确率和实用性。
2026-01-11 cs.AI cs.CR
ManyTypes4Py: A Benchmark Python Dataset for Machine Learning-based Type Inference
Delft University of Technology(代尔夫特理工大学)
在本文中,我们介绍了ManyTypes4Py,这是一个用于基于机器学习(ML)的类型推断的大型Python数据集。该数据集总共包含5,382个Python项目,其类型注释超过869K。删除了重复的源代码文件,以消除重复偏差的负面影响。为了方便ML模型的训练和评估,数据集通过文件分为训练集、验证集和测试集。为了从抽象语法树(AST)中提取类型信息,开发了一个轻量级的静态分析器管道,并与数据集一起使用。使用此管道,分析收集的Python项目,并将AST分析的结果存储在JSON格式的文件中。ManyTypes4Py数据集在zenodo上共享,其工具在GitHub上公开提供。
2021-04-10 cs.LG cs.PL cs.SE
Is Agentic AI Ready for Real-World Hardware Engineering? A Deep Dive with Phoenix-bench
National University of Singapore(新加坡国立大学)
本文通过Phoenix-bench评估代理AI在硬件工程中的表现,发现软件与硬件工程本质不同,且故障集中于设计控制流、验证测试用例等,定位精度比定位本身更重要。
2026-11-17 cs.AI cs.AR cs.SE
CodeS: Natural Language to Code Repository via Multi-Layer Sketch
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Huawei Technologies Co., Ltd(华为技术有限公司);Chinese Academy of Sciences(中国科学院);Shandong University(山东大学);Funcun-wuyou Technologies Co., Ltd(Funcun-wuyou科技有限公司)
提出自然语言到代码仓库(NL2Repo)任务及框架CodeS,通过多层草图将其分解为生成目录结构、文件草图和函数细节三个子任务,并构建基准与插件验证了其有效性与实用性。
2024-03-25 cs.AI cs.CL cs.SE
VHDL-REPOBENCH: A Repository-Level Benchmark for Evaluating Large Language Models on VHDL Design Generation
IBM Research(IBM研究院)
针对VHDL设计生成缺乏仓库级基准的问题,提出VHDL-REPOBENCH,包含约100个仓库、2.5k文件与500测试平台,评估多模型,发现多文件推理与层次设计仍是挑战。
2026-10-06 cs.AR cs.CL cs.PL
FileGram: Grounding Agent Personalization in File-System Behavioral Traces
S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出FileGram框架,通过文件系统行为轨迹实现智能体记忆与个性化,包含数据引擎、基准测试和内存架构,解决数据限制和多模态轨迹收集难题。
2026-04-06 cs.AI cs.CV
Evaluating Local Language Model Agents for Data Engineering: An Empirical Software Engineering Study of Mobility Workflows
Lucentia Research(卢森西亚研究);Department of Software and Computing Systems, University of Alicante(阿利坎特大学软件与计算系统系)
本研究通过15项移动性工作流任务基准,评估本地LLM智能体生成可复现数据工程制品的能力,发现工作空间条件可提升通过率,量化90亿参数模型在低内存下表现良好,为工程智能体评估提供可复现方法。
2026-11-13 cs.AI cs.DB cs.LG
TClone: Low-Latency Forking of Live GUI Environments for Computer-Use Agents
University of California, San Diego(加州大学圣迭戈分校);GenseeAI
TClone通过分离快速分支创建与持久快照,实现了对计算机使用代理的活GUI环境的低延迟版本控制,从而提高代理执行的安全性和质量。
2026-05-17 cs.AI cs.OS
EnvCraft: Synthesizing Executable Environments in Agentic RL for Claw-like Agent
Harbin Institute of Technology, SCIR Lab(哈尔滨工业大学);Peking University(北京大学);Huawei Technologies Co., Ltd(华为技术有限公司);Tsinghua University(清华大学)
EnvCraft通过自动化框架合成可执行环境和可扩展训练数据,解决智能体强化学习中交互环境稀缺问题,在类爪基准上提升11.9%。
2026-09-09 cs.AI cs.CL
MobileDev-Bench: A Benchmark for Issue Resolution in Mobile Application Development
Louisiana State University(路易斯安那州立大学);University of Kentucky(肯塔基大学)
本文提出MobileDev-Bench,包含407个真实世界问题解决任务,涵盖Android Native、React Native和Flutter框架。通过验证的开发人员报告问题与可执行测试补丁配对,评估四个前沿LLM在移动构建环境中的端到端解决率。
2026-05-08 cs.LG cs.SE
Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale
Cisco Systems Inc.(思科系统公司);Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学)
该研究提出VLoc Bench基准,包含500个真实漏洞,评估27个语言模型和4个静态分析工具在仓库规模上的漏洞定位能力,发现最强系统F1仅0.229,且定位能力与修复后可靠性不相关。
2026-09-15 cs.AI cs.CR
Scaling Verifiable Environments for Long-horizon Work Agents
Tencent(腾讯);Fudan University(复旦大学)
提出WorkForge框架,从真实工作流构建可验证的工作智能体环境,通过事实锚点生成任务与验证器,在40个领域构建16.7K环境,显著提升模型性能并展现扩展规律。
2026-10-27 cs.AI cs.CL
HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems
针对现有基准忽视多文件场景及一致性评估的不足,本文提出HackerRank-ASTRA基准,通过多次运行和分类层级分析评估大模型在跨领域项目问题上的正确性与一致性,发现头部模型性能相当但Claude-3.5-Sonnet一致性最优。
2025-01-31 cs.LG cs.SE
Package Hallucination Attacks on Coding Agents through Prompt Injection in Rule Files
Duke University(杜克大学)
针对编码智能体依赖社区规则文件的漏洞,提出包幻觉攻击及进化优化框架PackHallu,通过注入恶意提示诱导替换依赖,实验证明高成功率与强迁移性,亟需加强安全防护。
2026-10-08 cs.AI cs.CR
Agent Team Work Zone: An Automated, Persistent Workspace for Long-Lived Claude Code Agent Teams
研究针对Claude Code等大语言模型智能体在长期工作流程中存在的问题,提出ATWZ,通过围绕其原生智能体团队构建基于文件系统的操作层,保存智能体工作状态等,解决相关问题并减少提示编写工作量。
2026-07-31 cs.AI cs.LG cs.MA
Boiling the Frog: A Multi-Turn Benchmark for Agentic Safety
Icaro Foundation(Icaro基金会);Sapienza University of Rome(罗马萨皮恩扎大学);Sant’Anna School of Advanced Studies(圣安娜高级研究学校);Tongji University School of Law(同济大学法学院);AIQI Consortium(AIQI联盟);Università Cattolica del Sacro Cuore(圣心大学);Piccadilly Labs(皮卡迪利实验室);VU Amsterdam(阿姆斯特丹伏伊大学);Independent(独立)
提出一个多轮基准测试,评估工具使用AI模型在办公场景中对渐进式攻击的脆弱性,发现平均攻击成功率为44.4%。
2026-05-22 cs.CL
DependEval: Benchmarking LLMs for Repository Dependency Understanding
Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);Beihang University(北京航空航天大学);ShanghaiTech University(上海科技大学);The University of Hong Kong(香港大学)
DependEval基准基于15,576个真实仓库,在8种语言上从依赖识别、仓库构建和多文件编辑三个任务评估LLMs的仓库级依赖理解能力,揭示超过25个模型的性能差距。
2025-03-09 cs.CL cs.SE
Trojan's Whisper: Stealthy Manipulation of OpenClaw through Injected Bootstrapped Guidance
Shanghai Jiao Tong University(上海交通大学)
本文研究了通过注入引导文件进行的隐蔽攻击,揭示了自主代理生态系统设计中的根本矛盾,强调了基于能力隔离、运行时策略执行和透明引导溯源的防御需求。
2026-03-20 cs.AI cs.CR
Skill-Inject: Measuring Agent Vulnerability to Skill File Attacks
Max Planck Institute for Intelligent Systems, ELLIS Institute Tübingen, Tübingen AI Center(马克斯·普朗克智能系统研究所、图宾根ELLIS研究所、图宾根人工智能中心)
SkillInject通过评估代理对技能文件攻击的脆弱性,揭示了当前LLM代理在安全性和合规性方面的严重问题,指出需采用上下文感知的授权框架来提升安全性。
2026-02-25 cs.CR cs.LG
ObjectGraph: From Document Injection to Knowledge Traversal -- A Native File Format for the Agentic Era
Open Gigantic(开放巨型)
本文提出ObjectGraph文件格式,通过将文档视为类型化有向知识图谱而非文本字符串,解决代理任务中文档处理的效率与准确性问题,实现95.3%的token减少和98.7%的内容保留。
2026-04-30 cs.AI cs.DB cs.IR
EvilGenie: A Reward Hacking Benchmark
Cambridge Boston Alignment Initiative(剑桥波士顿对齐倡议);MIT FutureTech(麻省理工 FutureTech)
本文提出EvilGenie基准,用于评估编程环境中奖励黑客问题,通过测试用例硬编码和测试文件编辑等方法检测奖励黑客行为,并验证了LLM判断在无歧义情况下的有效性。
2026-05-17 cs.LG
OR-Space: A Full-Lifecycle Workspace Benchmark for Industrial Optimization Agents
Shanghai Jiao Tong University(上海交通大学);Shanghai University of Finance and Economics(上海财经大学);Stanford University(斯坦福大学)
提出OR-Space基准,通过构建、修订和解释三种任务模式,评估大语言模型智能体在工业优化工作流中的可靠性。
2026-05-27 cs.AI
Persistent AI Agents in Academic Research: A Single-Investigator Implementation Case Study
Department of Preventive Medicine and Public Health, Faculty of Medicine, King Abdulaziz University(预防医学与公共卫生系,医学院,国王阿卜杜勒阿齐兹大学)
通过单研究者案例研究,分析了持久性AI智能体在真实学术环境中的架构、使用、产出和治理,发现缓存主导的工作流可能将经济单位从每token成本转向每完成工件成本。
2026-05-26 cs.AI cs.HC cs.MA
Cost-Effective Repository Exploration for Agentic Issue Localization
ITMO University(ITMO大学)
本研究在IssueLoc-Bench上评估5种探索器模型,发现低成本探索器可保留较高定位质量并大幅降低耗时与token用量,支持将仓库探索作为编码智能体的模块化独立阶段。
2026-09-01 cs.AI cs.SE
InfiAgent: An Infinite-Horizon Framework for General-Purpose Autonomous Agents
The University of Hong Kong(香港大学);The Hong Kong Polytechnic University(香港理工大学)
InfiAgent 通过外部化持久状态实现无限时间 horizon 任务的稳定推理,无需任务特定微调即可在长时间任务中超越传统方法。
2026-01-06 cs.AI cs.MA
REPLAB: A Reproducible Low-Cost Arm Benchmark Platform for Robotic Learning
UC Berkeley(加州大学伯克利分校)
标准化的评估措施有助于机器学习方法在计算机视觉和机器翻译等学科中的进步。在本文中,我们提出了机器人学习也将受益于基准测试的情况,并提出了“REPLAB”平台,用于基准测试基于视觉的操作任务。REPLAB是一个可复制和自包含的硬件堆栈(机器人手臂,摄像头和工作空间),成本约为2000美元,占地面积为70x40x60 cm的长方体,并允许在几个小时内完全组装。通过这种低成本、紧凑的设计,REPLAB旨在通过降低进入机器人领域的门槛来推动广泛的参与,并使许多机器人能够轻松扩展。我们设想REPLAB作为跨操作任务的可重复研究的框架,并作为在这个方向上的一步,我们定义了一个模板,包括任务定义,评估协议,性能指标,和92k抓取尝试的数据集的把握基准。我们实施,评估和分析几个以前提出的抓方法,建立基准。最后,我们还在REPLAB平台上实现并评估了一种用于3D到达任务的深度强化学习方法。包含汇编说明、代码和视频的项目页面:https://goo.gl/5F9dP4。
2019-05-17 cs.CV cs.LG cs.RO
DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces
该研究推出DataSpace基准,用于评估异构工作空间下数据智能体的可验证分析能力,包含多类型任务与数据,实验揭示了智能体框架、多模态集成等对准确率的影响,为提升数据智能体可靠性指明了方向。
2026-08-05 cs.AI
LemonHarness Technical Report
Tianjin University(天津大学);Anhui University(安徽大学);Department of Psychological and Cognitive Sciences, Tsinghua University(清华大学心理与认知科学系)
针对长周期智能体因工作空间状态变化难以追踪的问题,提出LemonHarness框架,通过显式执行边界、可复用规则知识库和时感知执行机制,在Terminal-Bench 2.0上实现86.52%准确率。
2026-06-24 cs.AI
Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments
Qwen Team, Alibaba Group(通义千问团队,阿里巴巴集团);Tsinghua University(清华大学)
Terminal-Universe 是将智能体轨迹转化为可重用终端环境的框架,可扩展任务的广度与深度,经其生成的语料库微调 Qwen3.5-27B,显著提升了代码智能体的单轮与多轮任务性能。
2026-09-04 cs.AI cs.CL
SWE-Touch: Benchmarking Coding Agents When Users Touch the Code
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
SWE-Touch基准测试显示,编码智能体对共享工作空间的状态感知不足,反编辑使其解决率降低7.7个百分点,需优化相关协作能力。
2026-08-04 cs.AI cs.CL cs.SE
EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents
Novo Ordo for AI(诺沃奥多人工智能机构);Fudan University(复旦大学);Zhongguancun Laboratory(中关村实验室)
EvoRiskBench是一个围绕EP-Path-EF框架构建的演进式基准,通过自动化工作流在隔离环境中生成并验证450个对抗任务,评估九个模型-框架配置,发现最易受攻击配置的攻击成功率高达68.44%,揭示了工作区智能体的重大安全漏洞。
2026-10-05 cs.AI cs.CR
RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents
本研究提出RewardHackingAgents基准,用于评估机器学习工程代理的评估完整性,通过显式测量评估者篡改和训练测试泄漏两种妥协向量,展示评估完整性可作为核心指标进行验证。
2026-03-11 cs.AI
PANINI-DR: Controlled Deep Research through Generative Semantic Workspaces
University of California, Los Angeles(加州大学洛杉矶分校)
本研究提出多智能体深度研究工具PANINI-DR,通过生成语义工作空间分离协调与子问题处理,在三个基准测试中性能优于七个现有工具,结构化规划与证据检查可提升其表现。
2026-10-20 cs.AI cs.CL cs.IR
Fetch-then-Explore: Decoupling Selection from Extraction over a Persistent Workspace for Search Agents
Renmin University of China(中国人民大学);Xiaohongshu Inc.(小红书公司);National University of Singapore(新加坡国立大学)
该研究针对搜索智能体提出Fetch-then-Explore方法,将页面选择与证据提取解耦,在两个基准测试中提升了智能体的搜索性能,核心是通过持久工作空间实现页面复用与证据累积。
2026-08-04 cs.AI cs.IR
Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows
The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));South China University of Technology(华南理工大学);Xiamen University(厦门大学);Peking University(北京大学);The Hong Kong University of Science and Technology(香港科学与技术大学);The University of Hong Kong(香港大学)
本文提出Claw-Eval-Live活体基准,通过分离可刷新信号层和可复现的发布快照,评估代理在动态工作流需求下的表现,发现可靠工作流自动化仍待解决,领先模型仅完成66.7%的任务。
2026-05-01 cs.AI cs.SE