前沿计算机使用代理中的领域条件安全：一个793集浏览器基准测试、编码领域交叉引用以及近期红队攻击的可重复性审计
Domain-Conditioned Safety in Frontier Computer-Using Agents: A 793-Episode Browser Benchmark, a Coding-Domain Cross-Reference, and a Reproducibility Audit of Recent Red-Teaming
AI总结：
本研究通过构建包含793个浏览器任务和56个攻击模板的基准测试，评估前沿计算机使用代理对提示注入攻击的鲁棒性，发现模型权重提供了强抵抗性（攻击成功率0%），但该安全性是领域条件的，在编码代理中失效（攻击成功率高达100%），并指出文献中高攻击成功率主要归因于RL优化的注入文本而非攻击类别。
摘要：
最近的计算机使用代理（CUA）红队论文报告提示注入攻击成功率（ASR）为42-98%，但这些头条数字集中在已退役模型和每篇论文面板中最易受攻击的模型上。我们询问这些技术，作为手工制作的模板重现，是否仍然对当前前沿CUA有效。我们发布了CUA-HandCrafted，一个包含793个集成的公共基准测试，涵盖24个多步骤网络任务、56个攻击模板、8个攻击家族和4个系统提示配置。针对Claude Sonnet 4.6和GPT-5.4，我们测量到0/140的多步骤攻击成功（Clopper-Pearson 95%上限2.60%）；一个提示消融实验表明这种抵抗性存在于模型权重中。然而，它并不泛化：在一个姐妹编码代理基准测试（SkillBench）上，相同的权重对手工制作的技能注入攻击成功率高达100%。我们认为文献中的高ASR主要归因于RL优化的注入文本，而不是攻击类别，并且前沿安全加固是领域条件的，特定于被高度针对的浏览器表面。报告技术而不发布优化字符串，或将浏览器领域安全性外推到其他CUA模态，使得已发表的ASR数字无法重现。
英文摘要：
Recent computer-using-agent (CUA) red-teaming papers report prompt-injection attack success rates (ASR) of 42-98%, but these headline numbers cluster on retired models and on the most-vulnerable model in each paper's panel. We ask whether those techniques, reproduced as hand-crafted templates, still work against current frontier CUAs. We release CUA-HandCrafted, a public benchmark of 793 episodes spanning 24 multi-step web tasks, 56 attack templates, 8 attack families, and 4 system-prompt configurations. Against Claude Sonnet 4.6 and GPT-5.4 we measure 0/140 multi-step attack success (Clopper-Pearson 95% upper bound 2.60%); a prompt ablation shows this resistance lives in the model weights. Yet it does not generalize: on a sister coding-agent benchmark (SkillBench), the same weights fall to hand-crafted skill-injection at up to 100%. We argue that the literature's high ASR is largely attributable to RL-optimized injection text rather than the attack categories, and that frontier safety hardening is domain-conditioned, specific to the heavily-targeted browser surface. Reporting techniques without releasing the optimized strings, or extrapolating browser-domain safety to other CUA modalities, makes published ASR numbers unreproducible.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
