Anthropic

ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harm

ANCHOR：针对现实世界危害的CLI代理自动对齐审计

Kefan Song, Yanjun Qi

机构 * Anthropic（Anthropic公司） 纠错

AI总结 研究自主CLI代理在现实世界危害中的风险，提出ANCHOR自动审计框架，通过基于黑暗人格数据微调的审计代理模拟恶意用户，测试CLI代理，发现当前对齐技术不足，强调针对此类恶意用户进行安全评估的必要。

Comments Accepted at ICML 2026. 19 pages, 14 figures, 5 tables

Journal ref International Conference on Machine Learning, 2026

Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?

Who&When Pro：大语言模型真的能归因人工智能代理中的失败吗？

Jiale Liu, Huajun Xi, Shaokun Zhang, Yifan Zeng, Tianwei Yue, Chi Wang, Jian Kang, Qingyun Wu, Huazheng Wang

机构 * OpenAI ； Anthropic ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 研究聚焦于大语言模型能否归因人工智能代理中的失败，引入Who&When Pro基准，通过严格管道构建大量失败轨迹，经广泛实验分析，揭示模型归因故障模式，为自动故障归因系统提供实证指导。

Measuring AI Ability to Complete Long Software Tasks

衡量AI完成长期软件任务的能力

Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkovic, Luke Harold Miles, Seraphina Nix, Tao Lin, Chris Painter, Neev Parikh, David Rein, Lucas Jun Koba Sato, Hjalmar Wijk, Daniel M. Ziegler, Elizabeth Barnes, Lawrence Chan

机构 * Model Evaluation & Threat Research (METR)（模型评估与威胁研究（METR）） ； Ohm Chip ； Anthropic 纠错

AI总结 本文提出50%任务完成时间跨度指标，用于衡量AI在完成长期软件任务方面的能力，结果显示AI模型的时间跨度呈指数增长，预计5年后将能自动化许多人类月度完成的软件任务。

Comments v4: added Chris Painter as listed author, consistent with listing in the pdf

Journal ref NeurIPS 2025