Percy Liang

Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing

将AI代理与网络安全专家在真实世界渗透测试中进行比较

Justin W. Lin, Eliot Krzysztof Jones, Donovan Julian Jasper, Ethan Jun-shen Ho, Anna Wu, Arnold Tianyi Yang, Neil Perry, Andy Zou, Matt Fredrikson, J. Zico Kolter, Percy Liang, Dan Boneh, Daniel E. Ho

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 本文比较了AI代理与网络安全专家在真实世界渗透测试中的表现，发现ARTEMIS在技术深度和提交质量上接近最强人类参与者，但在误报率和GUI任务上存在不足。