Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors
评估前沿人工智能代理作为自主临床安全审计员
机构 * University of the Cumberlands(坎伯兰大学)
专题命中 工具调用 :AI agent(title,abstract);agent(abstract);分类 cs.LG
AI总结 研究旨在评估前沿人工智能代理能否自主进行临床人工智能安全审计。基于METR任务标准构建评估任务,让代理按要求实施攻击、计算得分并编写报告。通过对三个前沿模型在不同数据集和模型架构上的评估,得出各模型表现及成本等情况,部分成果已公开。
Comments 29 pages, 2 figures, 7 tables