arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2412.02776cs.CRcs.AI
收藏

使用普通智能体攻克 CTF

Hacking CTFs with Plain Agents

Rustem Turtayev, Artem Petrov, Dmitrii Volkov, Denis Volk

AI总结:

本文提出朴素 LLM 智能体设计,结合提示、工具使用、多次尝试与 ReAct&Plan 策略,在 InterCode-CTF 上达到 95%,显著超越先前工作并揭示模型黑客能力被低估。

摘要:

我们通过朴素的 LLM 智能体设计,在一个高中水平的黑客基准测试上达到饱和。具体而言,我们利用提示、工具使用和多次尝试,在广受欢迎的攻击性安全基准 InterCode-CTF 上取得 95% 的性能。这优于 Phuong 等人 2024 年(29%)和 Abramovich 等人 2024 年(72%)的先前工作。我们的结果表明,当前 LLM 在攻击性网络安全方面已经超过高中水平。它们的黑客能力仍未被充分激发:我们的 ReAct&Plan 提示策略无需复杂工程或高级 harness,即可在 1 到 2 轮内解决许多挑战。

英文摘要:

We saturate a high-school-level hacking benchmark with plain LLM agent design. Concretely, we obtain 95% performance on InterCode-CTF, a popular offensive security benchmark, using prompting, tool use, and multiple attempts. This beats prior work by Phuong et al. 2024 (29%) and Abramovich et al. 2024 (72%). Our results suggest that current LLMs have surpassed the high school level in offensive cybersecurity. Their hacking capabilities remain underelicited: our ReAct&Plan prompting strategy solves many challenges in 1-2 turns without complex engineering or advanced harnessing.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑