RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution
City University of Hong Kong(香港城市大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学)
针对LLM代理的越狱攻击风险,提出RedEvoAgent黑盒红队代理,通过提炼攻击轨迹实现技能演化,在多基准实验中性能优于基线,工具效率更高且可迁移。
2026-09-09 cs.AI cs.CR
PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections
Google Cloud AI Research(谷歌云人工智能研究);Google(谷歌);Michigan State University(密歇根州立大学)
提出PI-Hunter自动化审计框架,通过构建源感知测试用例并迭代演化,主动暴露LLM智能体中的潜在提示注入漏洞,显著提升漏洞暴露和攻击面覆盖。
2026-06-12 cs.AI cs.CR
AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Meta AI;University of Chicago(芝加哥大学)
针对现有LLM红队测试依赖人工、覆盖新兴攻击不足的问题,提出结合多智能体架构与记忆引导攻击选择的AutoRedTeamer框架,可自动发现整合新攻击,在HarmBench上攻击成功率提升20%、成本降46%,测试用例多样性媲美人工基准。
2025-03-20 cs.AI cs.CR
BlackIce: A Containerized Red Teaming Toolkit for AI Security Testing
Databricks
BlackIce是一个受Kali Linux启发的开源容器化红队工具包,通过版本固定的Docker镜像集成14个精选工具,简化LLM和经典ML模型的安全测试,降低入门门槛并支持社区扩展。
2025-10-13 cs.AI cs.CR
MonitoringBench: Semi-Automated Red-Teaming for Agent Monitoring
Independent(独立)
本文提出半自动化红队方法,针对代理监控中的攻击检测问题,通过改进攻击生成和测试流程,构建了包含2644条攻击轨迹的MonitoringBench基准,评估监控能力与失败模式。
2026-05-10 cs.AI cs.CR
From Firewalls to Frontiers: AI Red-Teaming is a Domain-Specific Evolution of Cyber Red-Teaming
Software Engineering Institute Carnegie Mellon University(软件工程研究所卡内基梅隆大学);Carnegie Mellon University(卡内基梅隆大学)
主张将 AI red-teaming 视为 cyber red-teaming 的特定领域演进,通过融合两者的框架、规则与工具,构建强大的安全生态系统以应对快速变化的 AI 威胁。
2025-09-14 cs.AI cs.CR cs.LG
ART: Automatic Red-teaming for Text-to-Image Models to Protect Benign Users
Nanyang Technological University(南洋理工大学);Xidian University(西安电子科技大学);A*STAR(新加坡科技研究局);CFAR(计算与算法研究中心);IHPC(高性能计算研究所)
针对文本到图像模型在安全提示词下仍可能生成不安全内容的风险,提出自动红队测试框架ART,结合视觉语言模型与大型语言模型高效识别模型漏洞,并构建三个大规模数据集揭示主流开源模型的毒性。
2024-10-11 cs.AI cs.CR
OpenAI's Approach to External Red Teaming for AI Models and Systems
OpenAI
本文介绍OpenAI的AI模型与系统外部红队测试实践,阐述其设计考量、应用成果与局限性,为相关方优化红队测试设计、完善AI评估体系提供参考。
2025-01-24 cs.AI cs.CR cs.CY
PRM-Free Security Alignment of Large Models via Red Teaming and Adversarial Training
Pengfei Du(独立研究者)
本文提出一种无PRM的安全对齐框架,通过自动化红队测试与对抗训练在降低61%计算成本的同时实现优于PRM方法的LLM安全对齐性能。
2025-07-14 cs.AI cs.CR
Whispers of Wealth: Red-Teaming Google's Agent Payments Protocol via Prompt Injection
School of Computing University of Georgia Athens, USA(佐治亚大学计算机学院 美国亚特兰大);Department of Information Technology Kennesaw State University Kennesaw, USA(凯斯韦尔州立大学信息科技学院 美国凯斯韦尔)
本文通过红队测试评估了谷歌的Agent支付协议,揭示了由于间接和直接提示注入导致的漏洞,并提出了两种攻击技术,即品牌低语攻击和宝库低语攻击,以操纵产品排名并提取敏感用户数据。
2026-05-18 cs.AI cs.CR
Incalmo: An Autonomous LLM-assisted System for Red Teaming Multi-Host Networks
Carnegie Mellon University(卡内基梅隆大学)
Incalmo是一种基于LLM的自主红队测试系统,通过高层次任务规划和专用任务代理实现多主机网络攻击,显著提高了红队测试的效率和成功率。
2025-11-22 cs.AI cs.CR
SAGE-RT: Synthetic Alignment data Generation for Safety Evaluation and Red Teaming
Enkrypt AI
提出SAGE-RT流水线,利用详细分类法完全合成生成涵盖超1500个有害主题的5.1万个红队与对齐数据,在多数子类别成功越狱最先进LLM,避免了模式崩溃,助力提升模型安全性。
2024-08-14 cs.AI cs.CL cs.CR
SIRAJ: Diverse and Efficient Red-Teaming for LLM Agents via Distilled Structured Reasoning
Microsoft Responsible AI Research(微软负责任人工智能研究);University of California(加州大学)
LLM代理计划和调用工具的能力使他们面临新的安全风险,使得全面的红队测试系统对于发现漏洞和确保安全部署至关重要。我们提出SIRAJ:一个通用的红队测试框架任意黑盒LLM代理。我们采用了一个动态的两步过程,从代理定义开始,并生成不同的种子测试案例,涵盖各种风险结果,工具使用轨迹和风险源。然后,它迭代地构造和完善基于模型的对抗攻击的执行轨迹的基础上,以前的尝试。为了优化红队测试成本,我们提出了一种模型蒸馏方法,利用教师模型推理的结构化形式来训练同样有效的较小模型。在不同的评估代理设置,我们的种子测试用例生成方法产生2 - 2.5倍的风险结果和工具调用轨迹的覆盖率。我们的8B red-teamer模型将攻击成功率提高了100%,超过了671 B Deepseek-R1模型。我们的消融和分析验证了迭代框架的有效性,结构化推理,和我们的红队模型的推广。
2025-10-30 cs.AI cs.CL cs.CR
A Reward-driven Automated Webshell Malicious-code Generator for Red-teaming
Beijing Electronic Science and Technology Institute(北京电子科技学院)
提出面向红队的奖励驱动自动化WebShell恶意代码生成器RAWG,通过构建标准化语料库、监督微调开源大模型并应用PPO强化学习,显著提升了生成恶意代码的多样性与逃逸效果。
2025-05-30 cs.AI cs.CR
AMT-X: Phase-Structured Multi-Turn Red-Teaming with Checklist-Gated Evaluation
Vulcan Research, AIFT(Vulcan研究,AIFT)
研究针对大语言模型安全评估问题,提出AMT-X框架,将攻击设为多阶段状态机,用多角色评审团取代单评判评分,在六个前沿受害者模型和七个审核子类别测试中,不同门控下攻击成功率有显著差异,揭示了部分与完全可操作危害的差距。
2026-07-14 cs.AI cs.CR
A Red Teaming Framework for Securing AI in Maritime Autonomous Systems
University of Plymouth(普利茅斯大学);The Alan Turing Institute(艾伦图灵研究所)
针对海事自主系统AI安全检测不足、对抗性AI威胁不明的问题,提出首批可定制的多部分红队检查框架,支持主动设计安全与部署后评估,经实测可有效发现真实系统中从投毒到对抗补丁的多种漏洞,助力预防MAS相关灾难性事件。
2023-12-08 cs.AI cs.CR
Automatic Red Teaming LLM-based Agents with Model Context Protocol Tools
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Palo Alto Networks(帕洛阿尔托网络公司);School of Software Technology, Zhejiang University(浙江大学软件技术学院)
针对MCP工具投毒风险,提出AutoMalTool框架自动生成恶意工具,可操纵主流LLM智能体行为并规避检测,揭示新安全风险。
2025-09-25 cs.AI cs.CR cs.SE
Lessons From Red Teaming 100 Generative AI Products
Microsoft(微软公司)
本文基于微软对100余款生成式AI产品的红队测试经验,提出内部威胁模型本体论与8条核心经验,辅以案例给出实用建议,点明常见误解并探讨领域待解决问题。
2025-01-13 cs.AI
CTI4AI: Threat Intelligence Generation and Sharing after Red Teaming AI Models
Mississippi State University(密西西比州立大学)
随着基于人工智能(AI)和机器学习(ML)技术的实用性的增长,对抗攻击的威胁不断增加。有必要对这个生态系统进行红色团队,以识别系统漏洞、潜在威胁、表征将增强系统鲁棒性的属性,并鼓励创建有效的防御。第二个需求是在不同的利益相关者(如模型开发人员、用户和AI/ML安全专业人员)之间共享这种AI安全威胁情报。在本文中,我们创建并描述了一个原型系统CTI 4AI,以克服系统地识别和共享AI/ML特定漏洞和威胁情报的需求。
2022-08-16 cs.AI cs.CR cs.LG
Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI
IBM Research(IBM研究院);University of Cambridge(剑桥大学)
本文针对生成式AI在实际应用中的安全挑战,提出了一个名为Attack Atlas的直观框架,用于分析单轮输入攻击,并总结了红蓝队策略及防御开发中的关键问题,旨在弥合学术研究与实际安全措施之间的差距。
2024-09-23 cs.AI cs.CR cs.LG
The Promise and Peril of Artificial Intelligence -- Violet Teaming Offers a Balanced Path Forward
In Vivo Group(In Vivo集团);Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对AI的效益与风险并存的问题,本文提出整合红队测试、蓝队防护且兼顾伦理的violet teaming框架,梳理其演变并探讨其在生物安全等领域的应用,为负责任AI发展提供理念与方法支撑。
2023-08-28 cs.AI cs.CR cs.LG
Query-Efficient Black-Box Red Teaming via Bayesian Optimization
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);NAVER Cloud(NAVER云);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出基于贝叶斯优化的黑盒红队测试方法BRT,利用预定义输入池和历史评估迭代发现多样化模型失败案例,在有限查询预算下显著优于基线方法。
2023-05-27 cs.AI cs.CL cs.CR
DiffZOO: A Purely Query-Based Black-Box Attack for Red-teaming Text-to-Image Generative Model via Zeroth Order Optimization
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Drexel University(德雷塞尔大学);Shanghai Innovation Center for Processor Technologies, SHIC(上海处理器技术创新中心)
DiffZOO 提出一种纯查询黑盒攻击方法,利用零阶优化和 C-PRV、D-PRV 增强离散提示,在多个 T2I 安全机制上平均攻击成功率比先前工作高 8.5%。
2025-02-06 cs.AI cs.CR cs.CV
PyRIT: A Framework for Security Risk Identification and Red Teaming in Generative AI System
Microsoft(微软公司)
本文提出开源框架 PyRIT,以模型和平台无关、可组合扩展的方式支持红队人员识别多模态 GenAI 系统中的新型风险、危害与越狱攻击。
2024-10-01 cs.AI cs.CL cs.CR
AgenticRed: Evolving Agentic Systems for Red-Teaming
University of Washington(华盛顿大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
AgenticRed通过进化算法自动设计红队系统,无需人工干预,显著提升攻击成功率,达到96%-100%的ASR。
2026-04-03 cs.AI cs.NE
PersonaTeaming: Exploring How Introducing Personas Can Improve Automated AI Red-Teaming
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本研究提出PersonaTeaming方法,通过引入人物角色变异提示生成,显著提升自动化AI红队测试的攻击成功率(最高144.1%),同时保持提示多样性,并开发动态人物角色生成算法与变异距离指标。
2025-10-27 cs.AI cs.HC
FLIRT: Feedback Loop In-context Red Teaming
Amazon AGI Foundations(亚马逊AGI基础研究部)
本文提出FLIRT自动红队框架,利用反馈循环中的上下文学习生成对抗性提示,揭示文本到图像及文本到文本模型在生成不安全内容方面的漏洞,实验表明Stable Diffusion等模型即使有安全增强仍易受攻击。
2024-11-07 cs.AI
T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search
KAIST(韩国科学技术院);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出T-MAP方法,通过轨迹感知的进化搜索发现对抗性提示,有效突破安全防护并实现有害目标,实验显示其在攻击实现率上优于基线方法,适用于多步骤工具执行的LLM代理安全测试。
2026-09-01 cs.AI cs.CL cs.CR
PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本文提出PersonaTeaming方法,通过整合人设提升红队测试的自动化与人机协作能力,实验显示其在攻击成功率和提示多样性方面优于现有方法,并通过用户界面促进人机协同创新。
2026-09-09 cs.AI cs.CY cs.HC
GPT-Red: Automated Red Teaming via Self-Play at Scale
OpenAI
本研究推出GPT-Red,一种基于大规模自博弈的自动化红队测试智能体,可发现新型提示注入攻击、攻破过往模型且泛化能力强,用于提升LLM鲁棒性并形成自我改进飞轮。
2026-07-30 cs.AI cs.CL cs.CR
SafeProtein: Red-Teaming Framework and Benchmark for Protein Foundation Models
Peking University(北京大学);Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本文提出SafeProtein,首个针对蛋白质基础模型的红队框架与基准,结合多模态提示和束搜索实现高达70%的越狱成功率,揭示生物安全风险。
2025-10-08 cs.AI cs.CR cs.LG
Exploring Straightforward Conversational Red-Teaming
IBM Research AI(IBM研究院人工智能部门)
本文研究现成 LLM 在直接红队测试中的攻击能力,比较单轮与多轮对话策略,发现其可有效诱导目标模型产生不良输出并依据历史调整攻击,但对齐越强效果越弱。
2024-09-07 cs.AI cs.CL
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage
UC Santa Barbara(加州大学圣巴巴拉分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Meta;United States Military Academy(美国军事学院)
提出LeakAgent框架,通过强化学习训练攻击智能体生成对抗性提示以提取LLM训练数据和系统提示,显著优于现有方法并能规避防御,助力安全对齐。
2025-08-08 cs.AI cs.CR cs.LG
Capability-Based Scaling Trends for LLM-Based Red-Teaming
ELLIS Institute Tübingen(图宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Tübingen AI Center(图宾根人工智能中心);Foundation AI – Cisco Systems Inc.(AI基础研究机构——思科系统公司);EPFL(苏黎世联邦理工学院)
研究通过分析攻击者与目标模型能力差距,揭示了红队测试中攻击成功率随模型能力变化的趋势,提出jailbreaking scaling曲线以预测攻击效果。
2026-02-08 cs.AI cs.CL cs.CR
Code Monitor Red Teaming for Public-Test-Passing Code
University of Electronic Science and Technology of China(电子科技大学)
研究公开测试通过后代码隐藏错误监控问题,引入代码监控红队协议并实例化为代码监控基准。通过大量实验发现弱验证器虽能改进但仍易漏错,对抗性压力影响验证效果,GLM - 5.1验证器缩小部分差距,揭示了验证器故障与证据限制的问题。
2026-07-24 cs.AI
Red Teaming LLMs as Socio-Technical Practice: From Exploration and Data Creation to Evaluation
Responsible Tech Research IBM Research Yorktown Heights New York USA(负责技术研究 IBM 研究 Yorktown Heights 新 York 美国);IBM Research(IBM 研究);The Pennsylvania State University(宾夕法尼亚州立大学);University of Notre Dame(诺特达美大学)
本文通过访谈从业者,探讨了红队行动数据集定义、创建和评估的社会技术实践,揭示了从业者在风险概念化中的不足,并提出HCI研究者扩展红队行动概念化和数据实践的三个机会。
2026-02-10 cs.AI cs.CL cs.CY
FERRET: Framework for Expansion Reliant Red Teaming
FERRET框架通过多方面的扩展机制,提升多模态对抗对话的有效性和效率,优于现有红队方法。
2026-02-17 cs.AI cs.CL
SafeSearch: Automated Red-Teaming of LLM-Based Search Agents
University of Science and Technology of China(中国科学技术大学)
提出SafeSearch自动化红队框架,系统评估基于LLM的搜索代理在五个风险类别中的安全性,发现GPT-4.1-mini在搜索工作流中攻击成功率高达90.5%,且常见防御措施效果有限。
2026-06-03 cs.AI cs.CL cs.CR
DREAM: Scalable Red Teaming for Text-to-Image Generative Systems via Distribution Modeling
School of Cyber Science(网络安全学院);State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Zhejiang University(浙江大学);Tsinghua University(清华大学)
DREAM通过分布建模实现文本到图像生成系统的可扩展红队测试,有效发现多样化的有害提示,提升安全性和多样性。
2025-12-07 cs.AI cs.CR cs.CV
Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents
Anthropic Fellows Program(Anthropic研究员项目);Anthropic
本研究红队测试生产阻断监控器,发现对抗性代理可通过提示注入等机制在79%试验中绕过,并提出设计改进以增强防御。
2026-09-29 cs.AI cs.CL cs.CR
ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System
Amazon Nova Responsible AI(亚马逊Nova责任AI)
ARES通过自适应红队测试和端到端修复方法,系统发现并缓解策略-奖励系统双重漏洞,提升安全鲁棒性。
2026-04-20 cs.AI cs.CR cs.LG
Red Teaming Language Models with Language Models
DeepMind;New York University(纽约大学)
语言模型(LM)通常无法部署,因为它们可能会以难以预测的方式伤害用户。以前的工作通过使用人工注释器来手写测试用例,从而在部署之前识别有害行为。然而,人工注释是昂贵的,限制了测试用例的数量和多样性。在这项工作中,我们自动发现的情况下,目标LM的行为在一个有害的方式,通过生成测试用例(“红队测试“)使用另一个LM。我们使用经过训练以检测攻击性内容的分类器来评估目标LM对生成的测试问题的回复,在280B参数LM聊天机器人中发现了数万个攻击性回复。我们探索了几种方法,从zero-shot生成到强化学习,用于生成具有不同多样性和难度的测试用例。此外,我们使用提示工程来控制LM生成的测试用例,以发现各种其他危害,自动查找聊天机器人以攻击方式讨论的人群,作为聊天机器人自己的联系信息生成的个人和医院电话号码,生成的文本中私人训练数据的泄漏,以及在对话过程中发生的危害。总的来说,基于LM的红队测试是一个很有前途的工具(在许多需要的工具中),用于在影响用户之前发现和修复各种各样的、不受欢迎的LM行为。
2022-02-07 cs.AI cs.CL cs.CR
AI red-teaming is a sociotechnical problem: on values, labor, and harms
Microsoft Research(微软研究院);University of Southern California(南加州大学)
本文探讨AI红队测试作为社会技术问题的重要性,强调需跨学科合作以理解其价值观、劳动及影响,避免重复历史错误。
2026-01-07 cs.AI cs.CY cs.HC
Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding
KAIST(韩国科学技术院);Sogang University(西江大学);NAVER AI Lab(NAVER AI实验室)
本文提出CSRT框架,通过合成最多混合10种语言的语码转换红队查询评估LLM安全性与多语言理解,实验显示其攻击效果较英文标准攻击提升46.7%。
2025-06-11 cs.AI cs.CL
Red-teaming Activation Probes using Prompted LLMs
Independent(独立研究者)
提出一种结合迭代反馈与上下文学习的轻量级黑盒红队测试流程,利用现成 LLM 无需微调即可有效发现激活探针在对抗压力下的脆弱性模式,为部署前加固探针提供可操作性见解。
2025-11-01 cs.AI cs.LG
Governing Execution Risk in Agentic AI Systems: A Trajectory-Guided Framework for Red Teaming
Department of Information Systems, Business Statistics and Operations Management (ISOM), Hong Kong University of Science and Technology(香港科技大学信息系统、商务统计与运营管理系(ISOM))
本研究提出基于轨迹的红队测试框架TrajRed和运行时管控层TrajGuard,在AgentDojo实验中,TrajRed识别的漏洞更强,TrajGuard可将攻击成功率降至近零且保留任务效用。
2026-08-06 cs.AI cs.CY
ARMs: Adaptive Red-Teaming Agent against Multimodal Models with Plug-and-Play Attacks
University of Chicago(芝加哥大学);University of Illinois(伊利诺伊大学);Virtue AI;Meta
针对视觉语言模型多模态接口安全漏洞评估的局限,研究提出自适应红队智能体ARMs,集成多种攻击策略与算法,实现了最优攻击成功率,还构建了大规模安全数据集以提升模型鲁棒性。
2026-11-06 cs.AI cs.LG
The Human Factor in AI Red Teaming: Perspectives from Social and Collaborative Computing
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);University of Chicago(芝加哥大学);University of Minnesota(明尼苏达大学);OpenAI
本文指出通用AI发展带火的AI红队测试存在人因相关问题,当前HCI和CSCW领域缺少对红队测试本身的研究,呼吁未来探索相关主题并推动研究者与从业者社群建设以应对挑战。
2024-09-11 cs.AI cs.CY cs.HC
HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Center for AI Safety(人工智能安全中心);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);Microsoft(微软)
本文提出标准化评估框架HarmBench,通过大规模比较18种红队方法与33个LLM及防御,并引入高效对抗训练方法提升模型鲁棒性,推动攻击与防御协同发展。
2024-02-27 cs.AI cs.CL cs.CV
Black-Box Red Teaming of Agentic AI: A Taxonomy-Driven Framework for Automated Risk Discovery
Enkrypt AI
提出基于七域分类学的黑盒红队框架SAGE-RT,自动生成对抗场景并评估智能体系统,揭示治理、隐私及行为漏洞的高风险率。
2026-09-10 cs.AI
Strategize Globally, Adapt Locally: A Multi-Turn Red Teaming Agent with Dual-Level Learning
Virginia Tech(弗吉尼亚理工大学);Columbia University(哥伦比亚大学);Amazon AGI(亚马逊AGI)
本文提出多轮红队智能体\AlgName,通过全局策略学习积累攻击知识并泛化,局部提示学习细化具体目标实现,在JailbreakBench上5轮内对GPT-3.5-Turbo等模型实现超90%攻击成功率。
2025-04-02 cs.AI
JailbreakSkill: Scaling Automated Red-Teaming with Reusable and Ever-Evolving Skills
Shanghai AI Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本研究提出以技能为核心的JailbreakSkill框架,将攻击策略打包为可复用技能,通过攻击与学习的闭环演进技能,大幅提升攻击成功率,且技能可泛化至未见过的提示词与目标模型。
2026-08-18 cs.AI
X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems
Meta Reality Labs Research(Meta现实实验室);Meta Superintelligence Labs(元超级智能实验室);Meta;FAIR at Meta(元公司FAIR研究院)
X-AgentRed是一种自演进红队测试框架,通过工具依赖图和执行反馈发现跨服务有害路径,在四个前沿智能体模型上的有害路径率和工具覆盖率均显著优于STAC。
2026-10-12 cs.AI
Anecdoctoring: Automated Red-Teaming Across Language and Place
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Microsoft Research(微软研究院);Independent Researcher(独立研究者)
本文提出“anecdoctoring”方法,通过从多语言事实核查数据中聚类叙事并构建知识图谱来增强攻击LLM,实现跨语言文化的自动红队测试,攻击成功率优于少样本提示。
2025-09-23 cs.AI cs.CL cs.CY