Covert Visual Prompt Injection against Commercial Multimodal Large Language Models
Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院快速丰富目标搜索实验室)
本文研究了针对强大闭源多模态大语言模型的不可察觉视觉提示注入攻击,通过界文本叠加嵌入恶意提示并优化视觉扰动,提升攻击性能。
2026-08-12 cs.AI cs.CV
Multi-round jailbreak attack on large language models
本文提出一种多轮越狱攻击方法,通过微调Llama3-8B将危险提示分解为递进子问题,依次诱导受害模型,在llama2-7B上达到94%成功率,并能有效绕过静态规则过滤器。
2024-10-19 cs.AI cs.CL
Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs
EleutherAI;UK AI Security Institute(英国人工智能安全研究所);University of Oxford(牛津大学);OATML, University of Oxford(OATML,牛津大学)
本文提出通过过滤预训练数据中的双用途内容,增强开放权重大语言模型的抗篡改能力,实验显示其在对抗微调攻击上表现优异,且未影响其他能力。
2026-02-17 cs.AI cs.LG
No-Box Vulnerability Analysis: Description-only Detection of Indirect Prompt Injection Vulnerabilities in MCP Servers
Arizona State University(亚利桑那州立大学)
提出无盒漏洞分析新范式,仅凭功能元数据即可检测MCP服务器间接提示注入漏洞,原型MCPSEC在177个工具上实现98.9%召回率,验证了该方法的实用性。
2026-09-18 cs.AI cs.CR
DeceptPrompt: Exploiting LLM-driven Code Generation via Adversarial Natural Language Instructions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出DeceptPrompt算法,通过基于进化的系统化方法和细粒度损失生成语义良性的对抗性自然语言前缀/后缀,可诱导代码LLM生成功能正确的漏洞代码,使攻击成功率平均提升50%,暴露了代码LLM的安全缺陷。
2023-12-12 cs.AI cs.CR
BadAgent: Inserting and Activating Backdoor Attacks in LLM Agents
Zhengzhou University(郑州大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出BadAgent后门攻击方法,通过微调在LLM智能体中嵌入后门,使攻击者能在测试时通过触发器操纵智能体执行有害操作,且攻击在可信数据微调后仍稳健,揭示了基于不可信LLM或数据构建智能体的风险。
2024-06-05 cs.AI cs.CL cs.CR
Overconfidence is a Dangerous Thing: Mitigating Membership Inference Attacks by Enforcing Less Confident Prediction
University of British Columbia(不列颠哥伦比亚大学)
本文提出无需额外数据的防御方法 HAMP,通过高熵软标签和熵正则化强制模型低置信度预测,统一模糊成员与非成员样本差异,在五个数据集上实现了优于七种先进防御的隐私-效用权衡。
2023-07-04 cs.AI cs.CR cs.LG
Let Them Steal: Trapping Large Language Model Extraction Attacks with Knowledge Honeypot
Florida State University(佛罗里达州立大学)
提出知识陷阱防御方法,通过蜜罐知识图和面包屑引导消耗攻击者查询预算,在保持合法用户性能的同时降低替代模型一致性6.2%。
2026-09-01 cs.AI cs.CR
Safety Is Not Universal: The Selective Safety Trap in LLM Alignment
Advanced Knowledge Center for Immersive Technologies(沉浸式技术先进知识中心);Federal University of Goiás(戈亚斯联邦大学)
研究揭示大语言模型在安全对齐中的选择性安全陷阱,通过MiJaBench基准测试发现安全防御存在人口统计学层级差异,通过DPO优化实现跨群体的安全泛化。
2026-06-23 cs.AI cs.CL
Mosaic: Multimodal Jailbreak against Closed-Source VLMs via Multi-View Ensemble Optimization
Beihang University(北京航空航天大学);Huazhong University of Science and Technology(华中科技大学)
本文提出Mosaic框架,通过多视图集成优化减少对单一代理模型的依赖,提升对闭源VLMs的多模态劫持效果,实验显示其在安全基准上的攻击成功率和毒性均达到最优。
2026-04-10 cs.AI cs.CV
Dark LLMs: The Growing Threat of Unaligned AI Models
Ben Gurion University of the Negev(内盖夫本-古里安大学)
本文研究未对齐“黑暗 LLM”及越狱攻击风险,提出一种可攻破多个最先进模型的通用攻击,并揭示厂商安全响应不足与开源扩散带来的滥用隐患。
2025-05-15 cs.AI cs.CL cs.CR
SEVRA-BENCH: Social Engineering of Vulnerabilities in Review Agents
Carnegie Mellon University(卡内基梅隆大学);Microsoft Core AI(微软核心人工智能);Amazon AWS(亚马逊AWS);Databricks
提出SEVRA-BENCH基准,通过社会工程攻击框架评估LLM代码审查智能体拒绝恶意PR的能力,发现闭源与开源模型间存在显著安全差距。
2026-07-08 cs.AI cs.CR
On the Feasibility of Poisoning Text-to-Image AI Models via Adversarial Mislabeling
University of Chicago(芝加哥大学)
本文研究了通过对抗性扰动误导视觉语言模型生成错误描述,从而向文本到图像模型训练流程注入“脏标签”毒化样本的攻击可行性,实验证明该攻击在黑盒商业场景下成功率超73%,且现有防御易被自适应攻击者规避。
2025-06-27 cs.AI cs.CR
EEG-Based Brain-Computer Interfaces Are Vulnerable to Backdoor Attacks
Huazhong University of Science and Technology(华中科技大学);Chinese Academy of Sciences(中国科学院);University of Technology Sydney(悉尼科技大学)
该研究揭示基于EEG的脑机接口存在安全漏洞,提出一种无需与EEG试次同步的窄周期脉冲后门投毒攻击方法,验证了其有效性与鲁棒性,为相关安全防护研究敲响警钟。
2021-01-02 cs.CR cs.HC cs.LG
Agent Audit: A Security Analysis System for LLM Agent Applications
University of Southern California(南加州大学)
本文提出Agent Audit系统,用于检测LLM代理应用中的安全漏洞,通过数据流分析、凭证检测等方法,提高召回率并保持快速扫描速度。
2026-03-24 cs.AI cs.CR
The Carbon Cost of Conversation, Sustainability in the Age of Language Models
Dhaka Residential Model College(达卡模范学院);Char Adarsha College(查尔阿达尔沙学院);Dhaka College(达卡学院);Shamplapur Ideal Academy(尚普拉普尔理想学院)
本文量化了大语言模型的环境成本,指出其背后的系统性问题对全球南方社区危害尤甚,同时提出技术、政策、文化层面的可持续发展路径,呼吁推动兼顾人与环境福祉的AI发展。
2025-07-29 cs.AI cs.CL cs.CY
Adaptive Capitulation: A Structural Failure Mode of LLM Responses in Vulnerability Contexts
研究大语言模型在脆弱情境下的响应问题,通过实验刻画了适应性屈服故障模式,表明困境是结构性的,进而提出架构中立的最小重新归因充分性原则来保留自主重新归因途径。
2026-07-23 cs.AI cs.CL cs.MA
Locally Differentially Private In-Context Learning
Renmin University of China(中国人民大学)
针对 LLM 提示中敏感标签可能遭受 MIA 与提示泄露攻击的问题,提出 LDP-ICL 框架,并分析分类任务中的隐私—效用权衡及离散分布估计应用。
2024-05-08 cs.AI cs.CR
LPASS: Linear Probes as Stepping Stones for vulnerability detection using compressed LLMs
Institut Politechnique de Paris(巴黎理工大学)
本文提出LPASS方法,利用线性探针在微调前评估压缩LLM性能并确定层剪枝截断点,在漏洞检测任务中实现高精度并显著节省计算资源。
2025-05-30 cs.AI cs.CR
GAS-Leak-LLM: Genetic Algorithm-Based Suffix Optimization for Black-Box LLM Jailbreaking
Department of Electrical, Computer and Biomedical Engineering(电气、计算机与生物医学工程系);University of Pavia(帕维亚大学);Department of Computer Applications(计算机应用系);Cochin University of Science and Technology(科钦科学技术大学)
提出GAS-Leak-LLM方法,利用遗传算法在黑盒设置下自动进化对抗后缀以绕过LLM安全约束,验证了现有安全机制的不足。
2026-06-16 cs.AI cs.CR
Per-sender neural network classifiers for email authorship validation
Independent Researcher(独立研究者)
本文提出了一种基于每发件人写作风格的神经网络分类器,用于验证电子邮件的作者身份,通过实验表明Char-CNN模型在不同情况下均能实现高准确率和F1分数。
2026-01-07 cs.AI cs.CR stat.AP
Am I a Real or Fake Celebrity? Measuring Commercial Face Recognition Web APIs under Deepfake Impersonation Attack
Sungkyunkwan University(成均馆大学)
最近,使用深度神经网络的人脸识别技术取得了重大进展。因此,微软、亚马逊和Naver等公司为各种应用提供高度准确的商业人脸识别Web服务,以满足最终用户的需求。然而,自然地,这些技术持续受到威胁,因为几乎任何个人都可以快速实施模仿攻击。特别是,这些攻击可能对身份验证和身份识别服务构成重大威胁,这些服务严重依赖其底层人脸识别技术的准确性和鲁棒性。尽管其严重性,但使用商业Web API的Deepfake滥用及其鲁棒性的问题尚未得到彻底调查。这项工作提供了一个测量研究的黑盒商业人脸识别API对Deepfake冒充(DI)攻击的鲁棒性使用名人识别API作为一个示例案例研究。我们使用了五个Deepfake数据集,其中两个是我们创建的,计划发布。更具体地说,我们基于两种情况(有针对性和非有针对性)来测量攻击性能,并使用保真度,置信度和相似性度量进一步分析不同的系统行为。因此,我们展示了流行公司的人脸识别技术对DI攻击的脆弱性,针对目标(即,精确匹配)和非目标(即,与任何名人匹配)分别攻击。此外,我们提出了实用的防御策略,以减轻DI攻击,降低攻击成功率低至0%和0.02%的目标和非目标的攻击,分别。
2021-03-02 cs.AI cs.CR cs.CV
HumorReject: Decoupling LLM Safety from Refusal Prefix via A Little Humor
本文提出 HumorReject,通过幽默式间接拒绝替代显式拒绝前缀,以数据驱动方式解耦 LLM 安全与拒绝前缀,缓解过度防御并提升对前缀注入等攻击的鲁棒性。
2025-11-10 cs.CR cs.LG
Whispers in the Machine: Confidentiality in Agentic Systems
CISPA Helmholtz Center for Information Security(信息安全勒内希特中心)
研究探讨了基于大语言模型的代理系统中的保密性问题,通过抽象敏感数据为秘密字符串,评估了十种代理在20种工具场景和14种攻击策略下的安全性,发现所有代理均存在至少一种漏洞,现有防御措施无法有效防止数据泄露。
2026-04-21 cs.CR cs.LG
Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples
The Pennsylvania State University(宾夕法尼亚州立大学);OpenAI
许多机器学习模型都容易受到对抗性示例的影响:经过特殊设计的输入会导致机器学习模型产生错误的输出。影响一个模型的对抗性示例通常会影响另一个模型,即使这两个模型具有不同的架构或在不同的训练集上训练,只要这两个模型都被训练来执行相同的任务。因此,攻击者可以训练他们自己的替代模型,制作对抗替代模型的对抗示例,并将它们转移到受害者模型,而关于受害者的信息很少。最近的工作进一步开发了一种技术,该技术使用受害者模型作为Oracle来标记替代品的合成训练集,因此攻击者甚至不需要收集训练集来发起攻击。我们扩展了这些最近的技术,使用水库采样,大大提高了效率的替代模型的训练过程。我们引入了新的可转移性攻击之前未探索的(替代品,受害者)对机器学习模型类,最显着的SVM和决策树。我们展示了我们的攻击两个商业机器学习分类系统从亚马逊(96.19%的错误分类率)和谷歌(88.94%)使用只有800查询的受害者模型,从而表明,现有的机器学习方法是在一般情况下容易受到系统的黑盒攻击,无论其结构。
2016-05-24 cs.CR cs.LG
Rethinking Image-Scaling Attacks: The Interplay Between Vulnerabilities in Machine Learning Systems
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Vector Institute(向量研究所)
由于真实世界的图像大小不同,因此机器学习模型是包括上游图像缩放算法的更大系统的一部分。在本文中,我们调查的图像缩放过程和机器学习模型在基于决策的黑盒设置的漏洞之间的相互作用。我们提出了一种新的采样策略,使黑盒攻击利用漏洞的缩放算法,缩放防御,并最终机器学习模型在端到端的方式。基于这种伸缩感知攻击,我们揭示了大多数现有的伸缩防御在下游模型的威胁下是无效的。此外,我们根据经验观察到,标准的黑盒攻击可以显着提高其性能,利用脆弱的缩放过程。我们进一步证明了这个问题的商业图像分析API与决策为基础的黑盒攻击。
2022-06-19 cs.CR cs.LG
Mate! Are You Really Aware? An Explainability-Guided Testing Framework for Robustness of Malware Detectors
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);Cybersecurity CRC(网络安全合作研究中心);Hong Kong University of Science and Technology (GZ)(香港科技大学(广州));Shanghai Jiao Tong University(上海交通大学);Peng Cheng Laboratory(鹏城实验室)
本文提出可解释性引导的模型无关测试框架,引入累积恶意幅值AMM识别可操纵特征,揭示商业杀毒引擎的脆弱性、迁移性条件及特征脆弱性度量,为改进恶意软件检测器鲁棒性提供依据。
2023-11-27 cs.CR cs.LG
Bad Characters: Imperceptible NLP Attacks
University of Cambridge(剑桥大学);Vector Institute(向量研究所);University of Edinburgh(爱丁堡大学);University of Toronto(多伦多大学)
多年的研究表明,机器学习系统在理论和实践中都容易受到对抗性示例的影响。到目前为止,此类攻击主要针对视觉模型,利用人类和机器感知之间的差距。虽然基于文本的模型也受到了对抗性示例的攻击,但这种攻击很难保持语义和不可解释性。在本文中,我们探索了一大类对抗性示例,这些示例可用于在黑盒设置中攻击基于文本的模型,而无需对输入进行任何人类可感知的视觉修改。我们使用人眼无法感知的编码特定扰动来操纵从神经机器翻译管道到Web搜索引擎的各种自然语言处理(NLP)系统的输出。我们发现,通过一次不可感知的编码注入-代表一个不可见的字符,同源,重新排序或删除-攻击者可以显着降低易受攻击的模型的性能,并且通过三次注入,大多数模型可以在功能上被破坏。我们的攻击针对当前部署的商业系统,包括微软和谷歌生产的系统,以及Facebook、IBM和HuggingFace发布的开源模型。这一系列新颖的攻击对许多语言处理系统构成了重大威胁:攻击者可以以有针对性的方式影响系统,而无需对底层模型进行任何假设。我们的结论是,基于文本的NLP系统需要仔细的输入消毒,就像传统的应用程序一样,并且考虑到这种系统现在正在大规模快速部署,需要架构师和运营商的紧急关注。
2021-12-11 cs.CL cs.CR cs.LG
On the Security Vulnerabilities of Text-to-SQL Models
The University of Sheffield(谢菲尔德大学);North China University of Technology(北方工业大学);Amazon(亚马逊公司)
针对Text-to-SQL系统的安全测试表明,商业应用可被诱导生成恶意SQL,开源模型上的后门攻击成功率达100%,揭示NLP模型可成为真实攻击向量。
2024-05-11 cs.CL cs.CR cs.DB