Due to the high cost of training, large model (LM) practitioners commonly use pretrained models downloaded from untrusted sources, which could lead to owning compromised models. In-context learning is the ability of LMs to perform multiple tasks depending on the prompt or context. This can enable new attacks, such as backdoor attacks with dynamic behavior depending on how models are prompted.
In this paper, we leverage the ability of vision transformers (ViTs) to perform different tasks depending on the prompts. Then, through data poisoning, we investigate two new threats: i) task-specific backdoors where the attacker chooses a target task to attack, and only the selected task is compromised at test time under the presence of the trigger. At the same time, any other task is not affected, even if prompted with the trigger. We succeeded in attacking every tested model, achieving up to 89.90\% degradation on the target task. ii) We generalize the attack, allowing the backdoor to affect \emph{any} task, even tasks unseen during the training phase. Our attack was successful on every tested model, achieving a maximum of $13\times$ degradation. Finally, we investigate the robustness of prompts and fine-tuning as techniques for removing the backdoors from the model. We found that these methods fall short and, in the best case, reduce the degradation from 89.90\% to 73.46\%.
Robust Backdoor Attacks against Deep Neural Networks in Real Physical World
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
深度神经网络（DNN）已被广泛部署在各种应用中。然而，许多研究表明，DNN是容易受到后门攻击。攻击者可以在目标DNN模型中创建一个隐藏的后门，并通过提交特定的后门实例来触发恶意行为。然而，现有的后门攻击研究大多集中在数字领域，而对真实物理世界中的后门攻击研究较少。受限于各种物理约束，后门攻击在真实物理世界中的性能会严重下降。本文提出了一种鲁棒的物理后门攻击方法PTB（physical transformations for backdoors），用于实现对真实物理世界中的深度学习模型的后门攻击。具体来说，在训练阶段，我们在每一轮模型训练中对这些注入的后门实例执行一系列物理变换，以模拟后门在现实世界中可能经历的各种变换，从而提高其物理鲁棒性。在最新的人脸识别模型上的实验结果表明，与不带PTB的后门攻击方法相比，该方法能够显著提高真实物理世界中的后门攻击性能.在各种复杂的物理条件下，通过仅注入非常小比例（0.5%）的后门实例，使用PTB方法对VGGFace进行物理后门攻击的攻击成功率为82%，而不使用所提出的PTB方法的后门攻击的攻击成功率低于11%。同时，目标DNN模型的正常性能没有受到影响。
Injection, Attack and Erasure: Revocable Backdoor Attacks via Machine Unlearning
Engineering Research Center of Transportation Information and Safety (ERCTIS), MoE of China, School of Computer Science and Artificial Intelligence, Wuhan University of Technology（交通运输信息与安全工程研究中心（ERCTIS）、中国教育部、武汉理工大学计算机科学与人工智能学院）
A Spatiotemporal Stealthy Backdoor Attack against Cooperative Multi-Agent Deep Reinforcement Learning
School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院）；Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
Towards Backdoor Stealthiness in Model Parameter Space
Radboud University（拉德博德大学）；Delft University of Technology（代尔夫特理工大学）；Radboud University, Nijmegen, The Netherlands（拉德博德大学）；University of Zagreb Faculty of Electrical Engineering and Computing（Zagreb 工程与计算学院）
ELBA-Bench: An Efficient Learning Backdoor Attacks Benchmark for Large Language Models
School of Computer Science, Wuhan University（武汉大学计算机学院）；National University of Singapore（新加坡国立大学）；Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）
Matrosov Institute for System Dynamics and Control Theory SB RAS（俄罗斯科学院西伯利亚分院系统动力学与控制理论Matrosov研究所）；Faculdade de Ciências, Universidade de Lisboa（里斯本大学科学学院）；LASIGE（LASIGE研究单位）
Backdoor Vectors: a Task Arithmetic View on Backdoor Attacks and Defenses
Warsaw University of Technology（华沙技术大学）；NASK National Research Institute（国家研究机构NASK）；IDEAS NCBR；IDEAS Research Institute（IDEAS研究所）；Computer Vision Center, Universitat Autonoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
School of Computer Science and Engineering, Changchun University of Technology（长春工业大学计算机科学与工程学院）；AI Research Institute, Changchun University of Technology（长春工业大学人工智能研究院）；School of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Georgia（佐治亚大学）；University of California Berkeley（加州大学伯克利分校）
Mind the Style of Text! Adversarial and Backdoor Attacks Based on Text Style Transfer
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Huazhong University of Science and Technology（华中科技大学）；Beihang University（北京航空航天大学）
TrojFM: Resource-efficient Backdoor Attacks against Very Large Foundation Models
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Purdue University（普渡大学）；Pennsylvania State University（宾夕法尼亚州立大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；United States Military Academy（美国军事学院）；University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了第一个后门攻击图神经网络（GNN）。具体来说，我们提出了一个\emph{subgraph based backdoor attack}的GNN图分类。在我们的后门攻击中，一旦预定义的子图被注入测试图，GNN分类器就预测攻击者为测试图选择的目标标签。我们在三个真实世界的图数据集上的实证结果表明，我们的后门攻击是有效的，对GNN的预测准确性的影响很小。此外，我们推广了一种基于随机平滑的认证防御来抵御我们的后门攻击。我们的实证结果表明，防御在某些情况下是有效的，但在其他情况下无效，突出了我们的后门攻击的新防御的需要。
