Text-based Question Answering from Information Retrieval and Deep Neural Network Perspectives: A Survey
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
基于文本的问答（QA）是一项具有挑战性的任务，旨在为用户的问题找到简短具体的答案。这条研究线已经被广泛研究了信息检索技术，并在近年来通过考虑深度神经网络方法而受到越来越多的关注。深度学习方法是本文的重点，它提供了一种强大的技术来学习问题和文本之间的多层表示和交互。在本文中，我们提供了一个全面的概述不同的模型提出的QA任务，包括传统的信息检索的角度来看，和最近的深度神经网络的角度来看。我们还介绍了众所周知的数据集的任务，并提出了现有的结果，从文献中有不同的技术之间的比较。
2020-05-27 cs.CL cs.IR cs.LG
Enhancing Retrieval Augmentation via Adversarial Collaboration
AC-RAG通过对抗协作机制提升检索增强生成的准确性与领域适应性
2026-01-19 cs.AI
CgAT: Center-Guided Adversarial Training for Deep Hashing-Based Retrieval
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology Shenzhen Research Institute（香港科技大学深圳研究院）
深度哈希算法由于其高效性和有效性，在海量图像检索中得到了广泛的应用。然而，深度哈希模型容易受到对抗性示例的攻击，因此开发对抗性防御方法用于图像检索至关重要。现有的解决方案实现了有限的防御性能，因为使用弱对抗性样本进行训练，并且缺乏区分性优化目标来学习鲁棒特征。在本文中，我们提出了一种基于最小-最大值的中心引导对抗训练，即CgAT，通过最差的对抗示例来提高深度哈希网络的鲁棒性。具体来说，我们首先制定的中心代码作为一个语义的歧视性代表的输入图像内容，它保留了语义相似性与积极的样本和不相似性与消极的例子。我们证明了一个数学公式可以立即计算出中心码。在深度哈希网络的每次优化迭代中获得中心码后，采用它们来指导对抗训练过程。一方面，CgAT通过最大化对抗样本的哈希码与中心码之间的汉明距离来生成最差的对抗样本作为增强数据。另一方面，CgAT通过最小化到中心码的汉明距离来学习减轻对抗样本的影响。在基准数据集上的大量实验证明了我们的对抗性训练算法在防御基于深度哈希的检索的对抗攻击方面的有效性。在FLICKR-25 K、NUS-WIDE和MS-COCO上，与当前最先进的防御方法相比，防御性能平均提高了18.61%、12.35%和11.56%。该代码可在https://github.com/xunguangwang/CgAT上获得。
2023-03-25 cs.AI cs.CR cs.CV
Generative Adversarial Nets for Information Retrieval: Fundamentals and Advances
Shanghai Jiao Tong University（上海交通大学）
生成对抗网络（GANs）在深度学习和无监督学习的近期发展中得到了广泛的研究。通过对抗训练机制，GAN设法在判别模型的指导下训练生成模型以拟合潜在的未知真实数据分布，该判别模型估计数据实例是真实的还是生成的。这样的框架最初被提出用于拟合连续数据分布，例如图像，因此它不能直接应用于数据大多是离散的信息检索场景，例如ID，文本和图形。在本教程中，我们将重点讨论GAN技术和各种信息检索场景中离散数据拟合的变体。(i)我们介绍了GAN框架的基本原理及其理论特性;（ii）我们仔细研究了将GAN扩展到离散数据生成的有前途的解决方案;（iii）我们介绍了IR GAN，拟合单ID数据分布的基本GAN框架及其在信息检索上的直接应用;（iv）我们进一步讨论了顺序离散数据生成任务，例如，文本生成，以及相应的GAN解决方案;（v）我们提出了GANs的节点嵌入技术与图形/网络数据拟合的最新工作。同时，我们还介绍了相关的开源平台，如IRGAN和Texygen，以帮助观众进行GANs在信息检索中的研究实验。最后，我们对GANs在信息检索中的应用进行了总结，并对进一步的研究方向进行了展望。
2018-06-10 cs.IR cs.LG
Adversarial Threat Vectors and Risk Mitigation for Retrieval-Augmented Generation Systems
Fire Mountain Labs
本文分析了检索增强生成（RAG）系统面临的提示注入、数据投毒和对抗性查询操纵等主要对抗威胁，并从风险管理视角提出了包含输入验证、对抗训练和实时监控的优先控制列表以缓解风险。
2025-05-30 cs.AI cs.CR
A Study on FGSM Adversarial Training for Neural Retrieval
Naver Labs Europe（Naver欧洲实验室）
与基于术语的方法相比，神经检索模型在过去几年中获得了显着的有效性增益。然而，这些模型在面临拼写错误、分布偏移或易受恶意攻击时可能是脆弱的。例如，最近的几篇论文表明，这种变化严重影响了模型的性能，然后试图训练更有弹性的模型。替代方法包括同义词替换或错别字注入-作为数据增强-以及使用更强大的标记器（characterBERT，BPE-dropout）。为了进一步补充文献，我们在本文中研究了对抗训练作为解决这个鲁棒性问题的另一种可能的解决方案。我们的比较包括基于BERT的神经检索器的两个主要家族，即密集和稀疏，有和没有蒸馏技术。然后，我们证明了最简单的对抗训练技术之一-快速梯度符号方法（FGSM）-可以提高第一阶段排名的鲁棒性和有效性。特别是，FGSM提高了模型在域内和域外分布上的性能，以及在多个神经检索器的错别字查询上的性能。
2023-01-25 cs.CL cs.IR
Reliable and Efficient Evaluation of Adversarial Robustness for Deep Hashing-Based Retrieval
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
深度哈希算法以其高效性和有效性被广泛应用于海量图像检索。最近，一些对抗攻击被提出来揭示深度哈希模型在对抗性示例中的脆弱性。然而，现有的攻击方法由于未充分利用原始样本之间的语义关系或花费大量时间用深度神经网络学习这些关系而遭受性能下降或效率低下。在本文中，我们提出了一种新的灯塔引导攻击，称为PgA，以可靠有效地评估深度哈希网络的对抗鲁棒性。具体地说，我们设计了灯塔代码来表示良性图像的语义，它保留了语义相关样本的相似性和不相关样本的相异性。事实证明，我们可以通过一个简单的数学公式快速计算出灯塔代码。因此，PgA可以通过最大化对抗性示例的哈希码与法老码之间的相似性，直接对基于深度哈希的检索进行可靠且有效的攻击。在基准数据集上进行的大量实验验证了该算法在攻击强度和速度上都优于现有的最先进算法。
2023-03-22 cs.AI cs.CR cs.CV
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）
本文提出ReEval框架，利用提示链自动扰动原始证据生成对抗样本，动态评估检索增强LLM使用新证据的可靠性，发现静态表现好的模型在扰动下仍会产生幻觉，且对抗样本可跨模型迁移，具有成本效益。
2024-05-31 cs.AI cs.CL cs.LG
Semantic-Aware Adversarial Training for Reliable Deep Hashing Retrieval
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Peng Cheng Laboratory（鹏城实验室）；Swansea University（斯旺西大学）
本文提出语义感知对抗训练（SAAT），通过判别性主干特征学习构建语义代表，并将深度哈希对抗训练形式化为统一最小最大化优化，以提升深度哈希检索模型的对抗鲁棒性。
2024-10-03 cs.CV cs.LG cs.MM
LLM-Oriented Information Retrieval: A Denoising-First Perspective
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出了一种以去噪为核心的信息检索方法，强调在信息检索全流程中，最大化可利用证据密度和可验证性是关键瓶颈，通过四个阶段框架和信号-噪声优化技术分类，探讨了信息检索中的挑战和解决方案。
2026-05-17 cs.AI cs.CL cs.IR
ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator
Beihang University（北京航空航天大学）；Baidu Inc.（百度公司）
针对RAG系统易受互联网噪声和伪造内容干扰的问题，提出对抗性调优多智能体系统ATM，通过攻击者智能体与生成器的多轮对抗迭代提升生成器的文档辨别能力，实验证明其效果优于现有最优基线。
2024-10-08 cs.CL
Evaluating the Robustness of Retrieval-Augmented Generation to Adversarial Evidence in the Health Domain
University of Waterloo（滑铁卢大学）；Toronto Metropolitan University（多伦多 Metropolitan 大学）
该研究针对健康领域RAG系统易受检索证据中错误信息影响的漏洞，通过对照实验评估其鲁棒性，发现对抗性文档会大幅降低输出一致性，而有益证据可维持鲁棒性，为高风险领域安全RAG设计提供参考并公开了实验数据。
2025-09-04 cs.CL cs.IR
Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training
University of Science and Technology of China（中国科学技术大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen University（深圳大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对RAG中检索噪声影响模型生成质量的问题，本研究将噪声分为三类并提出RAAT方法，通过自适应对抗训练和多任务学习提升模型对噪声的鲁棒性，使LLaMA-2 7B在多种噪声下F1和EM分数显著提升。
2024-05-31 cs.AI
GRADA: Graph-based Reranking against Adversarial Documents Attack
University of Melbourne（墨尔本大学）；University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Macquarie University（麦觉里大学）
本文提出GRADA框架，利用图结构重排序来区分对抗性文档与良性文档，在五个大语言模型和三个数据集上验证，在Natural Questions上实现攻击成功率降低80%且准确性损失极小。
2025-09-18 cs.AI cs.IR
Medusa: Cross-Modal Transferable Adversarial Attacks on Multimodal Medical Retrieval-Augmented Generation
Westlake University（西湖大学）；Heilongjiang University（黑龙江大学）；City University of Hong Kong（香港城市大学）；Tencent（腾讯）
Medusa提出了一种针对多模态医疗检索增强生成系统的跨模态可转移对抗攻击方法，通过优化扰动和双循环策略实现高攻击成功率并抵御主流防御措施。
2025-11-24 cs.AI cs.CR cs.LG
Led to Mislead: Adversarial Content Injection for Attacks on Neural Ranking Models
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Mila – Quebec AI Institute（魁北克AI研究院）；Toronto Metropolitan University（多伦多 Metropolitan 大学）
本文提出CRAFT框架，通过生成对抗性数据集、监督微调和偏好引导优化，提升对抗性攻击效果，验证了生成式AI在排序操纵中的风险。
2026-05-02 cs.CL cs.IR
LLM-Based Adversarial Persuasion Attacks on Fact-Checking Systems
Department of Computer Science, University of Sheffield, UK（计算机科学系，谢菲尔德大学）
本文提出基于大语言模型的说服对抗攻击方法，通过重述声明影响事实核查系统的验证和证据检索效果。
2026-08-25 cs.AI cs.CL cs.LG
Multi-Perspective Semantic Information Retrieval
Arizona State University（亚利桑那州立大学）
信息检索（IR）是从大型信息库中获取与特定查询或需求相关的数据片段（如文档或文本片段）的任务。虽然传统的基于关键字和现代BERT的方法的组合在最近的工作中被证明是有效的，但在确定哪些信息与特定查询“相关”方面往往存在细微差别，使用这些系统很难正确捕获。这项工作介绍了多视角IR系统的概念，这是一种结合了多个深度学习和传统IR模型的新方法，可以更好地预测查询语句对的相关性，以及用于调整该系统的标准化框架。这项工作在BioASQ生物医学IR + QA挑战中进行了评估。
2020-09-03 cs.CL cs.IR
Retrieval Collapses When AI Pollutes the Web
NAVER Corp.（NAVER公司）
研究发现AI生成内容污染导致检索系统崩溃，需引入检索意识策略以防止质量下降。
2026-02-18 cs.AI cs.IR
Towards Unsupervised Adversarial Document Detection in Retrieval Augmented Generation Systems
Department of Electrical Engineering, Media, and Computer Science（电气工程、媒体与计算机科学系）
本文提出无监督方法检测检索增强生成系统中的对抗性上下文文档，通过生成器激活、输出嵌入和熵基不确定性度量等指标，展示零日攻击检测能力，并证明目标提示非必需。
2026-03-17 cs.AI cs.CR
Topic-FlipRAG: Topic-Orientated Adversarial Opinion Manipulation Attacks to Retrieval-Augmented Generation Models
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）；Worcester Polytechnic Institute（沃思堡理工学院）
本文提出Topic-FlipRAG，一种针对检索增强生成模型的面向主题对抗性观点操控攻击方法，通过两阶段流程影响模型输出观点，揭示了RAG系统安全防护的迫切需求。
2025-12-29 cs.CL cs.CR cs.IR
Constructing Semantics-Aware Adversarial Examples with a Probabilistic Perspective
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
本文提出一种概率视角下的语义感知对抗样本生成方法，在保持图像整体语义的同时进行大规模像素修改，从而在难以被人类察觉的情况下更有效地绕过对抗防御机制。
2024-11-24 cs.CR cs.LG stat.ML
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Beyond Function-Level Search: Repository-Aware Dual-Encoder Code Retrieval with Adversarial Verification
International Digital Economy Academy (IDEA)（国际数字经济学院）；School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学）；Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学）
针对传统函数级代码搜索无法处理跨组件变更意图的问题，提出首个仓库级代码检索基准RepoAlign-Bench与对抗反思增强的双塔架构ReflectCode，在Top-5准确率和召回率上显著优于现有基线。
2025-10-16 cs.AI cs.SE
Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training
Department of Statistics and Operations Research, University of North Carolina at Chapel Hill（统计与运筹学系，北卡罗来纳大学教堂山分校）；Department of Mathematics, Purdue University（数学系，普渡大学）
本文提出TART方法，通过利用数据流形几何提升清洁数据准确性，同时保持对抗鲁棒性。
2026-04-16 cs.AI cs.CR cs.LG
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab（Criteo人工智能实验室）；Amazon（亚马逊）；Meta AI Research（Meta人工智能研究院）
在本文中，我们研究了神经网络（NN）拓扑结构对对抗鲁棒性的影响。具体来说，我们研究了当输入遍历NN的所有层时产生的图，并表明这些图对于干净的和对抗性的输入是不同的。我们发现，来自干净输入的图形更集中在高速公路边缘，而来自对手的图形则更分散，利用了优化不足的边缘。通过在各种数据集和架构上的实验，我们证明了这些优化不足的边缘是对抗性脆弱性的来源，它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Adversarial Distilled Retrieval-Augmented Guarding Model for Online Malicious Intent Detection
Apple（苹果公司）；Cohere（Cohere公司）；DeepMind（深度思维公司）；Meta；MongoDB（MongoDB公司）
提出两阶段框架 ADRAG，通过对抗蒸馏与检索增强训练紧凑学生模型，在十个安全基准上以极低延迟实现高效且稳健的在线恶意意图检测。
2025-11-01 cs.AI cs.CR cs.LG
Investigating Catastrophic Overfitting in Fast Adversarial Training: A Self-fitting Perspective
Shanghai Jiao Tong University（上海交通大学）
虽然快速对抗训练提供了一种构建鲁棒网络的有效方法，但它可能会遇到一个严重的问题，称为灾难性过拟合（CO），其中多步鲁棒准确性突然崩溃为零。在本文中，我们首次将单步对抗示例解耦为数据信息和自信息，这揭示了一个有趣的现象，称为“自拟合”。自适应，即，当网络发生自拟合时，网络出现明显的“通道分化”现象，即一些用于识别自信息的卷积通道占优势，而另一些用于识别数据信息的卷积通道被抑制。这样，网络只能识别具有足够自信息的图像，而失去了对其他类型数据的泛化能力。基于自拟合，我们对现有方法提供了新的见解，以减轻CO并将CO扩展到多步对抗训练。我们的研究结果揭示了对抗训练中的自我学习机制，并为抑制不同类型的信息以减轻CO开辟了新的视角。
2023-03-24 cs.AI cs.CV cs.LG
Boosting Barely Robust Learners: A New Perspective on Adversarial Robustness
Toyota Technological Institute at Chicago（芝加哥丰田工学院）；University of Waterloo（滑铁卢大学）
我们提出了一个预言机有效的算法，以提高几乎没有强大的学习者的对抗鲁棒性。几乎没有鲁棒性的学习算法只在数据分布的一小部分$β\ll 1$上学习对抗鲁棒的预测器。我们提出的概念，几乎没有强大的学习需要鲁棒性相对于一个“更大的”扰动集，我们表明这是必要的强鲁棒学习，弱松弛是不够的强鲁棒学习。我们的研究结果揭示了两个看似无关的问题之间的定性和定量等价性：强鲁棒学习和勉强鲁棒学习。
2022-02-11 cs.LG stat.ML
MARAGE: Transferable Multi-Model Adversarial Attack for Retrieval-Augmented Generation Data Extraction
University of Toronto（多伦多大学）
本文提出MARAGE框架，通过多模型梯度连续优化对抗性字符串，实现跨模型可迁移的RAG数据提取攻击，并验证其优于现有基线。
2025-02-05 cs.CL cs.CR cs.LG
Towards a Novel Perspective on Adversarial Examples Driven by Frequency
University of Electronic Science and Technology of China（电子科技大学）；The School of Information and Software Engineering（信息与软件工程学院）
本文利用小波包分解分析对抗扰动的频域特征，发现显著扰动位于低频段的高频成分，并据此提出组合频段的黑盒攻击，平均成功率达99%。
2024-04-16 cs.AI cs.LG
Design Challenges for a Multi-Perspective Search Engine
University of Pennsylvania（宾夕法尼亚大学）
许多用户转向文档检索系统（例如，搜索引擎）以寻求有争议问题的答案。对这样的用户查询进行分类通常需要识别Web文档中的响应，并基于其不同的视角来聚合响应。传统的文献检索系统无法提供一组直接和多样化的响应给用户。自然地，在文档中识别这样的响应是自然的语言理解任务。在本文中，我们研究的挑战，综合这样的语言理解目标与文档检索，并研究一个新的面向视角的文档检索范式。我们讨论和评估固有的自然语言理解的挑战，以实现这一目标。根据设计挑战和原则，我们展示和评估了一个实际的原型管道系统。我们使用原型系统进行用户调查，以评估我们的范例的效用，以及了解用户的信息需求有争议的查询。
2022-06-11 cs.CL cs.IR
AIP: Subverting Retrieval-Augmented Generation via Adversarial Instructional Prompt
Clemson University（克莱姆森大学）
本文提出AIP攻击，通过对抗性指令提示而非用户查询来操纵RAG检索行为，并利用多样化查询生成与遗传算法联合优化，在保持良性功能的同时实现高达95.23%的攻击成功率，揭示了共享指令提示中的关键安全漏洞。
2025-09-18 cs.CL cs.CV
Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective
Michigan State University（密歇根州立大学）
本文从表示视角系统研究RAG系统中的知识检查问题，通过分析LLM表示行为并构建基于表示的分类器进行知识过滤，在含噪知识库条件下显著提升了RAG性能。
2024-11-21 cs.CL cs.LG
Adversarial Hubness Detector: Detecting Hubness Poisoning in Retrieval-Augmented Generation Systems
Idan Habler；Vineeth Sai Narajala；Stav Koren；Amy Chang；Tiffany Saade
Hubscan通过多检测器架构检测RAG系统中的对抗性中心性问题，利用统计分析、聚类扩展、稳定性测试和领域感知方法，有效识别并隔离潜在的安全威胁。
2026-03-11 cs.AI cs.CR
Domain Adversarial Training: A Game Perspective
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）
领域自适应的主要工作集中在使用领域对抗训练来学习不变表示。在本文中，我们从博弈论的角度来解释这种方法。将领域对抗训练中的最优解定义为局部纳什均衡，我们证明了领域对抗训练中的梯度下降可能违反优化器的渐近收敛保证，通常会阻碍传输性能。我们的分析使我们用高阶ODE求解器（即，Runge-Kutta），我们得到渐近收敛保证。这一系列优化器明显更稳定，并允许更积极的学习率，从而在用作标准优化器的直接替代品时获得更高的性能增益。我们的实验表明，结合最先进的领域对抗方法，我们在不到一半的训练迭代中实现了高达3.5%的改进。我们的优化器很容易实现，没有额外的参数，并且可以插入任何领域对抗框架。
2022-02-10 cs.CV cs.GT cs.LG
READ: Improving Relation Extraction from an ADversarial Perspective
University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对关系抽取模型过度依赖实体、泛化能力不足的问题，提出结合序列/token级扰动、独立扰动词表和上下文干净token概率保留的对抗训练方法READ，提升了准确率、鲁棒性及低资源表现。
2024-04-02 cs.AI cs.CL
PerSphere: A Comprehensive Framework for Multi-Faceted Perspective Retrieval and Summarization
School of Engineering, Westlake University（西湖大学工程学院）；Amazon AWS AI（亚马逊AWS人工智能部门）；Sichuan University（四川大学）；Shanghai AI Lab（上海人工智能实验室）；New York University Shanghai（上海纽约大学）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
针对信息茧房问题，提出PerSphere基准，通过两步流水线实现多面视角检索与摘要，并引入多智能体系统提升性能。
2024-12-17 cs.CL
Understanding Robust Overfitting from the Feature Generalization Perspective
The University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）
本文从特征泛化视角研究鲁棒过拟合，发现对抗扰动会降低自然数据特征的泛化能力，并提出通过调整攻击强度和数据增强来缓解过拟合并提升对抗鲁棒性。
2024-07-29 cs.LG
Adversarial Training from Mean Field Perspective
The University of Tokyo（东京大学）；Chiba University（千叶大学）
本研究从平均场视角出发，提出新理论框架，在无数据分布假设下分析随机深度网络的对抗训练，推导对抗损失上界，证明无捷径网络难训练、对抗训练降容量且宽度可缓解等结论。
2025-05-20 cs.CV cs.LG stat.ML
A Frequency Perspective of Adversarial Robustness
University of Maryland（马里兰大学）；Facebook AI Research（Facebook人工智能研究院）
对抗性示例对深度学习系统提出了独特的挑战。尽管最近在攻击和防御方面都取得了进展，但社区中仍然缺乏关于对抗性示例的真实性质和潜在属性的清晰度和共识。深入了解这些示例可以为开发更有效的攻击和防御提供新的见解。在对抗性示例是高频噪声这一常见误解的驱动下，我们提出了一种基于频率的对抗性示例理解，并得到了理论和实证研究结果的支持。我们的分析表明，对抗性示例既不在高频分量中，也不在低频分量中，而是简单地依赖于数据集。特别是，我们强调了在CIFAR-10和ImageNet衍生数据集上训练的模型之间的明显差异。利用这个框架，我们分析了训练具有频率约束的鲁棒模型的许多有趣的特性，并提出了一个基于频率的解释常见的准确性与鲁棒性的权衡。
2021-10-26 cs.CV cs.LG
Toward Few-step Adversarial Training from a Frequency Perspective
Intel Labs（英特尔实验室）
我们从频域的角度研究对抗样本生成方法，并将标准的$l_{\infty}$投影梯度下降（PGD）扩展到频域。由此产生的方法，我们称之为光谱投影梯度下降（SPGD），具有更好的成功率相比，PGD在该方法的早期步骤。当攻击步骤数量保持不变时，使用SPGD的对抗训练模型与PGD相比实现了更高的对抗准确性。因此，使用SPGD可以在使用具有较少步骤的对抗生成时减少对抗训练的开销。然而，我们也证明了SPGD是等价的PGD通常用于$l_{\infty}$威胁模型的一个变体。该PGD变体省略了通常应用于梯度的符号函数。因此，可以在不显式地变换到频域的情况下执行SPGD。最后，我们可视化SPGD产生的扰动，发现它们使用高频和低频分量，这表明去除高频分量或低频分量都不是有效的防御。
2020-10-13 cs.LG stat.ML
SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning
City University of Hong Kong（香港城市大学）
提出SilentRetrieval两阶段数据投毒攻击，通过协调束搜索和上下文自适应触发生成，在保持文档流畅性的同时实现高检索命中率和攻击成功率，并评估了防御措施的有效性。
2026-05-27 cs.CL cs.CR cs.IR
Adversarial Attacks and Defenses: An Interpretation Perspective
Texas A&M University（得克萨斯农工大学）；Arizona State University（亚利桑那州立大学）
尽管最近在广泛的应用中取得了进展，但机器学习模型，特别是深度神经网络，已被证明容易受到对抗攻击的攻击。攻击者在输入中添加精心制作的扰动，这些扰动几乎是人类无法察觉的，但可能导致模型做出错误的预测。保护模型免受对抗性输入的技术称为对抗性防御方法。尽管已经提出了许多方法来研究不同场景下的对抗攻击和防御，但如何真正理解模型脆弱性仍然是一个有趣而关键的挑战。受“知己知彼，百战不殆”这句谚语的启发，我们可以在解释机器学习模型以打开黑匣子之后解决上述挑战。模型解释或可解释的机器学习的目标是为模型的工作机制提取人类可理解的术语。最近，一些方法开始将解释纳入对抗攻击和防御的探索中。同时，我们也观察到许多现有的对抗攻击和防御方法，虽然没有明确声明，但可以从解释的角度来理解。在本文中，我们回顾了最近的工作对抗攻击和防御，特别是从机器学习解释的角度。我们将解释分为两种类型，特征级解释和模型级解释。对于每种类型的解释，我们详细说明了它如何用于对抗攻击和防御。然后，我们简要说明解释和对手之间的其他相关性。最后，我们讨论了挑战和未来的方向，沿着解决对手的问题与解释。
2020-10-07 cs.CV cs.LG stat.ML
Perturbation Analysis of Learning Algorithms: A Unifying Perspective on Generation of Adversarial Examples
RWTH Aachen University（亚琛工业大学）
尽管深度神经网络在各种学习问题中取得了巨大的成功，但已经观察到，向这些架构的输入添加有意设计的对抗性扰动会导致在预测中具有高置信度的错误分类。在这项工作中，我们提出了一个一般框架的基础上扰动分析的学习算法，其中包括凸规划，并能够恢复许多当前的对抗攻击的特殊情况。该框架可以用来提出新的攻击学习算法的分类和回归任务下的各种新的约束条件下，在许多情况下，封闭形式的解决方案。特别是，我们得到新的攻击分类算法，以实现可比的性能显着的现有攻击。然后，该框架被用来生成对抗扰动的回归任务，其中包括单像素和单子集攻击。通过将该方法应用于自动编码和图像着色任务，表明对抗性扰动也可以有效地扰动回归任务的输出。
2018-12-15 cs.AI cs.IT cs.LG
Lower Difficulty and Better Robustness: A Bregman Divergence Perspective for Adversarial Training
Xidian University（西安电子科技大学）
本文通过Bregman散度视角研究对抗训练，发现TRADES比PGD-AT更易优化且高熵模型鲁棒性更好，据此提出FAIT和MER方法以降低10步PGD对手下的优化难度并提升鲁棒性。
2024-01-05 cs.LG
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Revisiting Residual Networks for Adversarial Robustness: An Architectural Perspective
Michigan State University（密歇根州立大学）；Sun Yat-sen University（中山大学）
提高卷积神经网络的对抗鲁棒性的努力主要集中在开发更有效的对抗训练方法上。相比之下，很少有人关注分析架构元素（如拓扑，深度和宽度）对对抗鲁棒性的作用。本文试图弥合这一差距，并提出了一个整体的研究架构设计对抗鲁棒性的影响。我们专注于残差网络，并考虑块级的架构设计，即，拓扑、内核大小、激活和归一化，以及在网络缩放级别，即，网络中每个块的深度和宽度。在这两种情况下，我们首先通过系统的烧蚀实验获得见解。然后，我们设计了一个强大的残差块，称为RobustResBlock，和一个复合缩放规则，称为RobustScaling，以分配深度和宽度在所需的FLOP计数。最后，我们将RobustResBlock和RobustScaling结合起来，并提出了一个对抗鲁棒性残差网络组合RobustResNets，涵盖广泛的模型容量。在多个数据集和对抗攻击的实验验证表明，RobustResNets始终优于标准WRN和其他现有的健壮架构，在没有额外数据的情况下实现了61.1%的最先进的AutoAttack健壮准确率，在500K外部数据的情况下达到了63.7%，同时$2\times$在参数方面更加紧凑。代码可在\url{ https://github.com/zhichao-lu/robust-residual-network}上获得
2022-12-21 cs.AI cs.CR cs.CV
Hierarchical Retrieval Augmented Generation for Adversarial Technique Annotation in Cyber Threat Intelligence Text
University of Padua（帕多瓦大学）
本文提出H-TechniqueRAG框架，通过层级检索机制和结构约束策略提升网络威胁情报文本中对抗技术标注的效率与准确性，实验表明其在F1得分、推理延迟和API调用次数上均优于现有方法。
2026-03-24 cs.CL
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong（香港城市大学）
深度神经网络（DNN）的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性，及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的，增加有效权范数将使损失趋近于零，其梯度为零，而有效裕度没有充分地最大化。在典型的DNN上，我们证明了，如果没有适当的正则化，标准训练不会学习大的有效裕度，并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN，我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明，所提出的有效边缘正则化（EMR）学习了大的有效边缘，并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上，我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线，并有了实质性的改进。此外，当与几种强大的对抗性防御方法（MART和MAIL）相结合时，我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Better Representations via Adversarial Training in Pre-Training: A Theoretical Perspective
Michigan State University（密歇根州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Purdue University（普渡大学）；Amazon（亚马逊）
本文针对预训练模型的对抗鲁棒性可被下游任务继承的现象提供理论解释，揭示两层神经网络中特征纯化的关键作用，证明对抗训练能纯化隐藏节点，使下游任务经干净训练就具备对抗鲁棒性，结论适用于监督预训练和对比学习。
2024-01-26 cs.LG stat.ML
Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
人们对对抗攻击的兴趣日益高涨，这源于人类视觉与深度神经网络（DNN）之间的不一致，即人类难以察觉的扰动欺骗了DNN。此外，可以生成通常称为通用对抗扰动（UAP）的单个扰动来欺骗大多数图像的DNN。最近在深度隐写任务中也观察到了类似的错位现象，其中解码器网络可以从稍微扰动的封面图像中检索出秘密图像。我们试图从傅立叶的角度来解释两者的成功。我们进行了特定于任务的联合分析，并揭示了（a）频率是影响其性能的关键因素，基于所提出的用于量化频率分布的熵度量;（b）他们的成功可以归因于DNN对高频内容高度敏感。我们还执行特征层分析，以深入了解模型的泛化和鲁棒性。此外，我们还提出了两种新的通用扰动变体：（1）通用秘密对抗扰动（USAP），同时实现攻击和隐藏;（2）高通UAP（HP-UAP），人眼不太可见。
2021-02-12 cs.CV cs.LG
Unlocking Multi-View Insights in Knowledge-Dense Retrieval-Augmented Generation
School of Artificial Intelligence, Beihang University（北航人工智能学院）；Zhongguancun Laboratory（中关村实验室）
本文提出MVRAG框架，通过多领域视角的意图感知查询重写提升知识密集型RAG的检索精度，在法律和医学案例检索中显著提高召回率和精确率。
2025-10-23 cs.CL
Towards robust sensing for Autonomous Vehicles: An adversarial perspective
Centre for Intelligent Sensing, Queen Mary University of London（伦敦玛丽女王大学智能感知中心）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
自动驾驶汽车依赖于准确和强大的传感器观测，在各种条件下进行安全关键决策。这种系统的基本构建块是处理超声、雷达、GPS、激光雷达和相机信号的传感器和分类器~ \cite{Khan2018}。最重要的是，由此产生的决策对扰动具有鲁棒性，这些扰动可以采取不同类型的干扰和数据转换的形式，甚至可以是对抗性扰动（AP）。对抗性扰动是有目的地改变环境或感官测量，目的是攻击和击败自治系统。为了在快速发展的自动驾驶领域构建和部署更安全的系统，有必要仔细评估其传感系统的脆弱性。为此，我们调查了在对抗环境中的新兴领域的传感：在回顾了对自治系统的传感模式的对抗攻击后，我们讨论了对策并提出了未来的研究方向。
2020-07-14 cs.CR cs.LG eess.SP
