Practical Attacks Against Graph-based Clustering
Georgia Institute of Technology(佐治亚理工学院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Georgia(佐治亚大学);Symantec CAML Group(赛门铁克 CAML 集团)
图建模允许以一般的方式解决许多安全问题,但是,很少有人了解它们抵御对抗攻击的能力。我们设计并评估了两个新的图形攻击对最先进的网络级,基于图形的检测系统。我们的工作突出了对抗性机器学习中尚未解决的领域,特别是:基于图的聚类技术,以及一个全局特征空间,在这个空间中,没有完美知识的现实攻击者必须被(防御者)考虑到才能实用。即使不太知情的攻击者可以逃避图聚类成本低,我们表明,一些实际的防御是可能的。
2017-08-29 cs.CR cs.LG
EXE-Bench: Ranking the Tradeoffs of AI-based Windows Malware Detectors for Real-World Usability
University of Genova(热那亚大学);Artificial Intelligence Research Institute (IIIA-CSIC)(西班牙国家研究委员会人工智能研究所);CTU in Prague(布拉格捷克技术大学);Sapienza University(罗马大学);University of Cagliari(卡利亚里大学)
研究旨在解决无法确定生产中部署何种基于人工智能的Windows恶意软件检测器的问题,开发EXE-Bench基准,评估性能、鲁棒性和计算开销并汇总为分数进行模型比较,强调部署后评估的不足,凸显特征工程知识的作用。
2026-07-28 cs.CR cs.LG
A Practical Adversarial Attack on Contingency Detection of Smart Energy Systems
Purdue University(普渡大学)
随着计算和传感技术的发展,深度学习在智能能源系统中得到了广泛的应用。这些基于DL的解决方案已经证明了它们在提高控制系统的有效性和适应性方面的潜力。然而,近年来,越来越多的证据表明,DL技术可以通过精心设计的扰动被对抗攻击操纵。对抗攻击已经在计算机视觉和自然语言处理中进行了研究。然而,有非常有限的工作集中在能源系统中的对抗攻击部署和缓解。在这方面,为了更好地准备SES对潜在的对抗性攻击,我们提出了一个创新的对抗攻击模型,可以实际上妥协的能源系统的动态控制。我们还通过采用深度强化学习(RL)技术优化了所提出的对抗攻击模型的部署。在本文中,我们提出了我们的第一阶段工作在这个方向。在仿真部分,我们使用标准IEEE 9节点系统评估我们提出的对抗攻击模型的性能。
2021-09-13 cs.LG cs.SY eess.SY
Practical Adversarial Attacks on Stochastic Bandits via Fake Data Injection
University of Science and Technology of China(中国科学技术大学);California Institute of Technology(加州理工学院);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);City University of Hong Kong(香港城市大学)
本文提出一种更实际的对抗模型,通过有限的伪造反馈样本误导带隙算法,分析了在现实约束下对抗攻击的可行性与有效性。
2026-11-10 cs.AI cs.CR cs.LG
Practical Evaluation of Adversarial Robustness via Adaptive Auto Attack
University of Electronic Science and Technology of China(电子科技大学);Beihang University(北京航空航天大学)
针对对抗攻击的防御模型已经显著增长,但缺乏实用的评估方法阻碍了进展。评估可以定义为在给定迭代预算和测试数据集的情况下寻找防御模型的鲁棒性下限。实用的评估方法应该是方便的(即,无参数),有效(即,更少的迭代)和可靠(即,接近鲁棒性的下限)。为此,我们提出了一个无参数的自适应自动攻击(A $^3$)的评估方法,解决了测试时间训练的方式的效率和可靠性。具体来说,通过观察到特定防御模型的对抗性示例在其起点上遵循一些限制,我们设计了自适应方向限制策略来加速评估。此外,为了在迭代预算数下接近鲁棒性的下限,我们提出了一种基于在线算法的丢弃策略,该策略自动识别和丢弃难以攻击的图像。大量的实验证明了我们的A $^3$的有效性。特别地,我们将A $^3$应用于近50种广泛使用的防御模型。通过消耗比现有方法少得多的迭代,即,$1/10$平均(10 $\times$加速),我们在所有情况下实现较低的鲁棒精度。值得注意的是,我们使用此方法在CVPR 2021防御模型白盒对抗攻击比赛中从1681支队伍中赢得了$\textbf{first place}$。代码可从以下网址获得:$\href{https://github.com/liuye6666/adaptive_auto_attack}{https://github.com/liuye6666/adaptive\_auto\_attack}$
2022-03-28 cs.CV
Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation
Sapienza University of Rome(罗马第一大学);University of Cagliari(卡利亚里大学);University of Genoa(热那亚大学)
该研究指出对抗鲁棒性评估的现有问题,引入基于最小范数攻击综合池的统一评估框架,定义攻击前沿和防御前沿,将评估形式化为前沿逼近问题,构建攻击集成并提出防御最优性指数,在CIFAR-10和ImageNet上提供了更好的评估方法。
2026-07-23 cs.CR cs.LG
Adversarial Threats to DeepFake Detection: A Practical Perspective
UC San Diego(加州大学圣迭戈分校);Facebook AI(Facebook人工智能)
经过面部处理的图像和视频或DeepFakes可以被恶意地用于提供错误信息或诽谤个人。因此,检测DeepFakes对于提高社交媒体平台和其他媒体共享网站的可信度至关重要。最先进的DeepFake检测技术依赖于基于神经网络的分类模型,已知这些模型容易受到对抗性示例的影响。在这项工作中,我们从实用的角度研究了最先进的DeepFake检测方法的漏洞。我们在黑盒设置中对DeepFake检测器进行对抗攻击,其中对手不完全了解分类模型。我们研究了对抗性扰动在不同模型之间转移的程度,并提出了提高对抗性示例可转移性的技术。我们还使用Universal Adversarial Perturbations创建了更容易访问的攻击,这构成了一个非常可行的攻击场景,因为它们可以很容易地在攻击者之间共享。我们对DeepFake Detection Challenge(DFDC)的获奖作品进行了评估,并证明它们可以通过设计可转移和可访问的对抗攻击在实际攻击场景中轻松绕过。
2020-11-19 cs.CV
Cross-Entropy Attacks to Language Models via Rare Event Simulation
University of Technology Sydney(悉尼科技大学);Shandong University(山东大学)
本文提出基于交叉熵优化的文本对抗攻击方法CEA,通过稀有事件模拟解决黑盒攻击中的优化与语义保持问题,在文档分类和翻译任务上验证了其攻击性能、不可感知性和句子质量的优越性。
2025-01-21 cs.CL cs.CR cs.LG
A Perturbation-Constrained Adversarial Attack for Evaluating the Robustness of Optical Flow
University of Stuttgart(斯图加特大学)
最近的光流方法几乎完全根据精度来判断,而它们的鲁棒性常常被忽略。虽然对抗攻击提供了一个有用的工具来执行这样的分析,目前的攻击光流方法集中在现实世界的攻击场景,而不是最坏情况下的鲁棒性评估。因此,在这项工作中,我们提出了一种新的对抗攻击-扰动约束流攻击(PCFA)-作为一个现实世界的攻击,强调破坏性的适用性。PCFA是一种全局攻击,它优化对抗性扰动以将预测流向指定的目标流移动,同时保持扰动的L2范数低于选定的界限。我们的实验证明了PCFA在白盒和黑盒设置中的适用性,并表明它比以前的攻击找到了更强的对抗性样本。基于这些强样本,我们提供了第一个联合排名的光流方法,同时考虑到预测质量和对抗鲁棒性,这表明最先进的方法是特别脆弱的。代码可在https://github.com/cv-stuttgart/PCFA上获得。
2022-07-18 cs.CV
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University(卡尔顿大学)
本文研究了对抗攻击对基于机器学习的网络入侵检测系统(NIDS)的实用性,指出动态系统中的攻击有效性较低,并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
Practical Adversarial Attacks on Spatiotemporal Traffic Forecasting Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学霍英东研究院);The Hong Kong University of Science and Technology(香港科技大学)
基于机器学习的交通预测模型利用复杂的时空自相关来提供对城市范围的交通状态的准确预测。然而,现有的方法假设一个可靠和公正的预测环境,这并不总是在野外可用。在这项工作中,我们调查时空流量预测模型的脆弱性,并提出了一个实用的对抗时空攻击框架。具体来说,而不是同时攻击所有的地理分布的数据源,迭代梯度引导节点显着性方法,提出了识别的受害者节点的时间相关的设置。此外,我们设计了一个时空梯度下降为基础的计划,以产生真正价值的对抗交通状态下的扰动约束。同时,我们从理论上证明了对抗性流量预测攻击的最坏性能界。两个真实世界的数据集上的广泛实验表明,所提出的两步框架实现了高达$67.8\%$性能退化的各种先进的时空预测模型。值得注意的是,我们还表明,使用我们提出的攻击进行对抗性训练可以显着提高时空流量预测模型的鲁棒性。我们的代码在\url{https://github.com/luckyfan-cs/ASTFA}中可用。
2022-10-05 cs.AI cs.CR cs.LG
Practical Attacks on Voice Spoofing Countermeasures
University of Waterloo(滑铁卢大学)
语音身份验证已成为银行交易和呼叫中心对话等安全关键型操作中不可或缺的一部分。自动说话人确认系统(ASV)的脆弱性,以欺骗攻击煽动对策(CM)的发展,其任务是区分善意和欺骗的语音。ASV和CM共同构成了今天的语音认证平台,被宣传为可扩展的访问控制机制。我们开发了对CM的第一个实际攻击,并展示了恶意行为者如何有效地制作音频样本,以最严格的形式绕过语音认证。以前的作品主要集中在非主动攻击或对抗策略,对ASV不产生语音在受害者的声音。我们攻击的后果要严重得多,因为我们生成的样本听起来像受害者,消除了任何似是而非的否认的机会。此外,针对CM的少数现有对抗攻击错误地优化了特征空间中的欺骗语音,并且没有考虑ASV的存在,导致在现实设置中失败的劣质合成音频。我们通过我们的关键技术贡献消除了这些障碍:一种新颖的联合损失函数,可以直接在时域中对ASV/CM组合部署进行高级对抗攻击。我们的对手在最先进的身份验证平台上实现了关于黑箱的成功率(高达93.57%)。最后,我们对CM进行了第一次有针对性的电话网络攻击,绕过了几个挑战,并启用了各种潜在的威胁,因为呼叫中心越来越多地使用语音生物识别技术。我们的研究结果对现代语音认证系统的安全性提出了质疑,因为攻击者绕过这些措施来访问用户最有价值的资源的真正威胁。
2021-07-30 cs.CR cs.LG cs.SD
Attacks against Ranking Algorithms with Text Embeddings: a Case Study on Recruitment Algorithms
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
最近的一些研究表明,文本分类任务容易受到中毒和逃避攻击。然而,很少有工作调查攻击决策算法,使用文本嵌入,其输出是一个排名。在本文中,我们专注于招聘过程中的排名算法,采用文本嵌入排名申请人的简历相比,职位描述。我们展示了白盒和黑盒攻击,识别文本项,根据其位置在嵌入空间中,有显着的贡献,在增加简历和职位描述之间的相似性得分。然后,对手使用这些文本项来提高其简历的排名。我们测试了使用从通用句子编码器(USE)和词频逆文档频率(TF IDF)向量获得的相似性得分的招聘算法。我们的研究结果表明,在这两种对抗性设置中,平均而言,攻击者是成功的。我们还发现,与USE相比,对TF IDF的攻击更成功。
2021-08-12 cs.CL cs.LG
Projective Ranking-based GNN Evasion Attacks
Monash University(莫纳什大学);Griffith University(格里菲斯大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
图神经网络(GNNs)为图相关任务提供了有前途的学习方法。然而,GNN面临对抗攻击的风险。目前的规避攻击方法的两个主要局限性突出:(1)目前的GradArgmax忽略了“长期”的扰动的好处。在某些情况下,它面临着零梯度和无效的效益估计。(2)在基于强化学习的攻击方法中,当攻击预算发生变化时,学习到的攻击策略可能无法转移。为此,我们首先制定扰动空间,并提出了一个评估框架和投影排名方法。我们的目标是学习一个强大的攻击策略,然后尽可能少地调整它,以在动态预算设置下生成对抗样本。在我们的方法中,基于互信息,我们排名和评估的攻击效益的每一个扰动的有效的攻击策略。通过投影的战略,我们的方法显着地最大限度地减少了学习一个新的攻击策略时,攻击预算的变化。在与GradArgmax和RL-S2 V的对比评估中,结果表明该方法具有较高的攻击性能和有效的可移植性。我们方法的可视化还揭示了生成对抗样本时的各种攻击模式。
2023-02-07 cs.CR cs.LG
MANDERA: Malicious Node Detection in Federated Learning via Ranking
University of Sydney(悉尼大学);School of Computing, Macquarie University(麦考瑞大学计算学院);School of Computer Science and Engineering, The University of New South Wales(新南威尔士大学计算机科学与工程学院);Department of Statistics and Data Science, Tsinghua University(清华大学统计与数据科学系)
MANDERA通过将原始梯度空间转换为排序矩阵,有效检测联邦学习中的恶意梯度,适用于不同数据集和攻击类型。
2026-03-26 cs.LG
Beyond Denial-of-Service: The Puppeteer's Attack for Fine-Grained Control in Ranking-Based Federated Learning
Fujian Normal University(福建师范大学);Griffith University(格里菲斯大学)
本文提出了一种针对基于排名的联邦学习的细粒度控制攻击,通过精确降级竞争对手准确性并避免检测,展示了对高级中毒攻击的防御需求。
2026-01-21 cs.CR cs.DC cs.LG
Not All Edges are Equally Robust: Evaluating the Robustness of Ranking-Based Federated Learning
Griffith University(格里菲斯大学);University of Technology Sydney(悉尼技术大学);Deakin University(德肯大学)
本研究揭示联邦排序学习(FRL)并非固有鲁棒,提出脆弱边操纵(VEM)攻击,通过识别并扰动每层最脆弱边,实现53.23%攻击影响,比现有方法高3.7倍,凸显了排序联邦学习系统的安全漏洞。
2025-04-22 cs.CR cs.DC cs.LG
Universal Perturbation Attack Against Image Retrieval
Xiamen University(厦门大学);Peng Cheng Lab(鹏城实验室);Xi’an Jiaotong University(西安交通大学);University of Oulu(奥卢大学);Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
通用对抗性扰动(Universal Adversarial Perturbations,UAPs)与输入无关的扰动已经被证明存在,并且能够在大多数数据样本上欺骗尖端的深度学习模型。现有的UAP方法主要针对攻击图像分类模型。然而,很少有人注意到攻击图像检索系统。在本文中,我们在攻击图像检索系统的第一次尝试。具体地说,图像检索攻击是指使检索系统返回不相关的图像到查询的最高排序列表中。破坏特征间的邻域关系在图像检索攻击中起着重要作用。为此,我们提出了一种新的方法来产生检索反对UAP打破相邻关系的图像特征,通过降低相应的排名度量。为了将攻击方法扩展到输入规模变化或网络参数不可接触的场景,提出了一种多尺度随机抽取方案和一种排序蒸馏策略。我们在四个广泛使用的图像检索数据集上评估了所提出的方法,并报告了不同指标(如mAP和mP@10)的显着性能下降。最后,我们在真实世界的视觉搜索引擎上测试了我们的攻击方法,谷歌图片,这表明了我们的方法的实际潜力。
2019-09-11 cs.CR cs.CV cs.LG
One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking
Indian Statistical Institute, Kolkata, India(印度统计研究院,加尔各答,印度)
本文提出了一种通过插入或替换一个语义对齐的词来提升目标文档排名的最小对抗扰动方法,并展示了其在神经文本排序中的有效性。
2026-01-28 cs.CL cs.IR cs.LG
Poisoning Attack against Estimating from Pairwise Comparisons
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Jiangxi Normal University(江西师范大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
随着成对排名被广泛用于选举、体育比赛、推荐等,攻击者有很强的动机和动机来操纵排名列表。他们可以在训练数据中注入恶意的比较来欺骗受害者。这种技术在回归和分类任务中被称为中毒攻击。在本文中,据我们所知,我们发起了第一个系统的调查数据投毒攻击对成对排名算法,它可以被形式化为动态和静态之间的游戏排名和攻击者,可以建模为某些类型的整数规划问题。为了克服整数规划问题的计算障碍,我们将其转化为分布式鲁棒优化(DRO)问题。基于这样的DRO公式,我们提出了两个有效的中毒攻击算法,并建立相关的理论保证。一系列的玩具模拟和几个真实的数据实验证明了建议的中毒攻击策略的有效性。这些实验结果表明,所提出的方法可以显着降低排名的性能,在这个意义上,真实的排名列表和聚合结果之间的相关性可以显着降低。
2021-07-05 cs.AI cs.CR cs.GT
Proximal Ranking Policy Optimization for Practical Safety in Counterfactual Learning to Rank
University of Amsterdam(阿姆斯特丹大学);Radboud University(拉德堡德大学)
针对现有安全反事实排序学习方法适用范围有限、依赖用户行为假设的问题,提出近端排序策略优化PRPO,通过约束学习模型与安全模型的差异保障安全,实验证明其性能更优且在对抗场景下仍保持安全,为实际应用提供无条件鲁棒安全保障。
2024-09-15 cs.IR cs.LG
Ranked by Position: Order Sensitivity as an Exploitable Attack Surface in LLM Listwise Recommenders
Stanford University(斯坦福大学)
研究大语言模型列表式推荐器中因位置偏差产生的顺序敏感性攻击面,引入“promo@k”量化漏洞,通过实验得出不同方法对其的影响,证明输入候选顺序是安全相关攻击向量。
2026-07-29 cs.CL cs.IR cs.LG
Space Over Statistic, Retraining Over Ranking: Auditing Training Labels Under Label-Only Backdoors
Bangladesh University of Engineering and Technology(孟加拉国工程与技术大学)
该研究针对仅标签后门攻击,发现特征空间对防御效果起决定性作用,提出在未学习过标签的空间审计标签、通过重训练模型评判防御的方法,揭示了现有防御的缺陷。
2026-10-12 cs.CR cs.CV cs.LG
Subverting Fair Image Search with Generative Adversarial Perturbations
Northeastern University(东北大学);Google Research(谷歌研究院)
在这项工作中,我们将探讨交叉的公平性和鲁棒性的排名的背景下:当一个排名模型已被校准,以实现某种定义的公平性,是可能的外部对手,使排名模型的行为不公平,而无需访问模型或训练数据?为了研究这个问题,我们提出了一个案例研究,我们开发,然后攻击一个国家的最先进的,公平意识的图像搜索引擎使用的图像已被恶意修改使用生成对抗扰动(GAP)模型。这些扰动试图导致公平重新排名算法不公平地提升包含来自对手选择的子群体的人的图像的排名。我们提出了大量的实验结果表明,我们的攻击可以成功地赋予显着的不公平的优势,相对于公平排名的基线搜索结果的人从大多数类。我们证明了我们的攻击在许多变量上都是稳健的,它们对搜索结果的相关性几乎没有影响,并且在严格的威胁模型下成功。我们的研究结果强调了在野外部署公平机器学习算法的危险,当(1)实现公平所需的数据可能被恶意操纵,以及(2)模型本身对攻击不鲁棒。
2022-05-06 cs.CY cs.LG
A Tale of HodgeRank and Spectral Method: Target Attack Against Rank Aggregation Is the Fixed Point of Adversarial Game
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Jiangxi Normal University(江西师范大学);Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
两两比较的等级聚合在选举、体育竞赛、推荐和信息检索中显示出了良好的效果。然而,很少有人注意到这些算法的安全性问题,相反,大量的研究工作的计算和统计特性。在巨额利润的驱使下,潜在对手有很强的动机和动力去操纵排行榜。同时,秩聚合方法的内在脆弱性在文献中没有得到很好的研究。为了充分了解可能的风险,我们专注于有目的的对手谁希望指定的聚合结果,通过修改成对数据在本文中。从动力系统的角度来看,具有目标排序列表的攻击行为是属于攻击者和受害者组成的不动点。为了进行有针对性的攻击,我们制定了对手和受害者之间的相互作用作为一个博弈论框架,由两个连续的运营商,而纳什均衡建立。然后构造了两个反对HodgeRank和RankCentrality的过程来产生对原始数据的修改。此外,我们证明了受害者将产生的目标排名列表,一旦对手掌握了完整的信息。值得注意的是,所提出的方法只允许对手持有不完整的信息或不完美的反馈,并执行有目的的攻击。一系列的玩具模拟和几个真实世界的数据实验证明了建议的目标攻击策略的有效性。这些实验结果表明,所提出的方法可以实现攻击者的目标,在这个意义上,扰动排名列表的领先候选人是由对手指定的。
2022-09-13 cs.CR cs.GT cs.LG
TopRank: A practical algorithm for online stochastic ranking
DeepMind(深度思维);Google(谷歌);The Chinese University of Hong Kong(香港中文大学);University of Alberta(阿尔伯塔大学)
在线学习排名是一个顺序决策问题,在每一轮中,学习代理选择一个项目列表,并从用户那里收到点击形式的反馈。许多样本效率的算法已经提出了这个问题,假设一个特定的点击模型连接排名和用户行为。我们提出了一个广义的点击模型,包括许多现有的模型,包括基于位置和级联模型。我们的推广激发了一种新的在线学习算法的基础上拓扑排序,我们称之为TopRank。TopRank(a)比现有算法更自然,(b)比具有可比一般性的现有算法具有更强的后悔保证,(c)具有更有见地的证明,为许多概括敞开了大门,(d)在经验上优于现有算法。
2019-03-19 cs.LG stat.ML
Evaluating and Improving the Robustness of Security Attack Detectors Generated by LLMs
Samuele Pasini Universit\`a della Svizzera italiana, Switzerland Jinhan Kim Universit\`a della Svizzera italiana, Switzerland Tommaso Aiello SAP Labs France, France Rocio Cabrera Lozoya SAP Labs France, France Antonino Sabetta SAP Labs France, France Paolo Tonella Universit\`a della Svizzera italiana, Switzerland
本文提出将RAG与自排序技术集成到LLM流水线中,以提升生成攻击检测器的鲁棒性,在XSS和SQLi检测的F2-Score上取得显著提升。
2025-09-17 cs.CR cs.LG cs.SE
Practical Poisoning Attacks against Retrieval-Augmented Generation
CS\&CCS, Nankai University(CS与CCS,南开大学);Independent Researcher(独立研究者);University of North Texas(北德克萨斯大学);University of Louisville(路易斯维尔大学)
CorruptRAG是一种针对RAG系统的实用污染攻击,通过注入单条污染文本实现更高的攻击成功率和隐蔽性。
2026-01-08 cs.CR cs.IR cs.LG
Practical Attacks on Machine Learning: A Case Study on Adversarial Windows Malware
University of Cagliari(卡利亚里大学);Pluribus One(Pluribus One公司);University of Genova(热那亚大学)
虽然机器学习容易受到对抗性示例的影响,但它仍然缺乏系统的程序和工具来评估其在不同应用环境中的安全性。在本文中,我们将讨论如何使用实际攻击开发机器学习的自动化和可扩展的安全评估,并报告Windows恶意软件检测的用例。
2022-07-12 cs.CR cs.LG
PEAS: A Strategy for Crafting Transferable Adversarial Examples
Ben-Gurion University(本古里安大学)
PEAS策略通过细微增强生成多个感知等价图像,并利用替代模型筛选最具迁移性的对抗样本,从而显著提升黑盒攻击的迁移性与成功率。
2024-10-20 cs.AI cs.CR cs.LG
Advanced Evasion Attacks and Mitigations on Practical ML-Based Phishing Website Classifiers
ShanghaiTech University(上海科技大学);Nanyang Technological University(南洋理工大学)
基于机器学习(ML)的方法已经成为反钓鱼检测的主流解决方案。当它们被部署在客户端时,基于ML的分类器容易受到规避攻击。然而,这种潜在的威胁受到的关注相对较少,因为现有的攻击破坏网页的功能或外观,并在白盒场景中进行,使其不太实用。因此,必须了解是否可以在保留功能和外观的同时,利用分类器的有限知识发起规避攻击。在这项工作中,我们表明,即使在灰盒和黑盒的情况下,规避攻击不仅是有效的实际ML为基础的分类器,但也可以有效地启动而不破坏的功能和外观。为此,我们提出了三种基于变异的攻击,它们在目标分类器的知识上有所不同,解决了一个关键的技术挑战:以一种可能误导分类器的方式,从已知的钓鱼网站自动制作一个对抗性样本。为了在白盒和灰盒场景中发起攻击,我们还提出了一种基于样本的碰撞攻击来获得目标分类器的知识。我们展示了我们的规避攻击的有效性和效率的国家的最先进的,谷歌的钓鱼网页过滤器,实现了100%的攻击成功率在不到一秒的每个网站。此外,对BitDefender工业钓鱼页面分类器TrafficLight的可转移性攻击实现了高达81.25%的攻击成功率。我们进一步提出了一种基于相似性的方法来减轻这种逃避攻击,Pelican。我们证明了Pelican可以有效地检测规避攻击。我们的研究结果有助于设计更强大的钓鱼网站分类在实践中。
2020-04-15 cs.CR cs.LG
Practical Defences Against Model Inversion Attacks for Split Neural Networks
Tessella(泰塞拉);OpenMined;Edinburgh Napier University(爱丁堡龙比亚大学);Apheris
我们描述了一个威胁模型下,分裂的基于网络的联邦学习系统容易受到恶意计算服务器的模型反演攻击。我们证明了攻击者可以成功地执行有限的知识的数据分布。我们提出了一个简单的加性噪声方法来抵御模型反演,发现该方法可以显着降低攻击效率在一个可接受的精度权衡MNIST。此外,我们表明,NoPeekNN,现有的防御方法,保护不同的信息暴露,这表明一个组合的防御是必要的,以充分保护私人用户数据。
2021-04-21 cs.CR cs.DC cs.LG
Towards Foundation Models for Consensus Rank Aggregation
TU Dortmund University, Dortmund, Germany(图卢兹大学(德累斯顿));Research Center Trustworthy Data Science and Security, University Alliance Ruhr, Dortmund, Germany(可信数据科学与安全研究中心,鲁尔大学联盟,德累斯顿,德国)
本文提出Kemeny Transformer,一种基于Transformer的算法,通过强化学习高效近似Kemeny最优排名,优于传统方法并在实际排名聚合任务中具有可扩展性。
2026-03-16 cs.AI cs.LG cs.NE
A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards
Durham University(杜伦大学);University of Surrey(萨里大学);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
本文提出一种基于深度学习的键盘声学侧信道攻击方法,利用手机麦克风和Zoom录音分别实现了95%和93%的按键识别准确率,并讨论了相应的缓解措施。
2023-08-02 cs.CR cs.LG
Generalization and Membership Inference Attack a Practical Perspective
Department of Computer Engineering Sharif University of Technology Tehran, Iran(计算机工程系 巴尔赫大学 波斯湾伊朗)
本文通过实证方法探讨MIA成功率与模型泛化之间的关系,发现先进泛化技术可显著降低攻击性能,同时提升模型泛化并减少攻击效果。
2026-04-21 cs.AI cs.LG
Practical and General Backdoor Attacks against Vertical Federated Learning
University of Chinese Academy of Sciences(中国科学院大学)
针对纵向联邦学习中攻击者无法访问标签的挑战,提出BadVFL方法,通过SDD模块追踪数据类别和SDP模块增强决策依赖,实现仅1%投毒率下超过93%的后门攻击成功率。
2023-06-19 cs.CR cs.LG
DeepLaser: Practical Fault Attack on Deep Neural Networks
Nanyang Technological University(南洋理工大学);Harbin Institute of Technology(哈尔滨工业大学)
由于深度学习系统被广泛应用于安全和安全关键应用中,例如自动驾驶汽车、银行系统等,恶意故障和攻击成为一个巨大的问题,这可能导致灾难性的后果。在本文中,我们发起了利用物理故障注入攻击深度神经网络(DNN)的第一个研究,通过使用激光注入技术在嵌入式系统上。特别是,我们的探索性研究针对DNN开发中广泛使用的四个激活函数,它们是创建非线性行为的DNN的一般主要构建块- ReLu,softmax,sigmoid和tanh。我们的研究结果表明,通过针对这些功能,有可能通过将故障注入网络的隐藏层来实现错误分类。这样的结果可能对实际应用有实际意义,在实际应用中,故障可以通过更简单的方式(例如改变电源电压)引入。
2018-09-29 cs.CR cs.LG
Practical Bayes-Optimal Membership Inference Attacks
Chalmers University of Technology(查尔姆斯理工大学);AI Sweden(瑞典人工智能中心);Linköping University(林雪平大学)
该研究基于贝叶斯决策理论推导了节点级成员推理攻击的最优规则,提出适用于普通数据和图数据的BASE与G-BASE方法,以更低成本达到SOTA性能,还证明了BASE与RMIA在特定超参数下等价。
2025-10-27 cs.CR cs.LG
MASTERKEY: Practical Backdoor Attack Against Speaker Verification Systems
Michigan State University(密歇根州立大学);Samsung Research America(三星美国研究院);UT Dallas(德克萨斯大学达拉斯分校)
提出针对说话人验证系统的后门攻击 MASTERKEY,在攻击者对受害者一无所知的实用设置下,通过优化通用后门并嵌入说话人特征与信道失真,在多个模型和现实场景中实现高成功率的隐蔽攻击。
2023-09-13 cs.AI cs.CR cs.LG
Practical Hidden Voice Attacks against Speech and Speaker Recognition Systems
University of Florida(佛罗里达大学)
通过应用机器学习的最新进展,现在广泛部署的语音处理系统(VPS)已经变得更加准确。然而,对抗性机器学习也取得了类似的进展,并已被用于证明VPS容易受到隐藏命令的注入-被VPS正确识别但不被人类识别的噪声掩盖的音频。然而,这种攻击通常高度依赖于特定机器学习模型的白盒知识,并且仅限于特定的麦克风和扬声器,使得它们在不同声学硬件平台上的使用(因此其实用性)有限。在本文中,我们打破了这些依赖关系,并通过模型不可知(黑盒)攻击,利用VPS常用的信号处理算法的知识,以生成数据送入机器学习系统,使隐藏的命令攻击更实用。具体地,我们利用了多个源音频样本在通过声学特征提取算法(例如,FFT)。我们开发了四类扰动,这些扰动会产生难以理解的音频,并针对12个机器学习模型进行测试,其中包括7个专有模型(例如,Google Speech API、Bing Speech API、IBM Speech API、Azure Speaker API等),并演示了针对所有目标的成功攻击。此外,我们成功地在多个硬件配置中使用了恶意生成的音频样本,在模型和真实系统中证明了有效性。在这样做的过程中,我们证明了音频信号处理的特定领域的知识是一种实用的方法,成功地生成隐藏的语音命令攻击。
2019-03-18 cs.CR cs.LG cs.SD
Risk Aware Ranking for Top-$k$ Recommendations
QCRI(卡塔尔计算研究所);Akamai(阿卡迈技术公司)
给定一组用户和项目的不完整评级数据,偏好完成问题旨在估计项目子集的个性化总偏好顺序。在实际设置中,来自所估计的偏好顺序的顶部$k$项目的排名列表以偏好的降序被推荐给最终用户用于最终消费。我们分析了这个模型,并观察到,这样的排名模型的结果在次优性能时,与推荐项目的回报是不同的。我们提出了一种新的和非常有效的算法的偏好排序考虑的不确定性的项目的回报。一旦使用任何偏好学习算法获得用户的偏好分数,我们表明,使用风险寻求效用函数的项目排名的结果在最佳的排名性能。
2019-04-12 cs.LG cs.SI stat.ML