Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries
Advanced Micro Devices, Inc.（超威半导体公司）
深度神经网络在计算机视觉应用中的广泛采用引起了人们对对抗鲁棒性的极大兴趣。现有的研究表明，专门为给定模型定制的恶意扰动输入（即，对抗性示例）可以成功地转移到另一个独立训练的模型以引起预测误差。此外，对抗性示例的这一特性被归因于从数据分布中的预测模式导出的特征。因此，我们有动力研究以下问题：对抗性防御，像对抗性示例一样，是否可以成功地转移到其他独立训练的模型中？为此，我们提出了一种基于深度学习的预处理机制，我们称之为鲁棒可转移特征提取器（RTFE）。在研究了理论动机和影响之后，我们通过实验证明了我们的方法可以为多个独立的预训练分类器提供对抗鲁棒性，否则这些分类器对自适应白盒对手无效。此外，我们还证明了RTFE甚至可以为在不同数据集上独立训练的模型提供一次性对抗鲁棒性。
2022-09-14 cs.AI cs.CR cs.LG
Universal, transferable and targeted adversarial attacks
Harbin Institute of Technology（哈尔滨工业大学）
深度神经网络最近被发现是脆弱的。一种设计良好的输入，称为对抗性样本，可以导致网络做出错误的预测。根据不同的场景、目标和能力，攻击的难度也不同，例如，有针对性攻击比无针对性攻击难，通用攻击比非通用攻击难，可转移攻击比不可转移攻击难。问题是：是否存在一种攻击可以满足所有这些要求？本文通过在这些条件下产生一种攻击来回答这个问题。我们学习了一个通用的映射，将源映射到对抗性示例。这些例子可以欺骗分类网络将它们全部分类到一个目标类中，并且具有很强的可移植性。我们的代码发布在：xxxxx。
2022-06-13 cs.CV cs.LG stat.ML
Transferable Adversarial Attacks on Black-Box Vision-Language Models
Carnegie Mellon University（卡内基梅隆大学）
该研究证明目标对抗样本和通用扰动能高度可迁移地攻击GPT-4o等黑盒视觉语言模型，诱导其产生特定误判，凸显了部署稳健防御措施的迫切需求。
2025-05-02 cs.CV cs.LG
AIM: Additional Image Guided Generation of Transferable Adversarial Attacks
Fudan University（复旦大学）
本文提出语义注入模块（SIM），通过附加引导图像引入目标类别语义，并设计新损失公式，以即插即用方式增强生成式对抗攻击的定向与非定向迁移性。
2025-01-02 cs.CV cs.LG
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University（复旦大学）
最近的研究表明，在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这引发了现实世界DNN应用程序的安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性，即，利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，我们提出了一种简单而有效的跨模态攻击方法，称为图像到视频（I2 V）攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧，然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明，I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上，I2 V的平均攻击成功率分别为77.88%和65.68%，这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
HGAttack: Transferable Heterogeneous Graph Adversarial Attack
Nanyang Technological University（南洋理工大学）；Tencent（腾讯）
针对异质图神经网络缺乏专用攻击方法的问题，提出 HGAttack 灰盒逃逸攻击，通过元路径代理模型和语义感知梯度扰动生成可迁移攻击。
2024-01-18 cs.CR cs.IR cs.LG
D-CAPTCHA++: A Study of Resilience of Deepfake CAPTCHA under Transferable Imperceptible Adversarial Attack
School of Computer Science（计算机学院）；University College Dublin（都柏林大学学院）；School of Computer Science and Statistics（计算机与统计学院）；Trinity College Dublin（都柏林圣三一学院）；University of Science（科学大学）
本研究针对基于挑战-应答协议的D-CAPTCHA深度伪造验证系统，揭示其在可迁移不可感知对抗攻击下的漏洞，并通过对抗训练优化检测器与分类器，提出更鲁棒的D-CAPTCHA++系统以抵御伪造电话攻击。
2024-09-11 cs.CR cs.LG cs.SD
Strong Transferable Adversarial Attacks via Ensembled Asymptotically Normal Distribution Learning
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Collaborative Innovation Center of Railway Traffic Safety（轨道交通安全协同创新中心）
本文提出MultiANDA方法，利用随机梯度上升的渐近正态性和深度集成策略估计高斯混合后验分布，为每个输入生成无限对抗扰动，在14个模型上超越10种最先进黑盒攻击。
2024-03-29 cs.CV cs.LG
Sparse and Transferable Universal Singular Vectors Attack
Sber AI Lab（Sber AI实验室）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Artificial Intelligence Research Institute (AIRI)（人工智能研究院（AIRI））
提出基于截断幂迭代与 $(p,q)$-奇异向量的稀疏通用白盒攻击，在 ImageNet 上以 5% 像素达到逾 50% 愚弄率，并展现高跨模型可迁移性。
2024-01-25 cs.CR cs.CV cs.LG
X-Transfer Attacks: Towards Super Transferable Adversarial Attacks on CLIP
Singapore Management University（新加坡管理大学）；Fudan University（复旦大学）
本文提出X-Transfer攻击方法，通过动态选择代理的代理缩放策略生成通用对抗扰动，在CLIP模型及下游VLM上同时实现跨数据、领域、模型和任务的超可迁移性，显著超越现有UAP方法并建立新基准。
2025-05-29 cs.AI cs.CL cs.CV
Efficient Adversarial Training with Transferable Adversarial Examples
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
对抗性训练是保护分类模型免受对抗攻击的有效防御方法。然而，这种方法的一个局限性是，由于在训练期间生成强对抗性示例的成本很高，它可能需要几个数量级的额外训练时间。在本文中，我们首先证明了在同一个训练过程中，来自相邻时期的模型之间具有很高的可移植性，即，来自一个时期的对抗性示例在随后的时期中继续是对抗性的。利用这一特性，我们提出了一种新的方法，可转移对抗性示例的对抗性训练（ATTA），它可以增强训练模型的鲁棒性，并通过历元积累对抗性扰动来大大提高训练效率。与最先进的对抗训练方法相比，ATTA在CIFAR 10上将对抗准确率提高了7.2%，在MNIST和CIFAR 10数据集上需要的训练时间减少了12~ 14倍，模型鲁棒性相当。
2020-07-02 cs.CV cs.LG
Transferable Adversarial Attack based on Integrated Gradients
Nanyang Technological University（南洋理工大学）
深度神经网络对对抗性样本的脆弱性引起了社区的极大关注。三种方法，优化标准目标函数，利用注意力地图和平滑决策表面，通常用于制作对抗性示例。通过将这三种方法紧密结合，本文提出了一种新的简单算法TAIG（Transferable Attack based on Integrated Concentrants），该算法能够发现高可转移性的对抗性黑盒攻击样本。与以往的方法使用多个计算项或与其他方法相结合，TAIG集成了三种方法到一个单一的术语。两个版本的TAIG计算其积分梯度的直线路径和随机分段线性路径进行了研究。这两个版本都提供了很强的可移植性，并且可以与以前的方法无缝地协同工作。实验结果表明，TAIG优于国家的最先进的方法。该代码将在https://github.com/yihuang2016/TAIG上提供
2022-05-26 cs.CV cs.LG
Defense-guided Transferable Adversarial Attacks
虽然深度神经网络可以出色地执行具有挑战性的任务，但它们容易受到对抗性示例的影响，这些示例通过对干净的输入施加人类无法感知的扰动来误导分类器。在无查询的黑盒场景下，对抗性示例很难转换到未知模型，已经提出了几种可转换性较低的方法。为了解决这个问题，我们设计了一个最大最小框架的启发输入转换，这是有益的对抗攻击和防御。在最小化过程中，我们利用输入的仿射变换来降低损失值作为防御;在最大化过程中，我们利用动量迭代算法来增加损失值作为攻击。为了进一步促进可转移性，我们用最大-最小理论确定转换值。在Imagenet上进行的大量实验表明，我们的防御引导可转移攻击在可转移性上实现了令人印象深刻的提高。实验表明，我们的对抗攻击的ASR平均达到58.38%，在正常训练的模型上比最先进的方法高出12.1%，在对抗训练的模型上高出11.13%。此外，我们还提供了关于提高可转移性的解释性见解，我们的方法有望成为评估深度模型鲁棒性的基准。
2020-11-04 cs.CV cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology（埃因霍温理工大学）；National University of Singapore（新加坡国立大学）
深度神经网络很容易受到对抗性示例的攻击，这些示例是通过对输入进行难以察觉的更改而制作的。然而，这些对抗性示例在白盒设置中最成功，其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中，我们提出了方向聚合对抗攻击，提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向，以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明，我们提出的方法显著提高了对抗性示例的可移植性，并且优于最先进的攻击，特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%，对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning
Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant'Anna（机器人与人工智能卓越部门，TeCIP，圣安娜高等学院）；Department of Electrical and Electronic Engineering, University of Cagliari（电气与电子工程系，卡利亚里大学）
本研究针对分布式机器学习中模型拆分部署的安全漏洞，提出利用拦截的中间特征构建替代模型以生成高可迁移对抗样本的方法，实验证明该方法显著提升攻击迁移性，凸显了中间特征泄漏的紧迫性。
2025-07-09 cs.AI cs.LG
Category-wise Attack: Transferable Adversarial Examples for Anchor Free Object Detection
CuraCloud Corporation（库拉云公司）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）；Chengdu University of Information Technology（成都信息工程大学）
深度神经网络已被证明易受对抗攻击的影响：细微的扰动可以完全改变分类结果。它们的脆弱性导致了这方面的研究激增。然而，大多数作品致力于攻击基于锚点的目标检测模型。在这项工作中，我们的目标是提出一个有效的和高效的算法来生成对抗性的例子来攻击基于两种方法的无锚对象模型。首先，我们对对象检测器进行类别攻击而不是实例攻击。其次，我们利用高级语义信息来生成对抗性示例。令人惊讶的是，生成的对抗性示例不仅能够有效地攻击目标无锚对象检测器，而且还可以转移到攻击其他对象检测器，甚至是基于锚点的检测器，例如Faster R-CNN。
2020-06-23 cs.CR cs.CV cs.LG
Universal and Transferable Attacks on Pathology Foundation Models
Electrical and Computer Engineering Department, University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校电子与计算机工程系）；Bioengineering Department, University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校生物工程系）；California NanoSystems Institute (CNSI), University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校加州纳米系统研究所）；Department of Pathology, Hadassah Hebrew University Medical Center, Jerusalem, 91120, Israel（海法希伯来大学医疗中心病理学系）；Department of Surgery, University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校外科系）
提出通用可迁移对抗扰动（UTAP），通过固定弱噪声模式破坏多个病理基础模型的特征表示能力，导致下游任务性能下降，并展示其跨数据集通用性和跨模型可迁移性。
2025-10-18 cs.CV cs.LG physics.med-ph
Training Meta-Surrogate Model for Transferable Adversarial Attack
JD Technology（京东科技）；University of California, Los Angeles（加州大学洛杉矶分校）
我们认为对抗攻击的黑盒模型时，不允许查询。在这种情况下，许多方法直接攻击代理模型，并将获得的对抗性示例转移到欺骗目标模型。大量的工作研究了对代理模型的攻击可以产生更多可转移的对抗样本，但由于代理模型和目标模型之间的不匹配，其性能仍然受到限制。在本文中，我们从一个新的角度来解决这个问题-而不是使用原来的代理模型，我们是否可以获得一个Meta-代理模型（MSM），使攻击这个模型可以更容易地转移到其他模型？我们证明了这个目标可以在数学上表述为一个适定性（类似于双层）的优化问题，并设计了一个可微攻击器来使训练可行。给定一个或一组代理模型，我们的方法可以得到一个MSM，使得在MSM上生成的对抗示例具有良好的可移植性。Cifar-10和ImageNet上的综合实验表明，通过攻击MSM，我们可以获得更强的可转移对抗性示例，以欺骗黑盒模型，包括对抗性训练的模型，成功率比现有方法高得多。所提出的方法揭示了深度模型的重大安全挑战，并有望成为评估黑盒环境下深度模型鲁棒性的最新基准。
2021-09-07 cs.AI cs.CR cs.LG
Towards the Transferable Audio Adversarial Attack via Ensemble Methods
Shandong University（山东大学）；Quancheng Laboratory（泉城实验室）
本文研究语音识别中对抗样本的可迁移性，提出随机梯度集成和动态梯度加权集成方法，实验证明其生成的对抗样本可有效攻击黑盒API。
2023-04-18 cs.CR cs.LG cs.SD
Transferable Adversarial Robustness for Categorical Data via Universal Robust Embeddings
EPFL（洛桑联邦理工学院）
针对表格类别数据对抗鲁棒性的两大挑战，提出基于双层交替最小化的通用鲁棒嵌入方法，可训练鲁棒深度网络并将鲁棒性迁移至提升树等非深度分类器，在实用威胁模型下性能优于现有技术。
2023-12-13 cs.LG
Frequency-based Automated Modulation Classification in the Presence of Adversaries
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
自动调制分类（AMC）旨在通过自动预测无线RF信号的调制星座来提高拥挤的无线电频谱的效率。最近的工作已经证明了深度学习使用原始同相和正交（IQ）时间样本实现强大AMC性能的能力。然而，深度学习模型非常容易受到对抗性干扰的影响，这会导致智能预测模型以高置信度对接收到的样本进行错误分类。此外，对抗性干扰通常是可转移的，允许对手使用为特定分类网络设计的单个扰动来攻击多个深度学习模型。在这项工作中，我们提出了一种新的接收器架构，由能够承受可转移对抗性干扰的深度学习模型组成。具体来说，我们证明了针对时域特征训练的模型的对抗性攻击不容易转移到使用频域特征训练的模型。在这种能力下，我们证明了递归神经网络（RNN）的分类性能提高超过30%，卷积神经网络（CNN）的分类性能提高超过50%。我们进一步证明了我们的基于频率特征的分类模型，在没有攻击的情况下，准确率超过99%。
2021-02-19 cs.LG eess.SP
Medusa: Cross-Modal Transferable Adversarial Attacks on Multimodal Medical Retrieval-Augmented Generation
Westlake University（西湖大学）；Heilongjiang University（黑龙江大学）；City University of Hong Kong（香港城市大学）；Tencent（腾讯）
Medusa提出了一种针对多模态医疗检索增强生成系统的跨模态可转移对抗攻击方法，通过优化扰动和双循环策略实现高攻击成功率并抵御主流防御措施。
2025-11-24 cs.AI cs.CR cs.LG
Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出S-FGRM方法，通过数据重缩放替代符号函数并结合深度优先采样稳定梯度更新，以提升对抗攻击的迁移性，在ImageNet上显著优于现有基线。
2023-07-06 cs.CR cs.CV cs.LG
Learning Transferable Adversarial Examples via Ghost Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Oxford（牛津大学）
对抗攻击的最新发展已经证明，基于集成的方法在黑盒攻击中优于传统的非集成方法。然而，由于获取一系列不同的模型在计算上是禁止的，这些方法实现了受限于有限数量的待集成模型的较差性能。在本文中，我们提出了Ghost网络来提高对抗性示例的可移植性。幽灵网络的关键原理是将特征级扰动应用于现有模型，以潜在地创建大量不同的模型。然后，通过纵向系综对模型进行融合。大量的实验结果表明，网络的数量是必不可少的，以提高对抗性的例子的可移植性，但它是不必要的独立训练不同的网络和集成他们在一个密集的聚合方式。相反，我们的工作可以作为一个计算成本低，易于应用的插件来改进单模型和多模型攻击中的对抗方法，与残差和非残差网络兼容。通过再现NeurIPS 2017对抗性竞争，我们的方法大幅优于No.1攻击提交，证明了其有效性和效率。代码可在https://github.com/LiYingwei/ghost-network上获得。
2019-11-25 cs.CV cs.LG
CAAD 2018: Generating Transferable Adversarial Examples
Proximus（普罗克西姆斯公司）
深度神经网络（DNN）很容易受到对抗性示例的影响，这些示例是精心设计的扰动，以欺骗目标DNN，无论是在非目标情况下还是在目标情况下。在非目标情况下，攻击者的目的只是诱导错误分类。在有针对性的情况下，攻击者的目的是诱导分类到指定的目标类。此外，已经观察到，强对抗性示例可以转移到未知模型，从而产生严重的安全问题。NIPS 2017竞赛旨在加速对抗攻击和防御的研究，在提交的对抗攻击试图转移到提交的防御的现实环境中进行。CAAD 2018比赛的规则与NIPS 2017比赛的规则几乎相同。鉴于NIPS 2017提交的要求是开源的，CAAD 2018竞赛的参与者能够直接建立在以前的解决方案上，从而改进了这种环境中的最先进技术。我们的团队参加了CAAD 2018比赛，并在非目标和目标对抗攻击两个攻击子赛道中获得第一名，并在防守中获得第三名。我们在本文中概述了我们的解决方案和开发成果。我们希望我们的研究结果可以为研究人员提供生成和防御对抗性示例的信息。
2018-11-21 cs.AI cs.CR cs.LG
Transferable Adversarial Examples with Bayes Approach
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文从贝叶斯视角分析对抗样本跨模型迁移机制，设计两种促进迁移性的先验及自适应动态加权策略，提出BayAtk，并在未防御与已防御黑盒模型上验证其优于现有攻击。
2025-01-07 cs.CR cs.CV cs.LG
DP-TRAE: A Dual-Phase Merging Transferable Reversible Adversarial Example for Image Privacy Protection
School of Computer and Information Engineering, Xiamen University of Technology（厦门理工大学计算机与信息工程学院）；School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University（四川大学计算机科学学院，机器学习与产业智能工程研究中心）；Department of Computer and Information Science, Faculty of Science and Technology, University of Macau（澳门大学科学与技术学院计算机与信息科学系）；Department of Electrical and Electronic Engineering, University of Hong Kong（香港大学电子与电气工程系）；Institute of Space Internet, Fudan University（复旦大学空间互联网研究所）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
针对可逆对抗样本黑盒可迁移性不足、查询成本高的问题，提出DP-TRAE双阶段合并方法，结合白盒初始扰动与记忆增强黑盒策略，实现高攻击成功率、完全恢复及商业模型验证。
2025-05-11 cs.AI cs.CR cs.LG
Luring of transferable adversarial perturbations in the black-box paradigm
CEA, Leti（法国原子能和替代能源委员会 电子信息技术实验室）；Mines Saint-Etienne（圣埃蒂安矿业学院）
对对抗性示例（即欺骗分类器的恶意修改示例）的兴趣日益增长，导致了许多旨在检测它们的防御措施，使它们变得无害或使模型对它们更加鲁棒。在本文中，我们为一种新的方法铺平了道路，以提高模型对黑盒传输攻击的鲁棒性。目标模型中包含一个可移除的附加神经网络，用于诱导\textit{luring effect}，从而欺骗对手选择错误的方向来欺骗目标模型。由于作用于logits序列顺序的损失函数，实现了训练附加模型。我们的基于欺骗的方法只需要访问目标模型的预测，而不需要标记的数据集。我们解释的诱惑效果，由于强大的和非强大的有用功能的概念，并进行实验MNIST，SVHN和CIFAR10来表征和评估这种现象。此外，我们讨论了两个简单的预测方案，并通过实验验证，我们的方法可以作为一种防御，有效地挫败对手使用最先进的攻击，并允许执行大的扰动。
2021-03-03 cs.LG stat.ML
Learning Cross-Domain Representations for Transferable Drug Perturbations on Single-Cell Transcriptional Responses
College of Computer and Information Engineering, Nanjing Tech University（南京工业大学计算机与信息工程学院）
针对表型药物发现中的单细胞转录响应表征问题，提出XTransferCDR生成框架，通过域分离解耦与潜在空间交叉迁移学习可迁移扰动表征，在多数据集上性能超越现有最优方法，助力表型药物发现。
2025-01-15 cs.AI cs.LG
Transferable Clean-Label Poisoning Attacks on Deep Neural Nets
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）；Cornell University（康奈尔大学）
干净标签中毒攻击将无害的（和“正确”标记的）有毒图像注入训练数据，导致模型在此数据上训练后对目标图像进行错误分类。我们考虑可转移的中毒攻击，成功没有访问受害者网络的输出，架构，或（在某些情况下）的训练数据。为了实现这一点，我们提出了一种新的“多面体攻击”，其中的毒图像被设计为包围在特征空间中的目标图像。我们还证明了在毒药创建过程中使用Dropout有助于增强这种攻击的可转移性。我们实现了超过50%的可转移攻击成功率，而中毒只有1%的训练集。
2019-05-16 cs.CR cs.LG stat.ML
Learning Transferable Features with Deep Adaptation Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到领域自适应的新任务。然而，随着深层特征最终沿着网络从一般过渡到特定，随着域差异的增加，特征的可转移性在更高层中显著下降。因此，在形式上减少数据集偏差并增强任务特定层的可转移性是很重要的。在本文中，我们提出了一种新的深度自适应网络（DAN）架构，它将深度卷积神经网络推广到领域自适应场景。在DAN中，所有任务特定层的隐藏表示都嵌入在再生核希尔伯特空间中，其中不同域分布的平均嵌入可以显式匹配。使用最优多核选择方法进行均值嵌入匹配，进一步减小了域差异。DAN可以学习具有统计保证的可转移特征，并且可以通过核嵌入的无偏估计线性缩放。大量的经验证据表明，所提出的架构产生的最先进的图像分类出错率标准领域自适应基准。
2015-05-27 cs.LG
How Transferable are the Representations Learned by Deep Q Agents?
Carnegie Mellon University（卡内基梅隆大学）；Machine Learning Department（机器学习系）
在本文中，我们考虑了深度强化学习（DRL）的样本复杂度的来源，询问有多少来自学习环境状态的有用表示的需求，有多少是由于学习策略的样本复杂度。虽然对于DRL代理，表示和策略之间的区别可能不清楚，我们通过一组迁移学习实验寻求新的见解。在每个实验中，我们保留了在同一个游戏或相关游戏上训练的一部分层，比较了迁移学习和从头开始学习策略的好处。有趣的是，我们发现，由于转移的好处是高度可变的一般和非对称的任务对。我们的实验表明，也许从更简单的环境中转移可以提高更复杂的下游任务的性能，并且根据环境，学习有用表示的要求可以从忽略不计到样本复杂性的大部分。此外，我们发现微调通常优于冻结传输层的训练，证实了在分类设置中首次注意到的见解。
2020-02-24 cs.LG stat.ML
Transferable Graph Backdoor Attack
The University of New South Wales（新南威尔士大学）；The University of Adelaide（阿德莱德大学）；Defence Science and Technology Group（国防科学技术集团）；Data61, CSIRO（联邦科学与工业研究组织数据61所）
图神经网络（GNN）在许多图挖掘任务中取得了巨大的成功，这得益于融合局部结构和节点特征以实现更好的图表示学习的消息传递策略。尽管GNN取得了成功，但与其他类型的深度神经网络类似，GNN被发现容易受到图结构和节点特征的不明显扰动的影响。已经提出了许多对抗攻击来揭示GNN在不同扰动策略下的脆弱性，以创建对抗示例。然而，GNN对成功的后门攻击的脆弱性只是最近才显示出来。在本文中，我们公开了TRAP攻击，一种可转移的GRAPh后门攻击。核心攻击原理是用基于扰动的触发器毒害训练数据集，这可能导致有效且可转移的后门攻击。通过经由来自代理模型的基于梯度的得分矩阵对图结构执行扰动动作来生成图的扰动触发。与以往的研究相比，TRAP攻击在以下几个方面有所不同：i）它利用代理图卷积网络（GCN）模型为基于黑盒的后门攻击生成扰动触发器：ii）它生成样本特定的扰动触发器，这些扰动触发器没有固定的模式;以及iii）当用伪造的中毒训练数据集训练时，攻击在GNN的上下文中第一次转移到不同的GNN模型。通过对四个真实世界数据集的广泛评估，我们证明了TRAP攻击在四个不同的流行GNN中使用四个真实世界数据集构建可转移后门的有效性。
2022-07-05 cs.AI cs.CR cs.LG
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
主动学习（AL）的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究，提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反，我们建议将主动学习算法设计视为一个元学习问题，并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络，该网络输入基本学习者状态和未标记的点集，并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络，为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化，特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法，允许嵌入式不可知的主动学习者进行培训。我们的评估表明，以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
ECG Heartbeat Classification: A Deep Transferable Representation
University of California, Los Angeles（加州大学洛杉矶分校）
心电图（ECG）可以可靠地用作监测心血管系统功能的措施。近来，对心跳的准确分类已经引起了极大的关注。虽然不同的ECG状况之间存在许多共性，但大多数研究的重点一直是对针对该任务注释的数据集上的一组状况进行分类，而不是学习和采用不同任务之间的可转移知识。在本文中，我们提出了一种基于深度卷积神经网络的心跳分类方法，该方法能够根据AAMI EC 57标准准确分类五种不同的心律失常。此外，我们提出了一种方法，用于将在此任务上获得的知识转移到心肌梗死（MI）分类任务中。我们在PhysionNet的MIT-BIH和PTB Diagnostics数据集上评估了所提出的方法。根据结果，建议的方法是能够作出预测的平均准确率为93.4%和95.9%的心律失常分类和MI分类，分别。
2018-07-12 cs.CY cs.LG stat.ML
Deep causal representation learning for unsupervised domain adaptation
Arizona State University（亚利桑那州立大学）；Army Research Lab（陆军研究实验室）
研究表明，深度神经网络学习的表示可以转移到其他领域的类似预测任务中，而我们没有足够的标记数据。然而，当我们过渡到模型中的更高层时，表示变得更加特定于任务，并且不那么可推广。最近关于深度领域自适应的研究提出通过迫使深度模型学习跨领域的更多可转移特征表示来缓解这个问题。这是通过将领域自适应方法合并到深度学习流水线中来实现的。大多数现有的模型学习与结果高度相关的可转移特征表示。然而，相关性并不总是可转移的。在本文中，我们提出了一种新的深度因果表示学习框架，用于无监督领域自适应，在该框架中，我们提出从源域学习输入的域不变因果表示。我们模拟一个虚拟的目标域使用重新加权的样本从源域和估计的因果关系的影响功能的结果。广泛的比较研究表明，所提出的模型的优势，无监督领域自适应通过因果关系表示。
2019-10-28 cs.LG stat.ML
Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks
IBM Research UK（IBM英国研究院）
来自深度学习的化学表征正在成为药物发现和材料创新等领域的强大工具。目前，这种方法有三个主要的局限性-代表生成的成本，遗传偏见的风险，以及需要大量的数据。我们建议将多任务学习与迁移学习结合使用，以直接解决这些限制。为了避免在多任务学习过程中由于任务选择本身而引入未知偏差，本文通过任务间的亲和度计算任务相似度，并利用该度量来编程选择任务。我们在几个真实世界的数据集上测试了这种方法，以证明其在复杂和低数据环境中的执行潜力。最后，我们利用任务相似性，通过与常用的化学信息学指纹进行比较，进一步探索学习表示的表达能力，并表明深度表示能够捕获更具表达力的基于任务的信息。
2018-09-17 cs.LG physics.chem-ph stat.ML
Boosting Transferable Adversarial Attacks against Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；University of California, Riverside（加利福尼亚大学河滨分校）；University of Connecticut（康涅狄格大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对深度强化学习的黑盒攻击，提出轨迹级可迁移对抗攻击，在CartPole-v1上跨模型和算法设置中优于每步攻击和随机噪声。
2026-10-14 cs.AI cs.LG
Physics-Inspired Deep Learning and Transferable Models for Bridge Scour Prediction
The University of Melbourne（墨尔本大学）
本文提出融合物理经验方程与LSTM、CNN的SPINNs框架及可迁移模型，用于桥梁冲刷预测，显著提升了预测精度并改善数据有限桥梁的建模效果。
2024-09-10 cs.LG
Transferable Deep Clustering Model
Emory University（埃默里大学）
针对现有深度聚类方法固定质心难以跨域泛化的问题，提出带注意力模块的可迁移深度聚类模型，可自适应调整质心，理论上优于经典聚类算法，实验验证其能提升目标域性能并降低计算成本。
2023-10-07 cs.LG
Structure Matters: Towards Generating Transferable Adversarial Images
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Tulane University（杜兰大学）
最近的工作对抗的图像分类的例子集中在直接修改像素与微小的扰动。施加小扰动要求是为了确保生成的对抗性示例对人类来说是自然和现实的，然而，这限制了攻击空间，从而限制了攻击能力和可移植性，特别是对于受防御机制保护的系统。在本文中，我们提出了结构模式和结构感知扰动的新概念，放松了小扰动约束，同时仍然保持图像的自然。我们的方法的关键思想是允许在对抗性示例中出现可感知的偏差，同时保持对人类分类器至关重要的结构模式。基于这些概念，我们提出了一个\emph{structure-preserving attack (SPA)}，用于生成具有极高可移植性的自然对抗性示例。在MNIST和CIFAR10数据集上的实验结果表明，SPA在白盒和黑盒环境下都表现出很强的攻击能力，即使采取了防御措施。而且，融合了PGD或CW攻击，在白盒设置下攻击能力大幅提升，又不失SPA继承的优秀可移植性。
2020-08-14 cs.CV cs.LG
Deep Transfer $Q$-Learning for Offline Non-Stationary Reinforcement Learning
Princeton University（普林斯顿大学）；New York University（纽约大学）
针对非平稳有限时域马尔可夫决策过程的动态决策场景，提出迁移深度$Q^*$-学习方法，通过重加权目标程序构建可迁移RL样本，解决现有迁移学习方法不适用于RL的问题，提升目标群体RL性能。
2025-04-11 cs.LG stat.ML
Transferable Unlearnable Examples
Michigan State University（密歇根州立大学）；Fudan University（复旦大学）；Lehigh University（理海大学）
随着越来越多的人在网上发布他们的个人数据，未经授权的数据使用已成为一个严重的问题。引入了不可学习的策略，以防止第三方未经许可对数据进行训练。他们在发布之前向用户的数据添加扰动，目的是使在扰动的发布数据集上训练的模型无效。这些扰动是针对特定的训练设置和目标数据集生成的。然而，当用于其他训练环境和数据集时，它们的不可学习效果显着降低。为了解决这个问题，我们提出了一种新的不可学习的策略，基于类间可分性判别（CSD），其目的是通过增强线性可分性，更好地将不可学习的影响转移到其他训练设置和数据集。大量的实验证明了所提出的不可学习的例子在训练设置和数据集之间的可移植性。
2022-10-18 cs.CV cs.LG
A Comparative Study of Deep Reinforcement Learning-based Transferable Energy Management Strategies for Hybrid Electric Vehicles
Beijing Institute of Technology（北京理工大学）；Delft University of Technology（代尔夫特理工大学）
基于深度强化学习的能量管理策略（EMS）已成为混合动力汽车（HEV）的一种有前途的解决方案。当行驶工况发生变化时，需要对神经网络进行重新训练，这是一项费时费力的工作。选择EMS的一种更有效的方法是将深度强化学习（DRL）与迁移学习结合起来，可以将一个领域的知识迁移到另一个新领域，使新领域的网络快速达到收敛值。在迁移学习过程中，比较了不同的DRL探索方法，包括加入动作空间噪声和参数空间噪声。结果表明，加入参数空间噪声的神经网络比其他神经网络更稳定，收敛速度更快。总之，可转移EMS的最佳探索方法是在参数空间中添加噪声，而动作空间噪声和参数空间噪声的组合通常表现不佳。我们的代码可在www.example.com上获得。
2022-04-20 cs.AI cs.LG cs.SY
Delving into Transferable Adversarial Examples and Black-box Attacks
UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；University of the California, Berkeley（加州大学伯克利分校）
深度神经网络的一个有趣特性是存在对抗性的例子，这些例子可以在不同的架构之间转移。这些可转移的对抗性示例可能会严重阻碍基于深度神经网络的应用。以往的工作主要是研究小规模数据集的可移植性。在这项工作中，我们是第一个对大型模型和大规模数据集的可转移性进行广泛研究的人，我们也是第一个研究目标对抗性示例及其目标标签的可转移性的人。我们研究了非有针对性和有针对性的对抗性示例，并表明虽然可转移的非有针对性的对抗性示例很容易找到，但使用现有方法生成的有针对性的对抗性示例几乎从不转移其目标标签。因此，我们提出了新的基于集合的方法来生成可转移的对抗性示例。使用这种方法，我们观察到很大一部分有针对性的对抗性示例能够首次使用其目标标签进行转移。我们还提出了一些几何研究，以帮助理解可转移的对抗性示例。最后，我们证明了使用基于集成的方法生成的对抗性示例可以成功攻击Clarifai.com，这是一个黑盒图像分类系统。
2017-02-07 cs.LG
Ab-initio simulation of excited-state potential energy surfaces with transferable deep quantum Monte Carlo
Microsoft Research, AI for Science（微软研究院，人工智能科学）
研究激发态势能面精确计算难题，提出基于权重共享和电子态动态排序的神经网络波函数几何可转移优化方法，能高精度预测基态和激发态PESs及其交点，成本降低，在四个体系验证了该方法的潜力。
2026-07-22 cs.LG physics.chem-ph physics.comp-ph
Classifiers Based on Deep Sparse Coding Architectures are Robust to Deep Learning Transferable Examples
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Swarthmore College（斯沃斯莫尔学院）；Villanova University（维拉诺瓦大学）
尽管深度学习近年来取得了巨大的成功，但研究人员发现了一个关键缺陷，即系统输入中微小的、难以察觉的变化可能会极大地改变输出分类。这些攻击在几乎所有现有的深度学习分类框架中都是可利用的。然而，深度稀疏编码模型对对抗性示例的敏感性尚未得到研究。在这里，我们证明了基于深度稀疏编码模型的分类器，其分类精度与各种深度神经网络模型具有竞争力，对对抗性示例具有鲁棒性，这些示例有效地欺骗了那些相同的深度学习模型。我们定量和定性地证明了深度稀疏编码模型对对抗性示例的鲁棒性来自两个关键属性。首先，由于深度稀疏编码模型学习与整个数据集的生成器相对应的一般特征，而不是用于区分特定类别的高度区分特征，因此所得分类器较少依赖于可能更容易利用的特质特征。其次，由于深度稀疏编码模型利用具有自上而下反馈的固定点吸引子动态，因此更难以找到将所得表示驱动出正确吸引子盆的输入的小变化。
2018-11-20 cs.CR cs.CV cs.LG
Transferable Deep Metric Learning for Clustering
Ecole Polytechnique（巴黎综合理工学院）；IRT SystemX（法国系统X技术研究院）
在高维空间中进行聚类是一项困难的任务;通常的距离度量在维数灾难下可能不再合适。事实上，度量的选择是至关重要的，它高度依赖于数据集的特征。然而，可以使用单个度量来正确地对不同域的多个数据集执行聚类。我们建议这样做，提供一个框架，学习一个可转移的度量。我们表明，我们可以学习一个标记的数据集上的度量，然后将其应用到聚类不同的数据集，使用嵌入空间，其特征在于在一般意义上的期望的聚类。我们在几个不同复杂度的数据集（合成，MNIST，SVHN，omniglot）上学习和测试这些指标，并在仅使用少量标记的训练数据集和浅层网络的情况下实现与最先进技术竞争的结果。
2023-02-13 cs.AI cs.CV cs.LG
Enhancing Resilience of Deep Learning Networks by Means of Transferable Adversaries
University of Münster（明斯特大学）
一般的人工神经网络，特别是深度学习网络，将自己确立为流行且强大的机器学习算法。虽然这些网络的巨大规模在解决复杂任务时是有益的，但大量的参数也导致这些网络容易受到恶意行为的影响，例如对抗性扰动。这些扰动可以改变模型的分类决策。此外，虽然单步攻击者可以很容易地从一个网络转移到另一个网络，但更强大的多步攻击者的转移通常相当困难。在这项工作中，我们介绍了一种方法，用于生成强大的对手，可以很容易地（和经常）在不同的模型之间转移。然后，这种方法被用来生成一个大的对手，在此基础上，选定的防御方法的效果进行实验评估。最后，我们介绍了一种新的，简单的，但有效的方法来提高神经网络对对手的弹性和基准测试它对既定的防御方法。与现有的方法相比，我们提出的防御方法更有效，因为它只需要一个额外的前向传递，以实现可比的性能结果。
2020-05-27 cs.CR cs.LG stat.ML
Enabling ab initio geometry optimization of strongly correlated systems with transferable deep quantum Monte Carlo
FU Berlin, Department of Mathematics and Computer Science（柏林自由大学数学与计算机科学系）；Microsoft Research AI4Science（微软研究院AI4Science）；FU Berlin, Department of Physics（柏林自由大学物理系）；Rice University, Department of Chemistry（莱斯大学化学系）
本文提出结合可转移深度学习VMC与高效能估计方法，实现复杂PES的高精度探索，适用于结构弛豫、过渡态搜索和最小能量路径等研究。
2026-03-26 cs.LG physics.chem-ph physics.comp-ph
Transferable Availability Poisoning Attacks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出可迁移投毒攻击方法，利用对比学习中的对齐性与均匀性特性及有监督、无监督梯度信息生成扰动，显著提升投毒样本在不同学习算法和范式间的攻击可迁移性。
2024-06-06 cs.CR cs.LG
Transferable Deep Reinforcement Learning Framework for Autonomous Vehicles with Joint Radar-Data Communications
University of Technology Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）；York University（约克大学）；Sungkyunkwan University（成均馆大学）；Singapore University of Technology and Design（新加坡科技设计大学）
自动驾驶汽车（AV）需要在动态环境中安全有效地运行。为此，配备了联合雷达通信（JRC）功能的AV可以通过利用雷达检测和数据通信功能来提高驾驶安全性。然而，优化的AV系统的性能与两个不同的功能下的不确定性和动态的周围环境是非常具有挑战性的。在这项工作中，我们首先提出了一个基于马尔可夫决策过程（MDP）的智能优化框架，以帮助AV在周围环境的动态和不确定性下选择JRC操作功能时做出最优决策。然后，我们开发了一种有效的学习算法，利用深度强化学习技术的最新进展，在不需要任何有关周围环境的先验信息的情况下找到AV的最佳策略。此外，为了使我们提出的框架更具可扩展性，我们开发了一个迁移学习（TL）机制，使AV能够利用宝贵的经验，加快培训过程中，当它移动到一个新的环境。大量的模拟表明，与其他传统的深度强化学习方法相比，所提出的可转移深度强化学习框架将AV的障碍物漏检概率降低了67%。
2022-06-11 cs.LG cs.RO
A Robust Transferable Deep Learning Framework for Cross-sectional Investment Strategy
Nomura Asset Management Co.（野村资产管理公司）；New York University（纽约大学）
股票收益率的可预测性是一个重要的研究主题，因为它反映了我们的经济和社会组织，并作出了重大努力来解释其中的动态。人们提出了一种具有强解释力的统计量，称为“因子”，以概括预测股票收益的本质。虽然机器学习方法在股票收益预测中越来越受欢迎，但股票收益的推断非常难以捉摸，而且大多数投资者仍然依赖他们的直觉来做出更好的决策。这里的挑战是制定一个在相当长的时间内保持一致的投资策略，在整个过程中尽可能少地人为决策。为此，我们提出了一个新的股票收益预测框架，我们称之为排名信息系数神经网络（RIC-NN）。RIC-NN是一种深度学习方法，包括以下三个新思想：（1）非线性多因素方法，（2）具有排名信息系数（rank IC）的停止标准，以及（3）多个区域之间的深度迁移学习。与摩根士丹利资本国际（MSCI）指数中的股票进行的实验比较表明，RIC-NN不仅优于现成的机器学习方法，而且优于过去14年主要股票投资基金的平均回报。
2019-10-02 cs.LG q-fin.ST stat.AP
Transferable Cross-Tokamak Disruption Prediction with Deep Hybrid Neural Network Feature Extractor
Huazhong University of Science and Technology（华中科技大学）；Institute of Plasma Physics, HFIPS, Chinese Academy of Sciences（中国科学院合肥物质科学研究院等离子体物理研究所）；Shenzhen University（深圳大学）
预测不同托卡马克之间的干扰是一个需要克服的巨大障碍。未来的托卡马克几乎不能容忍高性能放电的中断。高性能的少量中断放电很难组成丰富的训练集，这使得现有的数据驱动方法很难获得可接受的结果。需要一种能够将在一个托卡马克上训练的中断预测模型转移到另一个托卡马克上的机器学习方法来解决这个问题。关键是一个中断预测模型包含一个特征提取器，能够提取常见的中断前兆痕迹托卡马克诊断数据，和一个可转移的中断分类。基于上述问题，本文首先提出了一种深度融合特征提取器，用于根据目前已知的扰动前兆，从托卡马克常规诊断中提取扰动前兆特征，为可转移模型的建立奠定了基础。通过与J-TEXT上的手工特征提取进行比较，验证了融合特征提取器的有效性。基于J-TEXT训练的特征提取器，将破裂预测模型转换到EAST实验的20次放电数据上。性能与使用来自EAST的1896次放电训练的模型相当。通过与其他模型训练方案的比较，迁移学习显示了其在预测不同托卡马克中断方面的潜力。
2022-08-20 cs.LG physics.plasm-ph
