Learning Transferable Features with Deep Adaptation Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到领域自适应的新任务。然而，随着深层特征最终沿着网络从一般过渡到特定，随着域差异的增加，特征的可转移性在更高层中显著下降。因此，在形式上减少数据集偏差并增强任务特定层的可转移性是很重要的。在本文中，我们提出了一种新的深度自适应网络（DAN）架构，它将深度卷积神经网络推广到领域自适应场景。在DAN中，所有任务特定层的隐藏表示都嵌入在再生核希尔伯特空间中，其中不同域分布的平均嵌入可以显式匹配。使用最优多核选择方法进行均值嵌入匹配，进一步减小了域差异。DAN可以学习具有统计保证的可转移特征，并且可以通过核嵌入的无偏估计线性缩放。大量的经验证据表明，所提出的架构产生的最先进的图像分类出错率标准领域自适应基准。
2015-05-27 cs.LG
Improving Transferability of Deep Neural Networks
IBM Research AI（IBM研究院AI）；Kennesaw State University（肯尼索州立大学）
从少量标记数据中学习是深度学习领域的一个挑战。这目前通过迁移学习来解决，其中人们将小数据集学习为来自较大源数据集的迁移任务。迁移学习可以提供更高的精度，如果超参数和源数据集选择良好。其中一个重要参数是神经网络各层的学习率。我们通过在ImageNet 22 k和Oxford Flowers数据集上的实验表明，通过适当选择学习率，可以获得127%范围内的准确性提高。我们还表明，数据集的图像/标签参数可以用于确定层的最佳学习率，以获得最佳的整体准确性。我们还验证了这种方法的一个样本的真实世界的图像分类任务从公共视觉识别API。
2018-07-30 cs.CV cs.LG stat.ML
Exploiting Task Relationships in Continual Learning via Transferability-Aware Task Embeddings
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shenzhen Key Laboratory of Ubiquitous Data Enabling, SIGS, Tsinghua（深圳 ubiquitous 数据赋能关键实验室，SIGS，清华大学）
本文提出H-嵌入和超网络框架，通过转移意识的任务嵌入提升持续学习中任务间关系的利用效果。
2026-01-14 cs.LG
Evaluating Transferability for Covid 3D Localization Using CT SARS-CoV-2 segmentation models
National Technical University of Athens（雅典国立技术大学）；Institute of Communications and Computer Systems（通信与计算机系统研究所）
最近的研究表明，检测CT扫描的放射学模式可以对Covid-19定位产生高灵敏度和特异性。在本文中，我们研究了深度学习模型可移植性的适当性，用于CT图像中肺炎感染区域的语义分割。迁移学习允许快速初始化/重新利用检测模型，因为大量的训练数据不可用。我们的工作探索了在特定的CT数据集上使用预训练的U-Net架构来识别来自不同数据集的图像的Covid-19副作用的有效性。实验结果表明，识别Covid-19感染区域的分割精度有所提高。
2022-05-20 cs.CV cs.LG eess.IV
Simple Transferability Estimation for Regression Tasks
Florida International University（佛罗里达国际大学）；VinAI Research（VinAI研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Dalhousie University（达尔豪斯大学）；University of Delaware（特拉华大学）；Meta AI
针对回归任务可迁移性估计，提出两种基于负正则化均方误差的简单高效方法，理论联系实际迁移性能，并在关键点回归基准上以更快速度显著超越现有方法。
2023-12-04 cs.AI cs.LG stat.ML
Empowering Time Series Analysis with Foundation Models: A Comprehensive Survey
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；Shanghai University of Finance and Economics（上海财经大学）
本文是一篇全面综述，从模态感知和挑战导向的视角，系统总结了基于时间序列、语言和视觉等不同模态预训练的基础模型在时间序列分析中的应用、挑战、解决方案及未来方向。
2025-09-17 cs.AI cs.LG
Exploring Model Transferability through the Lens of Potential Energy
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent（腾讯）
本文提出物理启发的PED方法，通过势能视角建模微调动态，增强可迁移性估计，在10个任务和12个自监督模型上验证了有效性。
2023-08-29 cs.CV cs.LG
Quantifying the Impact of Data Characteristics on the Transferability of Sleep Stage Scoring Models
Mahidol University（玛希隆大学）；University of Bremen（不来梅大学）
本文通过 TinySleepNet 与 U-Time 的多配置迁移实验量化数据特征影响，发现环境影响最大，并给出最优迁移源与 EEG 通道选择依据。
2023-03-28 cs.LG eess.SP
Evaluating the transferability potential of deep learning models for climate downscaling
University of Helsinki（赫尔辛基大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Massachusetts Institute of Technology（麻省理工学院）；IBM Research（IBM研究院）
本文评估在多样化气候数据集上训练的深度学习降尺度模型（CNN、FNO、ViT）的零样本迁移性，以提升泛化能力。
2024-07-17 cs.LG
Improving the Transferability of Adversarial Examples with Arbitrary Style Transfer
Xidian University（西安电子科技大学）；Tianjin University（天津大学）；Huawei Singular Security Lab（华为奇安安全实验室）
针对对抗样本黑盒场景可迁移性弱的问题，提出基于任意风格迁移的STM攻击方法，通过跨域数据增强、微调网络及图像混合提升可迁移性，在ImageNet数据集上效果优于现有同类方法。
2023-08-21 cs.CR cs.CV cs.LG
MELEP: A Novel Predictive Measure of Transferability in Multi-Label ECG Diagnosis
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；VinUni-Illinois Smart Health Center, VinUniversity（VinUniversity VinUni-伊利诺伊智能健康中心）
针对多标签 ECG 诊断的迁移效果评估难题，本文提出仅需一次前向传播的 MELEP 指标，可在小样本不平衡数据上有效预测微调模型性能。
2024-06-12 cs.CV cs.LG eess.SP
On Global Applicability and Location Transferability of Generative Deep Learning Models for Precipitation Downscaling
ECMWF（欧洲中期天气预报中心）；Mila Quebec AI Institute（魁北克AI研究所）
本研究评估了生成深度学习模型在不同地区降水下缩中的泛化能力和位置可迁移性。
2025-12-01 cs.LG
Towards Understanding the Transferability of Deep Representations
University of California, Berkeley（加利福尼亚大学伯克利分校）
在广泛的数据集上训练的深度神经网络表现出令人印象深刻的可移植性。深度特征似乎是通用的，因为它们适用于许多数据集和任务。这种特性在现实世界的应用中普遍使用。在大型数据集上预训练的神经网络，如ImageNet，如果微调到较小的目标数据集，可以显着提高泛化能力并加速训练。尽管它的普遍性，很少有人致力于揭示深特征表示的可转移性的原因。本文试图从改进的泛化、优化和可移植性的可行性等角度来理解可移植性。我们证明了1）转移模型倾向于找到更平坦的最小值，因为当转移到类似的目标数据集时，它们的权重矩阵保持接近预训练参数的原始平坦区域; 2）转移表示使损失景观更有利，改进了Lipschitzness，这大大加速和稳定了训练。这种改进在很大程度上归因于这样一个事实，即在预训练参数中抑制了梯度的主分量，从而稳定了反向传播中梯度的大小。3)可移植性的可行性与输入和标签的相似性有关。一个令人惊讶的发现是，可行性也受到训练阶段的影响，因为可转移性首先在训练期间增加，然后下降。我们进一步提供了一个理论分析来验证我们的观察。
2019-09-26 cs.LG stat.ML
A Study on Transferability of Deep Learning Models for Network Intrusion Detection
Purdue University（普渡大学）
该研究聚焦网络入侵检测场景下不同攻击类别间深度学习模型的迁移性，通过跨类别测试评估迁移效果，分析数据增强、迁移性关系性质、可解释性及数据预处理对性能的影响，并公开了相关代码。
2023-12-17 cs.CR cs.LG eess.SP
Disrupting Adversarial Transferability in Deep Neural Networks
Rensselaer Polytechnic Institute（伦斯勒理工学院）
对抗攻击的可转移性在深度学习中得到了广泛的认可。先前的工作通过识别常见的对抗子空间和决策边界之间的相关性来部分解释可转移性，但除此之外知之甚少。我们提出，看似不同的模型之间的可转移性是由于不同网络提取的特征集之间的高度线性相关性。换句话说，在参数空间中距离遥远的相同任务上训练的两个模型可能以相同的方式提取特征，只是在潜在空间之间进行了平凡的仿射变换。此外，我们还展示了如何应用特征相关性损失，即在潜在空间中对提取的特征进行去相关，可以减少模型之间对抗攻击的可转移性，这表明模型以语义不同的方式完成任务。最后，我们提出了一种双颈自动编码器（DNA），它利用这种特征相关性损失来创建两种有意义的不同编码的输入信息，降低了可传输性。
2023-02-22 cs.AI cs.CR cs.LG
On the Adversarial Transferability of ConvMixer Models
Tokyo Metropolitan University（东京都立大学）；National Institute of Informatics (NII)（国立信息学研究所）
众所周知，深度神经网络（DNN）容易受到对抗性示例（AE）的影响。此外，AE具有对抗性可转移性，这意味着为源模型生成的AE可以以非平凡的概率欺骗另一个黑盒模型（目标模型）。在本文中，我们首次研究了包括ConvMixer（一个各向同性网络）在内的模型之间的对抗可转移性。为了客观地验证模型的可移植性，采用一种称为AutoAttack的基准攻击方法对模型的鲁棒性进行了评估。在一个图像分类实验中，ConvMixer被证实是弱对抗转移。
2022-09-19 cs.LG
On The Transferability of Deep-Q Networks
Université de Liège（列日大学）
迁移学习（TL）是一种高效的机器学习范例，它允许克服一些表征深度神经网络成功训练的障碍，从长训练时间到大数据集的需求。虽然在监督学习（SL）中利用TL是一种成熟且成功的训练实践，但它在深度强化学习（DRL）中的适用性却很少。在本文中，我们研究了Deep-Q网络的三种不同变体在流行的DRL基准测试以及一组新颖的精心设计的控制任务上的可转移性水平。我们的研究结果表明，在DRL上下文中转移神经网络可能特别具有挑战性，并且在大多数情况下会导致负迁移。在试图理解为什么Deep-Q网络传输如此之差的过程中，我们获得了对这一系列算法的训练动态的新见解。
2021-11-22 cs.AI cs.LG
Deep Learning Approach for Enhanced Transferability and Learning Capacity in Tool Wear Estimation
RWTH Aachen University（亚琛工业大学）；Fraunhofer Institute for Production Technology IPT（弗劳恩霍夫生产技术研究所（IPT））
针对制造业刀具磨损监测需求，提出一种结合切削参数的深度学习估计方法，经不同切削参数下的铣削实验验证，该方法在可迁移性与快速学习能力上均优于传统方法。
2024-07-01 cs.AI cs.LG eess.SP
Unlocking the Transferability of Tokens in Deep Models for Tabular Data
Nanjing University（南京大学）；Peking University（北京大学）
本文提出TabToken方法，通过对比学习正则化特征token，解决表格数据中预训练模型与目标任务特征集差异问题，实现跨异构特征的知识迁移并提升模型判别能力。
2023-10-23 cs.LG
Early Transferability of Adversarial Examples in Deep Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
本文将描述和分析一种新的现象，我们称之为“早期可转让性”。其本质是，即使在训练的极早期阶段，对抗性扰动也会在不同的网络之间转移。事实上，我们可以用两个不同的独立随机权重选择来初始化两个网络，并在训练的每一步之后测量它们的对抗扰动之间的角度。我们发现，在最初的几个训练步骤（通常只使用一小部分可用的训练数据）之后，这两个对抗方向已经开始相互对齐，尽管由于训练的早期阶段，两个网络的准确性还没有从最初的坏值开始提高。本文的目的是提出这种现象的实验，并提出合理的解释，它的一些属性。
2022-06-09 cs.CR cs.LG
TOP: Backdoor Detection in Neural Networks via Transferability of Perturbation
Perspecta Labs（珀斯佩克特实验室）
深度神经网络（DNN）容易受到“后门”中毒攻击，其中对手将秘密触发器植入到正常运行的模型中。在不访问训练数据或示例触发器的情况下检测训练模型中的后门是一个重要的开放问题。在本文中，我们确定了这些模型的一个有趣的属性：对抗性扰动从图像到图像的传输更容易中毒模型比干净的模型。这适用于各种模型和触发器类型，包括不能从干净数据线性分离的触发器。我们使用此功能来检测TrojAI基准测试中的中毒模型以及其他模型。
2021-03-18 cs.LG
Transferability and explainability of deep learning emulators for regional climate model projections: Perspectives for future applications
Instituto de Física de Cantabria (IFCA), CSIC-Universidad de Cantabria（坎塔布里亚物理研究所（IFCA），CSIC-坎塔布里亚大学）
该研究针对深度学习RCM模拟器的跨时段、情景与GCM可迁移性问题，对比PP和MOS两种方法，结合XAI评估物理一致性，发现两类方法均具备软可迁移性但硬可迁移性受限，并给出未来应用展望。
2023-11-01 cs.LG physics.ao-ph
Resisting Deep Learning Models Against Adversarial Attack Transferability via Feature Randomization
Bahçeşehir University（巴赫切谢希尔大学）；University of Padua（帕多瓦大学）；Florida International University（佛罗里达国际大学）
在过去的几十年里，人工智能的兴起使我们有能力解决日常生活中最具挑战性的问题，例如癌症预测和自主导航。但是，如果不能防止对抗攻击，这些应用程序可能不可靠。此外，最近的工作表明，一些对抗性的例子可以在不同的模型之间转移。因此，至关重要的是通过抵抗对抗性操作的鲁棒模型来避免这种可转移性。在本文中，我们提出了一种基于特征随机化的方法，可以在测试阶段抵抗针对深度学习模型的八种对抗攻击。我们的新方法包括改变目标网络分类器的训练策略和选择随机特征样本。我们认为攻击者具有有限知识和半知识的条件进行最普遍的类型的对抗攻击。我们使用著名的UNSW-NB 15数据集（包括真实和合成攻击）评估了我们方法的鲁棒性。之后，我们证明了我们的策略优于现有的最先进的方法，如最强大的攻击，其中包括针对特定的对抗攻击微调网络模型。最后，我们的实验结果表明，我们的方法可以确保目标网络和抵抗对抗攻击的可转移性超过60%。
2022-09-11 cs.CR cs.CY cs.LG
GIST: Generated Inputs Sets Transferability in Deep Learning
Polytechnique Montreal（蒙特利尔理工学院）
针对深度神经网络测试中逐模型生成测试集成本高的问题，提出GIST方法，可按指定属性从现有测试集中筛选适配目标模型的测试集，实现高效迁移且扩展性更优。
2024-05-20 cs.LG cs.SE
Understanding and Enhancing the Transferability of Adversarial Examples
Peking University（北京大学）；Beijing Institute of Big Data (BIBDR)（北京大数据研究院）；Princeton University（普林斯顿大学）
众所周知，最先进的深度神经网络容易受到对抗性示例的攻击，这些示例是通过对原始输入施加微小但恶意的扰动而形成的。此外，扰动可以\textit{transfer across models}：为特定模型生成的对抗性示例通常会误导其他看不见的模型。因此，对手可以利用它来攻击部署的系统，而无需任何查询，这严重阻碍了深度学习的应用，特别是在安全性至关重要的领域。在这项工作中，我们系统地研究了两类可能影响对抗性示例可转移性的因素。一个是关于模型特定的因素，包括网络架构，模型容量和测试精度。另一个是构造对抗样本的损失函数的局部光滑性。在此基础上，提出了一种简单而有效的增强可移植性的策略。我们称之为方差缩减攻击，因为它利用方差缩减梯度来生成对抗性示例。在CIFAR-10和ImageNet数据集上进行的各种实验证实了其有效性。
2018-02-27 cs.CR cs.LG stat.ML
Improving Transferability of Adversarial Patches on Face Recognition with Generative Models
RealAI（瑞莱智慧）；Ant Financial（蚂蚁金服）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）
深度卷积神经网络（CNN）极大地提高了人脸识别。最近，这些人脸识别模型已被用于安全敏感应用中的身份认证。然而，深度CNN很容易受到对抗补丁的攻击，这些补丁在物理上是可实现的，并且是隐形的，这对这些模型的实际应用提出了新的安全问题。在本文中，我们使用基于可转移性的对抗补丁来评估人脸识别模型的鲁棒性，其中攻击者对目标模型的可访问性有限。首先，我们扩展了现有的基于转移的攻击技术，以生成可转移的对抗补丁。然而，我们观察到的可转移性是敏感的初始化和退化时的扰动幅度是大的，表示过拟合的替代模型。其次，我们提出了在低维数据流形上正则化对抗补丁。流形由在合法人脸图像上预训练的生成模型表示。通过在流形上进行优化，使用人脸特征作为对抗性扰动，我们表明替代模型和目标模型的响应之间的差距显着减小，表现出更好的可移植性。大量的数字世界的实验进行了证明所提出的方法在黑箱设置的优越性。我们也将所提出的方法应用于物理世界。
2021-08-30 cs.CV cs.LG
Parameter Transfer Unit for Deep Neural Networks
Hong Kong University of Science and Technology（香港科技大学）
在大规模数据库上训练的深度神经网络中的参数可以跨多个域泛化，这被称为“可转移性”。不幸的是，可转移性通常被定义为离散状态，并且它因域和网络结构而异。现有的工作通常是抽象地应用参数共享或微调，并没有原则性的方法来学习参数传递策略。为了解决这个问题，本文提出了一种参数传递单元（PTU）。PTU从源和目标域网络中学习细粒度的非线性激活组合，并包含手工制作的离散传输状态。在PTU中，可转移性由两个门控制，这两个门是人工神经元，可以从数据中学习。PTU是一个通用且灵活的模块，可用于CNN和RNN。实验进行了各种网络架构和多个传输域对。结果表明PTU的有效性，因为它优于启发式参数共享和微调在大多数设置。
2018-04-23 cs.LG stat.ML
Improving the Transferability of Time Series Forecasting with Decomposition Adaptation
Zhejiang University（浙江大学）；Nanjing University（南京大学）
针对时间序列预测中数据稀缺限制模型性能的问题，提出SeDAN迁移架构，通过Implicit Contrastive Decomposition将特征分解为季节和趋势成分并分别进行自适应对齐，在五个基准数据集上验证了其高效稳定的跨域知识迁移能力。
2023-06-30 cs.LG
Improving Transferability of Network Intrusion Detection in a Federated Learning Setup
Purdue University（普渡大学）
本文研究联邦学习设置下网络入侵检测的迁移性问题，提出两种技术显著提升联邦入侵检测系统对未见入侵类别的检测迁移性。
2024-01-07 cs.CR cs.LG eess.SP
Delving into Transferable Adversarial Examples and Black-box Attacks
UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；University of the California, Berkeley（加州大学伯克利分校）
深度神经网络的一个有趣特性是存在对抗性的例子，这些例子可以在不同的架构之间转移。这些可转移的对抗性示例可能会严重阻碍基于深度神经网络的应用。以往的工作主要是研究小规模数据集的可移植性。在这项工作中，我们是第一个对大型模型和大规模数据集的可转移性进行广泛研究的人，我们也是第一个研究目标对抗性示例及其目标标签的可转移性的人。我们研究了非有针对性和有针对性的对抗性示例，并表明虽然可转移的非有针对性的对抗性示例很容易找到，但使用现有方法生成的有针对性的对抗性示例几乎从不转移其目标标签。因此，我们提出了新的基于集合的方法来生成可转移的对抗性示例。使用这种方法，我们观察到很大一部分有针对性的对抗性示例能够首次使用其目标标签进行转移。我们还提出了一些几何研究，以帮助理解可转移的对抗性示例。最后，我们证明了使用基于集成的方法生成的对抗性示例可以成功攻击Clarifai.com，这是一个黑盒图像分类系统。
2017-02-07 cs.LG
On the Transferability of Adversarial Attacksagainst Neural Text Classifier
School of Computer Science, Fudan University（复旦大学计算机学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Department of Computer Science, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学系）
深度神经网络容易受到对抗攻击的攻击，其中对输入的小扰动会改变模型预测。在许多情况下，故意为一个模型制作的恶意输入可以欺骗另一个模型。在本文中，我们提出了第一个研究，系统地研究了文本分类模型的对抗性示例的可移植性，并探讨了各种因素，包括网络架构，标记化方案，词嵌入和模型容量，如何影响对抗性示例的可移植性。基于这些研究，我们提出了一个遗传算法，以找到一个集成的模型，可以用来诱导对抗性的例子，愚弄几乎所有现有的模型。这种对抗性的例子反映了学习过程的缺陷和训练集中的数据偏差。最后，我们从这些对抗性示例中推导出可用于模型诊断的单词替换规则。
2021-09-22 cs.CL cs.LG
Black-box Adversarial Transferability: An Empirical Study in Cybersecurity Perspective
Aligarh Muslim University（阿里格尔穆斯林大学）
本研究从网络安全视角实证检验黑盒对抗迁移性，基于CICDDoS-2019数据集实验发现深度学习模型即便在攻击者不掌握内部细节时也易受对抗攻击，白盒攻击影响更严重，凸显了研究对抗防御技术的必要性。
2024-04-15 cs.CR cs.LG
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Effectiveness of random deep feature selection for securing image manipulation detectors against adversarial examples
University of Siena（锡耶纳大学）；Xidian University（西安电子科技大学）
我们研究了[1]中提出的随机特征选择方法是否可以扩展到基于深度学习特征的检测器，以提高取证检测器对目标攻击的鲁棒性。特别是，我们研究了针对原始CNN图像操作检测器的对抗性示例到其他检测器（全连接神经网络和线性SVM）的可转移性，这些检测器依赖于从原始网络的扁平层提取的特征的随机子集。我们通过考虑三个图像操作检测任务（滤波，中值滤波和自适应直方图均衡化），两个原始网络架构和三类攻击得到的结果表明，特征随机化有助于阻碍攻击的可转移性，即使在某些情况下，简单地改变检测器的架构，甚至重新训练检测器就足以防止攻击的可转移性。
2019-12-26 cs.CR cs.CV cs.LG
Defense-guided Transferable Adversarial Attacks
虽然深度神经网络可以出色地执行具有挑战性的任务，但它们容易受到对抗性示例的影响，这些示例通过对干净的输入施加人类无法感知的扰动来误导分类器。在无查询的黑盒场景下，对抗性示例很难转换到未知模型，已经提出了几种可转换性较低的方法。为了解决这个问题，我们设计了一个最大最小框架的启发输入转换，这是有益的对抗攻击和防御。在最小化过程中，我们利用输入的仿射变换来降低损失值作为防御;在最大化过程中，我们利用动量迭代算法来增加损失值作为攻击。为了进一步促进可转移性，我们用最大-最小理论确定转换值。在Imagenet上进行的大量实验表明，我们的防御引导可转移攻击在可转移性上实现了令人印象深刻的提高。实验表明，我们的对抗攻击的ASR平均达到58.38%，在正常训练的模型上比最先进的方法高出12.1%，在对抗训练的模型上高出11.13%。此外，我们还提供了关于提高可转移性的解释性见解，我们的方法有望成为评估深度模型鲁棒性的基准。
2020-11-04 cs.CV cs.LG
Generating Adversarial Examples with Better Transferability via Masking Unimportant Parameters of Surrogate Model
Tsinghua University（清华大学）；RealAI（瑞莱智慧）
本文提出通过掩蔽代理模型中不重要参数（MUP）来精炼预训练模型，从而提升基于迁移攻击所生成对抗样本的迁移性，并可结合现有梯度优化器进一步增强攻击效果。
2023-04-14 cs.CR cs.CV cs.LG
LRS: Enhancing Adversarial Transferability through Lipschitz Regularized Surrogate
Missouri University of Science and Technology（密苏里科技大学）
本文提出 Lipschitz 正则化替代模型 LRS，通过平滑替代模型损失景观提升对抗样本的黑盒迁移攻击成功率，并揭示其与局部 Lipschitz 常数、损失景观及鲁棒性的关系。
2024-01-22 cs.CR cs.LG
Exploring the Space of Black-box Attacks on Deep Neural Networks
Princeton University（普林斯顿大学）；University of California, Berkeley（加州大学伯克利分校）
到目前为止，现有的对深度神经网络（DNN）的黑盒攻击主要集中在可转移性上，即为本地训练模型生成的对抗性实例可以“转移”到攻击其他学习模型。在本文中，我们提出了新的梯度估计黑箱攻击的对手查询访问目标模型的类概率，这不依赖于可转移性。我们还提出了一些策略来解耦生成每个对抗样本所需的查询数量与输入的维度。我们的攻击的迭代变体在DNN上的有针对性和无针对性攻击的对抗成功率接近100%。我们进行了广泛的实验，对黑盒攻击进行了全面的比较评估，并表明所提出的梯度估计攻击优于我们在MNIST和CIFAR-10数据集上测试的所有基于可转移性的黑盒攻击，实现了与众所周知的最先进的白盒攻击相似的对抗成功率。我们还成功地将梯度估计攻击应用于Clarifai托管的真实内容审核分类器。此外，我们评估黑箱攻击对国家的最先进的防御。我们表明，梯度估计攻击是非常有效的，即使对这些防御。
2017-12-27 cs.CR cs.CV cs.LG
Deep Learning Based Tool Wear Estimation Considering Cutting Conditions
Manufacturing Technology Institute (MTI) of RWTH Aachen University（亚琛工业大学制造技术研究所）；Fraunhofer Institute for Production Technology IPT（弗劳恩霍夫生产技术研究所IPT）
本文提出将切削条件作为额外输入的卷积神经网络刀具磨损估计方法，通过多参数铣削实验验证其精度和零样本迁移优势，优于忽略切削条件的传统模型。
2024-07-01 cs.AI cs.LG eess.SP
On the Cross-lingual Transferability of Monolingual Representations
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学 HiTZ 中心）；DeepMind
最先进的无监督多语言模型（例如，多语言BERT）已被证明在zero-shot跨语言设置中泛化。这种泛化能力归因于使用共享的子词词汇表和跨多种语言的联合训练，从而产生深层的多语言抽象。我们通过设计一种替代方法来评估这一假设，该方法将单语模型转移到词汇水平的新语言。更具体地说，我们首先在一种语言上训练基于转换器的掩码语言模型，并通过学习具有相同掩码语言建模目标的新嵌入矩阵，冻结所有其他层的参数，将其转换为新语言。这种方法不依赖于共享词汇或联合培训。然而，我们表明，它是有竞争力的多语言BERT在标准的跨语言分类基准和一个新的跨语言问答数据集（XQuAD）。我们的研究结果与多语言模型泛化能力基础的共同信念相矛盾，并表明深层单语言模型学习一些跨语言泛化的抽象。我们还发布了XQuAD作为一个更全面的跨语言基准测试，它包括来自SQuAD v1.1的240个段落和1190个问答对，由专业翻译人员翻译成10种语言。
2020-05-26 cs.AI cs.CL cs.LG
Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
深度学习模型很容易受到通过对良性输入施加人类无法感知的扰动而制作的对抗性示例的影响。然而，在黑箱设置下，大多数现有对手攻击其他防御模型的可转移性往往很差。在这项工作中，从将对抗性示例生成视为一个优化过程的角度出发，我们提出了两种新的方法来提高对抗性示例的可移植性，即Nesterov迭代快速梯度符号方法（NI-FGSM）和尺度不变攻击方法（SIM）。NI-FGSM旨在将Nesterov加速梯度适应于迭代攻击，以便有效地前瞻并提高对抗示例的可移植性。而SIM是基于我们对深度学习模型的尺度不变特性的发现，我们利用它来优化输入图像的尺度副本上的对抗性扰动，以避免白盒模型受到攻击的“过拟合”，并生成更多可转移的对抗性示例。NI-FGSM和SIM可以自然地集成，以构建一个强大的基于梯度的攻击，从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的实验结果表明，我们的攻击方法具有更高的可移植性，并且比最先进的基于梯度的攻击具有更高的攻击成功率。
2020-02-03 cs.CR cs.LG stat.ML
On Robustness and Transferability of Convolutional Neural Networks
Google Research（谷歌研究院）
现代深度卷积网络（CNN）经常被批评在分布移位下不能泛化。然而，最近在迁移学习方面的几项突破表明，这些网络可以应对严重的分布偏移，并从几个训练样本中成功适应新任务。在这项工作中，我们首次研究了现代图像分类CNN的分布外和传输性能之间的相互作用，并研究了预训练数据大小、模型规模和数据预处理管道的影响。我们发现，增加训练集和模型的大小显着提高分布移位的鲁棒性。此外，我们表明，也许令人惊讶的是，简单的变化，如修改图像分辨率的预处理可以显着减轻鲁棒性问题，在某些情况下。最后，我们概述了现有的鲁棒性评估数据集的缺点，并介绍了一个合成数据集SI-Score，我们使用它来系统地分析视觉数据中常见的变化因素，如对象的大小和位置。
2021-03-23 cs.CV cs.LG
Boosting the Adversarial Transferability of Surrogate Models with Dark Knowledge
Tsinghua University（清华大学）；RealAI（瑞莱智慧）
本文提出利用暗知识训练代理模型（DSM），通过教师模型提取暗知识和混合增强技术，显著提升对抗样本的迁移性，可应用于黑盒攻击及人脸验证等场景。
2023-09-05 cs.CR cs.CV cs.LG
Perturbing Across the Feature Hierarchy to Improve Standard and Strict Blackbox Attack Transferability
Duke University（杜克大学）
我们考虑在深度神经网络（DNN）图像分类器领域中基于黑盒传输的有针对性的对抗攻击威胁模型。而不是专注于跨越决策边界在源模型的输出层，我们的方法扰动表示整个提取的特征层次结构，类似于其他类。我们设计了一个灵活的攻击框架，允许多层扰动，并展示了ImageNet DNN之间最先进的目标传输性能。我们还展示了我们的特征空间方法的优越性，在放松的共同假设下，源和目标模型是在相同的数据集和标签空间上训练的，在某些情况下，相对于其他黑盒传输方法，实现了目标成功率的$10\times$增加。最后，我们分析了为什么所提出的方法优于现有的攻击策略，并显示了该方法的扩展的情况下，允许有限的查询的黑盒模型。
2020-04-29 cs.CR cs.LG stat.ML
Back to the Basics on Predicting Transfer Performance
Recod.ai Lab（Recod.ai实验室）；Institute of Computing, Universidade Estadual de Campinas（坎皮纳斯州立大学计算机研究所）
本文提出针对可迁移性评分器的稳健基准指南及多评分器结合技术，通过评估13个评分器和11个数据集，证明结合多源信息能可靠提升跨领域迁移性能预测。
2024-05-30 cs.CV cs.LG
Backpropagation Path Search On Adversarial Transferability
Tiansuan Lab, Ant Group（蚂蚁集团天算实验室）；The Chinese University of Hong Kong（香港中文大学）
针对迁移攻击中反向传播路径启发式设计及卷积模块未被充分探索的问题，提出 PAS，通过 SkipConv、DAG 搜索空间和贝叶斯优化提升对抗可迁移性。
2023-08-15 cs.CR cs.CV cs.LG
Developing a Transferable Federated Network Intrusion Detection System
School of Electrical and Computer Engineering, Purdue University, USA（电气与计算机工程学院，普渡大学）
本文提出一种基于CNN的分布式联邦网络入侵检测系统，通过两步数据预处理和BBSA算法最大化攻击迁移关系，在保持高本地检测率的同时实现对未知攻击的跨数据集泛化防御。
2025-08-12 cs.CR cs.LG cs.NI
Towards the Transferable Audio Adversarial Attack via Ensemble Methods
Shandong University（山东大学）；Quancheng Laboratory（泉城实验室）
本文研究语音识别中对抗样本的可迁移性，提出随机梯度集成和动态梯度加权集成方法，实验证明其生成的对抗样本可有效攻击黑盒API。
2023-04-18 cs.CR cs.LG cs.SD
