Hybrid-Task Meta-Learning: A GNN Approach for Scalable and Transferable Bandwidth Allocation
School of Electronic and Information Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）电子与信息工程学院）；School of Electrical and Information Engineering, The University of Sydney（悉尼大学电气与信息工程学院）；School of Science, Technology and Engineering, University of the Sunshine Coast（阳光海岸大学科学、技术与工程学院）；School of Electrical and Computer Engineering, University of Sydney（悉尼大学电气与计算机工程学院）
本文提出一种基于GNN的混合任务元学习（HML）带宽分配策略，通过固定参数量实现用户可扩展性，并在多通信场景下元训练以增强泛化能力，实验表明其显著提升了初始性能和样本效率，且大幅降低了推理复杂度。
2025-11-02 cs.LG cs.NI
Transferable Positive/Negative Speech Emotion Recognition via Class-wise Adversarial Domain Adaptation
The University of Manchester（曼彻斯特大学）
语音情感识别在构建更智能、更人性化的智能体方面发挥着重要作用。由于语音情感数据采集的困难性，一种越来越流行的解决方案是利用相关且丰富的源语料库来帮助处理目标语料库。然而，语料库之间的域转移提出了一个严峻的挑战，使域转移适应难以发挥作用，即使是对积极/消极情绪的识别。在这项工作中，我们提出了类明智的对抗性领域自适应，以解决这一挑战，减少不同语料库之间的所有类的转变。在著名的EMODB和Aibo语料库上的实验表明，即使只提供非常有限数量的目标标记示例，我们的方法也是有效的。
2019-02-14 cs.LG stat.ML
Transferable Natural Language Interface to Structured Queries aided by Adversarial Generation
Stanford University（斯坦福大学）
结构化查询的自然语言接口（NLI）具有广泛的工业应用和较高的经济价值，是结构化查询研究的热点。在这项工作中，我们解决的问题，领域自适应的NLI有限的数据上的目标域。研究了两种重要的方法：（a）对源域语义解析进行有效的一般知识学习;（b）对目标域进行数据增强。我们提出了一个结构化查询推理网络（SQIN），以提高学习领域自适应，从NL分离模式信息和解码SQL在一个更结构化的方式，我们还提出了一个基于GAN的增强技术（AugmentGAN），以减轻缺乏目标域数据的问题。我们在GeoQuery、Overnight和WikiSQL上报告了可靠的结果，以展示域内和域传输任务的最新性能。
2018-12-07 cs.AI cs.CL cs.LG
Intra-domain and cross-domain transfer learning for time series data -- How transferable are the features?
University of Rijeka（里耶卡大学）；Istituto Nazionale di Geofisica e Vulcanologia（国家地球物理与火山研究所）；Roma Tre University（罗马第三大学）；Center for Artificial Intelligence and Cybersecurity, University of Rijeka（里耶卡大学人工智能与网络安全中心）
在实践中，收集足够大的标记数据的数据集以成功地训练机器学习模型是非常苛刻的，有时是不可能的，并且这个问题的一个可能的解决方案是迁移学习。本研究的目的是评估如何转移的时间序列数据的不同领域之间的功能，以及在何种条件下。迁移学习的效果观察的预测性能的模型和它们的收敛速度在训练过程中。在我们的实验中，我们使用1，500和9，000个数据实例的简化数据集来模拟真实世界的条件。使用相同的缩小数据集，我们训练了两组机器学习模型：使用迁移学习训练的模型和从头开始训练的模型。四个机器学习模型被用于实验。知识转让是在同一应用领域（地震学）内进行的，也是在相互不同的应用领域（地震学、语言、医学、金融）之间进行的。我们观察了模型的预测性能和训练过程中的收敛速度。为了确认所获得的结果的有效性，我们重复了七次实验，并应用统计检验来确认结果的显著性。我们研究的一般结论是，迁移学习很可能增加或不负面影响模型的预测性能或其收敛速度。对收集到的数据进行更详细的分析，以确定哪些来源和目标领域适合知识转让。我们还分析了目标数据集大小和模型及其超参数的选择对迁移学习效果的影响。
2022-01-12 cs.LG
Moses: Efficient Exploitation of Cross-device Transferable Features for Tensor Program Optimization
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
实现机器学习模型的高效执行最近引起了极大的关注。为了有效地生成张量程序，DNN编译器的一个关键组件是成本模型，它可以预测特定设备上每个配置的性能。然而，由于硬件平台的快速出现，为每个新平台训练特定于领域的预测器越来越劳动密集。此外，目前的设计成本模型不能提供不同的硬件加速器之间的可转移的功能，有效地和有效地。在本文中，我们提出摩西，一个简单而有效的设计彩票假设的基础上，充分利用的功能，通过领域自适应转移到目标设备。与最先进的方法相比，Moses在搜索阶段实现了高达1.53倍的效率提升，在具有挑战性的DNN基准测试中实现了1.41倍的推理加速。
2022-01-15 cs.LG cs.PL
MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出元学习学习率调节器MetaLR，通过在线为不同层自动学习合适学习率，解决医学影像迁移学习中手动选层微调费时且易遗忘医学表示能力的问题，并在多个医学应用上超越现有最优微调策略。
2023-05-29 cs.CV cs.LG eess.IV
Learning Transferable Conceptual Prototypes for Interpretable Unsupervised Domain Adaptation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；PengCheng Laboratory（鹏城实验室）
本文提出可迁移概念原型学习（TCPL），通过层次化原型模块和融合原型信息的伪标签策略，实现无监督域适应的内在可解释性，同时提升知识迁移与决策性能。
2023-10-12 cs.CV cs.LG
Learning Transferable Features for Speech Emotion Recognition
UFMG（米纳斯吉拉斯联邦大学）；Kunumi
从语音中识别情感是高级人机交互中实现情感智能的关键步骤之一。识别人类语音中的情感需要学习在不同领域中具有鲁棒性和区分性的特征，这些领域在语言，语音的自发性，记录条件和情感类型方面有所不同。这对应于一种学习场景，其中特征和标签的联合分布可能会在各个领域发生实质性变化。在本文中，我们提出了一种深度架构，该架构联合利用卷积网络来提取域共享特征，并利用长短期记忆网络来使用特定于域的特征对情绪进行分类。考虑到语音情感数据的稀疏性和目标域缺乏标记数据的事实，我们使用可转移特征来实现多个源域的模型自适应。一个全面的跨语料库的实验与不同的语音情感领域表明，可转移的功能提供增益从4.3%到18.4%的语音情感识别。我们评估了几种域自适应方法，我们进行了消融研究，以了解哪些源域添加最多的整体识别效率为一个给定的目标域。
2019-12-23 cs.LG cs.SD eess.AS
Quantifying and Improving Transferability in Domain Generalization
University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
分布外泛化是将模型从实验室转移到现实世界的关键挑战之一。现有的努力主要集中在源和目标域之间建立不变的功能。基于不变特征，源域上的高性能分类器有望在目标域上表现得同样好。换句话说，不变特征是\emph{transferable}。然而，在实践中，没有完全可转移的特征，一些算法似乎比其他算法学习“更多可转移”的特征。我们如何理解和量化这种\emph{transferability}？在本文中，我们正式定义了可转移性，可以量化和计算在领域泛化。我们指出了不同领域之间的差异度量，如总变异和Wasserstein距离的区别和联系。然后，我们证明了我们的可转移性可以估计足够的样本，并给出了一个新的上限的目标误差的基础上，我们的可转移性。从经验上讲，我们评估了现有的领域泛化算法学习的特征嵌入的可移植性。令人惊讶的是，我们发现许多算法并没有完全学习可转移的特征，尽管很少有算法能够存活下来。有鉴于此，我们提出了一种新的学习可转移特征的算法，并在各种基准数据集上进行了测试，包括RotatedMNIST，PACS，WILDS-FMoW和WILDS-Home。实验结果表明，该算法取得了一致的改善，许多国家的最先进的算法，证实了我们的理论研究结果。
2021-11-01 cs.AI cs.LG stat.ML
Representations and Strategies for Transferable Machine Learning Models in Chemical Discovery
Massachusetts Institute of Technology（麻省理工学院）
机器学习（ML）加速发现的策略在材料成分空间中是普遍的，但ML的演示主要限于狭窄的成分变化。通过解决化学空间中有希望的区域的数据稀缺问题，以实现具有挑战性的目标，如开壳过渡金属络合物，利用现有数据中已知关系的一般表示和可转移ML模型将加速发现。在一个大的集合（CA）。1000）的等价过渡金属络合物，我们量化了不同性质的明显关系（即，自旋分裂和配体解离）在周期表的行之间（即，3D/4D金属和2 P/3 P配体）。我们展示了对基于图的修正自相关（RAC）表示的扩展（即，eRAC），其结合了有效核电荷以及核电荷启发法，否则核电荷启发法会高估等价复合物的相异性。为了解决在数据有限的新空间中发现的共同挑战，我们引入了一种迁移学习方法，在这种方法中，我们将周期表一行的大量数据训练的模型与来自附加行的少量数据点进行种子训练。我们证明了eRAC与这种迁移学习策略的协同价值，以持续提高模型性能。对这些模型的分析强调了这种方法是如何通过重新排序络合物之间的距离以使其与周期表更一致而取得成功的，我们预计这种特性将广泛用于其他材料领域。
2021-06-20 cond-mat.mtrl-sci cs.LG physics.chem-ph
Learning Transferable Parameters for Unsupervised Domain Adaptation
Shandong University（山东大学）
无监督领域自适应（UDA）使学习机能够在分布偏移的情况下从标记的源域适应到未标记的域。由于深度神经网络的强大表示能力，UDA最近取得的显着成就依赖于学习域不变特征。直观地说，希望一个好的特征表示，加上从源域学习的假设，可以很好地推广到目标域。然而，领域不变特征和源假设的学习过程不可避免地涉及特定领域的信息，这将降低UDA模型在目标领域的泛化能力。在本文中，出于彩票假设，只有部分参数是必不可少的推广，我们发现，只有部分参数是必不可少的学习域不变的信息和推广以及在UDA。这些参数称为可传递参数。相比之下，其他参数往往适合特定领域的细节，往往无法概括，我们称之为不可转移的参数。基于这一认识，本文提出了可转移参数学习（TransPar）方法，以减少领域特定信息在学习过程中带来的副作用，从而增强对领域不变信息的记忆。具体地说，我们根据分布差异程度，在每次训练迭代中将所有参数分为可传递和不可传递。然后，我们为这两种类型的参数执行单独的更新规则。对图像分类和回归任务（关键点检测）的大量实验表明，TransPar的性能优于现有技术的非平凡的利润。此外，实验表明，transPar可以集成到最流行的深度UDA网络，并很容易扩展到处理任何数据分布偏移的情况。
2021-08-13 cs.AI cs.CV cs.LG
How Transferable are Neural Networks in NLP Applications?
Peking University（北京大学）；Inveno Co., Ltd.（Inveno有限公司）
迁移学习旨在利用源领域中有价值的知识来帮助目标领域中的模型性能。这对神经网络尤其重要，因为神经网络很可能是过拟合的。在图像处理等领域，许多研究表明了基于神经网络的迁移学习的有效性。然而，对于神经NLP，现有的研究只是随意地应用了迁移学习，并且结论不一致。在本文中，我们进行了系统的案例研究，并提供了一个启发性的图片在自然语言处理的神经网络的可移植性。
2016-10-13 cs.CL cs.LG cs.NE
An Improved Transfer Model: Randomized Transferable Machine
Bytedance（字节跳动）；Nanyang Technological University（南洋理工大学）
基于知识的迁移是迁移学习最有效的方法之一。现有的研究通常假设学习到的新特征表示是\emph{domain-invariant}，从而在源域上训练传递模型$\mathcal{M}$。在本文中，我们考虑了一个更现实的情况下，新的功能表示是次优和小分歧仍然存在跨域。我们提出了一个新的传输模型称为随机可传输机（RTM）来处理这样的小分歧域。具体来说，我们的工作是从现有的基于特征的传输方法中学习到的新的源数据和目标数据。其关键思想是通过使用一些噪声随机破坏新的源数据来扩大源训练数据群体，然后训练传递模型$\widetilde{\mathcal{M}}$，该模型在所有被破坏的源数据群体上表现良好。原则上，产生的破坏越多，新的目标数据被构造的源数据群体覆盖的概率就越高，因此$\widetilde{\mathcal{M}}$可以实现更好的传输性能。理想的情况是无限腐败，但这在现实中是不可行的。我们开发了一个边缘化的解决方案，使训练一个$\widetilde{\mathcal{M}}$，而不进行任何腐败，但相当于使用无限的源噪声数据种群进行训练。我们进一步提出了$\widetilde{\mathcal{M}}$的两个实例，从理论上证明了它比传统的迁移模型$\mathcal{M}$的迁移优越性。更重要的是，这两个实例化都有封闭形式的解决方案，从而实现了快速有效的训练过程。在各种实际迁移任务上的实验表明…
2022-04-21 cs.AI cs.LG
TransNet: Transferable Neural Networks for Partial Differential Equations
Florida State University（佛罗里达州立大学）；University of South Carolina（南卡罗来纳大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
偏微分方程的迁移学习是开发一个预先训练好的神经网络，可以用来求解广泛的偏微分方程。现有的迁移学习方法需要目标偏微分方程的大量信息，例如其公式和/或其解的数据用于预训练。在这项工作中，我们建议从纯函数逼近的角度构建可转移的神经特征空间，而不使用PDE信息。特征空间的构建涉及隐藏神经元的重新参数化，并使用辅助函数来调整所得到的特征空间。理论分析表明，所产生的特征空间，即，均匀分布的神经元大量的数值实验验证了我们的方法的出色性能，包括显着改善的可转移性，例如，对于具有不同域和边界条件的各种偏微分方程使用相同的特征空间，并且具有优异的精度，例如，均方误差比现有技术的方法小几个数量级。
2023-01-27 cs.LG cs.NA math.NA
Delving into Transferable Adversarial Examples and Black-box Attacks
UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；University of the California, Berkeley（加州大学伯克利分校）
深度神经网络的一个有趣特性是存在对抗性的例子，这些例子可以在不同的架构之间转移。这些可转移的对抗性示例可能会严重阻碍基于深度神经网络的应用。以往的工作主要是研究小规模数据集的可移植性。在这项工作中，我们是第一个对大型模型和大规模数据集的可转移性进行广泛研究的人，我们也是第一个研究目标对抗性示例及其目标标签的可转移性的人。我们研究了非有针对性和有针对性的对抗性示例，并表明虽然可转移的非有针对性的对抗性示例很容易找到，但使用现有方法生成的有针对性的对抗性示例几乎从不转移其目标标签。因此，我们提出了新的基于集合的方法来生成可转移的对抗性示例。使用这种方法，我们观察到很大一部分有针对性的对抗性示例能够首次使用其目标标签进行转移。我们还提出了一些几何研究，以帮助理解可转移的对抗性示例。最后，我们证明了使用基于集成的方法生成的对抗性示例可以成功攻击Clarifai.com，这是一个黑盒图像分类系统。
2017-02-07 cs.LG
LGM-Net: Learning to Generate Matching Networks for Few-Shot Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Snap Inc.（Snap公司）；Kwai Inc.（快手公司）；Tencent（腾讯）
在这项工作中，我们提出了一种新的元学习方法用于Few-Shot分类，该方法学习跨任务的可转移先验知识，并使用训练样本直接为类似的不可见任务生成网络参数。我们的方法，称为LGM-Net，包括两个关键模块，即TargetNet和MetaNet。TargetNet模块是用于解决特定任务的神经网络，MetaNet模块旨在通过观察训练样本来学习生成TargetNet的函数权重。我们还提出了一个训练过程的任务间规范化策略，以利用不同任务之间共享的公共信息。在Omniglot和miniImageNet数据集上的实验结果表明，LGM-Net能够有效地适应相似的不可见任务，并获得具有竞争力的性能;在合成数据集上的实验结果表明，MetaNet模块通过将训练数据映射到函数权重来学习可传递的先验知识。LGM-Net能够快速学习和适应，因为与其他元学习方法相比，不需要进一步的调优步骤。
2019-05-15 cs.LG stat.ML
Learning transferable and discriminative features for unsupervised domain adaptation
Nanjing University（南京大学）；Jiangnan University（江南大学）
虽然取得了显著的进展，但在没有任何标记数据的情况下，很难诱导出有监督的分类器。无监督的领域自适应能够通过将知识从标记的源域转移到未标记的目标域来克服这一挑战。可转移性和可区分性是表征特征表示的优越性的两个关键标准，以实现成功的领域自适应。在本文中，一种新的方法称为\textit{learning TransFerable and Discriminative Features for unsupervised domain adaptation}（TFDF）提出了这两个目标同时优化。一方面，进行分布对齐以减少域差异并学习更多的可传递表示。在再生核希尔伯特空间（RKHS）中，我们采用了一种新的统计量\textit{Maximum Mean and Covariance Discrepancy}（MMCD），它不仅能捕获一阶统计信息，还能捕获二阶统计信息，而不是采用仅捕获一阶统计信息的\textit{Maximum Mean Discrepancy}（MMD）来度量分布差异.另一方面，我们建议通过流形正则化探索局部判别信息，并通过最小化所提出的\textit{class confusion}目标来学习更多的判别特征，分别探索全局判别信息。我们将这两个目标集成到\textit{Structural Risk Minimization}（RSM）框架中，并学习域不变分类器。在5个真实数据集…
2021-06-26 cs.LG stat.ML
Autonomous Source Knowledge Selection in Multi-Domain Adaptation
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼技术大学）
本文提出AutoS方法，通过自主选择源知识提升多领域适应性能，减少冗余信息影响，提高迁移学习效果。
2025-12-08 cs.AI cs.LG
Finding the Most Transferable Tasks for Brain Image Segmentation
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua University（清华大学）
虽然许多研究已经成功地将迁移学习应用于医学图像分割，但很少有人研究多个源任务可供迁移时的选择策略。在本文中，我们提出了一个先验知识指导和基于可转移性的框架，以选择最好的源任务中的大脑图像分割任务的集合，以提高迁移学习的性能在给定的目标任务。该框架由模态分析，ROI（感兴趣区域）分析，和可转移性估计，这样的源任务的选择，可以细化一步一步。具体来说，我们适应国家的最先进的分析可转移性估计指标的医学图像分割任务，并进一步表明，他们的性能可以显着提高过滤候选源任务的基础上的模态和ROI特征。我们对脑物质，脑肿瘤和白质高强度分割数据集的实验表明，在相同模式下从不同任务转移通常比在不同模式下从相同任务转移更成功。此外，在同一模态下，从与目标任务具有更强RoI形状相似性的源任务转移可以显著提高最终转移性能。这种相似性可以使用标签空间中的结构相似性索引来捕获。
2023-01-03 cs.AI cs.CV cs.LG
A Transferable Recommender Approach for Selecting the Best Density Functional Approximations in Chemical Discovery
Massachusetts Institute of Technology（麻省理工学院）
近似的密度泛函理论（DFT）已成为不可或缺的，由于其成本-精度权衡相比，更高的计算要求，但准确的相关波函数理论。然而，迄今为止，没有一个单一的密度泛函近似（DFA）与普遍的准确性已被确定，导致DFT产生的数据质量的不确定性。通过电子密度拟合和迁移学习，我们构建了一个DFA推荐器，该推荐器以特定于系统的方式选择相对于金标准但成本高昂的耦合簇理论具有最低预期误差的DFA。我们证明了这种推荐方法对具有挑战性的过渡金属配合物的垂直自旋分裂能量评估。我们的推荐器预测性能最好的DFA，并产生出色的准确性（约。2 kcal/mol），在一组48个DFA中表现优于单个迁移学习模型和单个最佳功能。我们证明了可转移的DFA推荐实验合成的化合物具有不同的化学。
2022-07-21 cond-mat.mtrl-sci cs.LG physics.chem-ph
How Much Off-The-Shelf Knowledge Is Transferable From Natural Images To Pathology Images?
University of Alberta（阿尔伯塔大学）；University of Toronto（多伦多大学）
深度学习在自然图像分类方面取得了巨大成功。为了克服计算病理学中的数据稀缺问题，近年来的研究利用迁移学习来重用从自然图像中获得的病理图像分析知识，旨在建立有效的病理图像诊断模型。由于知识的可转移性在很大程度上取决于原始任务和目标任务的相似性，病理图像和自然图像之间的图像内容和统计数据的显着差异提出了问题：有多少知识是可转移的？传递的信息是否由预先训练的层平等地贡献？为了回答这些问题，本文提出了一个框架来量化特定层的知识增益，在病理图像为中心的迁移学习中进行了实证研究，并报告了一些有趣的观察结果。特别地，与通过随机权重模型获得的性能基线相比，虽然来自深层的现成表示的可转移性在很大程度上取决于特定的病理图像集，但是由早期层生成的一般表示确实在各种图像分类应用中传达了转移的知识。本研究中的观察鼓励进一步研究特定的指标和工具，以量化未来迁移学习的有效性和可行性。
2020-05-09 cs.LG eess.IV q-bio.QM
AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
Pennsylvania State University（宾夕法尼亚州立大学）；Xiamen University（厦门大学）
本文提出AdaTrans自适应迁移学习方法，通过融合惩罚和自适应权重在高维回归中检测特征级或样本级可迁移结构，实现选择性信息融合并达到接近oracle的收敛速率。
2024-11-25 cs.LG math.ST stat.ME
Multi-Target Tracking with Transferable Convolutional Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
该研究将多目标跟踪重构为图像到图像预测任务，提出可迁移卷积神经网络架构，通过小区域训练后迁移至大场景，兼具理论支撑与性能优势。
2023-07-25 cs.LG eess.SP
A Transferable Autologistic Model for Predicting Rare Failures in Heterogeneous Equipment
Université de Sherbrooke（谢布鲁克大学）
本文针对异构设备罕见故障预测难题，提出可迁移自 logistic 模型，在含27台模拟冰箱的合成数据集上验证了模型的故障概率估计能力，为预测性维护提供支持。
2026-08-10 cs.LG
Non-transferable Pruning
Northeastern University（东北大学）
本文提出一种名为Non-Transferable Pruning（NTP）的知识产权保护方法，通过ADMM优化模型稀疏性与不可迁移学习损失，限制预训练模型在未授权域的迁移性，并在监督与自监督学习中验证了其有效性。
2024-10-10 cs.LG
Transferable and Forecastable User Targeting Foundation Model
Ant Group（蚂蚁集团）；Xi’an Jiaotong University（西安交通大学）；Zhejiang University（浙江大学）
针对现有用户定向方法跨场景迁移与预测能力不足的问题，提出 FOUND 基础模型，通过异构数据对比预训练和未来行为文本描述提升性能，并已在 Alipay 落地。
2025-02-20 cs.AI cs.LG
The Good, the Bad and the Ugly: Meta-Analysis of Watermarks, Transferable Attacks and Adversarial Defenses
UC Berkeley（加州大学伯克利分校）；Zuse Institute Berlin（柏林祖斯研究所）；University of Southern Denmark（南丹麦大学）；TU Berlin（柏林工业大学）
本文通过元分析探讨了水印、可转移攻击和对抗防御之间的权衡，证明了三者中至少存在其一，并利用全同态加密构建了可转移攻击的实例。
2026-01-21 cs.AI cs.CR cs.LG
On Success and Simplicity: A Second Look at Transferable Targeted Attacks
Radboud University（拉德堡德大学）
实现目标攻击的可转移性被认为是非常困难的。目前，最先进的方法是资源密集型的，因为它们需要具有额外数据的每个目标类的训练模型。然而，在我们的调查中，我们发现，简单的可转移攻击，既不需要额外的数据，也不需要模型训练，可以实现令人惊讶的高目标的可转移性。这一见解一直被忽视，直到现在，主要是由于不合理地限制攻击优化到有限的迭代次数的广泛实践。特别是，我们，第一次，确定一个简单的logit损失可以产生竞争力的结果与国家的艺术。我们的分析涵盖了各种传输设置，特别是包括三个新的、现实的设置：模型相似性很小的集成传输设置，低排名目标类的最坏情况设置，以及针对Google Cloud Vision API的真实攻击。这些新设置的结果表明，通常采用的简单设置不能完全揭示不同攻击的实际属性，并可能导致误导性的比较。我们还展示了简单logit损失在无数据和无训练方式下生成有针对性的通用对抗性扰动的有用性。总的来说，我们的分析的目的是激发一个更有意义的评估有针对性的转让。代码可在https://github.com/ZhengyuZhao/Targeted-Tansfer上获得
2021-10-26 cs.CR cs.CV cs.LG
A Little Robustness Goes a Long Way: Leveraging Robust Features for Targeted Transfer Attacks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Santa Fe Institute（圣塔菲研究所）
已知神经网络图像分类器的对抗性示例是可转移的：被源分类器错误分类的优化示例通常也被具有不同架构的分类器错误分类。然而，有针对性的对抗性示例（被优化为被分类为选定的目标类）往往不太容易在架构之间转移。虽然以前的研究构建可转移的有针对性的攻击集中在改善优化过程中，在这项工作中，我们研究的作用的源分类器。在这里，我们表明，训练源分类器“稍微健壮”-即对小规模对抗性示例的健壮性-大大提高了针对类和针对表示的对抗攻击的可转移性，即使是在卷积神经网络和Transformers等不同的架构之间。我们提出的结果提供了深入了解对抗性例子的性质以及所谓的“鲁棒”分类器的机制。
2021-10-25 cs.CR cs.LG
Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
针对数据选择中元学习方法的细粒度评估与可迁移性权衡问题，提出基于逐点值匹配目标的可扩展框架TESS，在LLM安全性和指令调优上实现跨数据集与跨模型规模的有效迁移。
2026-10-02 cs.AI cs.CL cs.LG
Transferable Clean-Label Poisoning Attacks on Deep Neural Nets
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）；Cornell University（康奈尔大学）
干净标签中毒攻击将无害的（和“正确”标记的）有毒图像注入训练数据，导致模型在此数据上训练后对目标图像进行错误分类。我们考虑可转移的中毒攻击，成功没有访问受害者网络的输出，架构，或（在某些情况下）的训练数据。为了实现这一点，我们提出了一种新的“多面体攻击”，其中的毒图像被设计为包围在特征空间中的目标图像。我们还证明了在毒药创建过程中使用Dropout有助于增强这种攻击的可转移性。我们实现了超过50%的可转移攻击成功率，而中毒只有1%的训练集。
2019-05-16 cs.CR cs.LG stat.ML
Function Contrastive Learning of Transferable Meta-Representations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
元学习算法可以快速适应来自与训练任务相同的任务分布的新任务。导致快速适应的机制是下游预测模型对任务的底层数据生成过程的推断表示或\emph{function}的调节。该\emph{meta-representation}是从基础函数的几个观察到的示例计算的，与预测模型联合学习。在这项工作中，我们研究的影响，这种联合培训的元表征的可转移性。我们的目标是学习对数据中的噪声具有鲁棒性的元表示，并促进解决共享相同底层功能的各种下游任务。为此，我们提出了一种解耦的编码器-解码器方法来进行监督元学习，其中编码器使用对比目标进行训练，以找到底层函数的良好表示。特别是，我们的训练方案是由自我监督信号驱动的，该信号指示两组示例是否来自同一函数。我们在一些合成和真实世界数据集上的实验表明，我们获得的表示在下游性能和噪声鲁棒性方面优于强基线，即使这些基线是以端到端的方式训练的。
2021-07-22 cs.LG stat.ML
TMLC-Net: Transferable Meta Label Correction for Noisy Label Learning
School of Artificial Intelligence, Tianjin Normal University（天津师范大学人工智能学院）
针对现实数据集噪声标签阻碍深度学习模型部署、现有元学习方法迁移性有限的问题，提出TMLC-Net可迁移元标签校正网络，集成三个核心组件，在多噪声基准数据集上优于现有方法，具良好迁移适应性。
2025-02-11 cs.AI cs.LG
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
主动学习（AL）的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究，提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反，我们建议将主动学习算法设计视为一个元学习问题，并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络，该网络输入基本学习者状态和未标记的点集，并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络，为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化，特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法，允许嵌入式不可知的主动学习者进行培训。我们的评估表明，以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
Training Meta-Surrogate Model for Transferable Adversarial Attack
JD Technology（京东科技）；University of California, Los Angeles（加州大学洛杉矶分校）
我们认为对抗攻击的黑盒模型时，不允许查询。在这种情况下，许多方法直接攻击代理模型，并将获得的对抗性示例转移到欺骗目标模型。大量的工作研究了对代理模型的攻击可以产生更多可转移的对抗样本，但由于代理模型和目标模型之间的不匹配，其性能仍然受到限制。在本文中，我们从一个新的角度来解决这个问题-而不是使用原来的代理模型，我们是否可以获得一个Meta-代理模型（MSM），使攻击这个模型可以更容易地转移到其他模型？我们证明了这个目标可以在数学上表述为一个适定性（类似于双层）的优化问题，并设计了一个可微攻击器来使训练可行。给定一个或一组代理模型，我们的方法可以得到一个MSM，使得在MSM上生成的对抗示例具有良好的可移植性。Cifar-10和ImageNet上的综合实验表明，通过攻击MSM，我们可以获得更强的可转移对抗性示例，以欺骗黑盒模型，包括对抗性训练的模型，成功率比现有方法高得多。所提出的方法揭示了深度模型的重大安全挑战，并有望成为评估黑盒环境下深度模型鲁棒性的最新基准。
2021-09-07 cs.AI cs.CR cs.LG
Transferable Graph Neural Fingerprint Models for Quick Response to Future Bio-Threats
Brookhaven National Laboratory（布鲁克海文国家实验室）；Argonne National Laboratory（阿贡国家实验室）
该研究构建了COVID-19药物对接数据集，训练图神经指纹模型进行高通量虚拟筛选，并提出可迁移方法以高效应对未知靶点，为未来生物威胁提供机器学习加速方案。
2023-09-15 cs.AI cs.LG q-bio.BM
Story Ending Prediction by Transferable BERT
Harbin Institute of Technology（哈尔滨工业大学）
最近的进展，如GPT和BERT，已经成功地结合了预先训练的Transformer语言模型和微调操作，以改善下游NLP系统。然而，这个框架仍然有一些基本的问题，有效地将其他相关任务的监督知识。在这项研究中，我们研究了一个可转移的BERT（transBERT）训练框架，它不仅可以从大规模的未标记数据中转移一般的语言知识，而且可以从各种语义相关的监督任务中转移特定种类的知识，用于目标任务。特别地，我们提出利用三种转移任务，包括自然语言推理，情感分类和下一个动作预测，以进一步训练BERT的基础上预先训练的模型。这使模型能够为目标任务获得更好的初始化。我们以故事结局预测为目标任务进行实验。最终结果的准确率为91.8%，大大优于以前最先进的基线方法。几个对比实验为迁移任务的选择提供了有益的建议。误差分析显示了基于BERT的故事结局预测模型的优点和缺点。
2019-05-21 cs.CL cs.LG
Black-Box Adversarial Attack with Transferable Model-based Embedding
The Hong Kong University of Science and Technology（香港科技大学）
提出了一种新的黑盒对抗攻击方法。与以前通过使用梯度或代理白盒模型的初始化将基于转移和基于评分的方法结合起来的方法不同，这种新方法尝试使用预训练模型学习低维嵌入，然后在嵌入空间内执行有效搜索以攻击未知目标网络。该方法产生对抗扰动与高层次的语义模式，很容易转移。我们表明，这种方法可以大大提高查询效率的黑盒对抗攻击在不同的目标网络架构。我们在MNIST，ImageNet和Google Cloud Vision API上评估了我们的方法，从而显着减少了查询数量。我们还在CIFAR10和ImageNet上攻击了对抗防御网络，我们的方法不仅减少了查询次数，还提高了攻击成功率。
2020-01-05 cs.LG stat.ML
One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Sun Yat-sen University（中山大学）
本文提出基于CLIP的UnivIntruder攻击框架，仅用公开模型和数据集生成对抗扰动，在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率，凸显AI安全需重新评估。
2026-08-06 cs.CR cs.LG
Plan Your Target and Learn Your Skills: Transferable State-Only Imitation Learning via Decoupled Policy Optimization
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tianjin University（天津大学）
最近的进展，只有状态的模仿学习扩展的适用范围模仿学习，以现实世界的设置，减轻了需要观察专家的行动。然而，现有的解决方案只学习从数据中提取状态到动作的映射策略，而不考虑专家如何规划目标。这妨碍了利用示威的能力，限制了政策的灵活性。在本文中，我们介绍了解耦策略优化（DePO），它明确地将策略作为一个高层次的状态规划器和逆动力学模型。通过嵌入式解耦策略梯度和生成式对抗训练，DePO可以将知识转移到不同的动作空间或状态转换动态，并可以将规划器推广到非演示状态区域。我们深入的实验分析表明，DePO学习广义目标状态规划器的有效性，同时实现最佳的模仿性能。我们展示了吸引人的使用DePO通过预训练在不同的任务之间转移，以及具有各种技能的共同训练代理的潜力。
2022-09-30 cs.AI cs.LG
TVE: Learning Meta-attribution for Transferable Vision Explainer
Rice University（莱斯大学）；Wake Forest University（维克森林大学）；New Jersey Institute of Technology（新泽西理工学院）；Texas A&M University（德克萨斯农工大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；North Carolina State University（北卡罗来纳州立大学）；Meta Platforms, Inc.（元平台公司）
针对现有解释器难以跨模型和任务迁移的问题，提出基于大规模预训练学习元归因的可迁移视觉解释器TVE，能在无需下游训练的情况下有效解释多种视觉模型。
2024-07-15 cs.AI cs.CV cs.LG
Transferable Boltzmann Generators
Freie Universität Berlin（柏林自由大学）；Microsoft Research AI4Science（微软研究院AI4Science）；Rice University（莱斯大学）
提出首个可跨化学空间迁移的Boltzmann Generators框架，无需重训即可零样本预测未见分子的Boltzmann分布，并提升单分子系统训练效率。
2025-02-01 cs.LG physics.chem-ph physics.comp-ph
PlacePulse: Learning Transferable Place Representations from Structural Geographic Data
CARTO（卡托）
研究提出结构化地理空间基础模型PlacePulse，将美国105万余个H3单元格的结构化地理数据压缩为可迁移嵌入，在内外在评估中表现优异，为地理空间基础模型提供了新的互补模态。
2026-10-12 cs.LG
RaPA: Enhancing Transferable Targeted Attacks via Random Parameter Pruning
State Key Lab of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所人工智能安全国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
RaPA通过引入参数级随机化提升攻击的可迁移性，实验表明其在CNN到Transformer模型迁移中ASR显著提升，且无需训练，具有跨架构高效性。
2026-04-06 cs.AI cs.LG
Luring of transferable adversarial perturbations in the black-box paradigm
CEA, Leti（法国原子能和替代能源委员会 电子信息技术实验室）；Mines Saint-Etienne（圣埃蒂安矿业学院）
对对抗性示例（即欺骗分类器的恶意修改示例）的兴趣日益增长，导致了许多旨在检测它们的防御措施，使它们变得无害或使模型对它们更加鲁棒。在本文中，我们为一种新的方法铺平了道路，以提高模型对黑盒传输攻击的鲁棒性。目标模型中包含一个可移除的附加神经网络，用于诱导\textit{luring effect}，从而欺骗对手选择错误的方向来欺骗目标模型。由于作用于logits序列顺序的损失函数，实现了训练附加模型。我们的基于欺骗的方法只需要访问目标模型的预测，而不需要标记的数据集。我们解释的诱惑效果，由于强大的和非强大的有用功能的概念，并进行实验MNIST，SVHN和CIFAR10来表征和评估这种现象。此外，我们讨论了两个简单的预测方案，并通过实验验证，我们的方法可以作为一种防御，有效地挫败对手使用最先进的攻击，并允许执行大的扰动。
2021-03-03 cs.LG stat.ML
Single-condition neural solvers encode transferable response spaces for parametric differential equations
Institute of AI for Industries, Chinese Academy of Sciences（中国科学院工业人工智能研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Northwestern Polytechnical University（西北工业大学）
本文提出线性化子空间迁移（LST）与主动迁移建模（ATM），利用单条件神经求解器的输出雅可比矩阵构建可复用响应空间，通过残差最小化实现跨条件迁移，在六个系统中显著降低误差与构建成本，确立神经求解器为可复用局部参数模型。
2026-09-15 cs.LG physics.comp-ph
GNP Attack: Transferable Adversarial Examples via Gradient Norm Penalty
Missouri University of Science and Technology（密苏里科技大学）
本文提出梯度范数惩罚（GNP）方法，通过使优化收敛到损失景观平坦区域来增强对抗样本的可迁移性，并在多个先进模型和防御方法上验证了其有效性与灵活性。
2023-07-09 cs.CR cs.CV cs.LG
Toward Universal and Transferable Jailbreak Attacks on Vision-Language Models
School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算机与信息系）；School of Computing and Information Systems, Singapore Management University, Singapore（新加坡管理大学计算机与信息系）；School of Information Technology, Deakin University, Australia（德肯大学信息科技系）；Institute of Trustworthy Embodied AI, Fudan University, China（复旦大学可信具身人工智能研究所）
本文提出UltraBreak，一种通用且可迁移的视觉-语言模型劫持攻击框架，通过视觉正则化和语义引导的文本监督，有效提升攻击的泛化能力和转移性能。
2026-02-01 cs.AI cs.CV cs.LG
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update
研究针对大语言模型训练后优化信号耦合问题，提出PUST框架，通过代理模型探索、提取并传输相对改进信号，解耦更新信号探索与分布对齐，减少计算开销，支持异步处理与跨模型转移，提升训练后范式的模块化、可重用性与效率。
2026-08-11 cs.AI cs.LG
PEAS: A Strategy for Crafting Transferable Adversarial Examples
Ben-Gurion University（本古里安大学）
PEAS策略通过细微增强生成多个感知等价图像，并利用替代模型筛选最具迁移性的对抗样本，从而显著提升黑盒攻击的迁移性与成功率。
2024-10-20 cs.AI cs.CR cs.LG
Learning Transferable Policies for Monocular Reactive MAV Control
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
将以前任务中获得的知识转移到新环境中的能力是人类学习的最重要机制之一。尽管如此，适应自主行为在部分相似的设置中被重用仍然是当前机器人研究中的一个开放问题。在本文中，我们在这个方向上迈出了一小步，并提出了一个通用的框架，学习可转移的运动策略。我们的目标是通过利用不同但相关的源域中的训练数据来解决目标域中的学习问题。我们提出了这一点的背景下，自主MAV飞行使用单目反应控制，并证明了我们提出的方法的有效性，通过广泛的真实世界的飞行实验在室外杂乱的环境。
2016-08-01 cs.AI cs.LG cs.RO
Transferable Perturbations of Deep Feature Distributions
Duke University（杜克大学）
目前几乎所有对CNN分类器的对抗攻击都依赖于从网络输出层获得的信息。这项工作提出了一种新的对抗攻击的基础上建模和开发类和层的深度特征分布。我们为不设防的ImageNet模型实现了最先进的基于黑盒传输的攻击结果。此外，我们优先考虑攻击过程的可解释性和可解释性。我们的方法提供了一个分析对抗攻击如何改变CNN的中间特征分布，以及逐层和逐类特征分布分离性/纠缠的措施。我们还在CNN架构中概念化了从任务/数据特定到模型特定特征的过渡，这直接影响了对抗性示例的可转移性。
2020-04-27 cs.LG stat.ML
Transferable Unlearnable Examples
Michigan State University（密歇根州立大学）；Fudan University（复旦大学）；Lehigh University（理海大学）
随着越来越多的人在网上发布他们的个人数据，未经授权的数据使用已成为一个严重的问题。引入了不可学习的策略，以防止第三方未经许可对数据进行训练。他们在发布之前向用户的数据添加扰动，目的是使在扰动的发布数据集上训练的模型无效。这些扰动是针对特定的训练设置和目标数据集生成的。然而，当用于其他训练环境和数据集时，它们的不可学习效果显着降低。为了解决这个问题，我们提出了一种新的不可学习的策略，基于类间可分性判别（CSD），其目的是通过增强线性可分性，更好地将不可学习的影响转移到其他训练设置和数据集。大量的实验证明了所提出的不可学习的例子在训练设置和数据集之间的可移植性。
2022-10-18 cs.CV cs.LG
Calibration-First Cross-Cohort Multimodal Temporal Learning for Transferable Asthma-Risk Forecasting
Superior University Lahore（拉合尔卓越大学）
针对跨队列哮喘风险预测中模型校准不佳的问题，提出校准优先的多模态时序框架CALIBRA，通过可靠性门控和分层校准提升可迁移性，在半合成基准上验证了有效性。
2026-09-30 cs.AI cs.LG
