Improving Location-based Thermal Emission Side-Channel Analysis Using Iterative Transfer Learning
本文提出迭代迁移学习方法，利用字节间参数相似性，先训练一个密钥字节模型再迭代迁移到其余字节，在热辐射与功耗图像侧信道攻击中提升平均性能，尤其在数据不足时效果显著。
2024-12-30 cs.CR cs.LG
Improving Generalization of Transfer Learning Across Domains Using Spatio-Temporal Features in Autonomous Driving
University of Maryland at College Park（马里兰大学帕克分校）
实际的基于学习的自动驾驶模型必须能够将学习到的行为从模拟领域推广到真实领域，并从训练数据推广到具有不寻常图像属性的未知领域。在本文中，我们研究迁移学习方法，通过利用跨域的时空特征的不变性来实现对域移位的鲁棒性。在本文中，我们提出了一种迁移学习方法，通过时空特征的迁移和显着的数据增强来提高跨领域的泛化能力。我们的模型使用带有Inception模块的CNN-LSTM网络进行图像特征提取。我们的方法分两个阶段运行：第一阶段涉及对源域数据进行训练，而第二阶段对目标域数据进行训练，这些数据已经由使用第一阶段模型生成的特征图进行了补充。与跨多个数据集的其他SOTA方法相比，我们的模型在看不见的测试用例中显着提高了性能，无论是模拟到模拟的传输还是模拟到真实的传输，测试准确度高达+37.3\%，转向角预测高达+40.8\%。
2021-09-23 cs.CV cs.LG
Improving Transfer Learning with a Dual Image and Video Transformer for Multi-label Movie Trailer Genre Classification
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）
在本文中，我们研究了ImageNet空间和Kinetics时空表示到多标签电影预告片类型分类（MTGC）的可移植性。特别是，我们对在ImageNet和Kinetics上预训练的ConvNet和Transformer模型到Trailers 12 k的可移植性进行了广泛的评估，Trailers 12 k是一个新的手动策划的电影预告片数据集，由12，000个标记有10种不同类型和相关元数据的视频组成。我们分析了可能影响可传输性的不同方面，例如帧速率、输入视频扩展和时空建模。为了减少ImageNet/Kinetics和Trailers 12 k之间的时空结构差距，我们提出了双图像和视频Transformer架构（DIViTA），它执行镜头检测，以便将预告片分割成高度相关的片段，为预训练的骨干提供更有凝聚力的输入，并提高可移植性（ImageNet增加1.83%，Kinetics增加3.75%）。我们的研究结果表明，在ImageNet或Kinetics上学习的表示相对而言可以转移到Trailers 12 k。此外，两个数据集都提供了互补的信息，可以结合起来提高分类性能（与前一个预训练相比，提高了2.91%）。有趣的是，使用轻量级ConvNets作为预训练的骨干，与顶级Transformer相比，分类性能仅下降3.46%，同时仅需要其参数的11.82%和FLOPS的0.81%。
2023-03-29 cs.CV cs.LG
Improving Accuracy of Nonparametric Transfer Learning via Vector Segmentation
IMT Atlantique（IMT大西洋高等电信学院）；University of Münster（明斯特大学）；Université de Brest（布雷斯特大学）
使用深度神经网络作为特征提取器的迁移学习在过去几年中变得越来越流行。它允许在太小而无法自行训练深度神经网络的数据集上获得最先进的精度，并且它提供了最先进的描述符，与非参数学习方法相结合，允许在计算受限的设置中快速灵活地部署执行解决方案。在本文中，我们有兴趣展示使用深度神经网络提取的特征具有特定的属性，可以用于提高下游非参数学习方法的准确性。也就是说，我们证明，对于一些分布的信息嵌入在几个坐标，分割特征向量可以导致更好的准确性。我们通过使用三个主流的深度神经网络特征提取器和四个数据库在视觉和音频中进行实验，展示了如何将该模型应用于真实数据集。
2017-10-24 cs.LG stat.ML
DoubleTransfer at MEDIQA 2019: Multi-Source Transfer Learning for Natural Language Understanding in the Medical Domain
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
本文介绍了我们参加MEDIQA-2019竞赛的竞争系统。我们使用多源迁移学习方法将MT-DNN和SciBERT的知识迁移到医学领域的自然语言理解任务中。对于迁移学习微调，我们对一般和医疗领域的NLI、RQE和QA任务使用多任务学习来提高性能。所提出的方法被证明是有效的自然语言理解在医学领域，我们排名第一的QA任务。
2019-06-11 cs.CL
Quantifying and Improving Transferability in Domain Generalization
University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
分布外泛化是将模型从实验室转移到现实世界的关键挑战之一。现有的努力主要集中在源和目标域之间建立不变的功能。基于不变特征，源域上的高性能分类器有望在目标域上表现得同样好。换句话说，不变特征是\emph{transferable}。然而，在实践中，没有完全可转移的特征，一些算法似乎比其他算法学习“更多可转移”的特征。我们如何理解和量化这种\emph{transferability}？在本文中，我们正式定义了可转移性，可以量化和计算在领域泛化。我们指出了不同领域之间的差异度量，如总变异和Wasserstein距离的区别和联系。然后，我们证明了我们的可转移性可以估计足够的样本，并给出了一个新的上限的目标误差的基础上，我们的可转移性。从经验上讲，我们评估了现有的领域泛化算法学习的特征嵌入的可移植性。令人惊讶的是，我们发现许多算法并没有完全学习可转移的特征，尽管很少有算法能够存活下来。有鉴于此，我们提出了一种新的学习可转移特征的算法，并在各种基准数据集上进行了测试，包括RotatedMNIST，PACS，WILDS-FMoW和WILDS-Home。实验结果表明，该算法取得了一致的改善，许多国家的最先进的算法，证实了我们的理论研究结果。
2021-11-01 cs.AI cs.LG stat.ML
Improving Transferability of Deep Neural Networks
IBM Research AI（IBM研究院AI）；Kennesaw State University（肯尼索州立大学）
从少量标记数据中学习是深度学习领域的一个挑战。这目前通过迁移学习来解决，其中人们将小数据集学习为来自较大源数据集的迁移任务。迁移学习可以提供更高的精度，如果超参数和源数据集选择良好。其中一个重要参数是神经网络各层的学习率。我们通过在ImageNet 22 k和Oxford Flowers数据集上的实验表明，通过适当选择学习率，可以获得127%范围内的准确性提高。我们还表明，数据集的图像/标签参数可以用于确定层的最佳学习率，以获得最佳的整体准确性。我们还验证了这种方法的一个样本的真实世界的图像分类任务从公共视觉识别API。
2018-07-30 cs.CV cs.LG stat.ML
Improving Code Autocompletion with Transfer Learning
Facebook Inc.（脸书公司）
软件语言模型在预测代码补全使用方面取得了令人鼓舞的成果，一些行业研究也描述了成功的IDE集成。最近，通过对从程序员IDE活动中收集的真实数据集进行训练，自动完成预测的准确性提高了12.8%。但是，如果目标程序设计语言中的IDE自动完成示例有限，可用于模型训练，该怎么办？在本文中，我们研究了预训练自动完成模型对非IDE、非自动完成和不同语言示例代码序列的有效性。我们发现，这些无监督的预训练在非常小的微调数据集上将模型准确性提高了50%以上，在50 k标记的示例上提高了10%以上。我们通过对数千名IDE自动完成用户进行A/B测试，证实了这些预训练在在线环境中的真实影响，发现预训练可使自动完成使用率增加6.63%。
2021-10-13 cs.LG cs.SE
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
在深度学习的许多应用领域中，缺乏大型标记数据集仍然是一个重大挑战。研究人员和从业人员通常会求助于迁移学习和数据增强来缓解这个问题。我们研究这些策略的背景下，音频检索与自然语言查询（任务6b的DCASE 2022挑战）。我们提出的系统使用预先训练的嵌入模型将录音和文本描述投影到共享的音频字幕空间中，在该空间中，来自不同模态的相关示例非常接近。我们在音频和文本输入上采用各种数据增强技术，并通过基于模型的顺序优化系统地调整其相应的超参数。我们的研究结果表明，所使用的增强策略减少过拟合，提高检索性能。
2022-10-29 cs.LG cs.SD eess.AS
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University（北京大学）
由于无监督学习方法对上下文变化过于敏感，因此多义词的无监督学习表示产生了大量的伪多义。在本文中，我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法，称为前RPCA，旨在检测伪多感官和真正的多感官。与Ex-RPCA，我们的经验表明，伪多感官系统产生的无监督的方法。此外，多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度（SCWS）数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
Improving the performance of weak supervision searches using transfer and meta-learning
National Center for Theoretical Sciences（国家理论科学中心）；National Taiwan University（台湾大学）
针对弱监督搜索训练需大量信号的问题，本文提出先在模拟数据上进行迁移学习或元学习、再在实验数据上训练的方法，显著减少了所需信号并提升搜索性能。
2024-03-01 cs.LG hep-ex hep-ph
Improving and Understanding Variational Continual Learning
University of Cambridge（剑桥大学）；University of Sydney（悉尼大学）
在持续学习环境中，任务是按顺序遇到的。我们的目标是学习，同时i）避免灾难性遗忘，ii）有效地使用模型容量，iii）采用向前和向后迁移学习。在本文中，我们将探讨如何变分持续学习（VCL）框架实现这些desiderata在持续学习的两个基准：分裂MNIST和置换MNIST。我们首先报告了在已经具有竞争力的方法上显著改进的结果。这些改进是通过建立一种新的均值场变分贝叶斯神经网络的最佳实践方法来实现的。然后，我们详细研究解决方案。这使我们能够理解为什么VCL表现如此出色，我们将解决方案与“理想”的持续学习解决方案进行比较。
2019-05-06 cs.LG stat.ML
Improving automatic endoscopic stone recognition using a multi-view fusion approach enhanced with two-step transfer learning
Tecnologico de Monterrey, School of Engineering and Sciences, Mexico（墨西哥蒙特雷科技大学工程与科学学院）；CRAN UMR 7039, Université de Lorraine and CNRS, Nancy, France（法国洛林大学CNRS CRAN UMR 7039研究中心）；CINVESTAV, Guadalajara, Mexico（墨西哥瓜达拉哈拉科学技术研究所）；CHRU Nancy, Service d’urologie de Brabois, Nancy, France（法国南锡布拉布瓦大学医院泌尿外科）
本研究针对内镜肾结石类型识别任务，提出融合多视图图像信息的深度学习方法，结合两步迁移学习与注意力模块优化特征，使分类准确率较单视图骨干模型提升6%以上。
2023-08-22 cs.CV cs.LG eess.IV
A Hybrid Approach of Transfer Learning and Physics-Informed Modeling: Improving Dissolved Oxygen Concentration Prediction in an Industrial Wastewater Treatment Plant
Koç University（科奇大学）
提出融合迁移学习与物理信息建模的混合方法，利用开源仿真模型和同炼油厂工厂知识提升工业废水处理厂溶解氧浓度预测，测试与验证性能分别提升27%和59%。
2024-01-20 cs.AI cs.LG math.DS
Improving the Transferability of Adversarial Examples with Arbitrary Style Transfer
Xidian University（西安电子科技大学）；Tianjin University（天津大学）；Huawei Singular Security Lab（华为奇安安全实验室）
针对对抗样本黑盒场景可迁移性弱的问题，提出基于任意风格迁移的STM攻击方法，通过跨域数据增强、微调网络及图像混合提升可迁移性，在ImageNet数据集上效果优于现有同类方法。
2023-08-21 cs.CR cs.CV cs.LG
What do physics-informed DeepONets learn? Understanding and improving training for scientific computing applications
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Massachusetts Institute of Technology（麻省理工学院）；Sandia National Laboratories（桑迪亚国家实验室）
本研究通过评估基函数普适性与谱方法模型降阶潜力，明确物理信息DeepONets的学习内容，提出迁移学习方法改进其在同PDE参数间及不同相关PDE间的训练，实现误差显著降低与基函数有效性提升。
2024-11-27 cs.LG cs.NA math.NA
Improving Polyphonic Sound Event Detection on Multichannel Recordings with the Sørensen-Dice Coefficient Loss and Transfer Learning
Nanyang Technological University（南洋理工大学）
Sørensen-Dice Coefficient最近作为损失函数（也称为Dice loss）越来越受欢迎，因为它在负样本数量显著超过正样本数量的任务中具有鲁棒性，例如语义分割，自然语言处理和声音事件检测。具有二进制交叉熵损失的复调声音事件检测系统的常规训练通常导致次优检测性能，因为训练通常被来自负样本的更新淹没。在本文中，我们研究了Dice损失，模态内和模态间迁移学习，数据增强和记录格式对多通道输入的复调声音事件检测系统性能的影响。我们的分析表明，在F1得分和错误率方面，使用Dice损失训练的复音声音事件检测系统在不同的训练设置和记录格式中始终优于使用交叉熵损失训练的系统。我们通过使用迁移学习和不同数据增强技术的适当组合实现了进一步的性能提升。
2021-10-02 cs.AI cs.LG cs.SD
Improving Automatic Jazz Melody Generation by Transfer Learning Techniques
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Taiwan AI Labs（台湾人工智能实验室）；Research Center for IT Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
在本文中，我们解决了迁移学习的问题，爵士乐自动生成。爵士乐是一种具有代表性的音乐类型，但由于缺乏爵士乐数据，爵士乐生成模型的构建受到了阻碍。迁移学习是一种旨在解决数据不足问题的学习方法，其目的是将一个领域的共性特征迁移到另一个领域。鉴于它在其他机器学习问题上的成功，我们研究它是否可以帮助改善资源不足的音乐类型的自动音乐生成，以及有多大帮助。具体来说，我们使用一个循环的变分自编码器作为生成模型，并使用一个未指定类型的数据集作为源数据集和一个Jazz数据集作为目标数据集。两种迁移学习方法使用六个级别的源目标数据比率进行评估。第一种方法是在源数据集上训练模型，然后在目标数据集上微调结果模型参数。第二种方法是同时在源数据集和目标数据集上训练模型，但向潜在向量添加流派标签并使用流派分类器来改进Jazz生成。评估结果表明，第二种方法似乎整体表现更好，但它不能充分利用类型未指定的数据集。
2019-08-26 cs.LG cs.SD eess.AS
Adaptive Bi-Recommendation and Self-Improving Network for Heterogeneous Domain Adaptation-Assisted IoT Intrusion Detection
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Macau（澳门大学）；University of New Brunswick（新不伦瑞克大学）
随着物联网设备的普及，使用入侵检测来保护物联网免受恶意入侵至关重要。然而，物联网的数据稀缺性阻碍了传统入侵检测方法的有效性。针对这一问题，本文提出了一种基于无监督异构领域自适应（HDA）的自适应双向推荐自改进网络（ABRSI）。ABRSI从数据丰富的网络入侵源域传输丰富的入侵知识，以促进数据稀缺的物联网目标域的有效入侵检测。ABRSI通过自适应双推荐匹配实现细粒度的入侵知识传递。两个推荐系统的双向推荐兴趣匹配和入侵类别在共享特征空间中的对齐形成了一个互利的循环。此外，ABRSI还采用了自改进机制，从四个方面自主改进入侵知识传递。硬伪标签投票机制联合考虑推荐系统决策和标签关系信息，以促进更准确的硬伪标签分配。为提高入侵知识传递过程中的多样性和目标数据参与度，对不能被分配硬伪标签的目标实例分配概率软伪标签，形成混合伪标签策略.与此同时，ABRSI也使得软伪标签在全球范围内多样化，并具有个体确定性。最后，利用错误知识学习机制来对抗性地利用导致检测模糊的因素，并通过当前和先前的错误知识进行学习，防止错误知识遗忘。从整体上讲，这些机制形成了ABRSI模型，通过HDA辅助的入侵知识转移来提高物联网入侵检测的准确性。
2023-03-25 cs.CR cs.CY cs.LG
Improving Prostate Cancer Detection with Breast Histopathology Images
Top Data Science Ltd.（顶级数据科学有限公司）；University of Helsinki（赫尔辛基大学）；Skåne University Hospital（斯科讷大学医院）；Helsinki University Hospital（赫尔辛基大学医院）
深度神经网络已经在对包括前列腺组织图像的数字病理图像的基于机器学习的分析领域中引入了显著的进步。在迁移学习的帮助下，神经网络模型的分类和分割性能得到了进一步提高。然而，由于缺乏大型的、广泛注释的、公开可用的前列腺组织病理学数据集，之前的几项研究采用了来自经过充分研究的计算机视觉任务的数据集，如ImageNet数据集。在这项工作中，我们提出了一个迁移学习计划，从乳腺组织病理学图像，以提高前列腺癌检测性能。我们通过使用公开的乳腺组织病理学数据集作为预训练，在带注释的前列腺全切片图像上验证了我们的方法。我们证明了所提出的跨癌症方法优于ImageNet数据集的迁移学习。
2019-03-14 cs.CV cs.LG stat.ML
XNLI 2.0: Improving XNLI dataset and performance on Cross Lingual Understanding (XLU)
JSS Academy of Technical Education（JSS技术教育学院）
自然语言处理系统严重依赖于注释数据的可用性来训练实用模型。首先，模型在英语数据集上训练。近年来，由于使用不同语言工作的必要性急剧增加，在多语言理解方面取得了重大进展。其中一个突出的观点是，由于现在有这么多预先训练的多语言模型，我们可以利用它们来完成跨语言理解任务。使用跨语言理解和自然语言推理，可以训练模型，其应用扩展到训练语言之外。我们可以利用机器翻译的强大功能，跳过将数据集从一种语言翻译成另一种语言这一令人厌烦的部分。在这项工作中，我们专注于通过将MNLI数据集重新翻译成XNLI中存在的所有14种不同语言来改进原始XNLI数据集，包括使用Google翻译的XNLI测试和开发集。我们还通过训练所有15种语言的模型并分析它们在自然语言推理任务上的性能来进行实验。然后，我们扩大我们的边界，以调查我们是否可以通过用英语以外的语言训练模型来提高低资源语言（如斯瓦希里语和乌尔都语）的性能。
2023-01-16 cs.CL cs.LG
Improving Transferability of Network Intrusion Detection in a Federated Learning Setup
Purdue University（普渡大学）
本文研究联邦学习设置下网络入侵检测的迁移性问题，提出两种技术显著提升联邦入侵检测系统对未见入侵类别的检测迁移性。
2024-01-07 cs.CR cs.LG eess.SP
Improving the Transferability of Time Series Forecasting with Decomposition Adaptation
Zhejiang University（浙江大学）；Nanjing University（南京大学）
针对时间序列预测中数据稀缺限制模型性能的问题，提出SeDAN迁移架构，通过Implicit Contrastive Decomposition将特征分解为季节和趋势成分并分别进行自适应对齐，在五个基准数据集上验证了其高效稳定的跨域知识迁移能力。
2023-06-30 cs.LG
Evidence Transfer for Improving Clustering Tasks Using External Categorical Evidence
Institute of Informatics and Telecommunications（信息学与电信研究所）
在本文中，我们介绍了聚类的证据转移，这是一种深度学习方法，可以根据外部分类证据递增地操纵自动编码器的潜在表示，以改善聚类结果。通过证据转移，我们定义了利用外部辅助任务的分类结果来改进主要任务的过程，在这种情况下，用于聚类的表示学习。我们提出的方法不对所提供的分类证据进行假设，也不对潜在空间的结构进行假设。我们通过在部署之前和之后执行k均值聚类来比较我们的方法与基线解决方案。三种不同类型的证据的实验表明，我们的方法有效地操纵潜在的表示时，介绍了真正的相应证据，同时保持鲁棒性时，提出了低质量的证据。
2018-12-15 cs.AI cs.LG stat.ML
Improving Slow Transfer Predictions: Generative Methods Compared
University of California, Berkeley（加州大学伯克利分校）；Texas A\&M University（德克萨斯农工大学）
本研究通过比较生成方法与传统过采样技术，发现即使使用先进算法如CTGAN，也无法显著提升数据传输性能预测的准确性。
2025-12-16 cs.DC cs.LG cs.NI
Improving Local Air Quality Predictions Using Transfer Learning on Satellite Data and Graph Neural Networks
University of Bristol, UK（布里斯托尔大学）
本文提出结合卫星数据迁移学习和GraphSAGE图神经网络的方法，在数据稀缺地区预测NO2浓度，并在布里斯托尔验证中显著降低NRMSE和梯度RMSE，展示了虚拟传感器用于低成本空气质量监测的潜力。
2025-04-23 cs.LG eess.SP
Improving Language Understanding from Screenshots
Princeton University（普林斯顿大学）
本文提出Patch-and-Text Prediction目标，通过同时掩码恢复截图图像块与文本，使仅接收视觉输入的截图语言模型在GLUE任务上接近BERT性能，并验证其在自回归模型中的有效性。
2024-02-21 cs.CL cs.CV cs.LG
Improving Knowledge Distillation in Transfer Learning with Layer-wise Learning Rates
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于雅可比/注意力/海森差异的逐层学习率调整方案，用于改进注意力图和导数类迁移学习，在多种数据集上提升性能与稳定性，且任务越难提升越显著。
2024-07-05 cs.CV cs.LG
Improving the Transferability of Adversarial Examples via Direction Tuning
Qingdao University（青岛大学）
本文提出方向调优攻击，通过在大步长下减小更新偏差并在小步长下缓解更新振荡，同时结合网络剪枝平滑决策边界，显著提升了对抗样本在多个模型上的可迁移性。
2023-08-11 cs.CV cs.LG
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research（谷歌研究院）
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制，但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此，我们研究了注意力/Transformer网络的训练问题，并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地，我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后，我们将重新表述为一个凸优化问题，这是可解释的，更容易优化。此外，作为凸分析的副产品，我们揭示了一种隐式正则化机制，它可以促进令牌之间的稀疏性。因此，我们不仅改进了注意力/Transformer网络的优化，而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性，通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
Improving Transducer-Based Spoken Language Understanding with Self-Conditioned CTC and Knowledge Transfer
The Ohio State University（俄亥俄州立大学）
本文提出在RNN-T中联合自条件CTC的ASR目标来改进端到端口语理解，并通过与BERT对齐的知识迁移策略，以更少参数达到与Whisper相当的性能。
2025-01-03 cs.LG
VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
由于视觉感知可以提供丰富的信息，超越文本描述的世界理解，有越来越多的兴趣，利用视觉基础的语言学习。最近，通过使用文本到图像检索模型的预测作为语言模型监督的标签，语音化（Tan和Bansal，2020）引起了人们的关注。尽管它的成功，该方法遭受的近似误差使用有限的图像标签和缺乏词汇多样性的一个小的图像-文本数据集。为了克服这些局限性，我们提出了VidLanKD，视频语言知识蒸馏方法，提高语言理解。我们在视频-文本数据集上训练多模态教师模型，然后将其知识转移到具有文本数据集的学生语言模型。为了避免近似误差，我们建议使用不同的知识蒸馏目标。此外，使用大规模的视频文本数据集有助于学习多样化和更丰富的词汇。在我们的实验中，VidLanKD在几个下游语言理解任务（包括GLUE、SQuAD和SWAG）上实现了比纯文本语言模型和语音化模型一致的改进。我们还通过评估GLUE诊断，PIQA和TRACIE数据集来展示我们模型的改进的世界知识，物理推理和时间推理能力。最后，我们提出了全面的消融研究，以及可视化的学习文本到视频接地结果，我们的教师和学生语言模型。我们的代码和模型可在https://github.com/zinengtang/VidLanKD上获得
2021-10-19 cs.AI cs.CL cs.CV
Improving Model Understanding and Trust with Counterfactual Explanations of Model Confidence
The University of Melbourne（墨尔本大学）
在本文中，我们证明了对置信度分数的反事实解释有助于用户更好地理解和更好地信任人工智能模型在人类受试者研究中的预测。在人机交互系统中显示置信度分数可以帮助建立人类和人工智能系统之间的信任。然而，大多数现有的研究仅将置信度得分作为一种交流形式，我们仍然缺乏解释算法为什么有信心的方法。本文还提出了两种使用反事实解释理解模型置信度的方法：（1）基于反事实示例;（2）基于反事实空间的可视化。
2022-06-06 cs.AI cs.HC cs.LG
Improving Black-box Adversarial Attacks with a Transfer-based Prior
Tsinghua University（清华大学）
我们考虑黑盒对抗设置，其中对手必须生成对抗扰动，而无需访问目标模型来计算梯度。以前的方法试图通过使用代理白盒模型的转移梯度或基于查询反馈来近似梯度。然而，这些方法往往遭受低攻击成功率或查询效率差，因为它是不平凡的估计在一个高维空间的有限信息的梯度。为了解决这些问题，我们提出了一种先验引导的随机无梯度（P-RGF）方法来改善黑盒对抗攻击，它同时利用基于传输的先验和查询信息。通过理论分析得出的最优系数，将基于转移的先验知识（由代理模型的梯度给出）适当地融入到我们的算法中。大量的实验表明，我们的方法需要更少的查询，以更高的成功率攻击黑盒模型相比，替代国家的最先进的方法。
2020-07-26 cs.CR cs.CV cs.LG
Improving Document Image Understanding with Reinforcement Finetuning
Cinnamon AI（肉桂人工智能公司）；Hung Yen University of Technology and Education（兴安技术教育大学）；Deakin University（迪肯大学）
成功的人工智能系统通常需要大量的标记数据来从文档图像中提取信息。在本文中，我们调查的问题，提高性能的人工智能系统在理解文档图像，特别是在训练数据是有限的情况下。我们提出了一种新的微调方法，使用强化学习解决这个问题。我们的方法将信息抽取模型视为一个策略网络，并使用策略梯度训练来更新模型，以最大化补充传统交叉熵损失的组合奖励函数。我们在四个数据集上使用标签和专家反馈的实验表明，我们的微调机制始终提高了最先进的信息提取器的性能，特别是在小训练数据制度。
2022-09-26 cs.CV cs.IR cs.LG
SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Sun Yat-sen University（中山大学）
针对 VLP 模型对抗样本迁移攻击，本文提出 SA-Attack，通过分别增强图像与文本模态来提升对抗样本在黑盒模型间的可迁移性，并在 FLickr30K 和 COCO 上验证有效。
2023-12-08 cs.AI cs.CR cs.CV
DARLA: Improving Zero-Shot Transfer in Reinforcement Learning
DeepMind
领域自适应是深度强化学习（RL）中一个重要的开放问题。在许多感兴趣的场景中，数据很难获得，因此代理可以在数据容易获得的环境中学习源策略，希望它能够很好地推广到目标域。我们提出了一种新的多阶段RL代理，DARLA（DisentAngled Representation Learning Agent），它在学习行动之前学习观察。DARLA的愿景是基于对所观察环境的分解表示的学习。一旦DARLA可以看到，它就能够获得对许多域转换都很健壮的源策略-即使无法访问目标域。DARLA在zero-shot域自适应场景中的表现明显优于传统基线，这种效果适用于各种RL环境（Jaco arm，DeepMind Lab）和基础RL算法（DQN，A3C和EC）。
2018-06-06 cs.AI cs.LG stat.ML
Improving Adversarial Robustness of Ensembles with Diversity Training
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络很容易受到对抗性攻击，即使在攻击者无法直接访问被攻击模型的情况下。这种攻击通常依赖于可转移性原则，即在代理模型上构建的攻击倾向于转移到目标模型。我们证明了具有不一致损失梯度的模型的集合可以提供对基于传输的攻击的有效防御。我们的关键见解是，如果集合中的多个模型的损失函数不以相关的方式增加，则对抗性示例不太可能欺骗它们。为此，我们提出了多样性训练，一种新的方法训练一个整体的模型与不相关的损失函数。我们表明，我们的方法显着提高了合奏的对抗鲁棒性，也可以与现有的方法相结合，以创建更强大的防御。
2019-01-28 cs.LG stat.ML
Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）
一个理想的学习表示应该表现出可移植性和鲁棒性。监督对比学习（SupCon）是一种很有前途的训练精确模型的方法，但由于类崩溃，当类中的所有点映射到相同的表示时，会产生无法捕获这些属性的表示。最近的研究表明，“展开”这些表征可以改善它们，但确切的机制知之甚少。我们认为，单独创建传播是不够的更好的表示，因为传播是不变的类内的排列。相反，正确的扩散程度和打破这种不变性的机制都是必要的。我们首先证明，增加一个加权类条件InfoNCE损失SupCon控制的程度蔓延。接下来，我们研究了三种机制来打破排列不变性：使用约束编码器，添加类条件自动编码器和使用数据增强。我们发现，后两个鼓励聚类的潜在子类比前者更现实的条件下。使用这些见解，我们表明，将适当加权的类条件InfoNCE损失和类条件自动编码器添加到SupCon中，在5个标准数据集上的粗到细传输上实现了11.1个提升点，在3个数据集上的最差组鲁棒性上实现了4.7个提升点，在CelebA上设置了11.5个点。
2022-07-14 cs.LG stat.ML
Improving Transferability of Representations via Augmentation-Aware Self-Supervision
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊云科技）；LG AI Research（LG人工智能研究院）
最近的无监督表示学习方法已被证明是有效的，在一系列的视觉任务，通过学习表示不变的数据增强，如随机裁剪和颜色抖动。然而，如果下游任务依赖于数据增强的特性，例如，位置或颜色敏感。这不仅仅是无监督学习的问题;我们发现即使在监督学习中也会发生这种情况，因为它也学会为实例的所有增强样本预测相同的标签。为了避免这样的失败并获得更通用的表示，我们建议优化一个辅助的自监督损失，称为AugSelf，它学习增强参数的差异（例如，裁剪位置、颜色调整强度）。我们的直觉是，AugSelf鼓励在学习表征中保留增强感知信息，这可能有利于它们的可转移性。此外，AugSelf可以很容易地融入到最近最先进的表示学习方法中，而额外的训练成本可以忽略不计。大量的实验表明，我们简单的想法一致地提高了在各种迁移学习场景中通过监督和无监督方法学习的表示的可迁移性。该代码可在https://github.com/hankook/AugSelf上获得。
2021-11-18 cs.AI cs.CV cs.LG
Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior
Centre for Digital Music, Queen Mary University of London（女王玛丽大学数字音乐中心）；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
针对ST-ITO在音频效果迁移中忽略先验导致结果不真实的问题，提出基于DiffVox数据集的参数高斯先验，实现最大后验优化，显著降低参数误差并提升主观效果。
2025-10-17 cs.LG cs.SD eess.AS
MakeupMirror: Improving Facial Attribute Preservation in Diffusion Models for Makeup Transfer
Amazon（亚马逊）
提出MakeupMirror扩散模型，通过ControlNet几何条件、区域特定迁移控制、肤色调制和Langevin采样器，在保持面部特征和肤色的同时实现高质量化妆迁移，相比Stable-Makeup提升面部识别相似度60%、降低肤色差异50%。
2026-06-19 cs.AI cs.CV cs.GR
Improving Compound Activity Classification via Deep Transfer and Representation Learning
The Ohio State University（俄亥俄州立大学）
分子机器学习的最新进展，特别是深度神经网络，如用于预测结构活性关系（SAR）的图神经网络（GNN），在计算机辅助药物发现中显示出巨大的潜力。然而，这种深度神经网络的适用性受到大量训练数据的要求的限制。为了应对目标任务的有限训练数据，SAR建模的迁移学习最近已被采用来利用来自相关任务的数据的信息。在这项工作中，与流行的基于参数的迁移学习（如预训练）相比，我们开发了新的深度迁移学习方法TAc和TAc-fc，以利用源域数据并将有用的信息转移到目标域。TAc学习生成有效的分子特征，这些特征可以很好地从一个域推广到另一个域，并提高目标域的分类性能。此外，TAc-fc通过结合新的组件来选择性地学习特征和化合物的可转移性来扩展TAc。我们使用PubChem的生物测定筛选数据，并确定了120对生物测定，使得每对中的活性化合物与其非活性化合物相比彼此更相似。我们的实验清楚地表明，TAc在大量目标任务的所有基线上都取得了显着的改进。此外，尽管与TAc相比，TAc-fc平均实现略差的ROC-AUC，但与其他方法相比，TAc-fc在PR-AUC和F1方面仍然在更多任务上实现最佳性能。总之，TAc-fc也被发现是一个强大的模型，在相当数量的目标任务上具有竞争力，甚至比TAc更好的性能。
2022-03-09 cs.AI cs.LG q-bio.BM
Improving BERT for Symbolic Music Understanding Using Token Denoising and Pianoroll Prediction
本文提出一种面向符号音乐理解的BERT类预训练模型，通过令牌去噪与钢琴卷帘预测两个新目标增强音乐知识学习，并在涵盖12项下游任务的基准上验证了其有效性。
2025-07-07 cs.LG cs.MM cs.SD
