Transfer Learning for Voice Activity Detection: A Denoising Deep Neural Network Perspective
Tsinghua University(清华大学)
源、目标带噪语料的不匹配问题严重阻碍了基于机器学习的语音激活检测(VAD)的实际应用。本文试图从迁移学习的角度来解决这一问题。迁移学习试图找到一个共同的学习机或一个共同的特征子空间,由源语料库和目标语料库共享。使用去噪深度神经网络作为学习机。三个转移技术,其目的是学习共同的特征表示,用于分析。实验结果证明了迁移学习方案对失配问题的有效性。
2013-03-08 cs.LG
A Comprehensive Analysis of Information Leakage in Deep Transfer Learning
Alibaba Group(阿里巴巴集团)
迁移学习被广泛用于将知识从源域迁移到标记数据稀缺的目标域。最近,深度迁移学习在各种应用中取得了显著的进展。然而,在许多现实场景中,源数据集和目标数据集通常属于两个不同的组织,在深度迁移学习中存在潜在的隐私问题。在这项研究中,为了彻底分析深度迁移学习中潜在的隐私泄露,我们首先将以前的方法分为三类。在此基础上,我们展示了导致每个类别中无意隐私泄露的具体威胁。此外,我们还提供了一些解决方案来防止这些威胁。据我们所知,我们的研究是第一个对深度迁移学习方法中的信息泄漏问题进行彻底分析并提供潜在解决方案的研究。在两个公共数据集和一个行业数据集上进行了大量的实验,以显示不同深度迁移学习设置下的隐私泄漏和防御解决方案的有效性。
2020-09-04 cs.CL cs.LG
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而,没有先前的工作采用(预先训练的潜在)的主题在迁移学习范例。在本文中,我们提出了一种方法(1)使用从大型源语料库中获得的潜在主题进行知识转移,以及(2)通过神经主题建模中的两种表示(或视图)联合转移知识,以提高主题质量,更好地处理目标语料库中的多义和数据稀疏问题。在此过程中,我们首先从一个或多个源语料库中积累主题和单词表示,以构建主题和单词向量池。然后,我们识别一个或多个相关的源域,并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量,通过泛化(困惑),可解释性(主题连贯性)和信息检索(IR)使用短文本,长文本,小型和大型的文件集,从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
Learning Transferable Features with Deep Adaptation Networks
Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
最近的研究表明,深度神经网络可以学习可转移的特征,这些特征可以很好地推广到领域自适应的新任务。然而,随着深层特征最终沿着网络从一般过渡到特定,随着域差异的增加,特征的可转移性在更高层中显著下降。因此,在形式上减少数据集偏差并增强任务特定层的可转移性是很重要的。在本文中,我们提出了一种新的深度自适应网络(DAN)架构,它将深度卷积神经网络推广到领域自适应场景。在DAN中,所有任务特定层的隐藏表示都嵌入在再生核希尔伯特空间中,其中不同域分布的平均嵌入可以显式匹配。使用最优多核选择方法进行均值嵌入匹配,进一步减小了域差异。DAN可以学习具有统计保证的可转移特征,并且可以通过核嵌入的无偏估计线性缩放。大量的经验证据表明,所提出的架构产生的最先进的图像分类出错率标准领域自适应基准。
2015-05-27 cs.LG
Towards Deep Industrial Transfer Learning: Clustering for Transfer Case Selection
University of Stuttgart(斯图加特大学)
工业迁移学习增加了深度学习算法对异构和动态工业用例的适应性,而无需大量的人工工作。适当选择要转移的内容可以极大地改善转移的结果。提出了一种基于聚类的分动器选型方法。基于聚类算法的调查,BIRCH算法被选中用于此目的。它是在离散制造场景的工业时间序列数据集上进行评估的。结果强调了该方法的适用性,其结果的可重复性和实际无关的顺序,大小和维度的(子)数据集进行聚类顺序。
2022-04-04 cs.AI cs.LG
Deep Transfer Learning for Industrial Automation: A Review and Discussion of New Techniques for Data-Driven Machine Learning
University of Stuttgart(斯图加特大学)
本文介绍了迁移和持续学习的概念。随后的审查揭示了工业深度迁移学习的有前途的方法,利用这两类算法的方法。在计算机视觉领域,它已经是最先进的技术。在其他领域,例如故障预测,它才刚刚起步。然而,在各个领域,持续学习和迁移学习之间的抽象区分不利于它们的实际应用。相比之下,两者应该结合在一起,以创建满足工业自动化部门要求的强大学习算法。为了更好地描述这些需求,介绍了工业迁移学习的基本用例。
2020-12-06 cs.LG
Enhancing Polynomial Chaos Expansion Based Surrogate Modeling using a Novel Probabilistic Transfer Learning Strategy
Sandia National Laboratories(桑迪亚国家实验室);University of Houston(休斯顿大学)
针对PCE线性回归构建代理模型时过采样导致模拟成本过高的问题,提出一种贝叶斯建模与数据同化启发的概率迁移学习策略,并通过数值算例及油气工程问题验证。
2023-12-07 cs.LG stat.ML
A Survey on Deep Transfer Learning
Tsinghua University(清华大学)
深度学习作为一种新的分类平台,近年来受到越来越多研究者的关注,并已成功应用于许多领域。在生物信息学和机器人技术等领域,由于数据采集和注释的昂贵费用,构建大规模的具有良好注释的数据集非常困难,限制了其发展。迁移学习放宽了训练数据必须是独立同分布(i.i.d.)的假设。这就促使我们采用迁移学习来解决训练数据不足的问题。本文综述了利用深度神经网络进行迁移学习的研究现状及其应用。本文首先对深度迁移学习进行了定义,并根据深度迁移学习的技术特点对近年来的研究成果进行了分类和综述。
2018-08-06 cs.LG stat.ML
Multi-Agent Policy Transfer via Task Relationship Modeling
National Key Laboratory of Novel Software Technology(新型软件技术国家重点实验室);Polixir Technologies(波粒科技);Tsinghua University(清华大学)
团队适应新的合作任务是人类智能的一个标志,这还没有完全实现学习代理。先前关于多智能体迁移学习的工作可以适应不同规模的团队,这在很大程度上依赖于神经网络的泛化能力来适应看不见的任务。我们认为,任务之间的关系提供了政策调整的关键信息。在本文中,我们试图发现和利用任务之间的共同结构,以更有效的传输,并建议学习基于效果的任务表示作为一个共同的任务空间,使用一个交替固定的训练计划。我们证明,任务表示可以捕捉任务之间的关系,并可以推广到看不见的任务。因此,所提出的方法可以帮助学习合作知识转移到新的任务后,在几个源任务的训练。我们还发现,微调转移的策略有助于解决难以从头开始学习的任务。
2022-03-09 cs.AI cs.LG
Deep Variational Transfer: Transfer Learning through Semi-supervised Deep Generative Models
Harvard University(哈佛大学)
在现实世界的应用中,它往往是昂贵和耗时的,以获得标记的例子。在这种情况下,从标签丰富的相关领域转移知识,可以大大减少对大量标签工作的需求。在这种情况下,迁移学习应运而生。在本文中,我们提出了深度变分传输(DVT),一个变分自编码器,使用共享的潜在高斯混合模型跨域传输知识。由于半监督ELBO和跨域共享参数的组合,我们能够同时:(i)将同一类的所有监督示例对齐到相同的潜在高斯混合分量中,独立于其域;(ii)预测来自不同域的无监督示例的类别,并使用它们来更好地建模发生的变化。我们在MNIST和USPS数字数据集上进行测试,显示DVT在异构数据集上执行迁移学习的能力。此外,我们提出了DVT的顶级分类性能的MNIST半监督学习的挑战。我们进一步验证了天文数据集上的DVT。DVT实现了最先进的分类性能,在真实的恒星调查数据集、EROS、OOO和HiTS之间传输知识。在最差的表现中,我们将稀有类的F1分数加倍。这些实验表明DVT有能力解决迁移学习带来的所有主要挑战:不同的协变量分布,不同且高度不平衡的类分布以及不同的特征空间。
2018-12-07 cs.LG stat.ML
Deep Transfer Learning for Source Code Modeling
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
近年来,深度学习模型在源代码建模和分析中显示出巨大的潜力。通常,基于深度学习的方法是针对特定问题的,并且需要大量数据。这些方法的一个挑战性问题是,它们需要针对不同的相关问题进行淀粉培训。在这项工作中,我们提出了一种基于迁移学习的方法,可以显著提高基于深度学习的源代码模型的性能。与传统的学习范式不同,迁移学习可以将在解决一个问题时学到的知识迁移到另一个相关的问题中。首先,我们提出了两个基于递归神经网络的模型RNN和GRU的迁移学习在源代码建模领域的目的。接下来,通过迁移学习,这些预训练的(RNN和GRU)模型被用作特征提取器。然后,这些提取的特征被组合到不同的下游任务的注意力学习器。注意力学习器利用预训练模型的学习知识,并针对特定的下游任务对其进行微调。我们评估所提出的方法与广泛的实验与源代码建议任务的性能。结果表明,所提出的方法优于国家的最先进的模型在准确率,精度,召回率和F-措施,而无需从头开始训练模型。
2020-07-14 cs.LG cs.NE cs.SE
Transfer Learning for Performance Modeling of Configurable Systems: A Causal Analysis
University of South Carolina(南卡罗来纳大学)
现代系统(例如,深度神经网络、大数据分析和编译器)是高度可配置的,这意味着它们在不同的配置下暴露不同的性能行为。根本的挑战是,由于配置空间的庞大规模,人们无法简单地测量所有配置。迁移学习通过跨环境迁移有关系统性能行为的知识来减少测量工作。此前,研究表明,统计模型确实可以跨环境转移。在这项工作中,我们调查的因果关系和统计关系在高度可配置的系统的可识别性和可移植性。我们的因果分析与之前的探索性分析\cite{Jamshidi17}一致,并确认配置选项的因果影响可以在高置信度的环境中进行。我们期望,能够结转因果关系将使高配置系统的有效性能分析。
2019-02-26 cs.AI cs.LG
Addressing Data Scarcity in Optical Matrix Multiplier Modeling Using Transfer Learning
DTU Electro, Technical University of Denmark(丹麦技术大学DTU Electro);School of Optical & Electronic Information, Huazhong Univ. of Science and Technology(华中科技大学光学与电子信息学院)
本文提出利用迁移学习,以合成数据预训练、实验数据微调的方式,解决光学矩阵乘法器建模中实验数据稀缺问题,显著降低建模误差,在仅用25%数据时实现小于1 dB的均方根误差。
2023-11-13 cs.LG physics.optics
Laughter Synthesis: Combining Seq2seq modeling with Transfer Learning
Numediart Institute, University of Mons(蒙斯大学努梅迪亚尔研究所)
尽管人们对表达性语音合成越来越感兴趣,但非语言表达的合成是一个未被开发的领域。在本文中,我们提出了一个音频笑声合成系统的基础上,序列到序列的TTS合成系统。我们通过训练深度学习模型来利用迁移学习,学习从注释中生成语音和笑声。我们用听力测试来评估我们的模型,将其性能与基于HMM的笑声合成进行比较,并评估它达到了更高的感知自然度。我们的解决方案是迈向TTS系统的第一步,该系统将能够合成语音,并在娱乐水平上控制笑声集成。
2020-08-20 cs.CL cs.LG cs.SD
Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition
University of the Witwatersrand(金山大学)
在ImageNet数据集上预训练深度神经网络是训练深度学习模型的常见做法,通常会提高性能并缩短训练时间。对一个任务进行预训练,然后对一个新任务进行再训练的技术称为迁移学习。在本文中,我们分析了使用深度迁移学习进行字符识别任务的有效性。我们进行了三组实验,源任务和目标任务之间的相似程度不同,以调查不同类型的知识转移的行为。我们传递参数和特征并分析它们的行为。我们的研究结果表明,对于我们的字符识别任务,使用迁移学习方法与传统的机器学习方法相比没有显著的优势。这表明,使用迁移学习并不一定在所有情况下都预先假定一个性能更好的模型。
2020-01-02 cs.LG stat.ML
Low-Shot Classification: A Comparison of Classical and Deep Transfer Machine Learning Approaches
Kantar(凯度)
尽管深度迁移学习方法最近在NLP中取得了成功,但缺乏定量研究来证明这些模型在低拍摄文本分类任务中提供的收益超过现有范例。深度迁移学习方法(如BERT和ULMFiT)表明,它们可以在更大的数据集上击败最先进的结果,但是当每个类只有100-1000个标记示例时,方法的选择就不那么明确了,经典的机器学习和深度迁移学习代表了有效的选项。本文比较了目前最好的迁移学习方法与顶级经典的机器学习方法上的三元情感分类任务,以评估最佳范例。我们发现,代表最好的深度迁移学习的BERT是性能最好的方法,当每个类训练100个样本时,平均比顶级经典机器学习算法性能高出9.7%,当每个类训练1000个标签时,平均比顶级经典机器学习算法性能低1.8%。我们还展示了深度迁移学习在跨领域移动中的鲁棒性,其中在相似领域任务中准确性的最大损失仅为0.7%,跨领域任务的最大损失为3.2%,而经典的机器学习损失高达20.6%。
2019-07-17 cs.LG stat.ML
Deep Transfer Learning with Ridge Regression
University of California, San Diego(加州大学圣地亚哥分校)
大量的在线数据和大量的计算资源使当前工业界和学术界的研究人员能够将深度学习的力量与神经网络结合起来。虽然使用大量数据训练的深度模型在相关领域的未知数据上表现出有希望的泛化能力,但微调的计算成本逐渐成为将学习转移到新领域的瓶颈。我们通过利用深度神经网络(DNN)产生的学习特征向量的低秩属性以及内核岭回归(KRR)中提供的封闭形式解决方案来解决这个问题。这将迁移学习从微调中解放出来,并将其替换为具有更少超参数的线性系统的集合。我们的方法是成功的监督和半监督迁移学习任务。
2020-06-11 cs.LG stat.ML
Deep Multi-Instance Transfer Learning
University of California, Irvine(加州大学欧文分校);University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院(CIFAR))
我们提出了一种新的方法来转移知识从群体到个人,包括他们。我们在文本中评估我们的方法,通过使用全面审查评级来推断单个句子的评级。这种方法结合了迁移学习、深度学习和多示例学习的思想,当组级别有大量标签可用时,减少了对细粒度数据的人工标记的需要。
2014-12-10 cs.LG stat.ML
Performance of Deep Learning models with transfer learning for multiple-step-ahead forecasts in monthly time series
Tecnológico de Costa Rica(哥斯达黎加技术学院)
本文比较了有无迁移学习的深度学习模型与传统方法在月度时间序列多步预测中的性能,基于M4和M3数据,发现TCN、LSTM和CNN结合迁移学习通常优于传统方法,而直接训练的TCN和LSTM在部分预测水平上表现相当或更好。
2023-10-11 cs.AI cs.LG
Towards Making Deep Transfer Learning Never Hurt
Baidu Inc.(百度公司);Peking University(北京大学);National Engineering Laboratory for Deep Learning Technology and Applications(深度学习技术及应用国家工程实验室)
迁移学习已被频繁地用于通过将预训练网络的权重并入作为用于正则化的优化的起点来改进深度神经网络训练。虽然深度迁移学习通常可以通过更好的准确性和更快的收敛速度来提高性能,但从不适当的网络中转移权重会损害训练过程,并可能导致更低的准确性。在本文中,我们认为深度迁移学习是基于预训练权重最小化经验损失和正则化器的线性组合,其中正则化器将限制训练过程降低经验损失,具有冲突的下降方向(例如,衍生物)。根据这一观点,我们提出了一种新的策略,使基于正则化的深度迁移学习永不伤害(DTNH),对于训练过程的每次迭代,分别计算两项的导数,然后重新估计一个新的下降方向,该方向不会损害经验损失最小化,同时保留来自预训练权重的正则化影响。在广泛的深度迁移学习基准测试(包括加州理工学院、麻省理工学院室内67、CIFAR-10和ImageNet)之上,使用常见的迁移学习正则化器(如L2-SP和知识蒸馏)进行了大量实验。实验结果表明,所提出的下降方向估计策略DTNH总是可以提高基于所有上述正则化器的深度迁移学习任务的性能,即使在从不适当的网络中传输预训练的权重时也是如此。总的来说,DTNH策略在所有情况下都可以提高最先进的正则化器,在所有实验中的精度提高0.1%-7%。
2019-11-18 cs.LG stat.ML
ConsistTL: Modeling Consistency in Transfer Learning for Low-Resource Neural Machine Translation
University of Macau(澳门大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
迁移学习是一种简单而强大的方法,可用于提高低资源神经机器翻译(NMT)的模型性能。现有的NMT迁移学习方法都是静态的,通过参数初始化将知识从父模型迁移到子模型。本文提出了一种新的NMT迁移学习方法ConsistTL,它可以在子模型的训练过程中不断地从父模型中迁移知识。具体来说,对于子模型的每个训练实例,ConsistTL为父模型构造语义等价的实例,并鼓励该实例的父子预测一致性,相当于子模型在父模型的指导下学习每个实例。在五个低资源NMT任务上的实验结果表明,ConsistTL在强迁移学习基线上有显著的改进,在广泛使用的WMT 17土耳其语-英语基准测试上,与现有的反向翻译模型相比,增益高达1.7 BLEU。进一步的分析表明,ConsistTL可以提高儿童模型的推理校准。代码和脚本可以在https://github.com/NLP2CT/ConsistTL上免费获得。
2022-12-08 cs.AI cs.CL cs.LG
Deep transfer learning for detecting Covid-19, Pneumonia and Tuberculosis using CXR images -- A Review
Dedan Kimathi University of Technology(德丹·基马蒂理工大学)
胸部X射线仍然是用于诊断肺部疾病的最常见的成像方式。然而,它们需要专家(放射科医生和肺病科医生)的解释,而这些专家很少。这篇综述论文研究了使用深度迁移学习技术在胸部X射线(CXR)图像中检测COVID-19、肺炎和结核病。它概述了当前最先进的CXR图像分类技术,并讨论了将迁移学习应用于该领域的挑战和机遇。本文对最近使用深度迁移学习算法进行COVID-19、肺炎和结核病检测的研究进行了全面的检查,突出了这些方法的优点和缺点。最后,本文讨论了CXR图像分类深度迁移学习领域的未来研究方向,以及这些技术在肺部疾病诊断和治疗中的潜力。
2023-03-26 cs.LG eess.IV
Data Efficient Lithography Modeling with Transfer Learning and Active Data Selection
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Toshiba Memory Corporation(东芝存储器公司)
光刻模拟是物理验证的关键步骤之一,它依赖于真实的光学模型和光刻胶模型。抗蚀剂模型将空间图像模拟桥接到印刷图案。虽然基于学习的抗蚀剂建模解决方案的有效性已经得到证明,但它们对数据的要求相当高。同时,针对特定光刻配置的一组制造数据仅对一个单一模型的训练有效,表明数据效率低。由于制造过程的复杂性,获得足够的数据以获得可接受的精度在时间和成本方面变得非常昂贵,特别是在技术世代的演变期间,当设计空间被密集探索时。在这项工作中,我们提出了一个新的抗蚀剂接触层建模框架,利用现有的数据从旧的技术节点和主动选择的数据在一个目标技术节点,以减少所需的数据量从目标光刻配置。我们基于迁移学习和主动学习技术的框架在具有竞争力的准确度范围内是有效的,即,训练数据量减少3- 10倍,精度与最先进的学习方法相当。
2018-06-27 cs.LG stat.ML
Adaptive Transfer Learning in Deep Neural Networks: Wind Power Prediction using Knowledge Transfer from Region to Region and Between Different Task Domains
Pakistan Institute of Engineering and Applied Sciences(巴基斯坦工程与应用科学学院);Centre for Mathematical Sciences, Pakistan Institute of Engineering and Applied Sciences(巴基斯坦工程与应用科学学院数学中心)
深度神经网络中的迁移学习(TL)越来越重要,因为在大多数应用中,数据的标记是昂贵和耗时的。此外,TL还为深度神经网络提供了有效的权重初始化策略。本文介绍了自适应迁移学习在深度神经网络(ATL-DNN)的风力发电功率预测的想法。具体而言,我们表明,在风力发电预测的情况下,深度神经网络系统的自适应TL可以自适应地修改,就不同风电场的训练而言。所提出的ATL-DNN技术进行了测试,用于短期风力发电预测,其中必须利用连续到达的信息。自适应TL不仅有助于提供良好的权重初始化,而且有助于利用传入数据进行有效学习。此外,所提出的ATL-DNN技术被证明可以在不同的任务域(风力发电到风速预测)之间以及从一个区域到另一个区域传输知识。仿真结果表明,所提出的ATL-DNN技术实现的平均绝对误差,均方根误差和标准偏差误差的平均值分别为0.0637,0.0986和0.0984。
2018-12-20 cs.LG stat.ML
Distributed Deep Transfer Learning by Basic Probability Assignment
Australian National University(澳大利亚国立大学)
迁移学习是深度神经网络中的一种流行实践,但由于分裂层之间神经元的复杂布线以及预训练和迁移域中数据分布的不平衡,大量参数的微调是一项艰巨的任务。由于跨神经元的互连的大小,目标域的原始布线的重建是一个沉重的负担。我们提出了一个分布式方案,分别调谐卷积滤波器,而反向传播他们联合通过基本概率分配。证据理论的一些最新进展表明,在各种各样的不平衡制度,优化的一些适当的目标函数来自列联矩阵防止偏向高先验类分布。因此,原始滤波器基于对目标域的整体性能的个体贡献而逐渐转移。这在很大程度上降低了迁移学习的预期复杂性,同时大大提高了精度。我们在标准基准测试和场景上的实验证实了我们的分布式深度迁移学习策略的持续改进。
2017-10-20 cs.LG stat.ML
Toward Drug-Target Interaction Prediction via Ensemble Modeling and Transfer Learning
Insilico Medicine Taiwan Ltd.(英科智能台湾有限公司)
药物-靶标相互作用(DTI)预测在药物发现中起着至关重要的作用,深度学习方法在该领域取得了最先进的性能。我们介绍了一种用于DTI预测的深度学习模型集成(EnsembleDLM)。EnsembleDLM只使用化合物和蛋白质的序列信息,它聚合了来自多个深度神经网络的预测。这种方法不仅在Davis和KIBA数据集中实现了最先进的性能,而且在跨不同生物活性类型和不同蛋白质类的跨域应用中也达到了最先进的性能。我们还证明了EnsembleDLM在新领域中具有良好的性能(Pearson相关系数和一致性指数> 0.8),大约50%的迁移学习数据,即,训练集的数据量是测试集的两倍。
2021-11-19 cs.LG q-bio.BM q-bio.QM
DT-LET: Deep Transfer Learning by Exploring where to Transfer
以往的基于深度网络的迁移学习方法都假设知识应该在源域和目标域的相同隐层之间进行迁移。这种假设并不总是成立的,特别是当来自两个域的数据是异构的,分辨率不同。在这种情况下,用于源域数据和目标域数据的最合适的层数将不同。结果,源领域的高级知识将被转移到目标领域的错误层。基于这一观察,本文提出的“向何处转移”应该是一个新的研究前沿。针对这种异构迁移学习问题,提出了一种新的数学模型DT-LET。为了选择最佳匹配的层来传递知识,定义了特定的损失函数来估计源域和目标域数据的高层特征之间的对应关系。为了验证所提出的跨层模型,对两个跨领域识别/分类任务进行了实验,取得了较好的结果,证明了层对应搜索的必要性。
2018-09-23 cs.LG stat.ML
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation
Tencent(腾讯);University of Science and Technology of China(中国科学技术大学);Google(谷歌);Telefonica Research(西班牙电信研究院)
归纳迁移学习对计算机视觉和NLP领域产生了很大的影响,但尚未用于推荐系统领域。尽管已经有大量的研究生成建议的基础上建模用户-项目交互序列,他们中的一些人试图表示和转移这些模型为下游任务,只有有限的数据存在。在本文中,我们深入研究的任务,有效地学习一个单一的用户表示,可以应用到各种各样的任务,从跨域的建议,用户简档预测。微调大型预训练网络并使其适应下游任务是解决此类任务的有效方法。然而,考虑到整个模型需要为每个新任务重新训练,微调参数效率低下。为了克服这个问题,我们开发了一个参数有效的迁移学习架构,称为PeterRec,它可以被配置在飞行中的各种下游任务。具体来说,PeterRec通过注入一系列重新学习的神经网络,允许预先训练的参数在微调过程中保持不变,这些网络很小,但与学习整个网络一样具有表达力。我们进行了广泛的实验消融,以显示在五个下游任务的学习用户表示的有效性。此外,我们还证明了PeterRec在多个领域中进行了有效的迁移学习,在这些领域中,相对于微调整个模型参数,它实现了相当或有时更好的性能。代码和数据集可在https://github.com/fajieyuan/sigir2020_peterrec上获得。
2020-06-09 cs.IR cs.LG
Transfer Learning Enhanced DeepONet for Long-Time Prediction of Evolution Equations
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Minnesota(明尼苏达大学)
深度算子网络(DeepONet)在各种学习任务中取得了巨大的成功,包括学习偏微分方程的解算子。特别是,它提供了一个有效的方法来预测有限时间范围内的发展方程。然而,香草DeepONet在长期预测中存在稳定性下降的问题。本文提出了一种{ \em transfer-learning}辅助的DeepONet来增强稳定性。我们的想法是使用迁移学习来顺序更新DeepONets,作为在不同时间段学习的传播器的替代。不断发展的DeepONets可以更好地跟踪演化方程的不同复杂性,同时只需要通过有效训练一小部分运营商网络来更新。通过系统的实验,我们表明,该方法不仅提高了DeepONet的长期准确性,同时保持类似的计算成本,而且大大减少了训练集的样本量。
2022-12-09 cs.LG cs.NA math.NA
Metric Embedding Autoencoders for Unsupervised Cross-Dataset Transfer Learning
SingularityNET Foundation(SingularityNET基金会);ITMO University(ITMO大学);Novamente LLC(Novamente有限责任公司);Cisco(思科)
跨数据集迁移学习是人再识别中的一个重要问题。不幸的是,对于实际Re-ID系统的现实设置,没有太多的深度转移Re-ID模型存在。我们提出了一个纯深度传输Re-ID模型,由深度卷积神经网络和自动编码器组成。潜码分为度量嵌入和滋扰变量。然后,我们使用一种无监督训练方法,该方法不依赖于与非深度模型的协同训练。我们的实验显示了对基线和竞争对手的迁移学习模型的改进。
2018-07-18 cs.CV cs.LG
DeepEmotex: Classifying Emotion in Text Messages using Deep Transfer Learning
Worcester Polytechnic Institute(伍斯特理工学院);San Francisco State University(旧金山州立大学)
迁移学习已经通过深度预训练的语言模型广泛应用于自然语言处理,例如来自Transformers和Universal Sentence Encoder的双向编码器表示。尽管取得了巨大的成功,但语言模型在应用于小数据集时会过度拟合,并且在使用分类器进行微调时容易遗忘。为了解决将深度预训练的语言模型从一个领域转移到另一个领域时的遗忘问题,现有的努力探索了微调方法来减少遗忘。我们提出了DeepMinutex一种有效的顺序迁移学习方法来检测文本中的情感。为了避免遗忘问题,微调步骤是由大量的情绪标记的数据从Twitter收集。我们使用策划的Twitter数据集和基准数据集进行实验研究。在测试数据集上,DeepAktex模型对多类情感分类的准确率超过91%。我们评估了经过微调的DeepMinutex模型在对TumblInt和Stimulus基准数据集的情绪进行分类时的性能。该模型在基准数据集中73%的实例中正确分类了情感。在基准数据集上,所提出的DeepAktex-BERT模型比Bi-LSTM结果高出23%。我们还研究了微调数据集的大小对模型准确性的影响。我们的评估结果表明,微调与一个大的情绪标记的数据集,提高了鲁棒性和有效性的目标任务模型。
2022-06-12 cs.IR cs.LG
DARec: Deep Domain Adaptation for Cross-Domain Recommendation via Transferring Rating Patterns
University of New South Wales(新南威尔士大学)
跨领域推荐一直是推荐系统研究的热点之一。最近,已经提出了各种深度模型来跨领域转移学习的知识,但是它们中的大多数集中于从辅助内容中提取抽象的可转移特征,例如,图像和评论文本,而评级矩阵本身的模式很少被触及。在这项工作中,受领域自适应概念的启发,我们提出了一个深度领域自适应模型(DARec),该模型能够从评级矩阵{ \em only}中提取和传输模式,而不依赖于任何辅助信息。我们在公共数据集上实证证明,我们的方法在几种最先进的跨域推荐模型中达到了最佳性能。
2019-05-26 cs.IR cs.LG stat.ML
Distant Transfer Learning via Deep Random Walk
迁移学习是利用源领域的有用知识来提高目标领域的学习效果,但通常要求源领域和目标领域非常接近,这限制了迁移学习的应用范围。最近,已经研究了远距离迁移学习以经由辅助域在两个远距离或甚至完全不相关的域之间传递知识,辅助域通常未被标记为人类传递性推理的精神中的桥梁,即可以通过逐渐的知识迁移将两个完全不相关的概念连接在一起。本文提出了一种基于DeEp随机游走的距离迁移(DERWENT)方法,研究了距离迁移学习。与现有的远距离迁移学习模型通过辅助实例隐式地识别源实例和目标实例之间的知识迁移路径不同,所提出的DERWENT模型可以通过深度随机游走技术显式地学习这些路径。具体而言,基于随机游走技术在源数据和目标数据没有直接边的数据图上识别的序列,DERWENT模型强制序列中相邻数据点相似,使结束数据点由同一序列中的其他数据点表示,并考虑源数据的加权训练损失.在多个基准数据集上的实验结果表明,该算法具有最佳的性能。
2020-06-13 cs.LG stat.ML
Exploring Deep Neural Networks and Transfer Learning for Analyzing Emotions in Tweets
University of Moratuwa(莫拉图瓦大学)
在本文中,我们提出了一个使用深度学习和迁移学习技术进行推文情感分析的实验,并提出了一种解释我们的深度学习模型的方法。所提出的情感分析方法将长短期记忆(LSTM)网络与卷积神经网络(CNN)相结合。然后,我们扩展这种方法的情绪强度预测使用迁移学习技术。此外,我们还提出了一种技术来可视化推文中每个单词的重要性,以更好地理解模型。实验上,我们在分析中表明,所提出的模型在情感分类方面优于最先进的模型,同时在预测情感强度方面保持了有竞争力的结果。
2020-12-10 cs.CL cs.IR cs.LG
Bridging Data Gaps in Structural Fragility Modeling through Transfer Learning: Methodology and Case Studies
Department of Civil and Environmental Engineering, Rice University(Rice大学土木与环境工程系);Ken Kennedy Institute, Rice University(Rice大学肯尼迪研究所)
提出以方法为中心的迁移学习框架,解决领域偏移、类别不平衡和目标标签稀缺问题,通过三个案例验证其在低数据场景下提升失效检测与预测稳定性的有效性。
2026-06-18 cs.LG stat.AP stat.ME
Deep Transfer Learning for Static Malware Classification
Intel Labs(英特尔实验室)
我们建议将来自计算机视觉的深度迁移学习应用于静态恶意软件分类。在迁移学习方案中,我们从自然图像或对象中借用知识并应用于静态恶意软件检测的目标域。因此,深度神经网络的训练时间加快,同时仍保持高分类性能。我们证明了我们的方法在三个实验中的有效性,并表明我们提出的方法优于其他经典的机器学习方法测量的准确性,假阳性率,真阳性率和$F_1$得分(在二进制分类)。我们仪器的解释组件的算法,并提供可解释的解释,以提高安全从业者的信任模型。我们进一步讨论了一个凸组合方案的迁移学习和从头开始训练增强恶意软件检测,并提供基于视觉的恶意软件分类技术的算法解释的见解。
2018-12-18 cs.CR cs.LG stat.ML
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr
Baidu Research(百度研究院);University of Macau(澳门大学)
使用预训练模型微调深度卷积神经网络(CNN)有助于将从较大数据集学习的知识转移到目标任务。虽然即使当训练数据集很小时,准确性也可以大大提高,但迁移学习结果通常受到具有接近CNN权重的预训练模型的约束(Liu et al.,2019),因为这里的反向传播为更深的CNN层带来了更小的更新。在这项工作中,我们提出了RIFLE -一个简单而有效的策略,加深反向传播迁移学习设置,通过定期重新初始化全连接层与随机划痕在微调过程中。RIFLE为深层CNN层的权重带来了有意义的更新,并改进了低级特征学习,而随机化的效果可以在整个学习过程中轻松收敛。实验表明,使用RIFLE显著提高了深度迁移学习在广泛数据集上的准确性,在相同设置下,测试准确率提高0.5%-2%,优于用于类似目的的已知技巧,如Dropout,DropConnect,StochasticDepth,Disturb Label和Cyclic学习率。经验案例和消融研究进一步表明,RIFLE为深层CNN层带来了有意义的更新,提高了准确性。
2020-07-07 cs.CV cs.LG stat.ML
An Audio-Video Deep and Transfer Learning Framework for Multimodal Emotion Recognition in the wild
Ulm University(乌尔姆大学);ITMO University(圣彼得堡国立信息技术机械与光学大学);St. Petersburg Federal Research Center of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡联邦研究中心);Utrecht University(乌得勒支大学)
在本文中,我们提出了我们的贡献ABAW面部表情的挑战。我们报告了拟议的系统和遵守挑战协议的正式挑战结果。使用端到端深度学习并受益于迁移学习方法,我们达到了42.10%的测试集挑战性能指标。
2020-11-02 cs.LG cs.SD eess.AS
Deep Transfer Learning for Thermal Dynamics Modeling in Smart Buildings
Johnson Controls(江森自控)
热动力学建模一直是建筑供暖、通风和空调(HVAC)系统中的一个关键问题,它会显着影响控制和维护策略。由于建筑物的独特性,传统的热动力学建模方法严重依赖于物理知识,不能很好地推广。提出了一种用于建筑室内温度演化和能耗热动力学建模的深度监督域自适应(DSDA)方法。基于长短期记忆网络的序列到序列方案基于从建筑物收集的大量数据进行预训练,然后通过应用模型微调来适应具有有限数据量的另一建筑物。我们使用四个公开的数据集:SML和AHU用于温度演变,来自两个不同商业建筑的长期数据集,称为建筑1和建筑2用于能耗。我们表明,深度监督域自适应可以有效地将预训练模型从一个建筑物适应到另一个建筑物,并且比仅使用有限数据从头开始学习具有更好的预测性能。
2019-11-08 cs.LG cs.SY eess.SY
Detecting False Data Injection Attacks in Smart Grids with Modeling Errors: A Deep Transfer Learning Based Approach
Zhejiang University of Technology(浙江工业大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
大多数传统的虚假数据注入攻击(FDIA)检测方法依赖于一个关键假设,即,电力系统可以被精确地建模。然而,传输线参数是动态的,在运行过程中不能准确地知道,因此所涉及的建模误差不应被忽略。在本文中,一个说明性的情况下,传输线的建模误差显着削弱了传统FDIA方法的检测效果。为了解决这个问题,我们从迁移学习的角度提出了一种FDIA检测机制。具体地说,模拟的电力系统被视为一个源域,它提供了丰富的模拟正常和攻击数据。该方法以输电线路参数未知的实际运行系统为目标域,收集足够多的实际正常数据,在线跟踪系统的最新状态。设计的传输策略以充分利用现有数据为目标,分为两个优化阶段。在第一阶段中,通过同时使用模拟数据和真实数据优化几个精心设计的目标项来构建深度神经网络(DNN),然后在第二阶段中通过真实数据对其进行微调。IEEE 14节点和118节点系统的算例验证了该机制的有效性。
2021-09-08 cs.CR cs.LG cs.SY
Robust Deep Sensing Through Transfer Learning in Cognitive Radio
University of Electronic Science and Technology of China(电子科技大学);Massey University(梅西大学);University of California at San Diego(加州大学圣地亚哥分校)
提出了一种基于深度学习的鲁棒频谱感知框架。在次级用户的接收机处接收到的信号被滤波、采样,然后被直接馈送到卷积神经网络中。尽管当在与所收集的训练数据相同的场景中操作时,这种深度感测是有效的,但是当将其应用于具有不同无线信号和传播的不同场景中时,感测性能降级。我们将迁移学习融入到框架中,以提高鲁棒性。实验结果验证了所提出的深频谱感知框架的有效性和鲁棒性。
2019-08-01 cs.IT cs.LG eess.SP
Local transfer learning Gaussian process modeling, with applications to surrogate modeling of expensive computer simulators
Department of Industrial Engineering and Management, Peking University(工业工程与管理系,北京大学);Department of Statistical Science, Duke University(统计科学系,杜克大学)
针对昂贵计算机模拟器代理建模问题,提出LOL-GP模型,利用潜在正则化实现局部迁移学习以避免负迁移,并通过Gibbs采样进行高效后验预测,显著提升了多源和多保真度场景下的代理性能。
2025-07-11 cs.LG stat.AP stat.ME
Progressive reduced order modeling: empowering data-driven modeling with selective knowledge transfer
Sandia National Laboratories(桑迪亚国家实验室);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对数据驱动建模数据需求高、工程应用受限的问题,提出带门控选择性知识迁移的渐进式降阶建模框架,可在小训练集下实现高精度,经多工程案例验证效果优于大样本无迁移模型,助力高效低成本的数据驱动建模。
2023-10-04 cs.AI cs.CE cs.LG
MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer
ETH Zurich(苏黎世联邦理工学院)
我们介绍MIDI-VAE,一个基于变分自编码器的神经网络模型,它能够处理具有多个乐器音轨的复调音乐,以及通过结合音符持续时间和速度来建模音乐的动态。我们表明,MIDI-VAE可以通过自动改变音乐作品的音高,动态和乐器来对符号音乐进行风格转移,例如,从古典音乐到爵士音乐我们通过训练单独的风格验证分类器来评估风格转移的有效性。我们的模型还可以在短的音乐片段之间插入,产生混合泳和创建整首歌曲的混合。插值平滑地改变音高、力度和乐器,在两首音乐作品之间建立和谐的桥梁。据我们所知,这项工作是第一次成功地尝试将神经风格转移到完整的音乐作品。
2018-09-20 cs.LG cs.SD eess.AS
On The Transferability of Deep-Q Networks
Université de Liège(列日大学)
迁移学习(TL)是一种高效的机器学习范例,它允许克服一些表征深度神经网络成功训练的障碍,从长训练时间到大数据集的需求。虽然在监督学习(SL)中利用TL是一种成熟且成功的训练实践,但它在深度强化学习(DRL)中的适用性却很少。在本文中,我们研究了Deep-Q网络的三种不同变体在流行的DRL基准测试以及一组新颖的精心设计的控制任务上的可转移性水平。我们的研究结果表明,在DRL上下文中转移神经网络可能特别具有挑战性,并且在大多数情况下会导致负迁移。在试图理解为什么Deep-Q网络传输如此之差的过程中,我们获得了对这一系列算法的训练动态的新见解。
2021-11-22 cs.AI cs.LG
Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);Monash University(蒙纳士大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Salesforce Research Asia(Salesforce亚洲研究院)
顺序用户行为建模在面向用户的在线服务中起着至关重要的作用,例如产品购买,新闻订阅消费和在线广告。顺序建模的性能很大程度上取决于历史行为的规模和质量。然而,用户行为的数量本质上遵循长尾分布,这很少被探索。在这项工作中,我们认为,专注于尾部用户可以带来更多的好处,并通过从优化和功能的角度学习可转移的参数来解决长尾问题。具体来说,我们提出了一个梯度对齐优化器,并采用了一个对抗性的训练方案,以促进知识从头部转移到尾部。这样的方法也可以处理新用户的冷启动问题。此外,它可以直接适应各种成熟的序列模型。在四个真实世界数据集上的广泛实验验证了我们的框架与最先进的基线相比的优越性。
2020-11-01 cs.AI cs.IR cs.LG
Review of Text Style Transfer Based on Deep Learning
文本风格迁移是近年来自然语言处理中的一个热点问题,它主要研究文本为了适应不同的特定场合、受众和目的而进行的一些改变。文本的风格通常包括词法、语法、情感、复杂度、流畅度、时态、语调等多个方面,在传统的文本风格迁移模型中,文本风格一般依赖专家知识和手工设计的规则,但随着深度学习在自然语言处理领域的应用,基于深度学习的文本风格迁移方法开始被大量研究。近年来,文本风格迁移成为自然语言处理研究的热点问题。本文综述了近年来基于深度学习的文本风格迁移模型的研究,并对主要研究方向和进展进行了总结、分析和比较。此外,文章还介绍了常用的文本风格迁移的公共数据集和评价指标。最后,总结了文本风格迁移模型的现有特点,并对基于深度学习的文本风格迁移模型的未来发展趋势进行了分析和预测。
2020-12-30 cs.CL cs.LG
Deep Image Style Transfer from Freeform Text
Georgia Institute of Technology(佐治亚理工学院)
本文通过从自由形式的用户文本输入生成风格图像来创建深度神经风格转移的新方法。语言模型和样式转换模型形成无缝管道,其可以创建与基线样式转换方法相比具有类似损失和改进质量的输出图像。在给定样式文本和描述输入的情况下,语言模型返回紧密匹配的图像,该图像然后与输入内容图像一起被传递到样式传递模型以创建最终输出。还开发了一个概念验证工具来集成这些模型,并证明了从自由形式文本转换深度图像风格的有效性。
2022-12-13 cs.CL cs.CV cs.LG
Attend, Adapt and Transfer: Attentive Deep Architecture for Adaptive Transfer from multiple sources in the same domain
University of Michigan(密歇根大学);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);McGill University(麦吉尔大学)
在解决新的目标任务时,从先前的源任务转移知识在若干学习应用中可能是有用的。实施转让带来了两个尚未得到充分解决的严重挑战。首先,智能体应该能够避免负迁移,即当迁移阻碍或减缓学习而不是帮助学习时,就会发生负迁移。其次,智能体应该能够选择性迁移,即能够从不同的和多个源任务中选择和迁移目标任务状态空间的不同部分。我们提出了A2T(Attend,Adapt and Transfer),这是一种专注的深度架构,可以从这些源任务进行调整和转移。我们的模型是通用的,足以影响政策或价值函数的转移。对不同学习算法的实证评估表明,A2T是一种有效的迁移架构,能够避免负迁移,同时选择性地从同一领域的多个源任务迁移。
2020-09-21 cs.AI cs.LG
Deep Learning in Protein Structural Modeling and Design
Johns Hopkins University(约翰斯·霍普金斯大学)
深度学习正在催化一场由大数据、可访问的工具包和强大的计算资源推动的科学革命,影响着包括蛋白质结构建模在内的许多领域。蛋白质结构建模,例如从氨基酸序列和进化信息预测结构,设计蛋白质以实现期望的功能,或预测蛋白质的性质或行为,对于在分子水平上理解和工程化生物系统至关重要。在这篇综述中,我们总结了应用深度学习技术解决蛋白质结构建模和设计问题的最新进展。我们剖析了使用深度学习技术进行蛋白质结构建模的新兴方法,并讨论了必须解决的进展和挑战。我们主张结构的核心重要性,遵循“序列->结构->功能”的范式。这篇综述旨在帮助计算生物学家熟悉应用于蛋白质建模的深度学习方法,并帮助计算机科学家了解可能受益于深度学习技术的生物学意义问题。
2020-07-16 cs.LG q-bio.BM
Transferring Graph Neural Networks for Soft Sensor Modeling using Process Topologies
Delft University of Technology(代尔夫特理工大学);Process Intelligence Research(过程智能研究院)
针对标准软测量模型因固定输入结构无法跨工厂迁移的问题,提出拓扑感知图神经网络方法,将工厂建模为图以灵活适配不同传感器网络,实现多工厂间软测量模型迁移,提升跨场景复用性。
2025-02-05 cs.AI cs.LG
Towards Understanding the Transferability of Deep Representations
University of California, Berkeley(加利福尼亚大学伯克利分校)
在广泛的数据集上训练的深度神经网络表现出令人印象深刻的可移植性。深度特征似乎是通用的,因为它们适用于许多数据集和任务。这种特性在现实世界的应用中普遍使用。在大型数据集上预训练的神经网络,如ImageNet,如果微调到较小的目标数据集,可以显着提高泛化能力并加速训练。尽管它的普遍性,很少有人致力于揭示深特征表示的可转移性的原因。本文试图从改进的泛化、优化和可移植性的可行性等角度来理解可移植性。我们证明了1)转移模型倾向于找到更平坦的最小值,因为当转移到类似的目标数据集时,它们的权重矩阵保持接近预训练参数的原始平坦区域; 2)转移表示使损失景观更有利,改进了Lipschitzness,这大大加速和稳定了训练。这种改进在很大程度上归因于这样一个事实,即在预训练参数中抑制了梯度的主分量,从而稳定了反向传播中梯度的大小。3)可移植性的可行性与输入和标签的相似性有关。一个令人惊讶的发现是,可行性也受到训练阶段的影响,因为可转移性首先在训练期间增加,然后下降。我们进一步提供了一个理论分析来验证我们的观察。
2019-09-26 cs.LG stat.ML
Deep Transfer Convolutional Neural Network and Extreme Learning Machine for Lung Nodule Diagnosis on CT images
文章的某些内容需要保密
2020-04-28 cs.CV cs.LG eess.IV
Enhanced Input Modeling for Construction Simulation using Bayesian Deep Neural Networks
George Mason University(乔治梅森大学)
本文旨在提出一种新的深度学习集成框架,用于通过整合多源信息来导出可靠的仿真输入模型。该框架来源和提取从施工操作中生成的多数据集数据,为输入建模提供了丰富的信息。该框架实现了贝叶斯深度神经网络,以促进在输入建模中纳入更丰富信息的目的。最后,以道路铺设作业为例,验证了该框架的可行性和适用性。总体而言,本研究通过推导详细的输入模型来增强输入建模,从而增强施工操作中的决策过程。这项研究还揭示了通过结合机器学习技术来促进数据驱动的模拟。
2019-06-14 cs.LG stat.ML