Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而,没有先前的工作采用(预先训练的潜在)的主题在迁移学习范例。在本文中,我们提出了一种方法(1)使用从大型源语料库中获得的潜在主题进行知识转移,以及(2)通过神经主题建模中的两种表示(或视图)联合转移知识,以提高主题质量,更好地处理目标语料库中的多义和数据稀疏问题。在此过程中,我们首先从一个或多个源语料库中积累主题和单词表示,以构建主题和单词向量池。然后,我们识别一个或多个相关的源域,并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量,通过泛化(困惑),可解释性(主题连贯性)和信息检索(IR)使用短文本,长文本,小型和大型的文件集,从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
Transfer Learning for Performance Modeling of Deep Neural Network Systems
University of South Carolina(南卡罗来纳大学);University of Wyoming(怀俄明大学)
现代深度神经网络(DNN)系统是高度可配置的,具有大量显著影响其非功能行为的选项,例如推理时间和能耗。性能模型允许理解和预测这样的配置选项对系统行为的影响,但由于配置空间大,构建成本高。一个环境中的性能模型不能直接转移到另一个环境中;通常模型是针对不同的环境(例如不同的硬件)从头开始重建的。最近,迁移学习方法已被应用于从在一个环境中训练的性能模型在另一个环境中重用知识。在本文中,我们进行了一项实证研究,以了解不同的迁移学习策略的有效性,建立DNN系统的性能模型。我们的研究结果表明,最有影响力的配置选项及其相互作用的信息传输是一种有效的方法,降低成本,建立性能模型在新的环境中。
2019-04-04 cs.DC cs.LG
Enhancing Polynomial Chaos Expansion Based Surrogate Modeling using a Novel Probabilistic Transfer Learning Strategy
Sandia National Laboratories(桑迪亚国家实验室);University of Houston(休斯顿大学)
针对PCE线性回归构建代理模型时过采样导致模拟成本过高的问题,提出一种贝叶斯建模与数据同化启发的概率迁移学习策略,并通过数值算例及油气工程问题验证。
2023-12-07 cs.LG stat.ML
Multi-Agent Policy Transfer via Task Relationship Modeling
National Key Laboratory of Novel Software Technology(新型软件技术国家重点实验室);Polixir Technologies(波粒科技);Tsinghua University(清华大学)
团队适应新的合作任务是人类智能的一个标志,这还没有完全实现学习代理。先前关于多智能体迁移学习的工作可以适应不同规模的团队,这在很大程度上依赖于神经网络的泛化能力来适应看不见的任务。我们认为,任务之间的关系提供了政策调整的关键信息。在本文中,我们试图发现和利用任务之间的共同结构,以更有效的传输,并建议学习基于效果的任务表示作为一个共同的任务空间,使用一个交替固定的训练计划。我们证明,任务表示可以捕捉任务之间的关系,并可以推广到看不见的任务。因此,所提出的方法可以帮助学习合作知识转移到新的任务后,在几个源任务的训练。我们还发现,微调转移的策略有助于解决难以从头开始学习的任务。
2022-03-09 cs.AI cs.LG
Laughter Synthesis: Combining Seq2seq modeling with Transfer Learning
Numediart Institute, University of Mons(蒙斯大学努梅迪亚尔研究所)
尽管人们对表达性语音合成越来越感兴趣,但非语言表达的合成是一个未被开发的领域。在本文中,我们提出了一个音频笑声合成系统的基础上,序列到序列的TTS合成系统。我们通过训练深度学习模型来利用迁移学习,学习从注释中生成语音和笑声。我们用听力测试来评估我们的模型,将其性能与基于HMM的笑声合成进行比较,并评估它达到了更高的感知自然度。我们的解决方案是迈向TTS系统的第一步,该系统将能够合成语音,并在娱乐水平上控制笑声集成。
2020-08-20 cs.CL cs.LG cs.SD
Transfer Learning for Performance Modeling of Configurable Systems: A Causal Analysis
University of South Carolina(南卡罗来纳大学)
现代系统(例如,深度神经网络、大数据分析和编译器)是高度可配置的,这意味着它们在不同的配置下暴露不同的性能行为。根本的挑战是,由于配置空间的庞大规模,人们无法简单地测量所有配置。迁移学习通过跨环境迁移有关系统性能行为的知识来减少测量工作。此前,研究表明,统计模型确实可以跨环境转移。在这项工作中,我们调查的因果关系和统计关系在高度可配置的系统的可识别性和可移植性。我们的因果分析与之前的探索性分析\cite{Jamshidi17}一致,并确认配置选项的因果影响可以在高置信度的环境中进行。我们期望,能够结转因果关系将使高配置系统的有效性能分析。
2019-02-26 cs.AI cs.LG
ConsistTL: Modeling Consistency in Transfer Learning for Low-Resource Neural Machine Translation
University of Macau(澳门大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
迁移学习是一种简单而强大的方法,可用于提高低资源神经机器翻译(NMT)的模型性能。现有的NMT迁移学习方法都是静态的,通过参数初始化将知识从父模型迁移到子模型。本文提出了一种新的NMT迁移学习方法ConsistTL,它可以在子模型的训练过程中不断地从父模型中迁移知识。具体来说,对于子模型的每个训练实例,ConsistTL为父模型构造语义等价的实例,并鼓励该实例的父子预测一致性,相当于子模型在父模型的指导下学习每个实例。在五个低资源NMT任务上的实验结果表明,ConsistTL在强迁移学习基线上有显著的改进,在广泛使用的WMT 17土耳其语-英语基准测试上,与现有的反向翻译模型相比,增益高达1.7 BLEU。进一步的分析表明,ConsistTL可以提高儿童模型的推理校准。代码和脚本可以在https://github.com/NLP2CT/ConsistTL上免费获得。
2022-12-08 cs.AI cs.CL cs.LG
Data-driven Modeling of Mach-Zehnder Interferometer-based Optical Matrix Multipliers
Technical University of Denmark(丹麦技术大学);Huazhong University of Science and Technology(华中科技大学)
光子集成电路正在促进光学神经网络的发展,由于光学信号特别适合于实现矩阵乘法,因此光学神经网络具有比其电子对应物更快和更节能的潜力。然而,用于光学矩阵乘法的光子芯片的精确编程仍然是一个困难的挑战。在这里,我们描述了简单的分析模型和数据驱动模型离线训练的光学矩阵乘法器。我们训练和评估的模型使用实验数据从一个制造的芯片具有马赫-曾德尔干涉仪网格实现3乘3矩阵乘法。基于神经网络的模型在预测误差方面优于简单的基于物理的模型。此外,神经网络模型还能够预测覆盖C波段的多达100个频率信道的矩阵权重中的频谱变化。使用神经网络模型对芯片进行编程以实现光学矩阵乘法,提高了多个机器学习任务的性能。
2023-03-06 cs.LG cs.NE physics.optics
Local transfer learning Gaussian process modeling, with applications to surrogate modeling of expensive computer simulators
Department of Industrial Engineering and Management, Peking University(工业工程与管理系,北京大学);Department of Statistical Science, Duke University(统计科学系,杜克大学)
针对昂贵计算机模拟器代理建模问题,提出LOL-GP模型,利用潜在正则化实现局部迁移学习以避免负迁移,并通过Gibbs采样进行高效后验预测,显著提升了多源和多保真度场景下的代理性能。
2025-07-11 cs.LG stat.AP stat.ME
MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer
ETH Zurich(苏黎世联邦理工学院)
我们介绍MIDI-VAE,一个基于变分自编码器的神经网络模型,它能够处理具有多个乐器音轨的复调音乐,以及通过结合音符持续时间和速度来建模音乐的动态。我们表明,MIDI-VAE可以通过自动改变音乐作品的音高,动态和乐器来对符号音乐进行风格转移,例如,从古典音乐到爵士音乐我们通过训练单独的风格验证分类器来评估风格转移的有效性。我们的模型还可以在短的音乐片段之间插入,产生混合泳和创建整首歌曲的混合。插值平滑地改变音高、力度和乐器,在两首音乐作品之间建立和谐的桥梁。据我们所知,这项工作是第一次成功地尝试将神经风格转移到完整的音乐作品。
2018-09-20 cs.LG cs.SD eess.AS
Progressive reduced order modeling: empowering data-driven modeling with selective knowledge transfer
Sandia National Laboratories(桑迪亚国家实验室);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对数据驱动建模数据需求高、工程应用受限的问题,提出带门控选择性知识迁移的渐进式降阶建模框架,可在小训练集下实现高精度,经多工程案例验证效果优于大样本无迁移模型,助力高效低成本的数据驱动建模。
2023-10-04 cs.AI cs.CE cs.LG