DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning
Florida State University(佛罗里达州立大学);Purdue University(普渡大学);Yale University(耶鲁大学)
提出一种结合分布式预训练与物理信息零样本微调的新方法,通过标准微调和低秩适应微调有效学习复杂非线性算子,显著提升了多算子学习的准确性和泛化能力。
2024-11-11 cs.LG
Towards Data-Efficient Cross-Device Generalization of Grad-Shafranov Equilibria via Transfer Learning Neural Operator
Grainger College of Engineering, Nuclear, Plasma & Radiological Engineering Department, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院核、等离子体与放射工程系);Fusion Energy Division, Oak Ridge National Lab(橡树岭国家实验室聚变能源部);National Center for Supercomputing Applications(国家超级计算应用中心);Department of Applied Mechanics, Indian Institute of Technology Delhi(印度理工学院德里分校应用力学系);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(印度理工学院德里分校亚迪人工智能学院)
提出跨设备神经算子框架,将平衡重建转化为算子学习问题,通过多几何预训练实现数据高效迁移,Wavelet Neural Operator在100个目标样本下达到低于4%的L2误差。
2026-06-16 cs.LG physics.plasm-ph
Self-supervised Pretraining and Transfer Learning Enable Flu and COVID-19 Predictions in Small Mobile Sensing Datasets
University of Washington(华盛顿大学)
来自手机、手表和健身追踪器的详细移动传感数据提供了一个无与伦比的机会,可以量化和应对以前无法测量的行为变化,以改善个人健康并加速对新出现疾病的反应。与自然语言处理和计算机视觉不同,深度表示学习尚未广泛影响这一领域,其中绝大多数研究和临床应用仍然依赖于手动定义的特征和增强的树模型,甚至由于准确性不足而完全放弃预测建模。这是由于行为健康领域的独特挑战,包括非常小的数据集(约10^1名参与者),这些数据集经常包含缺失数据,由具有关键长期依赖性的长时间序列(长度>10^4)和极端的类不平衡(>10^3:1)组成。在这里,我们介绍了一种用于多变量时间序列分类的神经架构,旨在解决这些独特的领域挑战。我们提出的行为表示学习方法结合了自监督预训练和迁移学习的新任务,以解决数据稀缺问题,并通过Transformer自注意力捕获长历史时间序列中的长程依赖关系,然后进行基于卷积神经网络的降维。我们提出了一个评估框架,旨在反映预期的真实世界的性能在合理的部署方案。具体而言,我们证明了(1)在五个预测任务中,相对于基线的性能改善高达0.15 ROC AUC,(2)在小数据场景中,迁移学习诱导的性能改善为16% PR AUC,以及(3)通过独立数据集中zero-shot COVID-19预测的探索性案例研究,迁移学习在新型疾病场景中的潜力。最后,我们讨论了潜在的影响,医疗监督测试。
2022-06-02 cs.HC cs.LG
Weakly Supervised Pretraining and Multi-Annotator Supervised Finetuning for Facial Wrinkle Detection
Asan Medical Center(峨山医院);University of Ulsan College of Medicine(蔚山大学医学院);Hanyang University(汉阳大学);Hankuk University of Foreign Studies(韩国外国语大学)
本研究针对面部皱纹检测需求,提出结合弱监督预训练与多标注者监督微调的CNN方法,验证了迁移学习的性能提升作用,可实现自动化皱纹分割以辅助皮肤诊疗。
2024-08-19 cs.AI cs.CV cs.LG
Neural Word Segmentation with Rich Pretraining
Singapore University of Technology and Design(新加坡科技设计大学)
神经分词研究通过利用大规模原始文本进行字符和词嵌入的预训练而受益。另一方面,统计分词研究利用了更丰富的外部信息源,如标点符号、自动分词和词性。我们通过构建一个模块化的分词模型,使用丰富的外部资源对最重要的子模块进行预训练,研究了一系列外部训练源对神经分词的有效性。结果表明,这样的预训练显着提高了模型,导致精度竞争的最佳方法在六个基准。
2017-04-28 cs.CL
The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在大型语料库上预训练神经语言模型(NLM)涉及将文本分块成训练样本,这些样本是神经架构可处理的大小的连续文本段。我们强调了这种常见做法引入的偏见:我们证明了预训练的NLM可以对出现在同一训练示例中的文本段之间的依赖关系进行建模,而不是出现在不同训练样本中的文本段之间的依赖关系。这个直观的结果具有双重作用。首先,它形式化了最近成功的NLM培训策略背后的动机,这些策略是针对预训练和微调阶段提出的,乍一看并不一定相关。其次,我们的结果清楚地表明,NLM预训练的进一步改进,有利于自然语言理解任务。作为一个例子,我们提出了“kNN预训练”:我们表明,包括语义相关的非相邻句子在同一预训练的例子产生改进的句子表示和开放域问答能力。这种理论上的自由度为预训练的例子设计表明新的培训计划,自我改进的表示。
2022-03-21 cs.CL cs.LG
Bilingual Dictionary-based Language Model Pretraining for Neural Machine Translation
Univ. of Maryland(马里兰大学)
最近的研究表明,通过应用跨语言语言模型预训练(Lample和Conneau,2019),特别是翻译语言模型(TLM),神经机器翻译的性能得到了明显的改善。为了减轻TLM对昂贵的并行语料库的需求,在这项工作中,我们将词典中的翻译信息纳入预训练过程,并提出了一种新的基于双语词典的语言模型(BDLM)。我们评估我们的BDLM中文,英语和罗马尼亚语。对于中文-英文,我们在WMT-News 19(Tiedemann,2012)上获得了55.0 BLEU,在WMT 20新闻评论上获得了24.3 BLEU,优于Vanilla Transformer(Vaswani et al.,2017年)分别超过8.4 BLEU和2.3 BLEU。根据我们的实验结果,BDLM在收敛速度和预测生僻字方面也有优势。WMT 16罗马尼亚语-英语BLEU的增加也表明了其在低资源语言翻译中的有效性。
2021-03-12 cs.AI cs.CL cs.LG
Neural Paraphrase Identification of Questions with Noisy Pretraining
Google Inc.(谷歌公司)
我们提出了一个解决问题的释义识别的问题。我们专注于最近的一个用二进制释义标签注释的问题对数据集,并表明可分解注意力模型的一个变体(Parikh等人,2016)在这项任务上实现了准确的性能,同时比许多竞争的神经架构简单得多。此外,当模型在自动收集的问题释义的嘈杂数据集上进行预训练时,它在数据集上获得了最佳的报告性能。
2017-08-20 cs.CL
Code-Switching with Word Senses for Pretraining in Neural Machine Translation
University of Edinburgh(爱丁堡大学);Sapienza University of Rome(罗马第一大学)
针对NMT预训练中忽略词义导致偏差的问题,提出WSP-NMT方法,利用知识库的词义信息进行端到端预训练,显著提升翻译质量并在DiBiMT基准上取得细粒度准确率提升。
2023-10-21 cs.CL
Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);University of Alberta(阿尔伯塔大学)
在本文中,我们提出了一个实质性的一步,更好地理解SOTA序列到序列(Seq 2Seq)神经机器翻译~(NMT)的预训练。我们专注于研究联合预训练解码器的影响,这是Seq 2Seq预训练和以前基于编码器的NMT预训练方法之间的主要区别。通过对三种语言对进行精心设计的实验,我们发现Seq 2Seq预训练是一把双刃剑:一方面,它有助于NMT模型产生更多样化的翻译,减少与充分性相关的翻译错误。另一方面,Seq 2Seq预训练和NMT微调之间的差异限制了翻译质量(即,域差异)并引起过估计问题(即,客观差异)。基于这些观察,我们进一步提出了简单有效的策略,命名为域内预训练和输入自适应,以弥补域和目标的差异,分别。在几个语言对上的实验结果表明,我们的方法可以在Seq 2Seq预训练后持续提高翻译性能和模型鲁棒性。
2022-03-16 cs.AI cs.CL
Large-scale Pretraining for Neural Machine Translation with Tens of Billions of Sentence Pairs
ShannonAI;Stanford University(斯坦福大学);Zhejiang University(浙江大学)
在本文中,我们研究了训练神经机器翻译(NMT)系统的问题,该系统具有超过400亿个双语句子对的数据集,这比迄今为止最大的数据集大了几个数量级。与以前的NMT工作相比,这种情况下出现了前所未有的挑战,包括数据中的严重噪声和过长的训练时间。我们提出了实际的解决方案来处理这些问题,并证明大规模的预训练显着提高NMT的性能。我们能够将WMT17中英文数据集的BLEU得分提升到32.3,与现有的最先进的结果相比,性能显著提升了+3.2。
2019-10-06 cs.CL
Unleashing the Power of Neural Discourse Parsers -- A Context and Structure Aware Approach Using Large Scale Pretraining
University of British Columbia(不列颠哥伦比亚大学)
基于RST的语篇分析是一项重要的自然语言处理任务,具有许多下游应用,如摘要,机器翻译和意见挖掘。在本文中,我们展示了一个简单的,但高度准确的话语分析器,结合最近的上下文语言模型。我们的解析器建立了新的国家的最先进的(SOTA)性能预测的结构和核的两个关键数据集,RST-DT和Instr-DT。我们进一步证明,预训练我们的解析器上最近可用的大规模“银标准”话语树库MEGA-DT提供更大的性能优势,这表明在话语分析领域的一个新的和有前途的研究方向。
2020-11-06 cs.CL
Cleaner Pretraining Corpus Curation with Neural Web Scraping
Northeastern University(东北大学);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
针对复杂网页导致传统爬虫难以提取干净文本的问题,本文提出NeuScraper神经网页爬虫,相较基线提升超过20%,可用于提升语言模型预训练语料质量。
2024-06-15 cs.CL
Code-switched Language Models Using Dual RNNs and Same-Source Pretraining
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文的工作重点是建立语码转换文本的语言模型。我们提出了两种技术,显着提高这些LM:1)一种新的递归神经网络单元的双组件,分别专注于每种语言的代码切换文本2)预训练LM使用合成文本从生成模型估计使用训练数据。我们证明了我们提出的技术的有效性,通过报告困惑的普通话-英语任务,并获得显着减少困惑。
2018-09-06 cs.CL cs.LG
Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining
Zhejiang University(浙江大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
半监督学习的目标是利用未标记的域内数据集U来改进在标记数据集D上训练的模型。在大规模语言模型(LM)预训练的背景下,我们如何最好地利用U还不清楚:半监督学习在大规模预训练的情况下仍然有益吗?U应该用于域内LM预训练还是伪标签生成?基于伪标签的半监督模型实际上应该如何实现?不同的半监督策略如何影响不同大小的D,不同大小的U等性能。在本文中,我们进行了全面的研究半监督学习在文本分类任务的大规模LM预训练的背景下。我们的研究对半监督学习方法的行为有重要的启示:(1)在U上存在域内预训练LM时,不需要开域LM预训练;(2)域内预训练策略和基于伪标签的策略都引入了显著的性能提升,其中前者在较大的U下表现更好,后者在较小的U下表现更好,以及导致最大性能提升的组合;(3)当D小时,自训练(首先在伪标签D'上进行预训练,然后在D上进行微调)产生更好的性能,而当D大时,在伪标签D'和原始数据集D的组合上进行联合训练产生更好的性能。使用半监督学习策略,我们能够在IMDB数据集上仅用50个训练数据点实现约93.8%的准确率,并且在完整的IMDB数据集上具有96.6%的竞争力性能。我们的工作标志着在大规模预训练的背景下理解半监督学习模型的行为的第一步。
2020-11-19 cs.CL
Unsupervised Pretraining for Neural Machine Translation Using Elastic Weight Consolidation
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院)
本文介绍了我们正在进行的神经机器翻译(NMT)无监督预训练研究。在我们的方法中,我们用两个用单语数据训练的语言模型初始化编码器和解码器的权重,然后使用弹性权重合并(EWC)在并行数据上微调模型,以避免忘记原始的语言建模任务。我们将EWC的正则化与以前的工作进行了比较,这些工作侧重于语言建模目标的正则化。积极的结果是,使用EWC与解码器实现BLEU分数类似于以前的工作。然而,该模型收敛速度快2-3倍,并且在微调阶段不需要原始未标记的训练数据。相比之下,如果原始任务和新任务不密切相关,则使用EWC的正则化效果较差。我们表明,初始化的双向NMT编码器与从左到右的语言模型,并迫使该模型记住原来的从左到右的语言建模任务限制了整个双向上下文的编码器的学习能力。
2020-10-19 cs.CL
CompAct: Compressed Activations for Memory-Efficient LLM Training
Technion - Israel Institute of Technology(以色列理工学院)
针对LLM训练中峰值内存受限的问题,提出CompAct技术,通过存储低秩压缩激活减少反向传播计算图内存占用,预训练峰值内存降25-30%、微调降50%,显著优化计算性能权衡。
2025-02-08 cs.CL cs.LG
Compact Speech Translation Models via Discrete Speech Units Pretraining
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
提出一种基于离散语音单元预训练的紧凑语音翻译模型方法,无需转录文本,在CoVoST-2上以SSS模型一半大小实现三个指标的稳定提升。
2024-06-26 cs.CL cs.SD eess.AS
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Microsoft Research(微软研究院)
预训练大型神经语言模型,如BERT,已经在许多自然语言处理(NLP)任务上取得了令人印象深刻的进展。然而,大多数预训练工作集中在一般领域语料库,如新闻专线和Web。一个普遍的假设是,即使是特定领域的预训练也可以从通用领域的语言模型开始。在本文中,我们挑战了这一假设,证明了对于具有大量未标记文本的领域,如生物医学,从头开始预训练语言模型比一般领域语言模型的持续预训练有很大的收益。为了促进这项调查,我们从公开的数据集中编译了一个全面的生物医学NLP基准。我们的实验表明,特定于领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础,从而全面带来了新的最先进的结果。此外,在对建模选择进行彻底评估时,无论是预训练还是特定于任务的微调,我们发现BERT模型中的一些常见做法是不必要的,例如在命名实体识别(NER)中使用复杂的标记方案。为了帮助加速生物医学NLP的研究,我们为社区发布了最先进的预训练和特定任务模型,并在https://aka.ms/BLURB上创建了一个排行榜,其中包括我们的BLURB基准(生物医学语言理解和推理基准的缩写)。
2021-09-16 cs.CL cs.LG
Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models
The University of Tokyo(东京大学)
我们研究了在神经网络编码器中学习到的什么样的结构知识可以转移到处理自然语言中。我们设计具有模仿自然语言的结构属性的人工语言,对数据进行预训练编码器,并查看编码器在自然语言的下游任务中表现出多大的性能。我们的实验结果表明,使用具有嵌套依赖结构的人工语言进行预训练提供了一些可转移到自然语言的知识。后续的探测分析表明,它的成功转移与编码的语境信息量有关,转移的是语言的位置感知语境依赖知识。我们的研究结果为神经网络编码器如何处理人类语言以及最近多语言语言模型的跨语言可转移性的来源提供了见解。
2022-03-22 cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich(慕尼黑大学)
无监督神经机器翻译(UNMT)的成功方法是通过自我监督进行跨语言预训练,通常以掩蔽语言建模或序列生成任务的形式进行,这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言,但它在低资源和遥远的语言中表现不佳。以前的研究表明,这是因为表征没有充分对齐。在本文中,我们加强双语掩蔽语言模型预训练与词汇级信息,通过使用类型级跨语言子词嵌入。实证结果表明,使用我们的方法与UNMT基线相比,UNMT(高达4.5 BLEU)和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining
Nagoya University(名古屋大学);NTT Communication Science Laboratories(NTT通信科学实验室)
我们介绍了一种新的序列到序列(seq2seq)语音转换(VC)模型的基础上Transformer架构与文本转语音(TTS)预训练。Seq2seq VC模型由于其转换韵律的能力而具有吸引力。虽然基于递归神经网络(RNN)和卷积神经网络(CNN)的seq2seq模型已成功应用于VC,但尚未研究Transformer网络的使用,该网络已在各种语音处理任务中显示出有希望的结果。尽管如此,它们的数据饥渴属性和转换后语音的错误发音使得seq2seq模型远不实用。为此,我们提出了一种简单而有效的预训练技术,从学习的TTS模型中转移知识,这些模型受益于大规模,易于访问的TTS语料库。用这种预训练的模型参数初始化的VC模型能够为高保真、高度可理解的转换语音生成有效的隐藏表示。实验结果表明,这样的预训练方案可以促进数据有效的训练,并在可理解性,自然度和相似性方面优于基于RNN的seq2seq VC模型。
2019-12-14 cs.CL cs.LG cs.SD
Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation
The University of Hong Kong(香港大学);Microsoft Research(微软研究院);Shanghai University of Finance and Economics(上海财经大学);Texas A&M University(德州农工大学)
本文证明了多语言预训练和多语言微调对于促进zero-shot翻译中的跨语言迁移至关重要,其中神经机器翻译(NMT)模型在监督训练期间看不到的源语言上进行测试。根据这一想法,我们提出了SixT+,这是一个强大的多对英语NMT模型,支持100种源语言,但只使用六种源语言的并行数据集进行训练。SixT+使用XLM-R large初始化解码器嵌入和完整编码器,然后使用简单的两阶段训练策略训练编码器和解码器层。SixT+在多对英翻译方面取得了令人印象深刻的性能。它明显优于CRISS和m2m-100,这两个强大的多语言NMT系统,平均增益分别为7.2和5.0 BLEU。此外,SixT+提供了一组模型参数,可以进一步微调到其他无监督任务。我们证明,添加SixT+初始化的性能优于Si En和Ne En上最先进的显式设计的无监督NMT模型<-><->,平均BLEU超过1.2。当应用于zero-shot跨语言抽象摘要时,它产生比mBART-ft平均12.3 ROUGE-L的性能增益。我们进行了详细的分析,以了解SixT+的关键成分,包括辅助并行数据的多语言性,位置解纠缠编码器及其编码器的跨语言可移植性。
2022-04-13 cs.CL
TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
近年来,用于基于文本的自然语言理解任务的预训练语言模型(LM)蓬勃发展。这样的模型通常在自由形式的NL文本上训练,因此可能不适合于像结构化数据上的语义解析这样的任务,其需要对自由形式的NL问题和结构化表格数据(例如,数据库表)。在本文中,我们提出了TaBERT,这是一个预训练的LM,它可以联合学习NL句子和(半)结构化表的表示。TaBERT在2600万个表格及其英语上下文的大型语料库上进行训练。在实验中,使用TaBERT作为特征表示层的神经语义解析器在具有挑战性的弱监督语义解析基准WikiTableQuestions上取得了新的最佳结果,同时在文本到SQL数据集Spider上表现出色。该模型的实施将在http://fburl.com/TaBERT上提供。
2020-05-17 cs.CL cs.LG
Robustification of Multilingual Language Models to Real-world Noise in Crosslingual Zero-shot Settings with Robust Contrastive Pretraining
University of Edinburgh(爱丁堡大学);WS AI Labs(WS人工智能实验室);New York University(纽约大学)
神经建模的进步已经在公共自然语言处理(NLP)基准测试中取得了最先进的(SOTA)结果,有时甚至超过了人类的表现。然而,在公共基准测试和真实世界的应用程序之间存在着差距,在真实世界的应用程序中,噪音(如排版或语法错误)非常丰富,可能导致性能下降。不幸的是,评估神经模型对噪声数据的鲁棒性并提出改进的工作仅限于英语。在分析不同语言中的噪音时,我们观察到不同语言中的噪音类型差异很大。因此,现有的调查并没有简单地推广到多语言环境。为了对预训练的多语言模型的性能进行基准测试,我们构建了涵盖五种语言和四个NLP任务的噪声数据集,并观察到zero-shot跨语言设置中干净数据和噪声数据之间的性能存在明显差距。在研究了几种提高多语言模型鲁棒性的方法之后,我们提出了鲁棒对比预训练(RCP)。RCP在预训练阶段将数据增强与对比损失项相结合,并在两个重复级别(+3.2%)和两个序列标记(+10 F1分数)的多语言分类任务中对噪声(和原始测试数据)进行了大幅改进。
2023-02-10 cs.AI cs.CL cs.LG
Neural Grammatical Error Correction for Romanian
Computer Science Department University Politehnica of Bucharest(布加勒斯特大学工业大学计算机科学系)
本文首次为罗马尼亚语构建了语法错误纠正语料库,并提出基于预训练的Transformer模型,在低资源环境下有效提升了纠错性能。
2026-04-26 cs.CL cs.LG
Towards A Unified View of Sparse Feed-Forward Network in Pretraining Large Language Model
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Washington, Seattle(华盛顿大学西雅图分校);Meta AI
本研究在稀疏神经记忆框架下分析了S-FFN的设计选择,并提出更简单的Avg-K选择方法,在预训练中比Switch Transformer和HashLayer等现有MoE架构实现了更低的困惑度。
2023-10-24 cs.CL cs.LG
Meta-learning for downstream aware and agnostic pretraining
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能研究院);National Taiwan University(台湾大学)
神经网络预训练由于其在自然语言处理应用中的突出表现而受到关注。然而,预训练通常利用预定义的任务序列来学习一般的语言线索。在预训练过程中缺乏选择适当任务的机制,使得学习和知识编码效率低下。因此,我们建议使用元学习来选择在每一集预训练中提供最多信息的学习信号的任务。通过所提出的方法,我们的目标是在保持性能的同时,为预训练过程和生成的网络实现更好的计算和内存使用效率。在这项初步工作中,我们讨论了该方法的算法及其两个变体,下游感知和下游不可知的预训练。最后,本文也对实验计划进行了总结,并将实验结果与我们今后的工作进行分享.
2021-06-06 cs.AI cs.CL
Improved Hierarchical Patient Classification with Language Model Pretraining over Clinical Notes
Google Health(谷歌健康)
电子健康记录中的临床记录包含高度异质的书写风格,包括非标准术语或缩写。在预测建模中使用这些注释传统上需要预处理(例如,获取频繁术语或主题建模),这会去除源数据的大部分丰富性。我们提出了一个预训练的分层递归神经网络模型,该模型以直观的方式解析最小化处理的临床笔记,并表明与将笔记视为无序术语集合或不进行预训练的模型相比,它提高了重症监护医学信息市场III(MIMIC-III)数据集上出院诊断分类任务的性能。我们还将归因技术应用于示例,以识别模型用于进行预测的单词,并显示单词附近上下文的重要性。
2019-11-15 cs.CL cs.LG stat.ML
Linguistic Knowledge and Transferability of Contextual Representations
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);University of Washington(华盛顿大学)
来自大规模神经语言模型的上下文单词表征在各种NLP任务中都是成功的,这表明它们编码了有用的和可转移的语言特征。为了揭示它们捕获的语言知识,我们研究了几个最近预训练的上下文化器(ELMo的变体,OpenAI Transformer语言模型和BERT)产生的表示,以及一套17个不同的探测任务。我们发现,在冻结的上下文表示之上训练的线性模型在许多情况下与最先进的任务特定模型竞争,但在需要细粒度语言知识的任务上失败(例如,联合识别)。为了研究上下文单词表示的可转移性,我们量化了上下文化器中各个层的可转移性差异,特别是递归神经网络(RNN)和Transformers之间的差异。例如,RNN的更高层更具有任务特定性,而Transformer层不表现出相同的单调趋势。此外,为了更好地理解是什么使上下文单词表示可转移,我们将语言模型预训练与11个监督预训练任务进行了比较。对于任何给定的任务,当预训练数据集固定时,对密切相关的任务进行预训练会产生比语言模型预训练更好的性能(平均而言更好)。然而,在更多数据上进行语言模型预训练会得到最好的结果。
2019-04-25 cs.CL
Unsupervised Pretraining for Fact Verification by Language Model Distillation
University of Cambridge(剑桥大学)
针对事实验证的语义对齐依赖标注数据的问题,提出无监督预训练框架SFAVEL,通过新型对比损失实现高质量主张-证据对齐,在FB15k-237和FEVER数据集上取得SOTA结果。
2024-03-06 cs.CL cs.LG stat.ML
Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining
Tohoku University of Community Service and Science(东北公益文科大学);Kitami Institute of Technology(北见工业大学);Yokohama National University(横滨国立大学)
近年来,通过对大规模多语言文本或语音数据进行自监督预训练而学习的神经模型在资源不足的语言中表现出了良好的效果,特别是当相关语言的数据量相对较大时。虽然该技术有可能促进语言文档项目中执行的任务,例如语音转录,但为每种新语言从头开始预训练多语言模型是非常不切实际的。我们研究了将现有的多语言wav 2 vec 2.0模型用于新语言的可能性,重点关注来自极度濒危语言阿伊努人的实际实地调查数据。具体来说,我们(i)研究利用类似语言的数据进行微调的可行性;(ii)验证模型的性能是否可以通过进一步对目标语言数据进行预训练来提高。我们的研究结果表明,持续的预训练是最有效的方法,以适应一个新的语言wav 2 vec 2.0模型,并导致出错率显着降低。此外,我们发现,如果一个模型预训练相关的语音品种或不相关的语言具有相似的语音特征,多语言微调使用额外的数据,从该语言可以有积极的影响语音识别性能时,有很少的标记数据在目标语言。
2023-01-18 cs.CL cs.LG eess.AS
A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages
IIT Kanpur(印度理工学院坎普尔分校);University of Cambridge(剑桥大学);University of Utah(犹他大学);Tata Consultancy Services(塔塔咨询服务公司);IIT Kharagpur(印度理工学院卡拉格普尔分校)
神经依存句法分析在许多领域和语言中都取得了令人瞩目的性能。大量标记数据的瓶颈限制了这些方法对低资源语言的有效性。在这项工作中,我们专注于依存句法分析的形态丰富的语言(MRL)在低资源设置。虽然形态信息是必不可少的依存句法分析任务,形态消歧和缺乏强大的分析器提出了挑战,以获得这些信息的MRL。为了应对这些挑战,我们提出了简单的辅助任务进行预训练。我们在低资源环境中对10个MRL进行实验,以测量我们提出的预训练方法的有效性,并观察到2点(UAS)和3.6点(LAS)的平均绝对增益。代码和数据可在https://github.com/jivnesh/LCM上获得
2021-04-12 cs.CL
Improving Neural Machine Translation by Denoising Training
The University of Sydney(悉尼大学);Beihang University(北京航空航天大学);JD Explore Academy, JD.com(京东探索研究院)
本文提出了一种简单有效的预训练策略{D},使{T}训练DoT,用于神经机器翻译。具体来说,我们在早期阶段使用源端和目标端去噪任务更新模型参数,然后正常调整模型。值得注意的是,我们的方法不增加任何参数或训练步骤,只需要并行数据。实验表明,DoT在12种双语和16种多语言方向(数据大小从80 K到20 M)上持续提高神经机器翻译性能。此外,我们表明,DoT可以补充现有的数据操作策略,即课程学习,知识蒸馏,数据多样化,双向培训和回译。令人鼓舞的是,我们发现DoT在高资源环境中的性能优于昂贵的预训练模型mBART。分析表明,DoT是一种新的领域内跨语言预训练策略,可以提供进一步的改进与任务相关的自我监督。
2022-01-20 cs.CL
OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research
OpenLanguageModel是开源PyTorch库,用于构建和预训练小语言模型。其模型代码易读,能连接多种组件。通过追踪GPT - 2展示完整路径,含27个预设和文档。验证有高一致性和效率等成果,采用MIT许可,可多途径获取。
2026-07-21 cs.CL cs.LG cs.SE
NTUA-SLP at IEST 2018: Ensemble of Neural Transfer Methods for Implicit Emotion Classification
National Technical University of Athens(雅典国立技术大学);Athens University of Economics and Business(雅典经济与商业大学)
在本文中,我们提出了我们的方法来解决隐式情感共享任务(IEST),该任务是在EMNLP 2018上组织的WASSA 2018的一部分。给定一条推文,其中某个词已被删除,我们被要求预测丢失的词的情绪。在这项工作中,我们实验神经迁移学习(TL)的方法。我们的模型基于LSTM网络,并使用自我注意力机制进行增强。我们使用各种预训练模型的权重来初始化网络的特定层。我们利用大量未标记的Twitter消息,用于预训练word2vec词嵌入和一组不同的语言模型。此外,我们利用一个情感分析数据集的预训练模型,编码情感相关的信息。提交的模型由上述TL模型的集合组成。我们的团队在30名参赛者中排名第三,获得了0.703的F1分数。
2018-09-03 cs.CL
Exploring Unsupervised Pretraining Objectives for Machine Translation
University of Edinburgh(爱丁堡大学);Institute for Language, Cognition and Computation(语言、认知与计算研究所)
无监督跨语言预训练在神经机器翻译(NMT)中取得了很好的效果,大大减少了对大型并行数据的需求。大多数方法通过掩蔽部分输入并在解码器中重构它们,使掩蔽语言建模(MLM)适应序列到序列架构。在这项工作中,我们系统地比较掩蔽与替代目标,产生类似于真实(完整)句子的输入,根据上下文重新排序和替换单词。我们用不同的方法对英语$\leftrightarrow$德语,英语$\leftrightarrow$尼泊尔语和英语$\leftrightarrow$僧伽罗语单语数据进行预训练模型,并在NMT上对其进行评估。在(半)监督NMT中,改变预训练目标会导致微调性能的微小差异,而无监督NMT对此更加敏感。为了理解这些结果,我们使用一系列探针彻底研究了预训练模型,并验证它们以不同的方式编码和使用信息。我们的结论是,对并行数据进行微调对大多数模型共享的一些属性(例如强大的解码器)非常敏感,而非无监督NMT也需要具有强大跨语言能力的模型。
2021-06-10 cs.CL
On the Effective Use of Pretraining for Natural Language Inference
Stanford Linguistics(斯坦福大学语言学系);Stanford Computer Science(斯坦福大学计算机科学系)
神经网络在许多NLP任务中表现出色,但关于预训练的分布式单词表示的性能及其与权重初始化和其他超参数的相互作用仍然存在悬而未决的问题。我们解决这些问题的经验,使用基于注意力的序列到序列模型的自然语言推理(NLI)。具体来说,我们比较了三种类型的嵌入:随机,预训练(GloVe,word2vec)和翻新(预训练加上WordNet信息)。我们表明,预训练的嵌入优于随机和翻新的大型NLI语料库。在更多受控数据集上的进一步实验揭示了改造嵌入可能有用的背景。我们还探索了两种原则性的方法来初始化其余的模型参数,高斯和正交,表明后者在NLI任务中产生高达2.9%的收益。
2017-10-05 cs.CL
Improving Speech Decoding from ECoG with Self-Supervised Pretraining
Institute of Neuroinformatics(神经信息学研究所);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);School of Electrical and Computer Engineering(电气与计算机工程学院);Purdue University(普渡大学)
本文通过将自监督模型wav2vec改造并预训练于无标签ECoG数据,提取潜在表征用于下游语音解码,有效降低了对标注数据的依赖,并在最佳情况下将词错误率降低了50%以上。
2024-05-28 cs.CL cs.LG cs.SD
Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge
Lister Hill National Center for Biomedical Communications(利斯特·希尔国家生物医学交流中心);U.S. National Library of Medicine(美国国家医学图书馆)
在本文中,我们提出了OSCAR(基于本体的语义组合增强正则化),一种方法注入任务无关的知识从本体或知识图谱到神经网络在预训练。我们评估了在使用维基百科文章预训练BERT时包含OSCAR的影响,通过测量两个涉及世界知识和因果推理的问答任务和一个需要领域(医疗保健)知识的问答任务的微调性能,与没有OSCAR的预训练BERT相比,准确率提高了33:3%,18:6%和4%,并在其中两个任务上获得了新的最先进的结果。
2019-10-16 cs.CL
Target-Oriented Pretraining Data Selection via Neuron-Activated Graph
ByteDance(字节跳动);UC Santa Cruz(加州大学圣克鲁兹分校);UNC-Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出基于神经激活图的排名方法,通过选取高影响神经元构建NAG,提升目标导向预训练效果,实验显示在六个基准测试中平均提升4.9%,并在多目标设置中优于基线方法。
2026-04-17 cs.CL
Learning Dynamics of Meta-Learning in Small Model Pretraining
University of Cambridge(剑桥大学)
本文研究元学习在小模型预训练中的作用,将一阶MAML与子集掩码语言模型预训练结合,发现其能加速收敛、提升多语言NER性能,并揭示表征先多样化后压缩的可解释训练动态。
2025-11-07 cs.AI cs.CL
KDSTM: Neural Semi-supervised Topic Modeling with Knowledge Distillation
Amazon Inc.(亚马逊公司);University of Washington(华盛顿大学)
本文提出KDSTM,一种无需预训练嵌入、仅需少量标注的半监督主题建模方法,在资源受限环境下通过知识蒸馏利用无监督洞察,在分类准确率、鲁棒性和效率上超越现有有监督方法并媲美弱监督方法。
2024-02-11 cs.AI cs.CL
Pretraining on Interactions for Learning Grounded Affordance Representations
词汇语义学和认知科学指出启示(即对象支持的动作)对于理解和表示名词和动词至关重要。然而,这些语义特征的研究尚未与目前主导语言表征研究的“基础”模型相结合。我们假设,随着时间的推移,对象状态的预测建模将导致“免费”编码对象启示信息的表示。我们训练一个神经网络来预测模拟交互中对象的轨迹,并表明我们的网络的潜在表示区分了观察到的和未观察到的启示。我们发现,使用来自SPATIAL数据集的3D模拟训练的模型优于在类似任务上训练的传统2D计算机视觉模型,并且在初始检查时,概念之间的差异对应于预期特征(例如,滚动需要旋转)。我们的研究结果表明,现代深度学习方法可以与传统的词汇表征形式语义概念相结合。
2022-07-05 cs.AI cs.CL
Pretraining Language Models with Text-Attributed Heterogeneous Graphs
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
提出一种针对文本属性异构图的LM预训练框架,通过拓扑感知任务和文本增强策略联合优化LM与异构图神经网络,显著提升了链接预测和节点分类性能。
2023-10-23 cs.AI cs.CL
CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search
Tsinghua University(清华大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
基于深度预训练语言模型(LM)的神经排序器已被证明可以改进许多信息检索基准。然而,这些方法受到预训练域和目标域之间的相关性的影响,并且依赖于大量的微调相关性标签。直接将预训练方法应用于特定领域可能会导致次优搜索质量,因为特定领域可能存在领域适应问题,例如COVID领域。本文提出了一个搜索系统,以减轻特殊领域的适应问题。该系统利用领域自适应预训练和少样本学习技术来帮助神经排序器缓解领域差异和标签稀缺问题。此外,我们也整合了稠密检索,以减轻传统稀疏检的词汇不匹配障碍。我们的系统在TREC-COVID任务的第二轮非手动运行中表现最好,该任务旨在从与COVID-19相关的科学文献中检索有用的信息。我们的代码可在https://github.com/thunlp/OpenMatch上公开获取。
2020-11-03 cs.CL cs.IR
BabyVLM: Data-Efficient Pretraining of VLMs Inspired by Infant Learning
Boston University(波士顿大学)
提出 BabyVLM 框架,通过构建领域内评估基准和儿童导向的合成训练数据集,证明在精选数据上训练的紧凑 VLMs 能有效泛化,实现数据高效学习。
2025-10-13 cs.AI cs.CL cs.CV