Robust Transfer Learning with Pretrained Language Models through Adapters
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
使用像BERT这样的大型预训练的基于transformer的语言模型进行迁移学习已经成为大多数NLP任务的主要方法。简单地在下游任务上微调这些大语言模型或将其与特定于任务的预训练相结合通常并不健壮。特别地,性能随着随机种子的变化或预训练和/或微调迭代的数量的变化而显著变化,并且微调的模型容易受到对抗攻击。我们提出了一种简单而有效的基于适配器的方法来缓解这些问题。具体来说,我们插入小瓶颈层(即,适配器),然后固定预训练层并在下游任务数据上训练适配器层,其中(1)任务特定的无监督预训练,然后(2)任务特定的监督训练(例如,分类、序列标记)。我们的实验表明,这样的训练方案导致改善的稳定性和对抗鲁棒性的迁移学习到各种下游任务。
2021-08-05 cs.CL
Self-Supervised Alignment with Mutual Information: Learning to Follow Principles without Preference Labels
Stanford University(斯坦福大学)
本研究提出无需偏好标签的自监督对齐算法SAMI,通过提升章程与自生成响应的条件互信息微调预训练语言模型,在多任务中优于基线模型,且可利用弱模型撰写的准则对齐强模型,具备泛化与缩放能力。
2024-05-21 cs.CL
TABBIE: Pretrained Representations of Tabular Data
Sony Corporation(索尼公司);UMass Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(Adobe研究院)
表格表示学习的现有工作使用从预训练的语言模型(如BERT)导出的自监督目标函数对表格和相关文本进行联合建模。虽然这种联合预训练改进了涉及配对表格和文本的任务(例如,回答关于表格的问题),我们表明它在没有任何关联文本的表格上操作的任务上表现不佳(例如,填充缺失的单元格)。我们设计了一个简单的预训练目标(损坏的细胞检测),它只从表格数据中学习,并在一套基于表格的预测任务上达到最先进的水平。与竞争方法不同,我们的模型(TABBIE)提供了所有表子结构(单元格、行和列)的嵌入,并且它需要的计算量也少得多的训练。我们的模型的学习单元格,列和行表示的定性分析表明,它理解复杂的表语义和数值趋势。
2021-05-06 cs.CL
LP-SFT: Keeping Plausible Alternatives Alive in Supervised Fine-Tuning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
研究监督微调中存在的问题,利用香农和雷尼熵分析揭示预训练模型的多模态熵结构,提出LP-SFT目标,在多领域实验中提升性能,平衡准确率和k准确率。
2026-10-06 cs.CL cs.LG
InPars: Data Augmentation for Information Retrieval using Large Language Models
Zeta Alpha(泽塔阿尔法);NeuralMind(神经思维);University of Campinas(坎皮纳斯大学);University of Waterloo(滑铁卢大学)
信息检索社区最近见证了一场革命,由于大型预训练的Transformer模型。这场革命的另一个关键因素是MS MARCO数据集,其规模和多样性使zero-shot迁移学习能够应用于各种任务。然而,并不是所有的IR任务和领域都可以从一个单一的数据集中平等地受益。对各种NLP任务的广泛研究表明,使用特定领域的训练数据,而不是通用的,可以提高神经模型的性能。在这项工作中,我们利用大型预训练语言模型的Few-Shot功能作为IR任务的合成数据生成器。我们表明,仅在我们的无监督数据集上进行微调的模型优于BM 25等强基线以及最近提出的自监督稠密检索方法。此外,在监督和我们的合成数据上进行微调的检索器比仅在监督数据上进行微调的模型实现了更好的zero-shot传输。代码、模型和数据可在https://github.com/zetaalphavector/inpars上获得。
2022-02-10 cs.CL
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy(蒂鲁吉拉伯利国立理工学院)
基于transformer的预训练语言模型(PLM)开创了现代自然语言处理(NLP)的新纪元。这些模型结合了Transformers、迁移学习和自监督学习(SSL)的强大功能。随着这些模型在一般领域的成功,生物医学研究界开发了各种领域内的PLM,从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文,可以对各种基于transformer的生物医学预训练语言模型(BPLM)进行全面调查。在本调查中,我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念,如预训练方法,预训练任务,微调方法,以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类,然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后,我们强调了一些开放的问题,这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
Bengali Fake Review Detection using Semi-supervised Generative Adversarial Networks
本文提出一种半监督GAN-LM架构,通过微调预训练语言模型在少量标注数据下检测孟加拉语虚假评论,实验证明其在6014条数据集上准确率达83.59%,显著优于现有模型。
2023-04-05 cs.AI cs.CL cs.LG
CERT: Contrastive Self-supervised Learning for Language Understanding
UC San Diego(加州大学圣迭戈分校);VMware(威睿公司)
预训练的语言模型如BERT、GPT在语言理解中表现出很好的效果。现有的预训练方法中的辅助预测任务大多定义在令牌上,因此可能无法很好地捕获事件级语义。为了解决这个问题,我们提出了CERT:来自Transformers的对比自监督编码器表示,它使用句子级别的对比自监督学习来预训练语言表示模型。CERT使用回译创建原始句子的扩充。然后,它微调预训练的语言编码器(例如,BERT)通过预测两个增强的句子是否源自同一个句子。CERT使用简单,可以灵活地插入任何预训练-微调NLP管道。我们在GLUE基准测试中对CERT在11个自然语言理解任务上进行了评估,其中CERT在7个任务上优于BERT,在2个任务上达到了与BERT相同的性能,在2个任务上表现不如BERT。在11个任务的平均得分上,CERT优于BERT。数据和代码可在https://github.com/UCSD-AI4H/CERT上获得
2020-06-18 cs.CL cs.LG stat.ML
FAAST: Forward-Only Associative Learning via Closed-Form Fast Weights for Test-Time Supervised Adaptation
Zhejiang University(浙江大学);Westlake University(西湖大学);Tsinghua University(清华大学);Shanghai Polytechnic University(上海理工大学)
FAAST通过单次传递将标注示例分析性编译为快速权重,实现常数时间推理,减少适应时间90%并节省内存使用,适用于资源受限模型的高效监督任务适应。
2026-05-08 cs.CL cs.LG
PatternRank: Leveraging Pretrained Language Models and Part of Speech for Unsupervised Keyphrase Extraction
Technical University of Munich(慕尼黑工业大学)
关键词提取是从给定文本中自动选择一小组最相关短语的过程。有监督的关键短语提取方法需要大量标记的训练数据,并且在训练数据的域之外表现不佳。在本文中,我们提出了PatternRank,它利用预训练的语言模型和词性,从单个文档中进行无监督的关键短语提取。我们的实验表明,PatternRank实现了更高的精度,召回率和F1分数比以前的国家的最先进的方法。此外,我们提出了KeyphraseVectorizers包,它允许容易修改的部分语音模式的候选关键词选择,因此适应我们的方法到任何领域。
2022-10-12 cs.AI cs.CL
Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University(首尔国立大学)
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设,即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器,正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式,然后以不同的方式嵌入它们的词嵌入:一个使用随机,另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测,同时遵循自训练框架。我们还使用早期停止元时期,以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架,显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution
Virginia Tech(弗吉尼亚理工大学);Amazon(亚马逊公司);Meta;MBZUAI(穆罕默德·本·扎耶德人工智能大学);Dartmouth College(达特茅斯学院)
该研究针对长尾分布下SFT中尾部概念先验障碍较高的问题,提出自适应指令选择方法PASS,在有限预算下提升了SFT性能,优于七种现有方法。
2026-10-09 cs.AI cs.CL cs.LG
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型,例如wav 2 vec 2.0和HuBERT,已经对自动语音识别(ASR)的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显,当使用可用的标记数据进行微调时。然而,微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中,我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练(CoPT)。CoPT比半监督训练(SST)更有效,半监督训练是在ASR中利用未标记数据的标准方法,因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率(WERs)的结果,等于或略优于使用SST。此外,我们表明,使用CoPT模型的伪标签,并使用这些标签在SST中,结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
Automatic Rule Induction for Interpretable Semi-Supervised Learning
Microsoft(微软)
半监督学习在允许NLP模型从少量标记数据中概括方面表现出了希望。同时,预训练的Transformer模型充当了黑盒关联引擎,难以解释,有时行为不可靠。在本文中,我们提出通过自动规则归纳(ARI)来解决这两个挑战,ARI是一个简单而通用的框架,用于自动发现符号规则并将其集成到预训练的Transformer模型中。首先,我们从在少量标记数据上训练的低容量机器学习模型中提取弱符号规则。接下来,我们使用注意力机制将这些规则集成到高容量的预训练Transformer模型中。最后,规则增强系统成为自训练框架的一部分,以增强对未标记数据的监督信号。这些步骤可以在各种现有的弱监督和半监督NLP算法下分层,以提高性能和可解释性。九个序列分类和关系抽取任务的实验表明,ARI可以改善国家的最先进的方法,没有手动工作和最小的计算开销。
2022-10-14 cs.CL
Pretrained self-supervised speech models can recognize unseen consonants
University of Notre Dame(圣母大学);University at Buffalo(纽约州立大学布法罗分校);Tokyo University of Foreign Studies(东京外国语大学);Reitaku University(丽泽大学);Boston College(波士顿学院)
研究预训练自监督语音模型(Wav2Vec2、HuBERT)对Khoisan语言中罕见吸气辅音的识别能力,发现模型对吸气辅音的识别准确率高于非吸气辅音,表明自监督学习能泛化到稀有音素。
2026-10-09 cs.AI cs.CL
Sentence Embeddings using Supervised Contrastive Learning
Princeton University(普林斯顿大学)
句子嵌入将句子编码在固定的密集向量中,并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习(如Quick-Thoughts)和监督学习(如Infersent)。随着预训练的NLP模型的成功,最近的研究表明,在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入,在各种评估基准上优于以前的句子嵌入方法。在本文中,我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说,我们的方法在SNLI数据上微调预训练的BERT,同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比,我们的监督对比方法在语义文本相似性(STS)基准测试中平均提高了2.8%,在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Investigation of Ensemble features of Self-Supervised Pretrained Models for Automatic Speech Recognition
IIT Madras(印度理工学院马德拉斯分校)
基于自监督学习(SSL)的模型已被证明可以生成强大的表示,其可以用于提高下游语音任务的性能。有几种最先进的SSL模型可用,并且这些模型中的每一个都优化了不同的损耗,这使得它们的功能可以互补。本文建议使用这样的SSL表示和模型的集成,它利用了各种预训练模型提取的特征的互补性。我们假设这会导致更丰富的特征表示,并显示ASR下游任务的结果。为此,我们使用了三种SSL模型,它们在ASR任务上表现出了出色的结果,即HuBERT,Wav2vec2.0和WaveLM。我们探索了为ASR任务微调的模型集合,以及使用从下游ASR任务的预训练模型中获得的嵌入的特征集合。我们使用Librispeech(100h)和WSJ数据集进行下游任务,从而提高了单个模型和预训练特征的性能。
2022-06-11 cs.CL eess.AS
An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);Yahoo Japan Corporation(雅虎日本公司);Northwestern Polytechnical University(西北工业大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Academia Sinica(中央研究院);Johns Hopkins University(约翰斯·霍普金斯大学);National Taiwan University(国立台湾大学)
语音数据的自监督预训练已经取得了很大的进展。从大量的非转录数据中学习到语音信号的高保真表示,并显示出良好的性能。最近,有几项工作专注于评估各种任务的自监督预训练表示的质量,而没有域限制,例如SUPERB。然而,这样的评价并没有提供一个全面的比较,许多ASR基准语料库。在本文中,我们重点关注预训练语音表示的一般应用,以及高级端到端自动语音识别(E2 E-ASR)模型。我们选择了几个预训练的语音表示,并在各种开源和公开可用的语料库上为E2 E-ASR提供实验结果。在不对后端模型架构或训练策略进行任何修改的情况下,一些使用预训练表示的实验,例如,WSJ、WSJ 0 - 2与HuBERT的混合,达到或超过当前最先进的(SOTA)识别性能。此外,我们还进一步探索了预训练表示是否有效的更多场景,例如跨语言或重叠语音。脚本,配置和训练模型已经在ESPnet中发布,让社区重现我们的实验并改进它们。
2021-10-09 cs.CL cs.SD eess.AS
ConEntail: An Entailment-based Framework for Universal Zero and Few Shot Classification with Supervised Contrastive Pretraining
Penn State University(宾夕法尼亚州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通用分类模型旨在推广到零和Few Shot设置中的不同分类任务。一种有希望的通用分类方法是将异构数据格式转换为与数据集无关的"元任务"(例如,文本蕴涵、问答),然后在组合的元数据集上预训练模型。现有的工作要么是对特定的分类任务子集进行预训练,要么是对分类和生成数据进行预训练,但模型在通用性和可靠性方面无法发挥其潜力。这也留下了大量未被利用的注释数据。为了填补这些空白,我们提出了ConEntail,一个新的框架,用于通用零和Few Shot分类,并进行监督对比预训练。我们的统一分类元任务是基于嵌套蕴涵。它可以被解释为"句子a是否包含[句子b包含标签c]"。这个公式使我们能够更好地利用57个带注释的分类数据集进行监督对比预训练和通用评估。通过这种方式,ConEntail帮助模型(1)从不同的数据集中吸收知识,(2)通过更多的预训练数据获得一致的性能增益。在实验中,我们将我们的模型与在相同数据集上预训练的判别模型和生成模型进行了比较。结果证实,我们的框架有效地利用了现有的注释数据,并在零(平均改善9.4%)和Few Shot设置(平均改善3.5%)中始终优于基线。
2023-02-11 cs.CL
PriFT: Guiding Supervised Fine-Tuning with Pretrained Priors
EPFL(瑞士联邦理工学院洛桑分校)
提出PriFT方法,利用冻结的预训练模型计算token权重,避免在线模型导致的自我强化动态,在数学推理、代码生成和医疗问答任务中取得SFT最优结果,并为后续RL提供更好初始化。
2026-10-27 cs.CL cs.LG
Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
传统的NLP长期以来一直认为(监督)句法分析是成功的高级语义语言理解(LU)所必需的。然而,最近出现的端到端神经模型,通过语言建模(LM)进行自我监督,以及它们在广泛的LU任务上的成功,质疑了这种信念。在这项工作中,我们实证研究的有用性监督解析语义LU的LM预训练的Transformer网络的背景下。依靠已建立的微调范例,我们首先耦合一个预训练的Transformer与biaffine解析头,旨在注入显式的语法知识,从通用的语法树库到Transformer。然后,我们微调LU任务的模型,并测量中间解析训练(IPT)对下游LU任务性能的影响。单语英语和zero-shot语言迁移实验(中间目标语言解析)的结果表明,明确的形式化语法,通过IPT注入到Transformers,下游LU性能的影响非常有限和不一致。我们的研究结果,再加上我们的分析Transformers的表示空间之前和之后的中间解析,使一个重要的一步,提供答案的一个基本问题:如何(联合国)availing是监督解析高层次的语义自然语言理解在时代的大型神经模型?
2021-04-28 cs.CL
WhisTLE: Deeply Supervised, Text-Only Domain Adaptation for Small Pretrained Speech Recognition Transformers
comcast Speech AI(comcast语音人工智能)
提出WhisTLE,一种通过变分自编码器建模文本到编码器输出并微调解码器的文本领域自适应方法,显著降低词错误率。
2026-09-09 cs.CL cs.LG
Leveraging Multilingual Self-Supervised Pretrained Models for Sequence-to-Sequence End-to-End Spoken Language Understanding
University of Stuttgart(斯图加特大学)
本文提出一种整合多语言预训练语音和文本模型的统一方法,以生成方式在四种语言的六个数据集上执行端到端口语语言理解,通过7000小时多语言数据预训练,在多个数据集上超越最先进水平,并在PortMEDIA-Language数据集上显著提升性能。
2023-10-09 cs.CL cs.SD eess.AS
DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders
Microsoft Corporation(微软公司)
虽然预训练编码器在各种自然语言理解(NLU)任务中取得了成功,但这些预训练编码器和自然语言生成(NLG)之间存在差距。NLG任务通常基于编码器-解码器框架,其中预训练的编码器只能受益于其中的一部分。为了缩小这一差距,我们引入了DeltaLM,一种预训练的多语言编码器-解码器模型,将解码器视为现成的预训练编码器的任务层。具体来说,我们用解码器增强预训练的多语言编码器,并以自我监督的方式对其进行预训练。为了充分利用大规模单语数据和双语数据,我们采用跨度腐败和翻译跨度腐败作为预训练任务。实验表明,DeltaLM在自然语言生成和翻译任务(包括机器翻译、抽象文本摘要、数据到文本和问题生成)上的表现优于各种强基线。代码和预训练模型可在\url{https://aka.ms/deltalm}上获得。
2021-08-18 cs.CL
Self-Supervised Representation Learning for Online Handwriting Text Classification
University of Tehran(德黑兰大学)
本研究提出笔画掩蔽(POSM)自监督前置任务,预训练模型提取英汉在线手写表示,微调后在作者识别、性别和利手分类上取得最先进结果。
2023-10-10 cs.CL cs.LG
End-to-end spoken language understanding using joint CTC loss and self-supervised, pretrained acoustic encoders
Amazon Alexa AI(亚马逊Alexa人工智能部门)
提出以 CTC 微调的自监督声学编码器提取文本嵌入,并用 CTC 与 SLU 联合损失训练端到端 SLU 模型,在 DSTC2 和 SLURP 上分别超过 SOTA 4% 和 1.3%。
2023-06-02 cs.CL cs.SD eess.AS
ViT5: Pretrained Text-to-Text Transformer for Vietnamese Language Generation
VietAI Research(VietAI研究院);Case Western Reserve University(凯斯西储大学);New York University(纽约大学)
我们提出了ViT 5,这是一个用于越南语的预训练的基于transformer的编码器-解码器模型。通过T5风格的自我监督预训练,ViT 5在大量高质量和多样化的越南语文本语料库上进行训练。我们在两个下游文本生成任务上对ViT 5进行基准测试,抽象文本摘要和命名实体识别。尽管由于其丰富而庞大的数据源,摘要文本摘要在英语中得到了广泛的研究,但在越南语中,对同样的任务的研究却很少,越南语是一种低得多的资源语言。在这项工作中,我们对越南语抽象摘要和命名实体识别进行了详尽的实验,验证了ViT 5对许多其他预训练的基于transformer的编码器-解码器模型的性能。我们的实验表明,ViT 5显着优于现有的模型,并实现了最先进的越南语文本摘要的结果。在命名实体识别的任务中,ViT 5与先前基于预训练编码器的Transformer模型的最佳结果相比具有竞争力。进一步的分析表明,在不同设置的下游性能的自我监督预训练过程中,上下文长度的重要性。
2022-05-26 cs.AI cs.CL
Adaptive multilingual speech recognition with pretrained models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
多语言语音识别与监督学习取得了很大的成绩,反映在最近的研究。随着音频和文本数据预训练方法的发展,必须从无监督的多语言模型中转移知识以促进识别,特别是在许多数据有限的语言中。我们的工作研究了使用两种预训练模型的有效性:wav2vec 2.0用于音频,MBART50用于文本,以及自适应权重技术,以大规模提高包含CommonVoice和Europarl的公共数据集的识别质量。总的来说,我们注意到比纯粹的监督学习提高了44%,更重要的是,每种技术在不同的语言中提供了不同的强化。我们还探索了其他可能性,通过稍微增加深度或对架构的相对关注来获得最佳模型。
2022-05-24 cs.CL cs.SD eess.AS
Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model
Tencent Cloud Xiaowei(腾讯云小微);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,自我监督预训练在端到端(E2 E)自动语音识别(ASR)中取得了令人印象深刻的结果。然而,占主导地位的序列到序列(S2 S)E2 E模型仍然难以充分利用自监督预训练方法,因为其解码器以声学表示为条件,因此无法单独进行预训练。在本文中,我们提出了一个预训练的Transformer(Preformer)S2 S ASR架构的基础上混合CTC/注意力E2 E模型,充分利用预训练的声学模型(AM)和语言模型(LM)。在我们的框架中,编码器使用预训练的AM(wav2vec2.0)初始化。Preformer利用CTC作为训练和推理期间的辅助任务。此外,我们设计了一个单交叉解码器(OCD),它放松了对声学表示的依赖,以便可以使用预训练的LM(DistilGPT 2)进行初始化。在AISHELL-1语料库上进行了实验,并在测试集上获得了$4.6\%$字符错误率(CER)。与我们的香草混合CTC/注意力Transformer基线相比,我们提出的CTC/注意力为基础的预生成器产生$27\%$相对CER减少。据我们所知,这是第一个在S2 S ASR系统中利用预训练的AM和LM的工作。
2021-12-14 cs.CL cs.SD eess.AS
KDSTM: Neural Semi-supervised Topic Modeling with Knowledge Distillation
Amazon Inc.(亚马逊公司);University of Washington(华盛顿大学)
本文提出KDSTM,一种无需预训练嵌入、仅需少量标注的半监督主题建模方法,在资源受限环境下通过知识蒸馏利用无监督洞察,在分类准确率、鲁棒性和效率上超越现有有监督方法并媲美弱监督方法。
2024-02-11 cs.AI cs.CL
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley(加州大学伯克利分校);Salesforce AI Research(Salesforce AI研究)
本文提出理论框架,证明监督预训练的Transformer可模仿专家算法条件期望,并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法,首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research(联发科研究院);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
在口语语言理解(SLU)中,一种自然的解决方案是将预训练的语音模型(例如HuBERT)和预训练的语言模型(PLM,例如T5)连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而,输入设备的粒度影响语音模型输出和语言模型输入的对齐,并且具有基于字符的标记化的PLM未被充分探索。在这项工作中,我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务,包括口语问答(SQA)和语音翻译(ST)。我们进一步扩展了这个想法,创建了T5lephone(发音为电话),这是T5的一个变体,使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone,使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平,T5lephone型号超过了T5,在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
Understand customer reviews with less data and in short time: pretrained language representation and active learning
GMF Assurances(GMF保险公司)
在本文中,我们解决客户评论理解问题,通过使用监督机器学习方法,以实现一个全自动的审查方面的分类和情感分析。通常,这种监督学习算法需要特定领域的专家知识来生成高质量的标记训练数据,并且标记的成本可能非常高。为了实现一个生产中的客户评论机器学习支持的分析工具,只有有限的数据量和合理的训练数据收集时间,我们建议使用预先训练的语言表示来提高模型性能和主动学习框架来加速迭代训练过程。结果表明,通过这两个组件的集成,可以更快地实现全自动的评论分析。
2019-10-29 cs.CL cs.LG stat.ML
Probing for Phonology in Self-Supervised Speech Representations: A Case Study on Accent Perception
Department of Linguistics, University of Florida(语言学系,佛罗里达大学);Department of English Language and Linguistics, Heinrich Heine University Düsseldorf(英语语言与语言学系,海因里希-海涅大学杜塞尔多夫)
本研究通过探测自监督语音表示中的音系特征,发现口音强度可由特定特征子集预测,验证了SSL模型在口音感知建模中的价值。
2025-06-21 cs.CL cs.SD eess.AS
Commonsense Knowledge Mining from Pretrained Models
Harvard University(哈佛大学)
推断常识知识是自然语言处理中的一个关键挑战,但由于训练数据的稀疏性,先前的工作表明,用于常识知识挖掘的监督方法在对新数据进行评估时表现不佳。在这项工作中,我们开发了一种方法,使用一个大的,预先训练的双向语言模型生成常识知识。通过将关系三元组转换为屏蔽句,我们可以使用该模型通过估计两个实体之间的逐点互信息来对三元组的有效性进行排序。由于我们不更新双向模型的权重,因此我们的方法不会因任何一个常识知识库的覆盖而有偏见。虽然这种方法在测试集上的表现比在相应的训练集上显式训练的模型差,但在从新的来源中挖掘常识知识时,它优于这些方法,这表明无监督技术可能比当前的监督方法更好地推广。
2019-09-02 cs.AI cs.CL cs.LG
Phone-to-audio alignment without text: A Semi-supervised Approach
University of Michigan(密歇根大学);Radboud University(拉德堡德大学)
语音对齐在语音研究中有着广泛的应用。在这里,我们介绍了两个基于Wav 2 Vec 2的模型,用于文本相关和文本无关的电话到音频对齐。所提出的Wav 2 Vec 2-FS是一种半监督模型,通过对比学习和前向和损失直接学习语音到音频对齐,并且可以与预训练的语音识别器耦合以实现文本无关的对齐。另一个模型Wav 2 Vec 2-FC是一个在强制对齐标签上训练的帧分类模型,可以执行强制对齐和文本独立分割。评估结果表明,这两种方法,即使transmittance是不可用的,产生高度接近的结果,现有的强制对齐工具。我们的工作提出了一个全自动电话到音频对齐的神经管道。代码和预训练模型可在https://github.com/lingjzhu/charsiu上获得。
2022-02-03 cs.CL cs.SD eess.AS
How Transferable are Attribute Controllers on Pretrained Multilingual Translation Models?
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文以 NLLB-200 为基础,利用基于梯度的推理时属性控制器,将翻译属性控制零样本迁移到无标注语言,并证明其在远距离语言和领域鲁棒性上可补充微调。
2024-01-24 cs.AI cs.CL
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学)
在本文中,我们提出了LaPraDoR,这是一种预训练的双塔密集检索器,不需要任何监督数据进行训练。具体来说,我们首先提出迭代对比学习(ICoL),迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量,而且还将缓存示例的表示保持在相同的隐藏空间中。然后,我们提出了词汇增强的稠密检索(LEDR)作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准,包括18个数据集的9个zero-shot文本检索任务。实验结果表明,与有监督的稠密检索模型相比,LaPraDoR具有最先进的性能,进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比,我们的词汇增强方法可以在毫秒内运行(快22.5倍),同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
Exploring Representation Learning for Small-Footprint Keyword Spotting
Xiaomi(小米)
在本文中,我们研究表示学习的低资源关键字发现(KWS)。KWS的主要挑战是有限的标记数据和有限的可用设备资源。为了解决这些问题,我们通过自监督对比学习和预训练模型的自训练,探索了知识系统的表示学习。首先,局部-全局对比连体网络(LGCSiam)的目的是学习类似的话语级表示类似的音频采样器提出的局部-全局对比损失,而不需要地面真理。其次,应用自监督预训练的Wav 2 Vec 2.0模型作为约束模块(WVC)来强制KWS模型学习帧级声学表示。通过LGCSiam和WVC模块,可以使用未标记的数据对所提出的小足迹KWS模型进行预训练。语音命令数据集上的实验表明,自训练WVC模块和自监督LGCSiam模块显着提高了准确率,尤其是在小标记数据集上训练的情况下。
2023-03-20 cs.CL cs.LG cs.SD
Generative Pretrained Structured Transformers: Unsupervised Syntactic Language Models at Scale
Ant Group(蚂蚁集团);ShanghaiTech University(上海科技大学)
本文提出大规模无监督句法语言模型GPST,通过表示代理和硬EM实现句法建模与组合模型的并行预训练,在语言理解、生成及语法归纳上优于GPT-2和现有无监督SLM,并显著加速训练。
2024-06-17 cs.AI cs.CL
Zero-shot Video Moment Retrieval With Off-the-Shelf Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
对于大多数机器学习社区来说,收集高质量人工注释数据的昂贵性以及无法在有限的计算上有效地微调非常大的最先进的预训练模型是为新任务构建模型的主要瓶颈。我们提出了一个zero-shot简单的方法,这样的任务,视频时刻检索(VMR),不执行任何额外的微调,只是重新使用现成的模型训练其他任务。我们的三步方法包括矩建议,矩查询匹配和后处理,所有这些都只使用现成的模型。在VMR的QVHighlights基准测试中,我们在所有指标上将以前的zero-shot方法的性能提高了至少2.5倍,并将zero-shot和最先进的监督之间的差距缩小了74%以上。此外,我们还表明,我们的zero-shot方法在召回指标上击败了非预训练的监督模型,并且在mAP指标上非常接近;并且在较短的时刻上,它的表现也优于最好的预训练监督模型。最后,我们消融和分析我们的结果,并提出有趣的未来方向。
2022-11-03 cs.CL cs.CV
No Train, all Gain: Self-Supervised Gradients Improve Deep Frozen Representations
University of Amsterdam(阿姆斯特丹大学);QUVA Lab, University of Amsterdam(阿姆斯特丹大学QUVA实验室)
本文提出FUNGI方法,利用自监督梯度增强冻结的Transformer表示,在多种任务上无需训练即可显著提升性能,如语义分割比DINO提高17%。
2024-11-06 cs.CL cs.CV cs.LG
SelfORE: Self-supervised Relational Feature Learning for Open Relation Extraction
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊)
开放关系抽取是从自然语言句子中抽取开放域关系事实的任务。现有的作品要么利用语义学或远程监督注释训练监督分类器在预定义的关系,或采用无监督的方法与额外的假设,有较少的歧视的权力。在这项工作中,我们提出了一个名为SelfORE的自监督框架,该框架通过利用大型预训练的语言模型对上下文关系特征进行自适应聚类来利用弱的自监督信号,并通过改进关系分类中的上下文特征来引导自监督信号。在三个数据集上的实验结果表明,与竞争基线相比,SelfORE在开放域关系抽取上的有效性和鲁棒性。
2020-10-06 cs.AI cs.CL
Combining Contrastive and Non-Contrastive Losses for Fine-Tuning Pretrained Models in Speech Analysis
University of Stuttgart(斯图加特大学)
由于只有几个小时的训练数据可用于诸如情感语音之类的领域,因此嵌入非语言学属性是一项具有挑战性的任务。这个问题的一个解决方案是在大量未标记的语音上预训练一般的自监督语音表示模型。然后,这个预训练的模型被微调到特定的任务。然而,副语言属性具有众所周知的高类方差,使得微调无效。在这项工作中,我们提出了一个两步的方法。首先,我们改进了嵌入空间,然后我们训练适配器来弥合从嵌入空间到分类任务的差距。为了提高类不变性,我们使用对比和非对比损失的组合来显式优化类不变,但有区别的功能。我们的方法始终优于在多个任务上进行端到端微调的基线,并超过了最先进的情绪分类基准。
2022-10-21 cs.AI cs.CL
Fusion of Self-supervised Learned Models for MOS Prediction
Graduate School of Informatics, Kyoto University(京都大学信息研究生院);National Institute of Information and Communications Technology (NICT)(日本信息与通信技术研究所);Kuaishou Technology(快手科技)
我们参加了2022年的平均意见评分(MOS)预测挑战。这个挑战的目的是预测两个轨道上的合成语音的MOS分数,主轨道和一个更具挑战性的子轨道:域外(OOD)。为了提高预测分数的准确性,我们探索了几种模型融合相关的策略,并提出了一个融合框架,其中七个预训练的自监督学习(SSL)模型已经参与。这些预训练的SSL模型来自三个ASR框架,包括Wav2Vec,Hubert和WavLM。对于OOD轨道,我们遵循主轨道上选择的7个SSL模型,并采用半监督学习方法来利用未标记的数据。根据官方分析结果,我们的系统在16个指标中的6个指标中排名第一,并且在16个指标中的13个指标中排名前三。具体来说,我们在主音轨上的系统级LCC、SRCC和KTAU得分最高,在OOD音轨上的话语级LCC、SRCC和KTAU评估指标上的表现最好。与基本SSL模型相比,融合系统的预测精度有了很大的提高,特别是在OOD子航迹上。
2022-04-11 cs.AI cs.CL cs.SD