Fill it up: Exploiting partial dependency annotations in a minimum spanning tree parser
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
依存句法分析的无监督模型通常需要大量干净的、未标记的数据以及黄金标准的词性标记。添加间接监督(例如语言共性和规则)可以有所帮助,但我们表明,获得少量的直接监督-在这里,部分依赖注释-提供了一个强大的零和完全监督之间的平衡。我们适应无监督的ConvexMST依赖解析器学习部分依赖表示的图形片段语言。与不到24小时的总注释,我们获得了7%和17%的绝对改善,在未标记的依赖分数为英语和西班牙语,分别相比,相同的解析器,只使用通用语法约束。
2016-11-26 cs.CL
Improving and Simplifying Pattern Exploiting Training
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
最近,预训练的语言模型(LM)在对SuperGLUE等困难的基准进行微调时取得了很好的性能。然而,当可用于微调的标记示例非常少时,性能可能会受到影响。模式利用训练(Pattern Exploiting Training,PET)是一种利用模式进行少样本学习的最新方法。然而,PET使用特定于任务的未标记数据。在本文中,我们专注于没有任何未标记数据的少样本学习,并引入ADAPET,它修改了PET的目标,以在微调期间提供更密集的监督。因此,ADAPET在SuperGLUE上的性能优于PET,而无需任何特定于任务的未标记数据。我们的代码可以在https://github.com/rrmenon10/ADAPET上找到。
2021-09-28 cs.AI cs.CL cs.LG
A Computational Analysis of Natural Languages to Build a Sentence Structure Aware Artificial Neural Network
自然语言是结构复杂的实体。它们表现出特征性的特征,可以被利用来将它们彼此联系起来。在这项工作中,我比较两个形态方面的语言:书面模式和句子结构。我展示了语言如何自发地在两种分析中通过相似性分组,并得出平均语言距离。最后,利用句子结构,我开发了一个能够区分语言的人工神经网络,这表明不仅词根,而且语法句子结构也是一个特征,仅凭这些特征就足以识别它们。
2019-06-13 cs.CL
Towards End-to-End Spoken Grammatical Error Correction
ALTA Institute, Department of Engineering, University of Cambridge, UK
本文提出利用Whisper基础模型实现端到端口语语法纠错,替代传统级联ASR、不流利去除和GEC流程,实验表明端到端方法可行,但不流利去除优于级联,而数据不足限制整体性能。
2024-07-19 cs.CL cs.LG eess.AS
Beyond English: Evaluating LLMs for Arabic Grammatical Error Correction
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
该研究评估指令微调LLMs在阿拉伯语语法错误纠正任务中的表现,提出利用合成数据的方法,刷新了阿拉伯语GEC的SOTA,同时指出指令微调模型仍逊于更小的完全微调模型。
2023-12-13 cs.AI cs.CL
Domain-Adaptive Text Classification with Structured Knowledge from Unlabeled Data
Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校);Sun Yat-sen University(中山大学)
领域自适应文本分类对于大规模预训练语言模型来说是一个具有挑战性的问题,因为它们通常需要昂贵的额外标记数据来适应新的领域。现有的作品通常无法利用跨域词之间的隐含关系。在本文中,我们提出了一种新的方法,称为领域自适应与结构化知识(DASK),提高领域自适应,利用词级语义关系。DASK首先构建一个知识图谱,以捕获目标领域中的枢轴术语(领域独立词)和非枢轴术语之间的关系。然后在训练过程中,DASK将相关的知识图谱信息注入到源领域文本中。对于下游任务,这些知识注入的文本被馈送到能够处理知识注入的文本数据的BERT变体中。由于知识注入,我们的模型根据非枢轴与枢轴的关系学习非枢轴的域不变特征。DASK通过在使用伪标签进行训练期间通过候选枢轴的极性得分动态推断来确保枢轴具有域不变行为。我们在广泛的跨域情感分类任务上验证了DASK,并观察到20个不同域对的绝对性能比基线提高了高达2.9%。代码将在https://github.com/hikaru-nara/DASK上提供。
2022-06-20 cs.CL
Exploring Semi-supervised Variational Autoencoders for Biomedical Relation Extraction
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国家医学图书馆国家生物技术信息中心);Dalian University of Technology(大连理工大学)
生物医学文献提供了丰富的知识来源,如蛋白质-蛋白质相互作用(PPI),药物-药物相互作用(DDI)和化学-蛋白质相互作用(CPI)。生物医学关系抽取的目的是从生物医学文本中自动抽取生物医学关系,以供各种生物医学研究使用。用于生物医学关系抽取的现有技术方法主要基于监督机器学习,因此依赖于(足够的)标记数据。然而,创建大的训练数据集是非常昂贵和劳动密集型的,尤其是在生物医学中,因为需要领域知识。相比之下,PubMed中有大量未标记的生物医学文本。因此,能够采用未标记的数据,以减少人工注释的负担的计算方法是特别感兴趣的生物医学关系抽取。提出了一种基于变分自编码器(VAE)的半监督生物医学关系抽取方法。我们的模型包括以下三个部分,分类器,编码器和解码器。分类器使用多层卷积神经网络(CNN)实现,编码器和解码器分别使用双向长短期记忆网络(Bi-LSTM)和CNN实现。半监督机制允许我们的模型从标记和未标记数据中学习特征。我们评估我们的方法在多个公共PPI,DDI和CPI语料库。实验结果表明,该方法有效地利用了未标记数据,提高了性能,减少了对标记数据的依赖。据我们所知,这是第一个基于半监督VAE的(生物医学)关系抽取方法。我们的研究结果表明,利用这些未标记的数据可以大大有利于提高各种生物医学关系抽取的性能。
2019-01-18 cs.CL
End-to-End Spoken Grammatical Error Correction
本研究提出端到端口语语法纠错框架,利用伪标签扩充数据、上下文信息及新颖参考对齐与置信度估计,显著提升性能。
2026-10-14 cs.CL cs.LG cs.SD
Multi-Task Self-Supervised Learning for Disfluency Detection
Harbin Institute of Technology(哈尔滨工业大学);University of Oxford(牛津大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
大多数现有的不流利表达检测方法严重依赖于人类注释的数据,这在实践中是昂贵的。为了解决训练数据瓶颈,我们研究了用于组合多个自监督任务的方法,即,受监督的任务,其中可以收集数据而无需手动标记。首先,我们通过随机添加或删除未标记的新闻数据中的单词来构建大规模的伪训练数据,并提出了两个自监督的预训练任务:(i)标记任务,以检测添加的噪声单词。(ii)句子分类,以区分原始句子和语法错误的句子。然后,我们将这两项任务结合起来,共同训练一个网络。然后使用人工注释的不流利检测训练数据来微调预训练的网络。在常用的英语Switchboard测试集上的实验结果表明,与以前的系统(使用完整数据集进行训练)相比,我们的方法可以通过使用不到1%(1000句)的训练数据来实现具有竞争力的性能。我们在完整数据集上训练的方法明显优于以前的方法,在英语交换机上减少了21%的错误。
2020-04-09 cs.CL
Adversarial Lens: Exploiting Attention Layers to Generate Adversarial Examples for Evaluation
Emory University(埃默里大学)
本文提出通过注意力层生成对抗性示例,用于评估大型语言模型的鲁棒性,发现其在保持语义相似性的同时可降低评估性能,但也存在语法退化问题。
2025-12-29 cs.AI cs.CL cs.LG
Conditional Semi-Supervised Data Augmentation for Spam Message Detection with Low Resource Data
National Kaohsiung University of Science and Technology(高雄科技大学)
针对低资源垃圾短信检测中标注数据不足的问题,提出CSSDA框架,利用条件生成网络从未标注数据构造潜变量以增强训练,并在实验中取得约85%的平衡准确率。
2024-07-06 cs.AI cs.CL
Perceived and Intended Sarcasm Detection with Graph Attention Networks
现有的讽刺检测系统集中利用语言标记,上下文,或用户级的先验知识。然而,社会研究表明,作者和观众之间的关系可以同样相关的讽刺的使用和解释。在这项工作中,我们提出了一个框架,共同利用(1)用户上下文从他们的历史推文与(2)从用户的会话邻居在交互图的社会信息,上下文的解释后。我们使用图形注意力网络(GAT)在用户和推文的会话线程,结合密集的用户历史表示。除了在最近发布的19k Twitter用户数据集上获得最先进的结果外,还添加了10M未标记的推文作为上下文,我们的研究结果表明,该模型有助于解释作者的讽刺意图,而不是预测他人的讽刺感知。
2021-10-08 cs.CL
A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Embedding
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);Educational Testing Service Research(教育考试服务中心研究院)
双向长短期记忆循环神经网络(BLSTM-RNN)已被证明是非常有效的建模和预测序列数据,例如语音话语或手写文档。在这项研究中,我们建议使用BLSTM-RNN的统一标记解决方案,可应用于各种标记任务,包括词性标记,组块和命名实体识别。我们的解决方案并没有针对每项任务仔细优化特定的特征,而是只使用一组与任务无关的特征和从所有任务的未标记文本中学习到的内部表示。我们的方法不需要特定于任务的知识或复杂的特征工程,在所有这三个标记任务中,我们的方法都获得了接近最先进的性能。
2015-11-01 cs.CL
Exploiting All Samples in Low-Resource Sentence Classification: Early Stopping and Initialization Parameters
Gwangju Institute of Science and Technology (GIST)(光州科学技术院)
针对低资源句子分类问题,提出一种集成训练策略,通过权重平均初始化和非验证停止方法充分利用少量标注样本,显著提升准确率并适配多种先进模型。
2024-07-25 cs.CL
CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models
National Taiwan University(台湾大学)
自监督学习(SSL)是一种从未标记数据中学习表示的强大技术。基于Transformer的模型,如HuBERT,由特征提取器和Transformer层组成,在语音领域处于领先地位。SSL模型在广泛的下游任务上进行了微调,这涉及到为每个任务重新训练大部分模型。以前的研究已经引入了应用适配器,这是自然语言处理(NLP)中常用的小型轻量级模块,用于使预训练模型适应新任务。然而,这种高效的调谐技术仅在Transformer层提供自适应,而未能在特征提取器处执行自适应。在本文中,我们提出了CHAPTER,一个有效的调整方法,专门为SSL语音模型设计,通过在特征提取器应用CNN适配器。使用这种方法,与完全微调相比,我们只能微调每个任务不到5%的参数,并实现更好,更稳定的性能。我们经验性地发现,将CNN适配器添加到特征提取器可以帮助情感和说话人任务的适应。例如,SID的准确度从87.71提高到91.56,ER的准确度提高了5%。
2023-01-20 cs.CL cs.LG cs.SD
Natural Language Processing (almost) from Scratch
NEC Labs America(NEC美国研究院);Google(谷歌)
我们提出了一个统一的神经网络架构和学习算法,可应用于各种自然语言处理任务,包括:词性标注,组块,命名实体识别,和语义角色标注。这种多功能性是通过试图避免特定于任务的工程,从而忽视了大量的先验知识来实现的。我们的系统不是利用为每个任务仔细优化的人造输入特征,而是基于大量的大部分未标记的训练数据来学习内部表示。这项工作,然后作为一个基础,建立一个免费的标记系统具有良好的性能和最小的计算要求。
2011-03-02 cs.CL cs.LG
FULL-W2V: Fully Exploiting Data Reuse for W2V on GPU-Accelerated Systems
Clemson University(克莱姆森大学)
针对Word2Vec在GPU上内存访问瓶颈导致性能受限的问题,提出FULL-W2V算法,通过数据复用、寄存器与共享内存缓存等减少全局内存访问,在V100上以相同嵌入质量实现5.72倍于现有最优GPU方案的性能提升。
2023-12-12 cs.CL cs.DC cs.LG