Improving Dialogue Breakdown Detection with Semi-Supervised Learning
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Google Research(谷歌研究院)
建立用户对对话代理的信任需要流畅一致的对话交流。然而,代理人可以很容易地失去会话上下文,并产生不相关的话语。这些情况被称为对话中断,其中代理话语阻止用户继续对话。建立检测对话中断的系统可以让代理适当地恢复或完全避免中断。在本文中,我们研究了使用半监督学习方法来改进对话故障检测,包括在Reddit数据集上进行持续的预训练和基于流形的数据增强方法。我们证明了这些方法的有效性对话故障检测挑战(DBDC)英语共享任务。我们向2020年DBDC 5提交的共享任务排名第一,超过基线和其他提交的准确率超过12%。在2019年DBDC 4数据的消融中,我们的半监督学习方法将基线BERT模型的性能提高了2\%的准确度。这些方法通常适用于任何对话任务,并提供了一种简单的方法来提高模型的性能。
2023-01-19 cs.CL cs.LG
Improving In-Context Few-Shot Learning via Self-Supervised Training
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta AI
自我监督的预训练使少样本学习成为许多NLP任务的可能。但是预训练目标通常并不特别适用于上下文少样本学习。在本文中,我们建议在预训练和下游Few-Shot使用之间的中间训练阶段使用自我监督,目的是教模型执行上下文内的少样本学习。我们提出了四个自我监督的目标,并评估两个基准。我们发现,中间的自我监督阶段产生的模型,优于强基线。烧蚀研究表明,有几个因素影响下游的性能,如训练数据的数量和自我监督目标的多样性。人类注释的跨任务监督和自我监督是互补的。定性分析表明,自我监督训练的模型更好地遵循任务要求。
2022-06-06 cs.CL
Study of Semi-supervised Approaches to Improving English-Mandarin Code-Switching Speech Recognition
Northwestern Polytechnical University(西北工业大学);Nanyang Technological University(南洋理工大学)
在本文中,我们提出了我们的整体努力,以提高性能的代码切换语音识别系统使用半监督训练方法,从词汇学习声学建模,东南亚普通话-英语(SEAME)的数据。我们首先研究半监督词典学习方法,以适应规范的词典,这是为了减轻严重的口音发音问题内的代码切换会话的本地区域。因此,学习的词典产生改进的性能。此外,我们尝试使用半监督训练来处理人类转录器和ASR系统之间高度不匹配的转录。具体来说,我们进行半监督训练,假设那些转录不好的数据是无监督数据。我们发现半监督声学建模可以导致改进的结果。最后,为了弥补传统n-gram语言模型由于数据稀疏性问题而带来的局限性,我们使用神经网络语言模型进行格重评分,得到了显著的WER降低。
2018-06-16 cs.CL
Improving Event Representation via Simultaneous Weakly Supervised Contrastive Learning and Clustering
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学);HKUST(香港科技大学);Paradigm. Inc.(第四范式公司)
文本中描述的事件的表示对于各种任务都很重要。在这项工作中,我们提出了SWCC:同时弱监督对比学习和聚类框架的事件表示学习。SWCC通过更好地利用事件的共现信息来学习事件表示。具体来说,我们引入了一个弱监督的对比学习方法,使我们能够考虑多个积极和多个消极的,和一个基于原型的聚类方法,避免语义相关的事件被拉开。对于模型训练,SWCC通过同时执行弱监督对比学习和基于原型的聚类来学习表示。实验结果表明,SWCC在硬相似性和传递性句子相似性任务上优于其他基线。此外,对基于原型的聚类方法的深入分析表明,学习的原型向量能够隐式地捕获事件之间的各种关系。
2022-03-15 cs.CL
Knodle: Modular Weakly Supervised Learning with PyTorch
University of Vienna(维也纳大学);Ludwig Maximilian University of Munich(慕尼黑大学)
用于提高弱监督机器学习模型的训练和预测质量的策略在针对特定任务定制或与特定模型架构集成的程度上有所不同。在这项工作中,我们介绍了Knodle,这是一个软件框架,它将弱数据注释,深度学习模型和改进弱监督训练的方法作为独立的模块化组件。这种模块化使训练过程能够访问细粒度信息,例如数据集特征、启发式规则的匹配或最终用于预测的深度学习模型的元素。因此,我们的框架可以包含各种各样的训练方法来改善弱监督,从只考虑规则和输出类的相关性的方法(独立于使用结果标签训练的机器学习模型),到利用神经网络和弱标记数据的相互作用的方法。我们说明了基准测试的潜力框架的性能比较的几个参考实现的选择数据集,已经在Knodle。该框架作为开源Python包knodle发布,可在https://github.com/knodle/knodle上获得。
2021-07-04 cs.CL cs.LG
Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
远程监督关系抽取(RE)是一种有效的方法,规模RE大型语料库,但受到噪声标签。现有的方法试图通过多实例学习和提供额外的信息来减轻噪音,但主要是设法识别最频繁的关系,忽略了长尾中的关系。我们提出了REDSandT(关系抽取与远程监督和Transformers),一种新的远程监督的transformer为基础的RE方法,管理,以捕捉更广泛的关系,通过高度翔实的实例和标签嵌入RE,利用BERT的预训练模型,标签和实体之间的关系,分别。我们通过对结构化输入(包括连接实体对和实体类型的子树)进行BERT微调,引导REDSandT只关注关系令牌。使用提取的信息向量,我们形状的标签嵌入,我们也使用的注意力机制的实例,以进一步减少噪音。最后,我们通过连接关系和实例嵌入来表示句子。在NYT-10数据集中的实验表明,REDSandT以更高的置信度捕获了更广泛的关系集,实现了最先进的AUC(0.424)。
2021-02-01 cs.CL cs.IR cs.LG
Improving Event Causality Identification via Self-Supervised Representation Learning on External Causal Statement
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Baidu Netcom Science Technology Co., Ltd(北京百度网讯科技有限公司)
目前的事件因果关系识别模型主要采用有监督的框架,严重依赖于标记数据进行训练。不幸的是,目前的注释数据集的规模相对有限,这不能为模型提供足够的支持,以从因果陈述中捕获有用的指标,特别是处理那些新的,看不见的情况。为了缓解这个问题,我们提出了一种新的方法,简称为CauSeRL,它利用外部因果关系的事件因果关系的识别。首先,我们设计了一个自我监督的框架,从外部因果陈述中学习特定于上下文的因果模式。然后,我们采用对比迁移策略,将学习到的特定于上下文的因果模式到目标ECI模型。实验结果表明,我们的方法显着优于以前的方法EventStoryLine和Cause-TimeBank(+2.0和+3.4点的F1值分别)。
2021-06-03 cs.CL
Improving Distantly Supervised Relation Extraction with Self-Ensemble Noise Filtering
IIT Kharagpur(印度理工学院卡拉格普尔分校);SUTD(新加坡科技设计大学)
远程监督模型在关系抽取中非常流行,因为我们可以使用远程监督方法获得大量的训练数据,而无需人工注释。在远程监督中,如果句子包含元组的两个实体,则该句子被认为是元组的源。然而,这个条件过于宽松,不能保证句子中存在相关的关系特定信息。因此,远程监督的训练数据包含大量噪声,这对模型的性能产生不利影响。在本文中,我们提出了一种自集成过滤机制,以过滤掉噪声样本在训练过程中。我们评估我们提出的框架上的纽约时报数据集,这是通过远程监督。我们的实验与多个国家的最先进的神经关系抽取模型表明,我们提出的过滤机制提高了模型的鲁棒性,并增加其F1分数。
2021-08-22 cs.CL
Improving Distantly Supervised Relation Extraction with Neural Noise Converter and Conditional Optimal Selector
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
距离监督关系抽取已成功应用于具有数千个关系的大型语料库。然而,不可避免的错误标记的问题,由远程监督将损害性能的关系抽取。在本文中,我们提出了一种方法与神经噪声转换器,以减轻噪声数据的影响,和一个条件最优选择器,使正确的预测。我们的噪声转换器在logit水平上学习结构化转移矩阵,并捕获远程监督关系抽取数据集的属性。另一方面,条件最优选择器有助于对实体对做出正确的预测决策,即使句子组被无关系句子淹没。我们在一个广泛使用的数据集上进行了实验,结果表明,与竞争性基线方法相比,该方法有显著的改进。
2018-11-14 cs.AI cs.CL
Kaizen: Continuously improving teacher using Exponential Moving Average for semi-supervised speech recognition
Facebook AI(Facebook 人工智能研究院)
在本文中,我们介绍了Kaizen框架,它使用不断改进的教师生成伪标签的半监督语音识别(ASR)。所提出的方法使用教师模型,该模型被更新为学生模型参数的指数移动平均值(EMA)。我们证明,这是至关重要的EMA是积累与全精度浮点。Kaizen框架可以被视为半监督训练的迭代伪标记方法的连续版本。它适用于不同的训练标准,在本文中,我们证明了它对帧级混合隐马尔可夫模型-深度神经网络(HMM-DNN)系统以及基于序列级连接主义时间分类(CTC)的模型的有效性。对于英国英语和意大利语的大规模真实世界无监督公共视频,所提出的方法i)显示出超过10%的相对单词错误率(WER)比标准师生培训降低; ii)仅使用10小时的监督数据和大量无监督数据,分别缩小了与使用650小时或2700小时的上限监督ASR系统的差距。
2021-10-27 cs.CL eess.AS
Improving Distant Supervised Relation Extraction by Dynamic Neural Network
Sichuan University(四川大学);The University of Adelaide(阿德莱德大学);Dalian University of Technology(大连理工大学)
远距离监督关系抽取(DSRE)通常被表述为将包含两个查询实体的一袋句子分类到预定义的关系类中的问题。大多数现有的方法将这些关系类视为不同的语义类别,而忽略了它们与查询实体的潜在联系。在本文中,我们建议利用这种连接,以提高关系抽取的准确性。我们的主要想法有两个方面:(1)对于属于同一关系类的句子,表达风格(即词语选择)可以根据查询实体而变化。为了解释这种样式转换,模型应该根据实体类型调整其参数。(2)有些关系类在语义上是相似的,出现在一个关系中的实体类型也可能出现在其他关系中。因此,它可以跨不同的关系类进行训练,并进一步增强具有少量样本的那些类,即,长尾类为了统一这两个论点,我们开发了一种新的动态神经网络关系抽取(DNNRE)。该网络采用了一种新的动态参数生成器,根据查询实体类型和关系类动态生成网络参数。通过使用这种机制,网络可以同时处理风格转换问题,并提高长尾类的预测精度。通过我们的实验研究,我们证明了所提出的方法的有效性,并表明它可以实现优于国家的最先进的方法的性能。
2019-12-13 cs.CL cs.LG
Improving Self-supervised Pre-training using Accent-Specific Codebooks
Indian Institute of Technology Bombay(印度孟买理工学院);Indian Institute of Science(印度科学学院)
本文提出在自监督预训练中引入可训练的特定口音码本,以捕获口音信息并在 ASR 微调中细化,在 Mozilla Common Voice 数据集上对已见和未见英语口音均取得最优表现,WER 相对降低最高达 9%。
2024-07-04 cs.AI cs.CL cs.LG
RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information
Indian Institute of Science(印度科学学院);Birla Institute of Technology and Science, Pilani(比尔拉理工学院皮拉尼校区)
远程监督关系抽取(RE)方法通过自动地将知识库(KB)中的关系实例与非结构化文本对齐来训练提取器。除了关系实例之外,KB通常包含其他相关的边信息,诸如关系的别名(例如,founded和co-founded是关系founderOfCompany的别名)。RE模型通常忽略这些容易获得的边信息。在本文中,我们提出了RESIDE,一个远程监督的神经关系抽取方法,利用额外的边信息从知识库改进关系抽取。它使用实体类型和关系别名信息在预测关系时施加软约束。RESIDE采用图卷积网络(GCN)从文本中编码语法信息,即使在有限的边信息可用时也能提高性能。通过在基准数据集上的大量实验,我们证明了RESIDE的有效性。我们提供了RESIDE的源代码,以鼓励可重复的研究。
2019-02-12 cs.CL
Semi-Supervised Training for Improving Data Efficiency in End-to-End Speech Synthesis
Google(谷歌)
虽然Tacotron等端到端的文本到语音(TTS)模型已经显示出出色的结果,但它们通常需要大量高质量的<text,audio>对来进行训练,这是昂贵的。在本文中,我们提出了一个半监督训练框架来提高Tacotron的数据效率。这个想法是允许Tacotron利用包含在大型公开文本和语音语料库中的文本和声学知识。重要的是,这些外部数据是未配对的,并且可能存在噪声。具体来说,首先,我们将输入文本中的每个单词嵌入到单词向量中,并根据它们调节Tacotron编码器。然后,我们使用未配对的语音语料库在声学域中预训练Tacotron解码器。最后,我们使用可用的配对数据对模型进行微调。我们证明,所提出的框架,使Tacotron生成清晰的语音使用不到半个小时的配对训练数据。
2018-08-30 cs.CL cs.LG cs.SD
Improving Low-Resource Morphological Inflection via Self-Supervised Objectives
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰尼斯·古滕贝格大学);Kensho Technologies(Kensho技术公司)
本文在极低资源场景下系统评估了13种自监督辅助目标对形态屈折变化任务的作用,发现字符掩码语言建模结合词素边界采样能持续提升19种语言上的建模性能。
2025-06-05 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science(印度科学研究所);University of British Columbia(英属哥伦比亚大学)
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督(DS)是一种流行的技术,用于从有限监督开始开发关系提取器。我们注意到,在远程监督关系抽取设置中的大多数句子都很长,并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先,我们提出了两个新的词注意力模型的远程监督关系抽取:(1)双向门控递归单元(Bi-GRU)为基础的词注意力模型(BGWA),(2)以实体为中心的注意力模型(EA),和(3)组合模型,采用加权投票方法结合多个互补的模型改进的关系抽取。其次,介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声,使可靠的自动评估成为可能。第三,通过在多个真实数据集上的大量实验,我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Improving Deliberation by Text-Only and Semi-Supervised Training
Google LLC(谷歌有限责任公司)
由于未标记的文本和语音数据的广泛可用性,基于纯音频数据的纯文本和半监督训练最近变得流行。在这项工作中,我们建议将纯文本和半监督训练纳入基于注意力的审议模型。通过将纯文本数据纳入训练用于审议文本编码器的来自Transformer(BERT)的双向编码器表示,以及使用联合声学和文本解码器(JATD)和半监督训练的大规模文本到语音和纯音频话语,与基线审议相比,我们实现了各种任务的4%-12%的WER降低。与最先进的语言模型(LM)重新评分方法相比,深思熟虑模型将Google语音搜索WER相对降低了11%。我们表明,审议模型也实现了积极的人类并排的评价相比,国家的最先进的LM rescoer合理的端点lasting。
2022-06-29 cs.CL cs.SD eess.AS
SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness
University of Toronto(多伦多大学);Vector Institute;New York University(纽约大学)
在训练域上表现良好的模型通常无法推广到域外(OOD)示例。数据增强是一种常用的防止过拟合和提高面向对象方法泛化能力的方法。然而,在自然语言中,很难生成停留在底层数据流形上的新示例。我们介绍SMBA,一个数据增强方法,用于生成合成的训练样本,通过使用一对腐败和重建功能随机移动的数据流形。我们研究了SMBA在自然语言领域的应用,利用流形假设来重建带掩码的语言模型的损坏文本。在3个任务和9个数据集的鲁棒性基准测试实验中,SMBA在域内和OOD数据上始终优于现有的数据增强方法和基线模型,在OOD Amazon评论上获得了0.8%的准确率,在OOD MNLI上获得了1.8%的准确率,在域内IWSLT 14德语-英语上获得了1.4 BLEU。
2020-10-04 cs.CL cs.LG stat.ML
Improving Large-Scale Weakly Supervised ASR by Filtering and Selection
NTT Corporation(日本NTT公司);Kyoto University(京都大学);Graduate School of Informatics(信息学研究生院)
针对弱监督ASR中的噪声标签和领域不匹配问题,提出基于字符错误率过滤和声学相似性选择的训练方法,在9万小时日语数据上实现6.4%和4.0%的CER降低。
2026-06-27 cs.CL eess.AS
Improving generalizability of distilled self-supervised speech processing models under distorted settings
National University of Singapore(新加坡国立大学)
自监督学习(SSL)语音预训练模型在各种语音处理任务中表现良好。SSL模型的精简版本已经开发出来,以满足设备上语音应用程序的需求。尽管与原始SSL模型具有相似的性能,但在扭曲的环境中,提取的对应模型的性能下降甚至比其原始版本更严重。本文提出在知识蒸馏过程中将交叉失真映射和领域对抗训练应用于SSL模型,以缓解领域不匹配问题造成的性能差距。结果表明,在域内和域外扭曲设置下,不同下游任务的性能得到了一致的改善,同时保持了有效的模型大小。
2022-10-20 cs.CL cs.SD eess.AS
Improving Distantly-Supervised Named Entity Recognition with Self-Collaborative Denoising Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
远距离监督命名实体识别(DS-NER)有效地降低了人工成本,但同时由于远距离监督的强假设而固有地遭受标签噪声。通常,错误标记的实例包括许多不完整和不准确的注释噪声,而大多数先前的去噪工作只关注一种噪声,而不能充分挖掘整个训练集中的有用信息。为了解决这个问题,我们提出了一个强大的学习范式,名为自协作去噪学习(SCDL),它以互利的方式联合训练两个师生网络,迭代地执行噪声标签精炼。每个网络都被设计为通过自我去噪来利用可靠的标签,两个网络相互通信,通过协作去噪来探索不可靠的注释。在五个真实数据集上的大量实验结果表明,SCDL优于最先进的DS-NER去噪方法。
2023-02-15 cs.CL
LASER: Learning by Aligning Self-supervised Representations of Speech for Improving Content-related Tasks
The University of Sheffield(谢菲尔德大学)
本文提出LASER自监督微调方法,利用带时间正则化的soft-DTW对齐损失优化语音表示,并以低成本显著提升HuBERT与WavLM在ASR和PR任务上的性能。
2024-06-13 cs.CL cs.SD eess.AS
Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method
SK Telecom(SK电信)
本文针对ASR生成口语文本的域外问题,提出结合数据增强、大语言模型辅助的半监督学习及后对齐方法的直接训练策略,显著提升神经逆文本正则化在多种ASR场景下的鲁棒性。
2023-09-12 cs.CL
Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model
Microsoft Dynamics 365 AI(微软Dynamics 365人工智能);Microsoft Research(微软研究院)
Masked语言模型(MLM)框架已被广泛用于自监督语言预训练。在本文中,我们认为,随机抽样的MLM掩模会导致不必要的大梯度方差。因此,我们理论上通过将梯度协方差与两个不同掩码之间的汉明距离(给定特定文本序列)相关来量化梯度方差。为了减少由于掩码采样而产生的方差,我们提出了一种充分探索的掩码策略,将文本序列划分为一定数量的非重叠段。此后,一个段内的标记被掩蔽以用于训练。从理论的角度来看,我们证明了这种新的掩蔽模式产生的梯度具有较小的方差,可以导致更有效的自监督训练。我们从零开始对连续预训练和一般预训练进行了广泛的实验。实验结果证实,这种新的掩蔽策略可以始终优于标准的随机掩蔽。详细的效率分析和消融研究进一步验证了我们在MLM框架下充分探索的掩蔽策略的优势。
2020-10-14 cs.AI cs.CL
Auto-Cypher: Improving LLMs on Cypher generation via LLM-supervised generation-verification framework
ServiceNow(ServiceNow公司)
提出LLM监督的生成-验证流水线,生成高质量Text2Cypher数据SynthCypher(29.8k实例),训练开源LLM在Cypher生成上性能提升高达40%。
2025-01-24 cs.AI cs.CL cs.IR
Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses
University of Stuttgart(斯图加特大学)
我们提出了一种新的方法,结合CycleGAN和域间损失的半监督端到端自动语音识别。域间丢失的目标是使用共享网络提取语音和文本输入的中间共享表示。CycleGAN使用循环一致性损失和身份映射损失来保留从一个域转换到另一个域后输入特征的相关特征。因此,这两种方法都适合于在不成对的语音-文本输入上训练端到端模型。在本文中,我们利用域间损失和CycleGAN的优势来实现未配对语音和文本输入的更好共享表示,从而改进语音到文本的映射。我们在WSJ eval 92和Voxforge(非英语)上的实验结果显示,字符出错率比基线降低了8~8.5%,在LibriSpeech test_clean上的结果也显示出明显的改善。
2022-10-20 cs.CL cs.SD eess.AS
Improving Distantly-supervised Entity Typing with Compact Latent Space Clustering
Zhejiang University(浙江大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);iFLYTEK Research(科大讯飞研究院);University of Southern California(南加州大学)
近年来,远程监控技术在细粒度实体分类(FET)方面取得了巨大的成功。尽管它在减少手动标记工作方面效率很高,但它也带来了处理错误实体类型标签的挑战,因为远程监督以上下文不可知的方式分配标签。现有的工作缓解了这个问题,部分标签损失,但通常遭受确认偏差,这意味着分类器适合自己给定的伪数据分布。在这项工作中,我们建议使用紧凑潜在空间聚类(CLSC)来正则化远程监督模型,以绕过这个问题并有效地利用噪声数据。我们提出的方法首先动态地构建不同实体提及的相似性图,通过标签传播来推断噪声实例的标签。基于推断的标签,提及嵌入相应地更新,以鼓励具有接近语义的实体提及在嵌入空间中形成紧凑的聚类,从而导致更好的分类性能。在标准基准测试上进行的大量实验表明,我们的CLSC模型始终优于最先进的远程监督实体类型系统。
2019-04-13 cs.AI cs.CL
Improving Twitter Sentiment Classification via Multi-Level Sentiment-Enriched Word Embeddings
Pingdingshan University(平顶山学院)
现有的大多数工作学习特定于情感的词表示来改进Twitter情感分类,在学习过程中对n-gram和远程监督的tweet情感信息进行编码。他们假设推文中的所有单词都具有与整个推文相同的情感极性,这忽略了单词本身的情感极性。为了解决这个问题,我们提出了学习特定的情感词嵌入,同时利用词典资源和远程监督信息。提出了一种多层次情感丰富的词嵌入学习方法,该方法在学习过程中使用并行非对称神经网络对n-gram、词级情感和tweet级情感进行建模。标准基准测试的实验表明,我们的方法优于国家的最先进的方法。
2016-11-01 cs.CL
Who Should Go First? A Self-Supervised Concept Sorting Model for Improving Taxonomy Expansion
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-尚佩恩分校);University of Washington(华盛顿大学)
分类法已被广泛用于各种机器学习和文本挖掘系统,以组织知识和促进下游任务。一个关键的挑战是,随着数据和业务范围在实际应用程序中的增长,需要扩展现有的分类法以纳入新的概念。以往的分类法扩展工作是独立地、同时地处理新概念,忽略了它们之间的潜在关系和插入操作的适当顺序。然而,在现实生活中,新概念往往相互关联,形成局部上下义结构。在这种情况下,忽略新概念的依赖关系和插入顺序可能会触发错误传播。例如,现有的分类法扩展系统可以在现有分类法的上位词之前将下位词插入现有分类法,从而导致次优的扩展分类法。为了补充现有的分类扩展系统,我们提出了TaxoOrder,一种新的自我监督框架,同时发现新概念之间的局部上下义结构,并决定插入的顺序。TaxoOrder可以直接插入任何分类法扩展系统,并提高扩展分类法的质量。在真实数据集上的实验验证了TaxoOrder增强分类扩展系统的有效性,从而在各种评估指标下与基线相比,得到更好的分类结果。
2021-04-10 cs.CL
Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis
Kwai(快手)
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。在大多数先前的方法中,合成的细粒度韵律特征通常表示源说话者的平均风格,类似于一对多问题(即,多个韵律变化对应于同一文本)。针对这一问题,提出了一种强度控制的半监督风格提取器,将风格与内容和音色分离,提高了全局风格嵌入的表示性和可解释性,缓解了韵律预测中的一对多映射和数据不平衡问题。提出了一种层次韵律预测器来改进韵律建模。我们发现,更好的风格转移可以通过使用源说话人的韵律特征,很容易预测。此外,扬声器转移明智的周期一致性损失,提出了在训练阶段学习看不见的风格音色组合,以协助模型。实验结果表明,该方法优于基线。我们提供了一个网站与音频样本。
2023-03-14 cs.AI cs.CL cs.SD
SCOPE: A Self-supervised Framework for Improving Faithfulness in Conditional Text Generation
Sorbonne Université(索邦大学);Miles Team(迈尔斯团队);LAMSADE(拉玛德实验室);Université Paris-Dauphine(巴黎多芬大学);Université PSL(巴黎文理大学);AgroParisTech(巴黎高科农业学院);Criteo AI Lab(Criteo人工智能实验室)
针对大型语言模型在条件文本生成中存在的幻觉问题,提出自监督框架SCOPE,通过生成不忠实样本训练集并结合偏好训练优化模型,在忠实度上优于现有自监督技术。
2025-02-19 cs.CL
Improving Limited Labeled Dialogue State Tracking with Self-Supervision
Salesforce Research(Salesforce研究院)
现有的对话状态跟踪(DST)模型需要大量的标记数据。然而,收集高质量的标签是昂贵的,特别是当域名数量增加时。在本文中,我们解决了一个实际的DST问题,很少讨论,即,有效地学习有限的标记数据。我们提出并研究了两个自我监督的目标:保持潜在的一致性和建模会话行为。我们鼓励DST模型在给定扰动输入的情况下具有一致的潜在分布,使其对未知场景更具鲁棒性。我们还添加了一个辅助话语生成任务,建模会话行为和对话状态之间的潜在相关性。实验结果表明,当在MultiWOZ数据集上使用1%的标记数据时,我们提出的自监督信号可以将联合目标精度提高8.95%.如果将一些未标记的数据作为半监督学习进行联合训练,我们可以获得额外的1.76%的改进。我们分析和可视化我们提出的自监督信号如何帮助DST任务,并希望刺激未来的数据高效DST研究。
2020-10-26 cs.AI cs.CL
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)(巴斯克地区大学(UPV/EHU));New York University (NYU)(纽约大学(NYU))
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会,但几乎没有证据表明其可行性。在大多数应用程序中,用户无法向系统提供正确的答案,但他们能够提供二进制(正确,不正确)反馈。在本文中,我们提出了反馈加权学习的基础上重要性采样,以改善初始监督系统使用二进制用户反馈。我们对文档分类(用于开发)和会话问答数据集(如QuAC和DoQA)进行模拟实验,其中二进制用户反馈来自黄金注释。结果表明,我们的方法能够改进初始监督系统,接近完全监督系统,在域内实验(QuAC)中可以访问相同的标记示例,甚至在域外实验(DoQA)中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
人类通过听、说、写、读以及与多模态现实世界的互动来学习语言。现有的语言预训练框架显示了纯文本自我监督的有效性,而我们在本文中探索了视觉监督语言模型的想法。我们发现阻碍这一探索的主要原因是视觉语言数据集和纯语言语料库之间在数量和分布上的巨大差异。因此,我们开发了一种名为“vokenization”的技术,通过将语言标记映射到其相关图像(我们称之为“vokens”),将多模态对齐外推到仅语言数据。“vokenizer”是在相对较小的图像描述数据集上训练的,然后我们将其应用于为大型语言语料库生成vokens。使用这些上下文生成的voken进行训练,我们的视觉监督语言模型在多个纯语言任务(如GLUE,SQuAD和SWAG)上显示出比自监督替代方案一致的改进。代码和预训练模型可在https://github.com/airsplay/vokenization上公开获取
2020-10-14 cs.AI cs.CL cs.CV
Go-tuning: Improving Zero-shot Learning Abilities of Smaller Language Models
Shanghai AI Lab(上海人工智能实验室);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
随着规模的增加,大语言模型表现出定量的改进和新的定性能力,特别是作为zero-shot学习者,如GPT-3。然而,这些结果在很大程度上依赖于微妙的提示设计和大的计算。在这项工作中,我们探讨是否可以在一个较小的模型规模,没有任何外部监督数据的情况下,实现强大的zero-shot能力。为了实现这一目标,我们重新审视掩蔽语言建模,并提出了一种几何引导的自监督学习方法(Go-tuningfor short),通过采取少量的任务感知的自监督数据,以更新语言模型进一步。实验表明,与大语言模型(如T5-XL(3B))相比,Go调优可以使T5-small(80 M)具有竞争力的zero-shot结果。我们还将Go调优应用于多任务设置,并开发了一个多任务模型,mgo-T5(250 M)。在9个数据集上,它可以达到OPT(175 B)的平均性能。
2022-12-20 cs.CL
Improving Factual Consistency Between a Response and Persona Facts
Technical University of Darmstadt(达姆施塔特工业大学);University of Bristol(布里斯托尔大学)
用于响应生成的神经模型产生的响应在语义上是合理的,但不一定与描述说话者角色的事实一致。这些模型是用完全监督学习训练的,其中目标函数几乎不能捕捉事实的一致性。我们建议通过强化学习和一个有效的奖励函数来微调这些模型,该函数显式地捕获响应和人物角色事实之间的一致性以及语义可扩展性。我们对PersonaChat语料库的自动和人工评估证实,我们的方法增加了与其监督对应物实际上与人物角色事实一致的响应率,同时保留了响应的语言质量。
2021-02-15 cs.CL
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales(新南威尔士大学)
儿童语音识别是一个至关重要的领域,但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而,自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中,我们利用自我监督的成人语音表示,并使用三个著名的儿童语音语料库,建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能,检查跨域儿童语料库的效果,并调查微调模型所需的最小儿童语音量,该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明,微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明,只要5个小时的转录儿童的讲话,它是可能的微调儿童的语音识别系统,表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
RASPRef: Retrieval-Augmented Self-Supervised Prompt Refinement for Large Reasoning Models
Independent Researcher(独立研究员)
RASPRef通过检索相关示例和推理轨迹,利用多样本一致性、验证反馈和模型生成的批评信号,迭代优化提示,提升推理任务性能。
2026-03-27 cs.CL
Improving Acoustic Word Embeddings through Correspondence Training of Self-supervised Speech Representations
The University of Sheffield(谢菲尔德大学)
本研究探索将对应自动编码器与自监督语音表示结合,以改进声学词嵌入,并在五种语言及跨语言场景中验证了基于HuBERT的模型优于MFCC方法。
2024-03-13 cs.CL cs.SD eess.AS
Improving Speech Decoding from ECoG with Self-Supervised Pretraining
Institute of Neuroinformatics(神经信息学研究所);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);School of Electrical and Computer Engineering(电气与计算机工程学院);Purdue University(普渡大学)
本文通过将自监督模型wav2vec改造并预训练于无标签ECoG数据,提取潜在表征用于下游语音解码,有效降低了对标注数据的依赖,并在最佳情况下将词错误率降低了50%以上。
2024-05-28 cs.CL cs.LG cs.SD
Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对大语言模型监督微调标注成本高的问题,提出基于任务多样性的逆置信度加权采样策略,性能优于全量训练及现有最优方法,最高可降80%标注成本。
2025-07-29 cs.AI cs.CL
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory(上海人工智能实验室);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院);University of Science and Technology of China(中国科学技术大学)
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展,像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别(ASR)的性能方面取得了成功。然而,与监督学习类似,多语言预训练也可能受到语言干扰,并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术,包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务,包括16种语言。我们的实验结果表明,与标准XLSR模型相比,相对增益为14.3%,与没有预训练的多语言模型相比,相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS