Dual Reconstruction: a Unifying Objective for Semi-Supervised Neural Machine Translation
University of Maryland（马里兰大学）；Amazon AI（亚马逊人工智能）
虽然迭代反向翻译和双重学习有效地将单语训练数据纳入神经机器翻译，但它们使用不同的目标和启发式梯度近似策略，并且没有进行广泛的比较。我们引入了一个新的双重重建目标，提供了一个统一的观点迭代回译和双重学习。它激发了一个理论分析和控制的实证研究，德国-英语和土耳其-英语的任务，这都表明，迭代回译是更有效的，尽管它相对简单的双重学习。
2020-10-07 cs.CL cs.LG
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Dual Supervised Learning for Natural Language Understanding and Generation
National Taiwan University（台湾大学）
自然语言理解（NLU）和自然语言生成（NLG）都是自然语言处理领域的重要研究课题。自然语言理解是从给定的话语中提取出核心语义，而自然语言生成则与之相反，其目标是根据给定的语义构造相应的句子。然而，这种双重关系在文献中还没有被研究。本文在双监督学习的基础上，提出了一种新的语言理解和生成的学习框架，提供了一种利用二元性的方法。初步实验表明，所提出的方法提高了这两个任务的性能。
2020-04-30 cs.CL
Semi-Supervised Few-Shot Learning for Dual Question-Answer Extraction
Zhejiang University（浙江大学）；University of California, Irvine（加州大学欧文分校）
本文研究了从句子中提取关键短语的问题。现有的最先进的监督方法需要大量的注释数据，以实现良好的性能和泛化。然而，收集标记数据通常是昂贵的。在本文中，我们重新定义的问题，问答提取，并提出了SAMIE：自我询问模型的信息提取，一个半监督模型，双重学习问和回答问题本身。简单地说，给定一个句子$s$和一个答案$a$，模型需要选择最合适的问题$\hat q$ ;同时，对于给定的句子$s$和在上一步中选择的相同问题$\hat q$，模型将预测一个答案$\hat a$。该模型可以在非常有限的监督下支持少样本学习。它也可以用来执行聚类分析时，没有监督提供。实验结果表明，该方法优于典型的监督方法，特别是在少量标记数据的情况下。
2019-04-08 cs.AI cs.CL cs.LG
Semi-Supervised Phoneme Recognition with Recurrent Ladder Networks
Universität Hamburg（汉堡大学）
梯形网络是半监督学习领域的一个值得注意的新概念，它在图像识别任务中显示出最先进的结果，同时与许多现有的神经架构兼容。我们提出了经常性的梯形网络，一种新的修改的梯形网络，半监督学习的递归神经网络，我们评估与音素识别任务的TIMIT语料库。我们的研究结果表明，该模型能够始终优于基线，并实现完全监督的基线性能，只有75%的标签，这表明该模型能够使用无监督数据作为有效的正则化器。
2017-09-18 cs.CL cs.LG cs.NE
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology（KTH皇家理工学院）；School of Computer Science（计算机科学学院）
我们提出了一种半监督学习方法的应用，以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反，我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见，基于帧的音素分类的TIMIT数据库。我们的实验表明，该方法优于标准的监督训练等量的标记数据，并提供有竞争力的错误率相比，最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
A Challenge on Semi-Supervised and Reinforced Task-Oriented Dialog Systems
Tsinghua University（清华大学）；China Mobile（中国移动）
半监督和强化的面向任务的对话系统的挑战，与EMNLP 2022 SereTOD研讨会位于同一地点。
2022-09-25 cs.CL
Graph-Based Semi-Supervised Conditional Random Fields For Spoken Language Understanding Using Unaligned Data
我们实验基于图的半监督学习（SSL）的条件随机场（CRF）的口语语言理解（SLU）的应用程序上不对齐的数据。使用IBM Model获得示例的对齐标签。我们通过定义新的特征集和改变标签传播算法来适应基线半监督CRF。我们的研究结果表明，我们提出的方法显着提高了性能的监督模型，利用从图中获得的知识。
2017-01-30 cs.CL
Combining Deep Generative Models and Multi-lingual Pretraining for Semi-supervised Document Classification
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）；Imperial College London（帝国理工学院）；Technion, IIT（以色列理工学院）
通过深度生成模型和多语言预训练技术的半监督学习在NLP的不同领域取得了巨大的成功。尽管如此，它们的发展是孤立发生的，而两者的结合可能有效地解决特定任务标记的数据短缺问题。为了弥合这一差距，我们将半监督深度生成模型和多语言预训练相结合，形成了一个文档分类任务的管道。与强大的监督学习基线相比，我们的半监督分类框架具有很强的竞争力，在几种语言的低资源环境中表现优于最先进的同行。
2021-01-26 cs.CL
Scientific Information Extraction with Semi-supervised Neural Tagging
University of Washington（华盛顿大学）
本文讨论了从科学文章中提取关键词并将其分类为对应于任务，过程或材料的问题。我们把问题转化为序列标记，并将半监督方法引入神经标记模型，该模型建立在命名实体识别的最新进展基础上。由于注释的训练数据是稀缺的，在这个领域，我们引入了一个基于图的半监督算法与数据选择方案，以利用未注释的文章。在2017年SemEval任务10 ScienceIE任务中，归纳和转导半监督学习策略的表现优于最先进的信息抽取性能。
2017-08-21 cs.CL
Deep Semi-Supervised Learning with Linguistically Motivated Sequence Labeling Task Hierarchies
University College London（伦敦大学学院）
在本文中，我们提出了一种新的神经网络算法进行半监督学习的序列标记任务安排在一个语言动机层次。利用这种关系，通过监督任务反向传播无监督任务的错误来正则化监督任务的表示。我们介绍了一个神经网络，其中较低的层是由初级下游任务和最后一层任务是一个辅助的无监督任务的监督。该架构显示，与合理的基线相比，组块的F1提高了两个百分点。
2016-12-29 cs.CL
Advancing Semi-Supervised Task Oriented Dialog Systems by JSA Learning of Discrete Latent Variable Models
Tsinghua University（清华大学）；China Mobile Research Institute（中国移动研究院）
利用未标记的对话数据开发半监督的面向任务的对话（TOD）系统吸引了越来越多的兴趣。对于潜在状态TOD模型的半监督学习，经常使用变分学习，但是受到通过离散潜在变量传播的梯度的恼人的高方差和间接优化目标对数似然的缺点的影响。最近，一种替代算法，称为联合随机逼近（JSA），已经出现了学习离散潜变量模型与令人印象深刻的性能。在本文中，我们提出了应用JSA的半监督学习的潜在状态TOD模型，这是被称为JSA-TOD。据我们所知，JSA-TOD代表了第一个工作，在开发基于JSA的半监督学习离散潜变量条件模型，如在TOD系统中的长序列生成问题。大量的实验表明，JSA-TOD显着优于其变分学习对应。值得注意的是，使用20%标签的半监督JSA-TOD在MultiWOZ2.1上的表现接近全监督基线。
2022-07-25 cs.CL
Study of Semi-supervised Approaches to Improving English-Mandarin Code-Switching Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）
在本文中，我们提出了我们的整体努力，以提高性能的代码切换语音识别系统使用半监督训练方法，从词汇学习声学建模，东南亚普通话-英语（SEAME）的数据。我们首先研究半监督词典学习方法，以适应规范的词典，这是为了减轻严重的口音发音问题内的代码切换会话的本地区域。因此，学习的词典产生改进的性能。此外，我们尝试使用半监督训练来处理人类转录器和ASR系统之间高度不匹配的转录。具体来说，我们进行半监督训练，假设那些转录不好的数据是无监督数据。我们发现半监督声学建模可以导致改进的结果。最后，为了弥补传统n-gram语言模型由于数据稀疏性问题而带来的局限性，我们使用神经网络语言模型进行格重评分，得到了显著的WER降低。
2018-06-16 cs.CL
Semi Supervised Preposition-Sense Disambiguation using Multilingual Data
Bar-Ilan University（巴伊兰大学）
介词是非常常见和非常模糊的，理解它们的意义对于理解句子的含义至关重要。监督语料库的介词意义消歧任务是小的，这表明一个半监督的方法来完成任务。我们表明，来自未注释的多语言数据的信号可以用来提高监督介词意义消歧。我们的方法预先训练LSTM编码器来预测介词的翻译，然后将预先训练的编码器作为监督分类系统中的一个组件，并为任务进行微调。多语言信号一致地改善了两个介词意义数据集上的结果。
2016-11-27 cs.CL
SemiMemes: A Semi-supervised Learning Approach for Multimodal Memes Analysis
FPT University（FPT大学）
本研究提出多模态半监督学习方法SemiMemes，结合自编码器与分类任务利用未标记数据，在两个数据集上优于现有最先进模型，有效解决模因有害内容审查的标注难题。
2023-05-16 cs.AI cs.CL cs.CV
Neural Data-to-Text Generation Based on Small Datasets: Comparing the Added Value of Two Semi-Supervised Learning Approaches on Top of a Large Language Model
Tilburg University（蒂尔堡大学）
本研究探讨了半监督学习结合预训练语言模型的数据到文本生成的效果。当还补充了大规模的语言模型时，半监督学习是否仍然有帮助还不得而知。本研究的目的是回答这个问题，通过比较一个数据到文本的系统，只补充了一个语言模型，两个数据到文本的系统，另外丰富的数据增强或伪标签半监督学习的方法。结果表明，半监督学习的结果在多样性度量较高的分数。在输出质量方面，使用伪标签方法扩展具有语言模型的数据到文本系统的训练集确实增加了文本质量分数，但是数据增强方法产生了与没有训练集扩展的系统相似的分数。这些结果表明，半监督学习方法可以提高输出质量和多样性，即使在还存在语言模型的情况下也是如此。
2022-07-14 cs.CL
Progressive Class Semantic Matching for Semi-supervised Text Classification
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）
半监督学习是降低文本分类标注代价的有效方法。与预先训练的语言模型（PLM）相结合，例如，BERT，最近的半监督学习方法取得了令人印象深刻的性能。在这项工作中，我们进一步研究了半监督学习和预训练的语言模型之间的婚姻。与现有的方法，利用PLM只为模型参数初始化，我们探讨了内在的主题匹配能力PLM内建立一个更强大的半监督学习方法。具体来说，我们提出了一个联合半监督学习过程，可以逐步建立一个标准的$K$方式分类器和匹配网络的输入文本和类语义表示（CSR）。CSR将从给定的标记句子初始化，并通过训练过程逐步更新。通过大量的实验，我们证明了该方法不仅能显著改善基线，而且整体上更加稳定，在半监督文本分类中达到了最先进的性能。
2022-05-20 cs.AI cs.CL
LLM-guided Semi-Supervised Approaches for Social Media Crisis Data Classification
Independent Researcher（独立研究者）
本文研究了大语言模型引导的半监督学习在社交媒体危机数据分类中的应用，比较了VerifyMatch和LLM引导的协同训练方法，发现LLM引导的协同训练在低资源环境下表现优异，同时验证了知识迁移的可行性。
2026-05-08 cs.AI cs.CL
A Probabilistic End-To-End Task-Oriented Dialog Model with Latent Belief States towards Semi-Supervised Learning
Tsinghua University（清华大学）；China Mobile Research Institute（中国移动研究院）
在面向任务的对话系统中，结构化信念状态对于用户目标跟踪和数据库查询至关重要。然而，训练信念跟踪器通常需要对每个用户话语进行昂贵的回合级别注释。在本文中，我们的目标是减轻信任状态标签在建设端到端的对话系统的依赖，利用无标签的对话数据对半监督学习。我们提出了一个概率对话模型，称为潜在的BElief状态（LABES）模型，其中的信念状态表示为离散的潜变量，并与系统响应给定用户输入联合建模。这种潜变量建模使我们能够在变分学习的原则框架下发展半监督学习。此外，我们还介绍了LABES-S2 S，这是LABES的复制增强Seq 2Seq模型实例。在监督实验中，LABES-S2 S在三个不同尺度的基准数据集上获得了很好的结果。在利用未标记的对话数据时，半监督LABES-S2 S显著优于仅监督和半监督基线。值得注意的是，我们可以将注释需求减少到50%，而不会降低MultiWOZ的性能。
2020-10-13 cs.AI cs.CL
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法，以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明，增加主题层次可以有效地提高文摘质量。在前人研究的启发下，本文提出了一种基于图的两层（句子层和主题层）半监督学习方法。同时，我们提出了一个新的主题模型，充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
End-to-end ASR: from Supervised to Semi-Supervised Learning with Modern Architectures
Facebook
我们研究了ResNet，时间深度可分离ConvNets和语音识别的Transformers的半监督训练的伪标记，使用CTC或Seq2Seq损失函数。我们在标准LibriSpeech数据集上进行实验，并通过伪标签利用LibriVox中的其他未标记数据。我们表明，虽然基于transformer的声学模型具有优越的性能与监督数据集单独，半监督提高了所有模型的架构和损失函数和桥梁之间的性能差距。通过这样做，我们在标准监督学习设置中使用外部语言模型解码的端到端声学模型达到了新的最先进水平，并且使用半监督训练达到了新的绝对最先进水平。最后，我们研究了利用不同数量的未标记音频的效果，提出了几种方法来评估未标记音频的特性，从而改进了声学建模，并表明使用更多音频训练的声学模型对外部语言模型的依赖性更小。
2020-07-15 cs.CL cs.SD eess.AS
