Pseudo-Labeling for Massively Multilingual Speech Recognition
McGill University（麦吉尔大学）；Mila（米拉人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；Apple（苹果公司）
通过伪标记的半监督学习已经成为最先进的单语语音识别系统的主要部分。在这项工作中，我们扩展伪标签的大规模多语言语音识别与60种语言。我们提出了一个简单的伪标签配方，即使在低资源语言中也能很好地工作：训练一个有监督的多语言模型，用目标语言的半监督学习对其进行微调，为该语言生成伪标签，并使用所有语言的伪标签训练最终模型，无论是从头开始还是通过微调。在标记的Common Voice和未标记的VoxPopuli数据集上的实验表明，我们的配方可以产生一个对许多语言都具有更好性能的模型，并且可以很好地转移到LibriSpeech。
2022-03-08 cs.CL cs.SD eess.AS
Joint Speech Transcription and Translation: Pseudo-Labeling with Out-of-Distribution Data
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Apple（苹果公司）
自我训练已被证明有助于解决许多领域的数据稀缺问题，包括视觉，语音和语言。具体来说，自训练或伪标签将标记无监督数据并将其添加到训练池中。在这项工作中，我们调查和使用伪标记最近提出的新设置：联合转录和翻译的语音，这是由于缺乏足够的数据资源。我们表明，在这种数据不足的情况下，未标记的数据可以显着不同的域从监督数据，这导致伪标签质量下降。我们调查了两类不需要额外监督的补救措施，并针对域不匹配：伪标签过滤和数据增强。我们表明，伪标签的分析和处理，这样的结果在香草伪标签设置的顶部额外的收益，导致高达0.6%的绝对WER和2.2 BLEU点的总改善。
2022-12-20 cs.CL cs.SD eess.AS
The Efficiency of Pre-training with Objective Masking in Pseudo Labeling for Semi-Supervised Text Classification
Department of Computing Science, Umeå University（计算机科学系，乌梅大学）
本文扩展 Hatefi 等人的半监督文本分类模型，在 Meta Pseudo Labels 教师-学生框架中加入基于目标掩码的无监督预训练，并通过英语和瑞典语三个数据集评估其性能。
2025-05-10 cs.CL
Iterative Pseudo-Labeling for Speech Recognition
Facebook AI Research（Facebook人工智能研究院）
伪标记最近在端到端自动语音识别（ASR）中显示出希望。我们研究了迭代伪标记（IPL），一种半监督算法，有效地执行多次迭代的伪标记的未标记的数据作为声学模型的演变。特别是，IPL在每次迭代时使用标记数据和未标记数据的子集来微调现有模型。我们研究了IPL的主要组成部分：用语言模型解码和数据增强。然后，我们证明了IPL的有效性，通过实现国家的最先进的字的出错率在标准和低资源设置的Librispeech测试集。我们还研究了在不同语料库上训练的语言模型的效果，以表明IPL可以有效地利用额外的文本。最后，我们发布了一个新的大型领域内文本语料库，该语料库与Libris语音训练语料库不重叠，以促进低资源，半监督ASR的研究
2020-08-27 cs.CL cs.SD eess.AS
SlimIPL: Language-Model-Free Iterative Pseudo-Labeling
Facebook AI Research（Facebook AI研究院）
最近在端到端自动语音识别中的结果已经证明了伪标记对于使用连接时间分类（CTC）和序列到序列（seq 2seq）损失训练的半监督模型的有效性。迭代伪标签（IPL），它使用随着模型学习而迭代重新生成的伪标签来连续训练单个模型，已被证明可以进一步提高ASR的性能。我们对IPL算法进行了改进：随着模型的学习，我们建议迭代地重新生成带有硬标签（最可能的标记）的transmittance，也就是说，没有语言模型。我们称这种方法为无语言模型IPL（slimIPL），并给出了一个基于CTC模型的低资源设置的训练设置。slimIPL具有用于伪标签的动态缓存，这降低了对重新标记超参数变化的敏感性，并提高了训练稳定性。slimIPL也是高效的，需要比其他最先进的半/自监督方法少3.5- 4倍的计算资源来收敛。slimIPL只有10小时的标记音频，与自监督方法相比具有竞争力，并且在测试时和伪标签生成期间都不使用语言模型的情况下具有100小时的标记音频。
2021-08-30 cs.CL cs.LG
Empowering Low-Resource Language ASR via Large-Scale Pseudo Labeling
Indian Institute of Technology Madras（印度马德拉斯理工学院）；AI4Bharat；Sarvam AI
针对低资源语言ASR标注数据不足的问题，提出集成多基础模型和评估器的通用伪标注框架，并构建IndicYT基准验证，显著提升了印地语ASR性能且不影响域外表现。
2024-08-26 cs.CL cs.SD eess.AS
Cross-lingual Knowledge Transfer and Iterative Pseudo-labeling for Low-Resource Speech Recognition with Transducers
Apple（苹果公司）
针对无人工标注数据的低资源语音识别，提出结合跨语言知识迁移与迭代伪标签训练基于Transducer的ASR系统，替代DNN-HMM混合系统，实现35%的错误率降低。
2023-05-23 cs.CL eess.AS
Generative Pseudo-Labeling for Pre-Ranking with LLMs
Alibaba Group（阿里巴巴集团）；Renmin University（中国人民大学）
研究工业推荐系统预排序中训练与服务差异问题，提出生成式伪标签框架GPL，利用语言模型为未曝光物品生成无偏伪标签，提升点击率、推荐多样性和长尾物品发现。
2026-07-07 cs.CL cs.IR
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval
Technical University of Darmstadt（达姆施塔特工业大学）；University of Waterloo（滑铁卢大学）；Hugging Face
稠密检索方法可以克服词汇鸿沟，并导致显着改善的搜索结果。然而，它们需要大量的训练数据，这对于大多数领域是不可用的。如先前的工作所示（Thakur等人，2021b），密集检索器的性能在域转移下严重降低。这将稠密检索方法的使用限制在仅具有大训练数据集的少数域。在本文中，我们提出了新的无监督领域自适应方法生成伪标记（GPL），它结合了查询生成器和伪标记从交叉编码器。在六个有代表性的领域专用数据集上，我们发现建议的GPL可以优于开箱即用的最先进的稠密检索方法，最多可达9.3点nDCG@10。GPL需要来自目标域的更少（未标记）数据，并且在训练中比以前的方法更鲁棒。我们进一步研究了六个最近的预训练方法在检索任务的领域自适应场景中的作用，其中只有三个可以产生改进的结果。最好的方法，TSDAE（Wang等人，2021年）可以与GPL结合使用，在六个任务中平均提高1.4分nDCG@10。代码和模型可在https://github.com/UKPLab/gpl上获得。
2022-04-25 cs.CL cs.IR
StreamHear: Domain-Adapted Pseudo-Labeling for Semi-Supervised Streaming Speech Recognition
Capital One（第一资本金融公司）
针对流式ASR的领域偏移问题，提出StreamHear半监督方法，通过微调离线教师生成伪标签并结合先验正则化重对齐，在四个数据集上性能优于有监督微调且缩小与离线教师的差距。
2026-08-17 cs.CL eess.AS
Pseudo-Labeling for Domain-Agnostic Bangla Automatic Speech Recognition
Hishab Singapore Pte. Ltd（新加坡Hishab私人有限公司）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
针对低资源孟加拉语ASR领域标注数据不足的问题，提出伪标记方法构建超2万小时多场景标注数据集，训练基于conformer的ASR模型，经测试验证了其在领域无关场景下的有效性。
2023-11-06 cs.AI cs.CL
JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出JointMatch方法，通过自适应调整逐类阈值和双网络交叉标签互学习，解决半监督文本分类中的伪标签偏差与错误累积问题，在基准数据集上平均提升5.13%。
2023-10-23 cs.CL cs.LG
Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech Recognition
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Xiaomi Corporation（小米集团）
本文提出替代伪标签框架，通过广义 CTC 损失、对比 CTC 损失和基于标注数据的自动阈值方法，在半监督语音识别中容忍并定位伪标签错误词元。
2023-08-12 cs.CL cs.SD eess.AS
Mitigating Subgroup Disparities in Multi-Label Speech Emotion Recognition: A Pseudo-Labeling and Unsupervised Learning Approach
National Taiwan University（台湾大学）；Graduate Institute of Communication Engineering（通信工程研究所）
针对语音情感识别中公平性研究不足、显式人口标签难获取的问题，提出结合伪标签与k-means聚类无监督学习的隐式人口统计推断模块，在准确率损失较小的情况下有效提升公平性，适用于无显式人口信息的场景。
2025-05-30 cs.CL cs.SD eess.AS
Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）；ServiceNow Research（ServiceNow研究院）；University of British Columbia（不列颠哥伦比亚大学）
针对抽取式摘要中分类器置信度难以评估伪标签质量的问题，提出结合LLM的提示式伪标签与重标注策略，在多个数据集上提升ROUGE及L-Eval表现。
2024-07-02 cs.AI cs.CL
A Systematic Evaluation of Transfer Learning and Pseudo-labeling with BERT-based Ranking Models
HSE University（俄罗斯国家研究型高等经济大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Ural Federal University（乌拉尔联邦大学）
由于标注成本高，充分利用现有的人工训练数据是一个重要的研究方向。因此，我们在五个英文数据集上对基于BERT的神经排名模型的可移植性进行了系统的评估。以前的研究主要集中在zero-shot和Few-Shot从大数据集到具有少量查询的数据集的传输。相比之下，我们的每个集合都有大量的查询，这使得我们可以使用全面的评估模式，并提高了结果的可靠性。此外，由于源数据集许可证通常禁止商业使用，因此我们将迁移学习与BM 25评分器生成的伪标签进行比较。我们发现，与迁移学习相比，在伪标签上进行训练--可能随后使用适量的注释查询进行微调--可以产生一个有竞争力或更好的模型。然而，有必要提高Few-Shot训练的稳定性和/或有效性，这有时会降低预训练模型的性能。
2021-11-22 cs.CL cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
针对多语言稠密检索依赖大量配对数据的难题，提出无监督模型UMR，利用多语言大模型的序列似然估计生成伪标签，通过两阶段迭代框架训练，在两个基准数据集上超越有监督基线，且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
Improving Mispronunciation Detection with Wav2vec2-based Momentum Pseudo-Labeling for Accentedness and Intelligibility Assessment
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Northern Arizona University（北亚利桑那大学）；Pennsylvania State University（宾夕法尼亚州立大学）
当前领先的发音错误检测和诊断（MDD）系统通过端到端音素识别实现了有前途的性能。这种端到端解决方案的一个挑战是自然L2语音上人类注释的音素的稀缺性。在这项工作中，我们通过伪标记（PL）程序利用未标记的L2语音，并基于预训练的自监督学习（SSL）模型扩展微调方法。具体来说，我们使用Wav 2 vec 2.0作为我们的SSL模型，并使用原始标记的L2语音样本加上创建的伪标记L2语音样本对其进行微调。我们的伪标签是动态的，由在线模型的集成动态生成，这确保了我们的模型对伪标签噪声具有鲁棒性。我们发现，微调与伪标签实现了5.35%的音素错误率降低和2.48%的MDD F1分数提高标记样本的微调基线。建议的PL方法也被证明优于传统的离线PL方法。与最先进的MDD系统相比，我们的MDD解决方案可以产生更准确和一致的语音错误诊断。此外，我们对一个单独的UTD-4Accents数据集进行了开放测试，其中我们的系统识别输出显示出与人类感知的强相关性，基于重音和可理解性。
2022-07-12 cs.CL cs.LG eess.AS
InterMPL: Momentum Pseudo-Labeling with Intermediate CTC Loss
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）
提出了一种端到端自动语音识别（ASR）的半监督学习方法InterMPL，该方法在中间监督的情况下进行伪标记（PL）。Momentum PL（MPL）通过不断动态生成伪标签并提高其质量，在未标记数据上训练基于连接主义时态分类（CTC）的模型。与自回归公式（例如基于注意力的编码器-解码器和换能器）相比，CTC通常非常适合MPL或基于PL的半监督ASR，这是由于其简单/快速的推理算法和对生成折叠标签的鲁棒性。然而，由于条件独立性假设，CTC通常产生比自回归模型差的性能，从而限制了MPL的性能。我们建议通过引入中间损耗来增强MPL，这是受到基于CTC的建模的最新进展的启发。具体来说，我们专注于自条件和分层条件CTC，应用辅助CTC损失的中间层，这样的条件独立性假设是明确放松。我们还探讨了如何生成伪标签，并将其用作中间损失的监督。实验结果表明，在不同的半监督设置所提出的方法优于MPL和提高ASR模型的绝对性能增益高达12.1%。此外，我们的详细分析验证了中间损失的重要性。
2023-03-17 cs.CL cs.SD eess.AS
Better Pseudo-labeling with Multi-ASR Fusion and Error Correction by SpeechLLM
Uniphore Systems India & USA（Uniphore系统印度与美国）
针对多ASR伪标注流水线误差传播等问题，提出基于提示的多ASR融合框架，用文本或语音大语言模型后处理替代传统仲裁逻辑，实验验证其在转录准确率及半监督ASR训练性能上均优于基线方法。
2025-06-05 cs.AI cs.CL eess.AS
Verbosity Bias in Preference Labeling by Large Language Models
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所人工智能研究中心）；LY Corporation（LY公司）
本文研究大型语言模型在偏好标注中的冗长性偏差，发现GPT-4比人类更偏好长答案，并提出一种度量该偏差的指标。
2023-10-16 cs.AI cs.CL
Optimizing Sentence Embedding with Pseudo-Labeling and Model Ensembles: A Hierarchical Framework for Enhanced NLP Tasks
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chinese Academy of Sciences（中国科学院大学）；Cornell University（康奈尔大学）
本文提出一个结合伪标签生成与模型集成的分层框架，利用外部数据、交叉注意力与数据增强技术，显著提升了句子嵌入任务的准确率和 F1 分数。
2025-01-27 cs.AI cs.CL
Semi-Supervised Cognitive State Classification from Speech with Multi-View Pseudo-Labeling
University of Edinburgh（爱丁堡大学）；Hunan University（湖南大学）；University of Cambridge（剑桥大学）
针对认知状态分类中标注数据缺乏的问题，提出一种结合声学和语言特征的多视图伪标签半监督学习框架，仅用30%标注数据即达到与全监督学习相当的竞争力并显著优于基线。
2025-04-30 cs.AI cs.CL cs.MM
MSDA: Combining Pseudo-labeling and Self-Supervision for Unsupervised Domain Adaptation in ASR
National Technical University of Athens（希腊国家技术大学）；Athena Research Center（雅典研究所以）
本文提出多阶段域自适应流程MSDA，将自监督学习与半监督伪标签技术级联结合，在低资源ASR无监督域自适应中显著超越现有方法。
2025-06-02 cs.CL cs.SD eess.AS
Unsupervised ASR via Cross-Lingual Pseudo-Labeling
Apple（苹果公司）
提出跨语言伪标签方法，利用其他语言的字符级声学模型和目标语言模型约束，在无目标语言标注音频下实现高效无监督ASR。
2024-02-16 cs.CL cs.LG cs.SD
