Semi-Supervised Generative Modeling for Controllable Speech Synthesis
University College London (UCL)(伦敦大学学院(UCL));Google Inc.(谷歌公司)
我们提出了一种新的生成模型,结合了最先进的神经文本到语音(TTS)与半监督概率潜变量模型。通过对一些潜在变量提供部分监督,我们能够迫使它们具有一致和可解释的目的,这在以前对于纯粹的无监督TTS模型是不可能的。我们证明了我们的模型能够可靠地发现和控制重要但很少标记的语音属性,例如影响和说话速度,只需1%(30分钟)的监督。即使在如此低的监督水平下,我们也没有观察到与最先进的基线相比合成质量的下降。音频样本可在网络上获得。
2019-10-03 cs.CL cs.LG cs.SD
Controllable and Lossless Non-Autoregressive End-to-End Text-to-Speech
ByteDance(字节跳动);Tsinghua University(清华大学)
最近的一些研究已经证明了单级神经文本到语音的可行性,它不需要生成梅尔频谱图,而是直接从文本中生成原始波形。单阶段文本到语音通常面临两个问题:a)由于多个语音变化而导致的一对多映射问题,以及b)由于在训练期间缺乏对地面实况声学特征的监督而导致的高频重建不足。为了解决a)问题并生成更有表现力的语音,我们提出了一种基于变分自编码器的音素级韵律建模方法,该方法具有归一化流来建模语音中的底层韵律信息。我们还使用韵律预测器来支持端到端的表达性语音合成。此外,我们提出了双并行自动编码器,以在训练过程中引入对地面实况声学特征的监督,以解决b)问题,使我们的模型能够生成高质量的语音。我们比较的合成质量与国家的最先进的文本到语音系统的内部表达英语数据集。定性和定量的评价表明,我们的方法的无损语音生成的优越性和鲁棒性,同时也表现出很强的韵律建模能力。
2022-07-13 cs.SD eess.AS
Lip-to-Speech Synthesis in the Wild with Multi-task Learning
KAIST(韩国科学技术院)
最近的研究表明,在唇到语音合成,旨在重建语音从视觉信息单独令人印象深刻的性能。然而,由于指导模型推断正确内容的监督不足,他们一直无法在野外合成准确的语音。与以前的方法不同,在本文中,我们开发了一个功能强大的Lip2Speech方法,即使在野外环境中,也可以从输入的嘴唇运动中重建具有正确内容的语音。为此,我们设计了多任务学习,使用多模态监督来指导模型,即,文本和音频,以补充声学特征重建损失的单词表示的不足。因此,所提出的框架带来了合成语音的优势,包含多个扬声器的权利内容与不受约束的句子。我们使用LRS2,LRS3和LRW数据集验证了所提出的方法的有效性。
2023-02-17 cs.CV cs.LG cs.MM
ES4R: Speech Encoding Based on Prepositive Affective Modeling for Empathetic Response Generation
Northeastern University, China(东北大学)
ES4R通过前置情感建模和双层注意力机制,提升语音对话中的共情响应生成能力,优于现有基线模型。
2026-01-16 cs.AI cs.SD eess.AS
SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation
Soul AI Lab(Soul AI实验室)
该研究提出SemBridge框架,通过离散语义令牌监督自回归LM状态,在零样本TTS和SVS任务中提升内容准确性,同时保持说话人相似度与感知质量,为连续语音生成提供有效方向。
2026-10-14 cs.SD eess.AS
GrainSpeech: Less Context, More Detail for Compact Speech Synthesis
Delft University of Technology(代尔夫特理工大学)
GrainSpeech通过固定感受野卷积编码器和梅尔特定梯度方差监督,以264.8K参数实现紧凑语音合成,在MCU上达到17.9倍实时生成,质量媲美大模型。
2026-09-17 cs.AI cs.SD eess.AS
ToneUnit: A Speech Discretization Approach for Tonal Language Speech Synthesis
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出ToneUnit框架,利用声调标注数据作为CTC监督学习声调感知的离散语音单元,以解决中文语音合成中的“声调偏移”问题,并在中英文合成中验证了其有效性。
2024-09-03 cs.SD eess.AS
Beyond Fixed Targets: On-Policy One-Shot Speaker Personalization for Autoregressive Text-To-Speech Models
Seoul National University(首尔大学);University of Seoul(首尔市立大学)
该研究针对自回归TTS模型单样本个性化的固定策略外监督问题,提出GRPO与OPSD两种策略内方法,在保持可理解性的同时提升说话人相似度,为单样本AR TTS个性化提供有效框架。
2026-10-14 cs.SD
From Reliable Text to Real Voices: Trust-Aware Progressive Adaptation for Low-Resource TTS
Beijing Logic Intelligence Technology(北京逻辑智能科技有限公司);University of Washington(华盛顿大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of California, USA(加州大学);Northwestern University, USA(西北大学)
针对低资源TTS适配中伪标签噪声问题,提出信任感知渐进式适配,先合成后真实并利用双ASR一致性加权,在缅甸语和老挝语上提升内容准确性与说话人相似度。
2026-09-23 cs.SD
Speaking Clearly: A Simplified Whisper-Based Codec for Low-Bitrate Speech Coding
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);Wuhan University of Technology(武汉理工大学);NEC Corporation(日本电气株式会社);The Hong Kong Polytechnic University(香港理工大学)
本文提出SimWhisper-Codec,通过简化Whisper编码器实现低比特率下的高音质和语义保留。
2026-01-27 cs.SD
Extending Multilingual Speech Synthesis to 100+ Languages without Transcribed Data
Google(谷歌公司)
提出利用未转录语音和文本的无监督框架,将多语言TTS扩展到100+语言,在无转录数据下生成30+未见语言的清晰语音,少量转录数据可进一步提升性能。
2024-07-16 cs.SD eess.AS
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST(韩国科学技术院)
神经文本到语音(TTS)的先前工作已经解决了有限的速度在训练和推理时间,鲁棒性困难的合成条件,表达能力和可控性。虽然有几种方法解决了一些局限性,但还没有尝试一下子解决所有的弱点。在本文中,我们提出了STYLER,一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码,可以快速训练和推理,并在看不见的数据上进行稳健的合成。此外,在监督下的风格因素模型的分离扩大了合成过程的可控性,从而导致表现力的TTS。最重要的是,一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移,在没有任何额外标签的情况下分解噪声。各种实验表明,STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效,并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供,代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
Intelligible Lip-to-Speech Synthesis with Speech Units
KAIST(韩国科学技术院)
本文提出一种唇语到语音合成框架,通过引入量化自监督语音单元作为额外预测目标,在无需文本标注的情况下增强内容监督,并结合多输入声码器提升波形生成质量,实现了从无声唇动视频合成可懂语音。
2023-05-31 cs.CV cs.SD eess.AS
Learning to Maximize Speech Quality Directly Using MOS Prediction for Neural Text-to-Speech
KAIST(韩国科学技术院);Konan Technology Inc.(科南技术公司)
虽然最近的神经文本转语音(TTS)系统已经实现了高质量的语音合成,但是存在TTS系统生成低质量语音的情况,这主要是由有限的训练数据或知识提取期间的信息丢失引起的。因此,我们提出了一种新的方法来提高语音质量,通过训练的TTS模型的监督下的感知损失,衡量最大可能的语音质量分数和预测之间的距离。我们首先预训练平均意见得分(MOS)预测模型,然后训练TTS模型,以最大化合成语音的MOS使用预训练MOS预测模型。所提出的方法可以独立地应用,无论TTS模型的结构或语音质量下降的原因,并有效地不增加推理时间或模型的复杂度。MOS和电话错误率的评估结果表明,我们提出的方法改善了以前的模型在自然度和可懂度。
2022-05-25 cs.LG cs.SD eess.AS
Improved Prosody from Learned F0 Codebook Representations for VQ-VAE Speech Waveform Reconstruction
National Institute of Informatics(国立信息学研究所);Massachusetts Institute of Technology(麻省理工学院);University of Edinburgh(爱丁堡大学)
矢量量化变分自动编码器(VQ-VAE)是一个强大的表示学习框架,可以在没有监督的情况下从语音信号中发现离散的特征组。到目前为止,VQ-VAE架构之前已经对单独类型的语音特征进行了建模,例如仅电话或仅F0。本文介绍了VQ-VAE的一个重要扩展,用于同时学习F0相关的超分段信息和传统的音素特征。该框架使用两个编码器,使得F0轨迹和语音波形都输入到系统中,因此学习两个独立的码本。我们使用WaveRNN声码器作为VQ-VAE的解码器组件。我们的非特定人VQ-VAE是用来自多说话人日语语音数据库的原始语音波形训练的。实验结果表明,所提出的扩展减少了所有看不见的测试扬声器的重构语音的F0失真,并导致显着更高的偏好分数从听力测试。我们还使用单说话者普通话语音进行了实验,以证明我们的架构在另一种严重依赖于F0的语言中的优势。
2020-05-16 cs.SD eess.AS
Robust and fine-grained prosody control of end-to-end speech synthesis
Neosapience, Inc.(Neosapience公司)
我们提出了韵律嵌入情感和表达语音合成网络。所提出的方法在嵌入网络中引入时间结构,从而能够细粒度控制合成语音的说话风格。可以在语音侧或文本侧设计时间结构,从而在时间上导致不同的控制分辨率。韵律嵌入网络被插入到端到端的语音合成网络中,并且除了用于合成的目标语音之外,在没有任何其他监督的情况下进行训练。实验结果表明,韵律嵌入网络能够学习提取韵律特征。通过调整学习到的韵律特征,我们可以在帧级和音素级上改变合成语音的音高和幅度。我们还介绍了时间归一化的韵律嵌入,这表明对说话人的扰动在韵律传输任务具有更好的鲁棒性。
2019-02-18 cs.CL cs.LG cs.SD
A Comprehensive Study of Content Representations for Speech Synthesis
STMS Lab(STMS实验室);IRCAM(声学/音乐研究和协作学院);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本研究通过仅以各内容表征为条件的生成模型,在通用框架下比较SSL特征、监督式token等表征,发现解耦取决于训练目标与信息容量的交互,监督式表征仅在容量受限时才能解耦说话人身份。
2026-09-28 cs.LG cs.SD eess.AS
Rethinking Discrete Speech Representation Tokens for Accent Generation
本文重新思考离散语音表示标记在口音生成中的作用,提出统一评估框架,发现层选择对保留口音信息影响最大,ASR监督会减少口音信息,且简单代码书缩减无法有效分离口音信息。
2026-03-09 cs.CL cs.SD eess.AS
Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations
National Institute of Technology, Trichy(印度Trichy国家理工学院);Indian Institute of Technology, Madras(印度Madras理工学院)
分析基于BigVGAN的单元声码器在多语言多说话人语音生成中的表现,发现聚类大小控制可懂度,显式说话人条件防止身份崩溃,语言监督在低聚类大小时有益。
2026-06-04 cs.AI cs.CL cs.SD
Phoenix TTS: High-Fidelity Synthesis and Voice Conversion via Flow-Matching-Driven Speech Tokenization
Didichuxing Co. Ltd(滴滴出行有限公司)
Phoenix TTS是将表示学习与流匹配驱动的生成式声学建模耦合的统一框架,经11万小时数据训练后,实现高保真语音合成,在零样本场景下兼具优异可懂度与说话人相似度,还可无缝适配零样本语音转换任务。
2026-08-13 cs.SD
Uncovering Latent Style Factors for Expressive Speech Synthesis
Google Research(谷歌研究院)
韵律建模是语音合成的核心问题。关键的挑战是从只包含语音信息的文本输入中产生所需的韵律。在这个初步的研究中,我们介绍了“风格令牌”的概念,在Tacotron,最近提出的端到端的神经语音合成模型。使用风格标记,我们的目标是从训练数据中提取独立的韵律风格。我们表明,没有注释数据或明确的监督信号,我们的方法可以自动学习各种韵律变化在一个纯粹的数据驱动的方式。重要的是,每个样式标记都对应于一个固定的样式因子,而不管给定的文本序列如何。因此,我们可以控制合成语音的韵律风格在某种程度上可预测的和全球一致的方式。
2017-11-01 cs.CL cs.SD
Affectron: Emotional Speech Synthesis with Affective and Contextually Aligned Nonverbal Vocalizations
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
Affectron通过引入非语言语音增强训练策略和结构掩码技术,提升情感语音合成中非语言语音的多样性与自然性,同时保持语音流的自然性。
2026-04-21 cs.SD
On the Contributions of Visual and Textual Supervision in Low-Resource Semantic Speech Retrieval
最近的研究表明,即使没有任何文本监督,与图像配对的语音也可以用于学习语义上有意义的语音表示。然而,在现实世界的低资源环境中,我们经常可以访问一些转录的语音。我们研究是否以及如何视觉接地是有用的,在存在不同数量的文本监督。特别是,我们认为在低资源设置的语义语音检索的任务。我们使用先前研究的数据集和任务,其中模型在带有语音字幕的图像上进行训练,并根据人类对语义相关性的判断进行评估。我们提出了一种多任务学习方法,以利用视觉和文本形式,与视觉监督的关键字概率从外部标记的形式。我们发现,视觉接地是有帮助的,即使在存在的文字监督,我们分析了这种效果的转录数据集的大小范围。通过约5小时的转录语音,当还使用视觉监督时,我们获得了23%的平均精度。
2019-08-30 cs.CL cs.SD eess.AS
BridgeCode: A Dual Speech Representation Paradigm for Autoregressive Zero-Shot Text-to-Speech Synthesis
South China University of Technology, Guangzhou, China(华南理工大学);Foshan University, Foshan, China(佛山大学)
本文提出基于双语音表示范式BridgeCode的AR-TTS框架BridgeTTS,通过预测稀疏token并重建连续特征减少迭代,联合优化目标,在加速合成的同时保持高质量与说话人相似度。
2025-10-13 cs.SD
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST(韩国科学技术院);Mokwon University(木原大学);KAIST Institute for Artificial Intelligence(韩国科学技术院人工智能研究所)
许多语音增强方法试图学习噪声和干净语音之间的关系,使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标,这项工作的目标是提出一种替代学习算法,称为声学和对抗监督(AAS)。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性,又具有干净语音的一般特征,这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试,包括加性噪声没有混响和混响,Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音,我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Crab: Multi Layer Contrastive Supervision to Improve Speech Emotion Recognition Under Both Acted and Natural Speech Condition
Dept. of Computer Engineering and Automation (DCA), Faculdade de Engenharia Elétrica e de Computação(计算机工程与自动化系(DCA)、电气与计算机工程学院);AI Lab.(人工智能实验室);Institute of Computing, Universidade Estadual de Campinas, UNICAMP(计算学院,坎皮纳斯州立大学,UNICAMP)
本文提出Crab模型,通过多层对比监督策略提升语音情感识别在表演和自然语音条件下的性能,采用跨模态Transformer架构和多任务对比学习,有效解决类别不平衡问题。
2026-10-01 cs.SD eess.AS
Robust Speech Recognition via Large-Scale Weak Supervision
OpenAI(开放人工智能研究中心)
我们研究的语音处理系统的能力训练简单地预测大量的互联网上的音频转录。当扩展到680,000小时的多语言和多任务监督时,所产生的模型可以很好地推广到标准基准,并且通常与之前的完全监督结果具有竞争力,但在zero-shot传输设置中,无需任何微调。与人类相比,这些模型接近其准确性和鲁棒性。我们正在发布模型和推理代码,以作为鲁棒语音处理进一步工作的基础。
2022-12-06 cs.CL cs.LG cs.SD
Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training
Microsoft(微软)
近年来,在语音识别的自监督学习(SSL)中,掩蔽预测预训练取得了显著的进展。它通常需要以无监督的方式获得的码本,这使得它不太准确并且难以解释。我们提出了两种监督引导的码本生成方法,以提高自动语音识别(ASR)的性能和预训练效率,通过解码与混合ASR系统生成音素级对齐(命名为PBERT),或执行从端到端的CTC模型(命名为CTC聚类)提取的监督语音特征上。混合模型和CTC模型都是在与微调中使用的相同的少量标记语音上训练的。实验表明,我们的方法具有显着的优越性,各种SSL和自我训练基线,高达17.0%的相对WER减少。我们的预训练模型在非ASR语音任务中也表现出良好的可转移性。
2022-06-21 cs.CL cs.SD eess.AS
SimulS2ST-Omni: Data-Efficient Streaming Speech-to-Speech Translation via Explicit Trajectory Supervision
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
研究长格式流式语音到语音翻译,提出仅用约2000小时配对数据的训练方法,核心是联合文本-代码轨迹监督,双流分解减轻干扰,在质量-延迟权衡上表现出色,与先进闭源系统相当。
2026-09-01 cs.SD
Training Autoregressive Speech Recognition Models with Limited in-domain Supervision
Raytheon BBN(雷神BBN公司)
自监督学习的进步已经显著减少了训练所需的转录音频的量。然而,这一领域的大部分工作都集中在阅读语音上。我们探讨有限的监督领域的会话讲话。虽然我们假设域内数据的数量是有限的,但我们用开源的阅读语音数据来增强模型。XLS-R模型在适应数据有限的情况下表现良好,可作为一个强有力的基线。我们在自回归编码器-解码器模型中使用未转录的数据进行自监督学习和半监督训练。我们证明,通过使用XLS-R模型的伪转录,一个小得多的自回归模型可以优于微调XLS-R模型时,转录的域内数据是有限的,减少WER高达8%的绝对值。
2022-10-27 cs.CL cs.SD eess.AS
Improved Speech Pre-Training with Supervision-Enhanced Acoustic Unit
Shanghai AI Laboratory(上海人工智能实验室);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院);University of Science and Technology of China(中国科学技术大学)
语音预训练在从大规模未标记数据中学习有用和一般的潜在表示方面取得了巨大的成功。基于设计良好的自监督学习模式,预训练的模型可以用于许多下游语音任务,如自动语音识别。为了在低资源任务中充分利用标记数据,提出了一种改进的预训练方法,通过引入监督增强声学单元(SEAU)模式来强化上下文信息的表达,降低训练代价。从SEAU模式中提取的编码器表示用于生成用于HuBERT预训练过程的更具代表性的目标单元。在土库曼语语音识别任务中,分别使用500小时和100小时的微调数据,与标准HuBERT相比,所提出的方法SeHuBERT实现了10.5%和4.9%的相对字错误率降低。扩展到更多的语言和更多的数据,SeHuBERT也可以实现约10%的相对字错误率减少一半的培训成本相比,HuBERT。
2022-12-07 cs.SD eess.AS
Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision
Imperial College London(帝国理工学院);Samsung AI Centre, Cambridge(三星人工智能中心(剑桥));Facebook London(Facebook(伦敦))
音频和视觉模态之间的直观交互对于跨模态自监督学习是有价值的。这一概念已被证明为通用的视听任务,如视频动作识别和声学场景分类。然而,自我监督仍然没有充分探讨视听讲话。我们提出了一种从原始音频波形中学习自监督语音表示的方法。我们训练一个原始的音频编码器相结合的音频只有自我监督(通过预测信息音频属性)与视觉自我监督(通过生成说话的脸从音频)。视觉托词任务驱动音频表示来捕获与嘴唇运动相关的信息。这丰富了音频编码器的视觉信息和编码器可以用于评估没有视觉模态。我们的方法相对于现有的自监督音频特征在已建立的孤立词分类基准上具有竞争力的性能,并且在从较少的标签中学习方面显着优于其他方法。值得注意的是,我们的方法还优于完全监督训练,从而为语音相关任务提供了强大的初始化。我们的研究结果表明,在视听语音学习良好的音频表示的多模态自我监督的潜力。
2020-07-08 cs.CL cs.CV cs.LG
Enhanced Reverberation as Supervision for Unsupervised Speech Separation
MERL(三菱电机研究实验室)
本文提出增强混响作为监督(ERAS),通过缓解频率置换问题并引入伪目标损失项,在确定的声源-通道条件下实现稳定的无监督单声道语音分离。
2024-08-06 cs.SD eess.AS
Improving Speech Enhancement with Multi-Metric Supervision from Learned Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出用学习型语音质量评估模型的多指标预测作为监督信号来训练语音增强模型,以弥补SI-SNR等传统目标与感知质量不一致的问题,并在模拟和真实数据上验证了其有效性。
2025-08-22 cs.SD eess.AS
SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model
National Taiwan University(国立台湾大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
数据驱动的语音处理模型通常在大量的文本监督下表现良好,但收集转录的语音数据是昂贵的。因此,我们提出了SpeechCLIP,一个新的框架,通过图像来增强语音模型,而无需transmittance的语音和文本桥接。我们利用最先进的预训练HuBERT和CLIP,通过配对图像和语音字幕进行对齐,并进行最小的微调。SpeechCLIP在图像语音检索方面优于现有技术,并且在没有transmittance直接监督的情况下执行zero-shot语音文本检索。此外,SpeechCLIP可以直接从语音中检索语义相关的关键字。
2022-10-25 cs.CL cs.SD eess.AS
Huntington Disease Automatic Speech Recognition with Biomarker Supervision
Columbia University(哥伦比亚大学)
本研究通过生物标志物监督方法,改进了亨廷顿病语音识别的准确率,展示了特定架构在处理HD语音中的优势。
2026-03-11 cs.CL cs.LG cs.SD
Don't Stop Self-Supervision: Accent Adaptation of Speech Representations via Residual Adapters
AWS AI Labs(AWS人工智能实验室);University of Virginia(弗吉尼亚大学)
针对自监督语音表示在非母语口音上表现不佳的问题,提出通过训练口音特定残差适配器进行参数高效的自监督适应,在ASR任务中显著降低了词错误率,且方法与模型和任务无关。
2023-07-02 cs.CL cs.SD eess.AS
LiRA: Learning Visual Speech Representations from Audio through Self-supervision
Imperial College London(伦敦帝国理工学院);Facebook London(脸书伦敦);University of Augsburg(奥格斯堡大学)
当今在线共享的大量视听内容引起了人们对视听自监督学习前景的极大关注。最近的作品集中在这些模式分别,而其他人试图同时在一个跨模态的方式建模。然而,相对而言,很少有人注意利用一种方式作为培训目标,向另一种方式学习。在这项工作中,我们提出了通过自我监督从音频中学习视觉语音表示(LiRA)。具体来说,我们训练ResNet+Conformer模型来预测来自未标记视觉语音的声学特征。通过特征提取和微调实验,我们发现这种预训练模型可以用于单词级和句子级唇读。我们表明,我们的方法在野生唇读(LRW)数据集上的表现明显优于其他自监督方法,并且仅使用总标记数据的一小部分就在唇读句子2(LRS2)上实现了最先进的性能。
2021-06-16 cs.CV cs.LG cs.SD
Federated Self-Learning with Weak Supervision for Speech Recognition
Amazon Alexa AI(亚马逊Alexa人工智能部门)
本研究提出一种联邦自学习方法,结合弱监督信号和记忆重放,用于RNN-T语音识别模型,在无强监督转录下实现新用例WER相对降低10%。
2023-06-21 cs.SD eess.AS
OpenEnded: An Open-Response Speech Corpus for Speaking Proficiency Assessment with Human Annotations and ALM Supervision
Columbia University(哥伦比亚大学)
针对自动口语评估数据稀缺问题,构建开放式英语口语语料库OpenEnded,提供语句级多维评分,并验证ALM伪标注及VoxPA基线模型的有效性。
2026-09-15 cs.SD eess.AS
Reverberation as Supervision for Speech Separation
MERL(三菱电机研究实验室)
本文提出了混响作为监督(RAS),一种新的无监督损失函数的单通道混响语音分离。以前的方法,无监督的分离需要的混合物的混合物的合成或假设存在的教师模型,使他们难以考虑作为潜在的方法来解释分离能力的出现在动物的听觉系统。我们假设在训练时两个通道的混合物的可用性,并训练神经网络,以分离的来源给定的一个通道作为输入,使其他通道可以预测从分离的来源。由于每个通道的房间脉冲响应(RIR)之间的关系取决于网络未知的源的位置,因此网络不能依赖于学习该关系。相反,我们提出的损失函数通过维纳滤波将每个分离的源拟合到目标通道中的混合物,并将所得混合物与地面实况进行比较。我们表明,最小化预测的右通道混合物相对于地面真值的尺度不变信号失真比(SI-SDR)隐含地引导网络分离左通道源。基于WHAMR!数据集,使用训练数据,其中只有5%(分别为,10%)的混合物被标记有相关的分离源,我们实现了70%(分别为,78%)的SI-SDR改进,而仅在标记数据上训练的模型获得43%(分别为,45%)。
2022-11-15 cs.AI cs.LG cs.SD
Whistle: Data-Efficient Multilingual and Crosslingual Speech Recognition via Weakly Phonetic Supervision
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);China Unicom (Guangdong) Industrial Internet Co., Ltd(中国联通(广东)工业互联网有限公司);Tsinghua University(清华大学)
本文提出Whistle,一种通过弱音素监督预训练实现数据高效的多语言和跨语言语音识别方法,实验表明其在已见语言识别、未见语言跨语言性能、抗遗忘和训练效率上优于其他方法。
2025-03-27 cs.CL cs.SD eess.AS
Sortformer: A Novel Approach for Permutation-Resolved Speaker Supervision in Speech-to-Text Systems
nvidia
本文提出 Sortformer 模型,通过 Sort Loss 解决说话人置换问题,并构建多说话人语音转文本架构,利用正弦核嵌入说话人标签,实验证明其能提升说话人分离与多说话人转录准确率。
2025-07-19 cs.CL cs.LG cs.SD
Disentangled Speech Embeddings using Cross-modal Self-supervision
University of Oxford(牛津大学);Naver Corporation(Naver公司)
本文的目的是在不访问手动注释数据的情况下学习说话者身份的表示。为此,我们开发了一个自监督学习目标,该目标利用了视频中人脸和音频之间的自然跨模态同步。我们的方法背后的关键思想是梳理分开-没有注释-语言内容和说话者身份的表征。我们构建了一个双流体系结构:(1)共享两种表示共有的低级特征;(2)提供了一种自然的机制,用于明确地解开这些因素,为内容和身份的新组合提供更大的概括潜力,并最终产生更强大的扬声器身份表示。我们训练我们的方法在一个大规模的音频-视频数据集说话的头“在野外”,并证明其有效性,通过评估标准的说话人识别性能的发言人表示。
2020-05-04 cs.CV cs.SD eess.AS
Textless Direct Speech-to-Speech Translation with Discrete Speech Representation
Google Research(谷歌研究院)
语音到语音翻译(Speech-to-Speech Translation,S2 ST)的研究近年来发展迅速。许多端到端的系统已经被提出,并显示出优于传统的级联系统,这往往是由识别,翻译和合成子系统。然而,大多数端到端系统在训练期间仍然依赖于中间文本监督,这使得它不适合没有书面形式的语言。在这项工作中,我们提出了一种新的模型,无文本的Translatotron,它是基于Translatotron 2,用于训练一个端到端的直接S2 ST模型,没有任何文本的监督。代替如在Translatotron 2中那样与预测目标音素的辅助任务联合训练,所提出的模型使用预测从学习或随机语音量化器获得的离散语音表示的辅助任务。当使用无监督语音数据预训练的语音编码器用于这两个模型时,所提出的模型在多语言CVSS-C语料库以及双语Fisher西班牙语-英语语料库上获得的翻译质量几乎与Translatotron 2相当。在后者上,它比现有的最先进的无文本模型的性能高出+18.5 BLEU。
2022-10-31 cs.CL cs.SD eess.AS
Libri-Light: A Benchmark for ASR with Limited or No Supervision
Facebook AI(脸书人工智能研究院);EHESS(法国高等社会科学研究院);ENS(巴黎高等师范学院);PSL-University(巴黎文理研究大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
我们介绍了一个新的英语口语音频集合,适合于在有限或无监督的情况下训练语音识别系统。它来自LibriVox项目的开源有声读物。它包含超过6万小时的音频,据我们所知,这是最大的免费语音语料库。音频已使用语音活动检测进行分段,并标记有SNR,扬声器ID和流派描述。此外,我们还提供了三种设置下的基线系统和评估指标:(1)零资源/无监督设置(ABX),(2)半监督设置(PER,CER)和(3)远程监督设置(WER)。设置(2)和(3)使用与演讲一致的有限文本资源(10分钟到10小时)。设置(3)使用大量未对齐的文本。它们在标准LibriSpeech开发和测试集上进行评估,以与最先进的监督进行比较。
2019-12-17 cs.CL cs.SD eess.AS
Convert and Speak: Zero-shot Accent Conversion with Minimum Supervision
Nanjing University(南京大学);Microsoft Research Asia(微软亚洲研究院)
提出两阶段“convert-and-speak”口音转换框架,通过语义token解耦转换与语音生成,利用单阶段AR模型降低复杂度,在仅15分钟弱并行数据下实现最先进性能并具备高度适应性。
2024-08-22 cs.AI cs.SD eess.AS
Boosting Cross-Domain Speech Recognition with Self-Supervision
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STCA(微软(亚洲)互联网工程院)
本文提出一个系统的无监督域适应框架,通过持续预训练缓解域不匹配,并设计双分支伪标签、不确定性感知过滤和两步伪标签方法提升跨域ASR性能。
2023-07-30 cs.CL cs.SD eess.AS
Learning from Annotation Uncertainty: Entropy-Aware Curriculum for Speech Emotion Recognition
Center for Robust Speech Systems, The University of Texas at Dallas(德克萨斯大学达拉斯分校鲁棒语音系统中心)
针对语音情感识别中标注者分歧问题,提出基于分布的监督方法,利用WavLM-Base多任务模型在9类情感上减少与人类投票分布的差异,并通过熵分层评估证明分布监督能更好地捕捉感知不确定性。
2026-06-29 cs.LG cs.SD
SynthVSR: Scaling Up Visual Speech Recognition With Synthetic Supervision
University of Surrey(萨里大学);Meta AI
本文提出SynthVSR方法,利用语音驱动的唇部动画模型生成合成视觉数据,在仅使用公开数据及有限真实标注的条件下,显著提升了视觉语音识别性能并达到最新SOTA。
2023-04-03 cs.AI cs.CV cs.SD
RemixIT-TSE: Progressive Synthetic-to-Real Adaptation for Target Speech Extraction via Target-Aware Supervision and Remixing
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(云知声智能科技股份有限公司)
提出RemixIT-TSE,通过两阶段渐进式合成到真实域自适应框架,结合目标感知监督与重混合技术,在真实对话场景中显著提升目标语音提取性能。
2026-09-29 cs.SD
Scaling Human and G2P Supervision for Robust Phonetic Transcription
Koel Labs LLC
研究自动语音转录中人类标注与G2P监督的扩展规律,发现当人类标注少于20-30小时时G2P有效,超过后无益甚至降低鲁棒性,而ASR预训练可显著提升性能。
2026-06-16 cs.CL cs.LG cs.SD
High-Value Synthetic Supervision for Parameter-Efficient Adaptation of a Compact Japanese Speech Model
Blossom AI Labs(Blossom AI 实验室)
本研究通过合成数据流程和LoRA参数高效适配,使紧凑语音模型在日语护理交接任务上获得接近全量微调的性能,展示了从少量合成示例获取窄域音频到结构转换能力的可行性。
2026-10-02 cs.CL cs.LG cs.SD
WavSLM: Single-Stream Speech Language Modeling via WavLM Distillation
Concordia University(康科迪亚大学);Mila-Quebec AI Institute(蒙特利尔AI研究所);Université Laval(拉瓦尔大学)
提出WavSLM,通过量化蒸馏WavLM自监督表示到单一码本并优化自回归下一块预测,实现无文本监督的单流语音语言建模,在一致性和生成任务上表现竞争。
2026-06-16 cs.AI cs.CL cs.LG