An Analysis of Personalized Speech Recognition System Development for the Deaf and Hard-of-Hearing
Nagoya University（名古屋大学）
本文分析了面向聋人与重听者的个性化ASR系统开发，发现使用目标说话者1000条话语即可显著提升模型性能，并在数据不足时验证了数据增强技术的有效性。
2023-06-24 cs.SD eess.AS
Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition
Amazon Inc.（亚马逊公司）；Meta AI
尽管基于深度学习的端到端自动语音识别（ASR）近年来表现出了卓越的性能，但它在从不同数据分布中提取的测试样本上存在严重的性能回归。测试时自适应（TTA），以前在计算机视觉领域进行过探索，旨在调整在源域上训练的模型，以便在不访问源数据的情况下，为测试样本（通常是域外）提供更好的预测。在这里，我们提出了单话语测试时间适应（SUTA）框架的ASR，这是第一个TTA研究ASR，以我们最好的知识。单话语TTA是更现实的设置，其不假设测试数据是从相同的分布中采样的，并且不会由于针对该批自适应数据的预收集而延迟按需推理。SUTA由无监督目标和有效的适应策略组成。实验结果表明，SUTA有效地提高了源ASR模型在多个领域外目标语料库和领域内测试样本上的性能。
2022-06-21 cs.CL cs.SD eess.AS
Cascaded encoders for fine-tuning ASR models on overlapped speech
Google Inc.（谷歌公司）
本文提出一种级联RNN-T编码器配置的MT-ASR模型，通过结合基础模型与多说话人掩码模型，在不牺牲非重叠语音性能的前提下，显著提升了重叠语音的识别准确率。
2023-06-28 cs.SD eess.AS
Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations
The Hong Kong Polytechnic University（香港理工大学）
针对自监督语音模型在话语级任务中需监督微调的问题，提出结合HuBERT聚类单元的神经因子分析方法，通过概率推断解耦话语级表示，以变分下界为话语级目标优化模型，仅用20%标注数据就在SUPERB基准非语义话语级任务上超越WavLM。
2023-10-04 cs.CL cs.LG cs.SD
Utterance-level Intent Recognition from Keywords
Beckman Institute, UIUC（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；Intel Corporation（英特尔公司）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
本文重点研究了在计算和内存有限的平台上的意图唤醒（WOI）技术。我们的话语级意图分类方法是基于话语中的关键字序列，而不是单个固定的关键短语。将关键词序列转化为四种输入特征，即声学、音素、word2vec和speech2vec，用于个体意图学习，然后进行融合决策。如果检测到唤醒意图，它将在之后触发功耗高的ASR。该系统是在一个新收集的内部数据集在英特尔称为AMIE，这将是本文首次报道的训练和测试。结果表明，我们的新技术与关键短语的表示成功地实现了噪声鲁棒的意图分类在不同的领域，包括车内人机通信。意图唤醒系统将是低功耗和低复杂性的，这使得它适合于在现实生活中基于硬件的应用中始终运行。
2020-09-17 cs.SD eess.AS
pMCT: Patched Multi-Condition Training for Robust Speech Recognition
Samsung Research（三星研究院）
提出了一种新的用于鲁棒自动语音识别（ASR）的补丁多条件训练（pMCT）方法。pMCT通过混合从干净和失真语音中提取的相同话语的{ \it补丁}来采用多条件音频修改和补丁（MAMP）。使用补丁修改信号的训练提高了模型在嘈杂混响场景中的鲁棒性。我们提出的pMCT在LibriSpeech数据集上进行了评估，显示出使用香草多条件训练（MCT）的改进。为了对鲁棒ASR进行分析，我们在VOiCES数据集上采用pMCT，VOiCES数据集是使用来自LibriSpeech的话语创建的噪声混响数据集。在分析中，与MCT相比，pMCT实现了23.1%的相对WER降低。
2022-07-11 cs.SD eess.AS
Improving Transformer-based Conversational ASR by Inter-Sentential Attention Mechanism
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
基于转换器的模型已经证明了它们在自动语音识别（ASR）任务中的有效性，甚至表现出优于传统混合框架的性能。Transformers的主要思想是通过自我注意层来捕获话语中的长距离全局上下文。然而，对于像会话语音这样的场景，这种话语级建模将忽略跨话语的上下文依赖性。在本文中，我们提出了显式建模的Transformer为基础的端到端的会话语音识别架构的内部信息。具体而言，对于编码器网络，我们捕获的上下文先前的语音，并将这些历史信息纳入当前输入的上下文感知的残余注意力机制。对于解码器，当前话语的预测也通过条件解码器框架以历史语言信息为条件。我们展示了我们所提出的方法在几个开源对话语料库上的有效性，并且所提出的方法一致地提高了基于话语级transformer的ASR模型的性能。
2022-07-02 cs.CL cs.SD eess.AS
Cross-Modal ASR Post-Processing System for Error Correction and Utterance Rejection
Hikvision Research Institute（海康威视研究院）
虽然现代自动语音识别（ASR）系统可以达到很高的性能，但它们可能会产生错误，削弱读者的经验，并对下游任务造成损害。为了提高ASR假设的准确性和可靠性，我们提出了一种用于语音识别器的跨模态后处理系统，该系统1）融合来自不同模态的声学特征和文本特征，2）以多任务学习方式联合置信估计器和纠错器，3）统一纠错和话语拒绝模块。与单模态或单任务模型相比，我们提出的系统被证明是更有效和高效的。实验结果表明，该后处理系统在单说话人和多说话人语音识别系统上，每个标记的识别延迟约为1.7ms，字符错误率（CER）相对降低10%以上，保证了后处理引入的额外延迟在流语音识别中是可以接受的。
2022-01-10 cs.AI cs.SD eess.AS
Enrollment-less training for personalized voice activity detection
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
我们提出了一种新的个性化语音活动检测（PVAD）学习方法，在训练过程中不需要注册数据。PVAD是利用目标说话人的注册语音在帧级检测特定目标说话人的语音片段的任务。由于PVAD必须学习说话人的语音变化以澄清说话人之间的边界，因此对PVAD的研究使用了包含每个说话人的许多话语的大规模数据集。然而，用于训练PVAD模型的数据集通常是有限的，因为需要大量成本来准备这样的数据集。此外，我们不能利用用于训练标准VAD的数据集，因为它们通常缺乏说话人标签。为了解决这些问题，我们的关键思想是使用一个话语作为一种注册语音和PVAD在训练过程中的输入，这使得PVAD训练没有注册语音。在我们提出的方法中，称为无注册训练，我们增加一个话语，以便在输入和注册语音之间创建可变性，同时保持说话人身份，这避免了训练和推理之间的不匹配。我们的实验结果证明了该方法的有效性。
2021-06-23 cs.SD eess.AS
Attentional Speech Recognition Models Misbehave on Out-of-domain Utterances
Amazon Inc.（亚马逊公司）
我们讨论了自回归序列到序列注意架构的回声转录自动语音识别，其中一个模型产生很长的序列重复输出时，提出了域外话语的问题。我们从英国国家语料库中解码音频，注意编码器解码器模型只训练LibriSpeech语料库。我们观察到，有许多5秒的记录产生超过500个字符的解码输出（即每秒超过100个字符）。在相同数据上训练的帧同步混合（DNN-HMM）模型不会产生这些异常长的转录本。这些解码问题在ESPnet的语音Transformer模型中是可再现的，并且在较小程度上在自我注意力CTC模型中是可再现的，这表明这些问题是注意力机制的使用所固有的。我们创建了一个单独的长度预测模型来预测输出中的正确字数，这使我们能够识别和截断有问题的解码结果，而不会增加LibriSpeech任务的单词错误率。
2020-02-12 cs.CL cs.LG cs.SD
High-precision Voice Search Query Correction via Retrievable Speech-text Embedings
Google（谷歌）
针对ASR假设文本与音频不匹配导致检索精确度低的问题，提出直接使用多模态语音-文本嵌入网络生成音频嵌入查询纠正数据库并评分候选，使相关话语词错率相对降低6%且不影响整体。
2024-01-08 cs.CL cs.SD eess.AS
End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
语音增强模型用于将含噪语音映射为干净语音。在训练阶段，通常采用目标函数来优化模型参数。然而，在大多数研究中，模型优化标准和增强语音的评价标准之间存在不一致。例如，在测量语音可懂度时，大多数评估度量是基于短时客观可懂度（STOI）测量，而在优化模型时广泛使用估计语音和干净语音之间的基于帧的最小均方误差（MMSE）。由于不一致性，无法保证训练的模型可以在应用程序中提供最佳性能。在这项研究中，我们提出了一个端到端的基于话语的语音增强框架，使用全卷积神经网络（FCN），以减少模型优化和评估标准之间的差距。由于基于话语的优化，当基于感知的目标函数用于直接优化时，可以考虑长语音段的时间相关信息，或者甚至在整个话语级。作为一个例子，我们实现了建议的FCN增强框架，以优化的STOI措施。实验结果表明，由于训练目标与评价目标的一致性，测试语音的STOI优于传统MMSE优化语音。此外，通过将STOI集成在模型优化中，与MMSE准则生成的语音相比，人类主体和自动语音识别（ASR）系统对增强语音的可懂度也得到了显著改善。
2018-03-15 cs.LG cs.SD stat.ML
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation（小米公司）；SpeechOcean Ltd.（海天瑞声科技股份有限公司）
本文介绍了一个名为“speechocean 762”的新开源语音语料库，旨在用于发音评估，由来自250名非母语人士的5000句英语话语组成，其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的，以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载，相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems
Waseda University（早稻田大学）；Karlsruhe Institute for Technology（卡尔斯鲁厄理工学院）
本文提出一种模拟人类预测行为的对话系统方法，通过掩蔽未来音频片段训练ASR预测后续词语，并结合声学与语言学信息的交叉注意力算法检测话语结束，可在实际EOU前300ms进行预测并提升ASR性能。
2024-09-30 cs.CL cs.SD eess.AS
A study on native American English speech recognition by Indian listeners with varying word familiarity level
Indian Institute of Science (IISc)（印度科学学院）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）
在这项研究中，不同的印度裔的听众被要求听和识别TIMIT的美国人所说的话语。我们有三种反应，从每个听众，而他们认识到一个发言：1。句子难度评分，2。演讲者难度等级，和3。话语的转录。从这些译文中计算出单词错误率（WER），并将其作为衡量识别句子与原始句子之间相似性的一个指标，根据单词在句子中出现的频率将所选句子分为三组：易、中、难。我们观察到，句子，扬声器难度等级和WERs增加从容易到难的句子类别。我们还比较了人类语音识别性能与使用三种自动语音识别（ASR）在以下三种声学模型（AM）和语言模型（LM）组合下的性能：ASR 1）使用来自印度裔说话者的录音训练AM，并在TIMIT文本上构建LM，ASR 2）使用来自美国本土说话者的录音训练AM，并在来自LIBRI语音语料库的文本上构建LM，和ASR 3）AM使用来自美国本土说话者的录音，LM建立在LIBRI语音和TIMIT文本上。我们观察到，HSR的性能类似于ASR1，而ASR3实现了最佳性能。发言者出生明智的分析表明，发言者的一些出生是更难以识别的印度听众相比，其他一些出生
2021-12-08 cs.CL cs.SD eess.AS
SPIRAL: Self-supervised Perturbation-Invariant Representation Learning for Speech Pre-Training
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们介绍了一种名为SPIRAL的语音预训练新方法，该方法通过在教师-学生框架中学习扰动数据的去噪表示来工作。具体来说，给定一个语音话语，我们首先将话语馈送到教师网络以获得相应的表示。然后，相同的话语被扰动并馈送到学生网络。学生网络被训练成输出类似于教师的表示。同时，教师网络被更新为学生权重在训练步骤上的移动平均值。为了防止表征崩溃，我们将话语中的对比损失作为预训练目标，并对教师的输入施加位置随机化。与最先进的语音预训练方法wav 2 vec 2.0相比，SPIRAL实现了具有竞争力或更好的结果，并显着降低了训练成本（BASE模型为80%，LARGE模型为65%）。此外，我们解决了噪声鲁棒性的问题，这是现实世界的语音应用程序的关键。我们提出了多条件预训练通过扰动学生的输入与各种类型的加性噪声。我们证明了多条件预训练的SPIRAL模型对嘈杂的语音更鲁棒（在真实嘈杂的测试数据上相对字错误率降低9.0% - 13.3%），相比于仅在微调阶段应用多条件训练。源代码可在https://github.com/huawei-noah/Speech-Backbones/tree/main/SPIRAL上获得。
2022-03-06 cs.CL cs.LG cs.SD
Towards Unsupervised Speech-to-Text Translation
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个框架，用于建立语音到文本翻译（ST）系统，只使用单语语音和文本语料库，换句话说，从一个源语言和独立的文本从一个目标语言的语音话语。与传统的级联系统和端到端架构相反，我们的系统不需要任何标记数据（即，训练期间转录的源音频或并行源和目标文本语料库），使其特别适用于双语资源很少甚至为零的语言对。该框架利用从单语语料库中推断出的跨模态双语词典来支持ST系统，该词典将对应于口语单词的每个源语音段映射到其目标文本翻译。对于看不见的源语音话语，系统首先对话语中的每个语音段执行逐字翻译。通过利用语言模型和序列去噪自动编码器来提供关于目标语言的先验知识来改进翻译。实验结果表明，尽管缺乏监督，我们的无监督系统实现了与监督端到端模型相当的BLEU分数。我们还提供消融分析来检查我们系统中每个组件的实用性。
2018-11-04 cs.CL cs.LG cs.SD
Exploring SSL Discrete Speech Features for Zipformer-based Contextual ASR
The Chinese University of Hong Kong（香港中文大学）；X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院）；Alibaba（阿里巴巴）
本文研究在基于 Zipformer-Transducer 的上下文 ASR 中引入 WavLM SSL 离散语音特征，证明其作为跨话语上下文特征可显著降低 Gigaspeech 上的 WER。
2025-06-10 cs.CL cs.SD eess.AS
Towards the Next Frontier in Speech Representation Learning Using Disentanglement
本文提出 Learn2Diss 框架，通过帧级与话语级编码器解耦学习，分别捕获伪音素和伪说话人表示，在语义与非语义下游任务中均取得最先进结果。
2025-07-19 cs.AI cs.CL cs.LG
On the representation of speech and music
University of Chicago（芝加哥大学）
在大多数自动语音识别（ASR）系统中，音频信号被处理以产生传感器测量的时间序列（例如，滤波器组输出）。这个时间序列以说话者依赖的方式编码语义信息。早期的一篇论文展示了如何使用传感器测量序列来导出一个“内部”时间序列，该时间序列不受传感器测量的任何先前可逆变换的影响。目前的论文认为，两个或两个以上的扬声器，谁模仿对方在以下意义上：当他们说同样的话，他们产生的传感器状态是可逆映射到另一个。因此，当他们说同样的话时，他们话语的内在时间序列必须是相同的。换句话说，内部时间序列以一种与说话者无关的方式编码他们的语音。因此，ASR训练过程可以通过收集和标记仅一个说话者的话语的内部时间序列来简化，而不是在各种各样的说话者的话语的传感器时间序列上进行训练。一个类似的论点认为，音乐的内在时间序列是独立于乐器的。这在单声道电子音乐的实验中得到了证明。
2019-05-08 cs.SD eess.AS stat.ME
Modeling Dependent Structure for Utterances in ASR Evaluation
Meta AI
在自动语音识别（ASR）评价中，自举响应方法被广泛用于对误词率（WER）进行显著性分析。为了处理相关的语音数据，分块自举方法也被引入。通过将话语划分为不相关的块，该方法重新采样这些块而不是原始数据。然而，它通常是不平凡的，以揭示话语之间的依赖结构和识别块，这可能会导致统计测试中的主观结论。在本文中，我们提出了基于图形套索的方法来明确地建模这种依赖性和估计不相关的块的话语在一个严格的方式，之后，块引导应用在上面的推断块。我们证明了在温和的条件下，ASR评估中WER的方差估计在统计上是一致的。我们还证明了LibriSpeech数据集上所提出的方法的有效性。
2022-10-08 cs.AI cs.LG cs.SD
Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google LLC（谷歌有限责任公司）
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括：（1）捕获每帧信息的局部编码器;（2）捕获每话语信息的全局编码器;以及（3）在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明：（1）局部隐变量对语音内容进行编码，即使采用不同的全局编码，重构语音也能以较低的词出错率（WER）被ASR识别;（2）全局隐变量对说话人风格进行编码，重构语音与全局编码的源话语具有说话人身份。此外，我们展示了一个有用的应用程序，从我们的预训练模型，我们可以训练的说话人识别模型的全球潜在变量，并实现高精度的微调与尽可能少的数据，每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
Ask2Mask: Guided Data Selection for Masked Speech Modeling
Brno University of Technology（布尔诺理工大学）
诸如wav2vec2或w2v-BERT之类的掩蔽语音建模（MSM）方法在话语内随机掩蔽的语音帧上学习表示。虽然这些方法提高了自动语音识别（ASR）系统的性能，但它们有一个主要的局限性。它们以相等的权重对待所有无监督语音样本，这阻碍了学习，因为并非所有样本都有相关信息来学习有意义的表示。在这项工作中，我们解决了这个限制。我们提出了ask2mask（ATM），这是一种在MSM预训练期间专注于特定样本的新方法。ATM采用外部ASR模型或\textit{scorer}以两种不同的方式对无监督输入样本进行加权：1）通过对评分器选择的高置信度输入帧进行掩蔽来执行细粒度数据选择。这允许模型学习有意义的表示。2)ATM进一步扩展到重点在话语级加权的最终MSM损失与话语级的置信度得分。我们在两个基准测试良好的语料库上进行微调实验：LibriSpeech（匹配预训练数据）和Commonvoice，TED-LIUM，AMI和CHiME-6（不匹配预训练数据）。结果证实了ATM在不匹配条件下显著提高识别性能的功效（相对于已发表的结果高达11.6%，相对于我们的内部基线高达4.46%），同时在匹配条件下仍然产生适度的改善。
2022-02-24 cs.CL cs.SD eess.AS
Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training
Seoul National University（首尔国立大学）
构音障碍是一种影响数百万人的运动性语言障碍。构音障碍者的言语比非构音障碍者的言语更难理解，从而导致显著的沟通困难。我们工作的目标是开发一个模型，构音障碍，以健康的语音转换使用周期一致的GAN。使用18，700个构音障碍和8，610个健康对照韩语话语，这些话语是为了在先前的研究中自动识别语音键盘而记录的，该生成器被训练成在谱域中将构音障碍转换为健康语音，然后将其转换回语音。客观评价使用自动语音识别的生成的话语上举行了测试集显示，识别性能得到改善，与原来的dysarthic语音进行对抗训练后，作为绝对WER已降低了33.4%。实验结果表明，所提出的基于GAN的转换方法对于改善构音障碍语音的可懂度是有用的。
2020-01-10 cs.CL cs.SD eess.AS
Sampling-based speech parameter generation using moment-matching networks
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）
本文提出了基于采样的语音参数生成，使用矩匹配网络的深度神经网络（DNN）为基础的语音合成。尽管人们即使试图表达相同的语言和副语言信息也不会产生完全相同的语音，但是典型的统计语音合成产生完全相同的语音，即，在合成语音中没有话语间变化。为了使合成语音具有自然的话语间变化，本文建立了DNN声学模型，使随机采样语音参数成为可能。DNN被训练，使得它们使生成的语音参数的矩接近自然语音参数的矩。由于语音参数的变化被压缩成一个低维的简单的先验噪声向量，我们的算法具有较低的计算成本比直接采样的语音参数。作为生成具有自然话语间变化的合成语音的第一步，本文研究了所提出的基于采样的生成是否会使合成语音质量恶化。在评价中，我们比较了传统的最大似然生成和提出的采样为基础的生成的语音质量。实验结果表明，该方法不会降低语音质量。
2017-04-12 cs.LG cs.SD stat.ML
Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
Meta
针对自动语音识别存在群体公平性不足且需兼顾隐私的问题，研究提出用公开数据集训练的说话人ID模型提取话语嵌入做无监督声学聚类，以聚类ID为训练特征，在保护隐私的同时提升了端到端ASR的公平性与鲁棒性，各群体尤其不同口音性能均有提升。
2023-06-06 cs.CL cs.LG cs.SD
DisfluencyFixer: A tool to enhance Language Learning through Speech To Speech Disfluency Correction
IIT Bombay（印度理工学院孟买分校）
DisfluencyFixer通过ASR、不流利修正和TTS流水线实现英语和印地语的语音到语音不流利修正，并提供转写、不流利类型及计数，为语言学习者提供一站式流利度提升工具。
2023-05-26 cs.CL cs.LG cs.SD
EigenEmo: Spectral Utterance Representation Using Dynamic Mode Decomposition for Speech Emotion Classification
The Chinese University of Hong Kong（香港中文大学）
人类的情感语言，就其本质而言，是一种变异的信号。这导致了基于语音的自动情感分类的内在动力学。在这项工作中，我们探讨了一种频谱分解方法源于流体动力学，称为动态模式分解（DMD），计算表示和分析的全球话语级动态的情感语音。具体而言，段级情感特定的表示首先通过情感蒸馏过程来学习。这形成了每个话语的情绪流的多维信号，称为情绪简档（EP）。DMD算法，然后应用到所得到的EP捕获的本征频率，因此的基本过渡动态的情绪流。使用所提出的方法，我们称之为EigenEmo的评估实验，显示出可喜的成果。此外，由于它们的互补特性的积极组合，将EigenEmo生成的话语表示与简单的EP平均连接起来会产生明显的收益。
2020-08-15 cs.SD eess.AS
Attractor-Based Speech Separation of Multiple Utterances by Unknown Number of Speakers
Tampere University（塔尔皮奥大学）；Nokia Technologies（诺基亚技术）
本文提出一种基于吸引子的单通道语音分离模型，能同时分离、估计未知说话人数并检测活动，在多话语场景下优于现有方法。
2025-05-22 cs.SD eess.AS
DRSpeech: Degradation-Robust Text-to-Speech Synthesis with Frame-Level and Utterance-Level Acoustic Representation Learning
LINE Corporation（LINE公司）；The University of Tokyo（东京大学）
大多数文本到语音（TTS）方法使用在精心设计的环境中记录的高质量语音语料库，这会导致很高的数据汇集成本。为了解决这个问题，现有的噪声鲁棒TTS方法旨在使用带噪语音语料库作为训练数据。然而，它们仅解决时不变或时变噪声。我们提出了一种退化鲁棒的TTS方法，它可以在包含加性噪声和环境失真的语音语料库上进行训练。它联合表示时变加性噪声与帧级编码器和时不变的环境失真与话语级编码器。我们还提出了一种正则化方法，以获得清洁的环境嵌入，是从话语相关的信息，如语言内容和说话人的特征。实验结果表明，在同时存在加性噪声和混响的情况下，该方法的合成语音质量明显高于以往的方法。
2022-06-29 cs.SD eess.AS
Exploring the anatomy of articulation rate in spontaneous English speech: relationships between utterance length effects and social factors
University of Glasgow（格拉斯哥大学）；McGill University（麦吉尔大学）；University of Oregon（俄勒冈大学）；North Carolina State University（北卡罗来纳州立大学）
本研究通过建模13个英语语料库的语速，发现话语长度对语速影响最大且跨语料库和说话者差异小，年龄、性别影响幅度更小，提示语速的社会影响需结合言语约束背景解读。
2024-08-13 cs.CL cs.SD eess.AS
Improving Short Utterance Anti-Spoofing with AASIST2
University of Chinese Academy of Sciences（中国科学院大学）
针对语音反欺骗系统在短语音评估中性能下降的问题，提出AASIST2，通过引入Res2Net块提取多尺度特征，并结合动态块大小和自适应大边界微调策略，有效提升了短语音评估性能且保持常规评估水平。
2024-01-04 cs.SD eess.AS
Multi-Utterance Speech Separation and Association Trained on Short Segments
Signal Processing Research Center, Tampere University, Tampere, Finland（塔尔皮奥大学信号处理研究中心）；Nokia Technologies, Espoo, Finland（诺基亚技术）
本文提出频率-时间循环神经网络FTRNN，以0.9M参数在10秒短片段上训练，无需分段即可处理21-121秒长音频，实现多话语语音分离并保持说话人关联。
2025-07-03 cs.SD eess.AS
Exploring Cross-Utterance Speech Contexts for Conformer-Transducer Speech Recognition Systems
本文研究了四种用于C-T语音识别系统的跨话语上下文建模方法及高效批处理训练方案，在四个多语言基准数据集上显著降低了错误率，证明了该方法的优越性与潜力。
2025-08-14 eess.AS
FurcaNet: An end-to-end deep gated convolutional, long short-term memory, deep neural networks for single channel speech separation
Fujitsu Research and Development Center（富士通研究开发中心）；Fujitsu Laboratories Ltd.（富士通实验室有限公司）；Harbin Institute of Technology（哈尔滨工业大学）
深度选通卷积网络已被证明在单通道语音分离中非常有效。然而，当前最先进的框架通常考虑在时频（TF）域中训练门控卷积网络。这种方法将导致感知得分有限，例如分离话语的信号失真比（SDR）上限，并且也无法利用端到端框架。在本文中，我们提出了一个集成的简单而有效的端到端的单声道语音分离的方法，它包括深门控卷积神经网络（GCNN），采取两个扬声器的混合话语，并将其映射到两个单独的话语，其中每个话语只包含一个扬声器的声音。此外，长短期记忆（LSTM）被用于长期时间建模。为此，我们提出了训练网络直接优化话语级SDR的排列不变训练（PIT）的风格。在公开的WSJ 0 - 2 mix数据语料库上的实验表明，该方法能够产生更有区分度的说话人分离结果，提高了说话人分离的性能。
2019-03-18 cs.SD eess.AS
DeToxy: A Large-Scale Multimodal Dataset for Toxicity Classification in Spoken Utterances
IIT Madras（印度理工学院马德拉斯分校）；IIIT-Delhi（德里印度理工学院）；TEG Analytics（TEG分析公司）；Cisco Systems（思科系统公司）
有毒言论，也被称为仇恨言论，被认为是当今在线社交媒体的关键问题之一。最新的有毒语音检测的工作被限制到文本和书面对话的形式与非常有限的工作从口语或使用语音的形式的毒性检测。在本文中，我们介绍了一个新的数据集DeToxy，第一个公开可用的毒性注释数据集的英语。DeToxy来源于各种公开的语音数据库，由超过200万个话语组成。我们相信，我们的数据集将作为相对较新和未探索的口语处理任务的基准，即从口语中检测毒性，并促进这一领域的进一步研究。最后，我们还为我们的数据集提供了强大的单峰基线，并比较了传统的两步和E2E方法。我们的实验表明，在口语的情况下，基于文本的方法在很大程度上依赖于黄金人类注释的成绩单，他们的性能，也遭受关键字偏见的问题。然而，DeToxy中语音文件的存在有助于促进E2E语音模型的开发，该模型通过更好地捕获语音线索来缓解上述问题。
2022-04-04 cs.CL cs.SD eess.AS
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了SAMU-XLSR：语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同，它以声学帧（10- 20 ms）的分辨率学习多语言上下文语音嵌入，这项工作专注于学习多模态（语音-文本）多语言语音嵌入，以句子（5- 10 s）的分辨率，使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入（LaBSE）模型，创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据，跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张，我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索，并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
Advancing Multiple Instance Learning with Attention Modeling for Categorical Speech Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）；University of Southern California（南加州大学）
分类语音情感识别通常作为序列到标签问题来执行，即，以确定作为整体的输入话语的离散情感标签。在实践中的主要挑战之一是，大多数现有的情感语料库不给每个片段的地面真值标签;相反，我们只有整个话语的标签。为了从这种弱标记的情感语料库中提取片段级情感信息，我们提出使用多实例学习（MIL）以弱监督的方式学习片段嵌入。此外，对于足够长的话语，并非所有的片段都包含相关的情感信息。在这方面，然后将三个基于注意力的神经网络模型应用于学习的片段嵌入，以关注语音话语的最突出部分。在CASIA语料库和IEMOCAP数据库上的实验结果表明，该方法比其他方法具有更好的性能。
2020-08-15 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
Cross-Utterance Conditioned VAE for Non-Autoregressive Text-to-Speech
ShanghaiTech University（上海科技大学）；Cambridge University（剑桥大学）；Neurowave Ai Limited（Neurowave人工智能有限公司）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
韵律变化建模对于在端到端的文语转换（TTS）系统中合成自然和富有表现力的语音至关重要。在本文中，一个跨话语条件VAE（CUC-VAE）提出了估计后验概率分布的潜在韵律特征为每个音素的条件声学特征，说话人的信息，并从过去和未来的句子中获得的文本特征。在推理时，而不是VAE使用的标准高斯分布，CUC-VAE允许从特定于话语的先验分布采样条件下的跨话语信息，这使得由TTS系统生成的韵律特征与上下文相关，并且更类似于人类自然产生韵律的方式。CUC-VAE的性能通过自然度，可懂度和定量测量，包括单词出错率和韵律属性的标准差的定性听力测试进行评估。在LJ-Speech和LibriTTS数据上的实验结果表明，该系统提高了语音的自然度和韵律多样性，并具有清晰的边界。
2022-05-09 cs.CL cs.SD eess.AS
The PartialSpoof Database and Countermeasures for the Detection of Short Fake Speech Segments Embedded in an Utterance
National Institute of Informatics（国立信息学研究所）；EURECOM（欧洲通信学院）
自动说话人确认容易受到各种操纵和欺骗，如文本到语音合成，语音转换，重放，篡改，对抗性攻击，等等。我们考虑一种新的欺骗场景称为“部分欺骗”（PS），合成或转换的语音片段嵌入到一个真正的话语。虽然现有的对策（CM）可以检测完全欺骗的话语，有必要为他们的适应或扩展到PS的情况。我们提出了各种改进，以构建一个更准确的CM，可以检测和定位短生成的欺骗语音段在更精细的时间分辨率。首先，我们引入新开发的自监督预训练模型作为增强的特征提取器。其次，我们扩展我们的PartialSpoof数据库添加段标签的各种时间分辨率。由于短欺骗的语音段被嵌入攻击者是可变长度的，六个不同的时间分辨率被认为是，从短至20毫秒到大至640毫秒。第三，我们提出了一个新的CM，使在不同的时间分辨率，以及话语级标签的段级标签的同时使用执行话语和段级检测在同一时间。我们还表明，建议的CM是能够检测欺骗在话语水平与低错误率在PS的情况下，以及在相关的逻辑访问（LA）的情况下。PartialSpoof数据库和ASVspoof 2019 LA数据库上的话语级检测的等错误率分别为0.77%和0.90%。
2023-01-30 cs.CR cs.SD eess.AS
Multi-talker Speech Separation with Utterance-level Permutation Invariant Training of Deep Recurrent Neural Networks
Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Research（微软研究院）；Oticon A/S（奥迪康公司）
在本文中，我们提出了话语级排列不变训练（uPIT）技术。uPIT是一种实际适用的、端到端的、基于深度学习的解决方案，用于与说话者无关的多说话者语音分离。具体而言，uPIT扩展了最近提出的Permutation Invariant Training（PIT）技术与话语级成本函数，从而消除了在推理过程中解决额外的置换问题的需要，否则需要帧级PIT。我们使用循环神经网络（RNN）来实现这一点，该网络在训练期间最小化话语级分离误差，从而迫使属于同一说话者的分离帧与同一输出流对齐。在实践中，这允许使用uPIT训练的RNN在没有任何关于信号持续时间、说话者数量、说话者身份或性别的先验知识的情况下分离多说话者混合语音。我们在WSJ0和丹麦的两个和三个说话者的混合语音分离任务上评估了uPIT，发现uPIT优于基于非负矩阵分解（NMF）和计算听觉景物分析（CASA）的技术，并与深度聚类（DPCL）和深度吸引子网络（DANet）相媲美。此外，我们发现用uPIT训练的模型可以很好地推广到看不见的说话者和语言。最后，我们发现使用uPIT训练的单个模型可以处理两个扬声器和三个扬声器的语音混合。
2017-07-11 cs.LG cs.SD eess.AS
FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
会话文语转换（TTS）的目的是在会话语境中合成具有正确的语言和情感韵律的话语。利用当前话语和对话历史在话语级的相关性来提高合成语音的表达能力。然而，在词汇层面上的对话历史中的细粒度信息也对话语的韵律表达有重要影响，这在先前的工作中没有得到很好的研究。因此，我们提出了一种新的表达会话TTS模型，称为FCTalker，学习细粒度和粗粒度的上下文依赖在语音生成的同时。具体而言，FCTalker包括细粒度和粗粒度编码器，以利用单词和话语级上下文依赖性。为了对话语及其对话历史之间的单词级依赖关系进行建模，细粒度对话编码器构建在对话BERT模型之上。实验结果表明，所提出的方法优于所有基线，并产生更多的表达语音，是上下文适当的。我们在https://github.com/walker-hyf/FCTalker上发布源代码。
2022-10-27 cs.CL cs.SD eess.AS
Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）；University of Toronto（多伦多大学）
提出零资源语码转换语音基准，通过离散单元语言建模评估自监督编码器，发现多语种预训练（如XLSR）优于单语种，但仍有提升空间。
2024-03-18 cs.CL cs.SD eess.AS
Synthetic Speech Detection Based on Temporal Consistency and Distribution of Speaker Features
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
该研究分析 TTS 合成语音中说话人特征的时间一致性与分布缺陷，并据此提出低复杂度 SSD 方法，在跨数据集和静音裁剪场景下表现良好。
2023-09-29 cs.SD eess.AS
Improving Prosody Modelling with Cross-Utterance BERT Embeddings for End-to-end Speech Synthesis
JD AI Research（京东人工智能研究院）
尽管韵律与语篇结构的语言信息相关，但大多数文本到语音（TTS）系统仅考虑每个句子内的韵律，这使得将一段文本转换为自然和表达性语音具有挑战性。在本文中，我们建议使用相邻句子的文本嵌入，以提高韵律生成为一个段落中的每一个话语在一个端到端的方式，而不使用任何显式的韵律特征。更具体地，交叉话语（CU）上下文向量被用于增强Tacotron 2解码器的输入，所述交叉话语（CU）上下文向量由附加CU编码器基于由预训练的BERT模型提取的句子嵌入来产生。研究了两种类型的BERT嵌入，这导致使用不同的CU编码器结构。在普通话有声读物数据集和LJ-Speech英语有声读物数据集上的实验结果表明，CU信息的使用可以提高合成语音的自然度和表现力。主观听力测试显示，大多数参与者更喜欢使用CU编码器生成的语音，而不是使用标准Tacotron 2生成的语音。研究还发现，韵律可以通过改变相邻句子来间接控制。
2020-11-06 cs.LG cs.SD eess.AS
Learning utterance-level representations through token-level acoustic latents prediction for Expressive Speech Synthesis
Innoetics, Samsung Electronics（三星电子Innoetics）；Mobile eXperience Business, Samsung Electronics（三星电子移动体验业务部）
本文提出了一种表达性语音合成模型，利用令牌级潜在韵律变量，以捕捉和控制话语级属性，如字符表演的声音和说话风格。目前的工作旨在明确因式分解这种细粒度和话语级的语音属性到不同的表示提取的模块，在相应的水平。我们发现，细粒度的潜在空间也捕获粗粒度的信息，这是更明显的潜在空间的维度增加，以捕捉不同的韵律表示。因此，在令牌级和话语级表示的多样性与它们的解纠缠之间出现权衡。我们首先将丰富的语音属性捕获到标记级潜在空间中，然后单独训练一个先验网络，该网络给定输入文本，学习话语级表示，以预测在前一步中提取的音素级后验潜在空间，从而缓解了这个问题。定性和定量的评价被用来证明所提出的方法的有效性。音频样本可在我们的演示页面。
2022-11-01 cs.CL cs.LG cs.SD
Hi,KIA: A Speech Emotion Recognition Dataset for Wake-Up Words
KAIST（韩国科学技术院）；Hyundai Motor Company（现代汽车公司）
唤醒词（WUW）是用于激活语音识别系统以接收用户的语音输入的短句。WUW话语不仅包含唤醒系统的词汇信息，还包含说话人身份、情感等非词汇信息。特别地，识别用户的情绪状态可以详细说明语音通信。然而，很少有数据集的情绪状态的WUW话语标记。在本文中，我们介绍了Hi，KIA，一个新的WUW数据集，其中包括488个韩国口音的情感话语，从四个男性和四个女性的发言者收集和每一个话语标记为四种情绪状态，包括愤怒，高兴，悲伤，或中性。我们提出了一步一步的过程来构建数据集，包括场景选择，后处理和人工验证标签协议。此外，我们提供了两个分类模型的WUW语音情感识别使用的数据集。一种是基于传统的手工特征，另一种是使用预先训练的神经网络的迁移学习方法。这些分类模型可以作为进一步研究的基准。
2022-11-07 cs.SD eess.AS
Semantic query-by-example speech search using visual grounding
Stellenbosch University（斯泰伦博斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
最近的一些研究已经开始研究如何通过在训练时利用伴随的图像来训练语音系统。任务的示例包括关键字预测和模式内和跨模式检索。在这里，我们考虑这样的模型可以用于查询的例子（QBE）搜索，检索相关的一个给定的口头查询的话语的任务。我们特别感兴趣的语义QBE，其中的任务不仅是检索话语包含确切的查询实例，但也话语的意义是相关的查询。我们遵循分段QBE方法，其中可变持续时间的语音段（查询，搜索话语）被映射到固定维度的嵌入向量。我们表明，使用嵌入函数训练视觉接地语音数据的QBE系统优于一个纯粹的声学QBE系统的准确和语义检索性能。
2019-04-15 cs.CL cs.SD eess.AS
Utterance-Wise Meeting Transcription System Using Asynchronous Distributed Microphones
Hitachi, Ltd.（日立有限公司）
本文提出了一种新的框架，会议转录使用异步麦克风。它包括音频同步、说话人日志化、基于引导源分离的语音增强、自动语音识别和重复减少。在语音增强之前进行说话人日志化，使得系统能够处理重叠语音，而无需考虑麦克风之间的采样频率失配。对我们真实会议数据集的评估表明，我们的框架通过使用11个分布式麦克风实现了28.7%的字符错误率（CER），而放置在桌子中心的单声道麦克风的CER为38.2%。我们还表明，我们的框架实现了21.8%的CER，仅比基于耳机麦克风的转录的CER高2.1个百分点。
2020-07-31 cs.CL cs.SD eess.AS
Utterance-level Sequential Modeling For Deep Gaussian Process Based Speech Synthesis Using Simple Recurrent Unit
The University of Tokyo（东京大学）
本文提出了一种递归结构的深度高斯过程（DGP）模型，用于语音序列建模。DGP是一种贝叶斯深度模型，可以在考虑模型复杂性的情况下进行有效训练，并且是一种可以具有高表达性的核回归模型。在以前的研究中，它表明，基于DGP的语音合成优于基于神经网络的，其中两个模型使用前馈结构。为了提高合成语音的自然度，在本文中，我们表明，DGP可以应用于话语级建模使用循环架构模型。我们采用了一个简单的递归单元（SRU）的建议模型，以实现一个循环的架构，在其中，我们可以执行快速的语音参数生成，通过使用SRU的高度并行化的性质。客观和主观评价结果表明，所提出的基于SRU-DGP的语音合成不仅优于前馈DGP，而且还优于基于自动调谐SRU和长短期记忆（LSTM）的神经网络。
2020-04-22 cs.LG cs.SD eess.AS
Cross-Utterance Conditioned VAE for Speech Generation
the University of Manchester（曼彻斯特大学）；ShanghaiTech University（上海科技大学）；University of Cambridge（剑桥大学）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；University College London（伦敦大学学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Shanghai for Science and Technology（上海理工大学）
提出跨语句条件变分自编码器框架CUC-VAE S2，利用预训练语言模型和VAE提取上下文特征生成韵律，支持TTS和语音编辑，在LibriTTS上显著提升自然度和表现力。
2024-09-19 cs.CL cs.SD eess.AS
Investigation of Using Disentangled and Interpretable Representations for One-shot Cross-lingual Voice Conversion
ObEN, Inc.（ObEN公司）
本文研究了非平行语音库和一次性学习环境下的跨语言语音转换问题。大多数先前的工作需要平行的语音语料库或足够数量的训练数据从一个目标说话人。然而，我们只需要一个目标说话人的训练话语，就可以将任意源说话人的任意句子转换为目标说话人的句子。为了实现这一点，我们将问题公式化为学习解纠缠的特定于说话者和特定于上下文的表示，并遵循[1]的思想，其使用因子化分层变分自编码器（FHVAE）。在多说话人训练数据上训练FHVAE后，给定任意源说话人和目标说话人的话语，估计这些潜在表示，然后将转换后的语音的期望话语重构为目标说话人的期望话语。我们调查的有效性的方法进行语音转换实验与不同大小的训练话语，它能够实现合理的性能，即使只有一个训练话语。我们还研究了语音表示，并表明世界声码器优于[1]中使用的短时傅立叶变换（STFT）。最后，在主观测试中，对于一种语言和跨语言语音转换，与VAE-STFT和GMM基线相比，我们的方法在语音质量和相似性方面取得了显着更好或相当的结果。
2018-08-15 cs.SD eess.AS
Speech Quality Assessment Model Based on Mixture of Experts: System-Level Performance Enhancement and Utterance-Level Challenge Analysis
College of CS Zhejiang University Hangzhou, CHINA（计算机学院 浙江大学 杭州 中国）
本文提出基于专家混合的语音质量评估系统，利用自监督模型与合成数据增强，虽提升系统级性能，但揭示语句级预测的局限性并分析其成因。
2025-07-08 cs.AI cs.SD eess.AS
