Multimodal Speaker Segmentation and Diarization using Lexical and Acoustic Cues via Sequence to Sequence Neural Networks
University of Southern California（南加州大学）
虽然有大量的工作在说话人日记最近，有很少的努力，联合使用词汇和声学信息的说话人分割。为此，我们研究了一个使用序列到序列神经网络训练的词汇和声学特征的说话人日记系统。我们还提出了一个损失函数，允许选择不仅扬声器的变化点，但也最好的扬声器在任何时候允许不同的扬声器分组。我们将梅尔频率倒谱系数（MFCC）作为一个声学特征旁边的词汇信息，从Fisher数据集的对话中获得。因此，我们表明，声学提供补充信息的词汇模态。实验结果表明，与仅依赖词汇模态的系统或基于MFCC的系统相比，同时使用词序列和MFCC训练的序列到序列系统可以提高说话人日志化的效果。此外，我们测试我们提出的方法与自动语音识别（ASR）成绩单的性能。虽然ASR成绩单的性能下降，我们提出的方法的日志错误率（DER）仍然优于传统的方法的基础上贝叶斯信息准则（BIC）。
2018-05-28 cs.SD eess.AS
Speaker-Targeted Audio-Visual Models for Speech Recognition in Cocktail-Party Environments
Carnegie Mellon University（卡内基梅隆大学）
鸡尾酒会环境中的语音识别对于现有技术的语音识别系统来说仍然是一个重大的挑战，因为从具有相似频率和时间特性的重叠语音的背景中提取单个说话者的声学信号是极其困难的。我们建议使用扬声器为目标的声学和视听模型为这项任务。我们补充的声学特征的混合DNN-HMM模型与信息的目标扬声器的身份，以及从目标扬声器的嘴部区域的视觉特征。实验进行了使用模拟鸡尾酒会数据产生的GRID视听语料库重叠两个扬声器的语音在一个单一的声学通道。我们的纯音频基线达到了26.3%的WER。视听模型将WER提高到4.4%。引入说话人身份信息的效果更明显，将WER提高到3.6%。然而，结合这两种方法并没有进一步显着提高性能。我们的工作表明，以说话人为目标的模型可以显着提高鸡尾酒会环境中的语音识别。
2019-06-13 cs.CL cs.CV cs.SD
Speaker-Invariant Training via Adversarial Learning
Microsoft AI and Research（微软人工智能与研究部）
我们提出了一种新的对抗性多任务学习方案，旨在主动减少说话者间的特征变异性，同时最大化其senone可区分性，以提高基于深度神经网络（DNN）的ASR系统的性能。我们称该方案为说话人不变训练（SIT）。在SIT中，DNN声学模型和说话人分类器网络被联合优化，以最小化senone（绑三音子状态）分类损失，同时最小化说话人分类损失。通过这种对抗性多任务学习，学习了说话人不变和senone区分的深度特征。使用SIT，可以学习输出概率方差显著降低的规范DNN声学模型，而无需在训练或测试中使用显式的说话者独立（SI）变换或特定于说话者的表示。在CHiME-3数据集上进行评估，SIT比传统的SI声学模型实现了4.99%的相对字错误率（WER）改善。通过额外的无监督说话人自适应，说话人自适应（SA）SIT模型比SA SI声学模型实现了4.86%的相对WER增益。
2019-04-30 cs.AI cs.CL cs.SD
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Joint Speech Recognition and Speaker Diarization via Sequence Transduction
Google（谷歌）
处理对话的语音应用程序不仅需要识别所说的话，还需要确定谁在什么时候说话。将单词分配给说话者的任务通常通过合并两个独立系统的输出来解决，这两个独立系统即自动语音识别（ASR）系统和说话者日志化（SD）系统。这两个系统是用不同的目标函数独立训练的。通常，SD系统直接在声学上操作，并且不限于尊重单词边界，并且以特别的方式克服该缺陷。受序列到序列学习的最新进展的启发，我们提出了一种新的方法来解决这两个任务的联合ASR和SD系统使用递归神经网络换能器。我们的方法利用语言和声学线索来推断扬声器的角色，而不是典型的SD系统，只使用声学线索。我们评估了我们的方法在医生和患者之间的大型医学对话语料库上的性能。与传统的基线相比，我们的方法将单词级日志化的错误率出错率从15.8%提高到2.2%。
2019-07-09 cs.CL cs.SD eess.AS
On-Device Speaker Anonymization of Acoustic Embeddings for ASR based onFlexible Location Gradient Reversal Layer
Samsung Research（三星研究院）；Samsung Electronics（三星电子）
提出一种针对ASR的说话人匿名化框架，通过在设备端执行模型初始层并传输匿名化声学嵌入至云端，利用灵活梯度反转层去除说话人身份，同时保持识别性能，实验显示说话人识别准确率降低33%，WER降低6.2%。
2023-07-25 cs.CR cs.SD eess.AS
Exploring Multilingual Unseen Speaker Emotion Recognition: Leveraging Co-Attention Cues in Multitask Learning
Indraprastha Institute of Information Technology Delhi (IIIT-D)（英迪拉普拉斯塔德里信息技术学院（IIIT-D））；MIRAE AI Systems Pvt. Ltd.（未来人工智能系统私人有限公司）
针对多语言语音情感识别难以泛化至未见说话人的问题，提出融合共同注意力与多任务学习的CAMuLeNet架构，基准测试显示其在未见说话人任务上平均提升约8%，还发布了印地语SER数据集BhavVani。
2024-06-20 cs.AI cs.CL cs.SD
Speaker dependent acoustic-to-articulatory inversion using real-time MRI of the vocal tract
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
声学到发音反转（AAI）方法从声学语音信号估计发音运动，这在诸如语音识别、合成、说话头和语言辅导的若干任务中是有用的。大多数早期的反演研究是基于点跟踪发音技术（例如EMA或XRMB）。rtMRI的优势在于它提供了上气道完整正中矢状面的动态信息，具有较高的“相对”空间分辨率。在这项工作中，我们估计正中矢状面rtMRI图像的声道扬声器相关的AAI，使用MGC-LSP频谱特征作为输入。我们应用了FC-DNN、CNN和递归神经网络，并证明了LSTM最适合这项任务。作为客观评价，我们测量了归一化的MSE，结构相似性指数（SSIM）及其复小波版本（CW-SSIM）。结果表明，FC-DNN和LSTM的组合可以实现声道的平滑生成的MR图像，其类似于原始MRI记录（平均CW-SSIM：0.94）。
2020-08-04 cs.SD eess.AS
Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）；Microsoft Corporation（微软公司）
这项工作提出了一个广泛的研究适应神经网络声学模型通过学习隐藏单元的贡献（LHUC）-一种方法，线性重新组合隐藏单元在扬声器或环境依赖的方式使用少量的无监督的适应数据。我们还将LHUC扩展到一个说话者自适应训练（SAT）框架，该框架导致一个更具适应性的DNN声学模型，以说话者相关和说话者无关的方式工作，而不需要维护辅助说话者相关特征提取器或向DNN结构引入显着的说话者相关变化。通过一系列的实验，四个不同的语音识别基准（TED会谈，Switchboard，AMI会议，极光4），包括270个测试扬声器，我们表明，LHUC在其测试和SAT的变种结果一致的字出错率减少5%至23%，相对取决于任务和训练和测试数据之间的不匹配程度。此外，我们还研究了每个扬声器的自适应数据量的影响，无监督自适应目标的质量，与其他自适应技术的互补性，一次性自适应，以及以序列判别方式训练的自适应DNN的扩展。
2016-07-13 cs.CL cs.LG cs.SD
Long-term Conversation Analysis: Exploring Utility and Privacy
Microsoft（微软）；Imperial College London（帝国理工学院）；Jade University of Applied Science（雅德应用科学大学）；Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）
本研究探索了一种基于特征降维、频谱平滑和McAdams系数的隐私保护特征提取方法，在维持语音活动检测和说话人日志系统效用的同时提升了隐私保护。
2023-06-28 cs.CL cs.SD eess.AS
Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
在典型的多说话者语音识别系统中，基于神经网络的声学模型预测每个说话者的senone状态后验。这些稍后由单独应用于每个说话者特定输出流的单说话者解码器使用。在这项工作中，我们认为，这样的计划是次优的，并提出了一个原则性的解决方案，解码所有扬声器联合。我们修改声学模型来预测所有扬声器的联合状态后验，使网络能够表达语音信号的部分扬声器的属性的不确定性。我们采用了一个联合解码器，可以利用这种不确定性与更高层次的语言信息。为此，我们重温解码算法中使用的阶乘生成模型在早期的多说话者语音识别系统。与这些早期的工作相比，我们用DNN代替了GMM声学模型，DNN提供了更大的建模能力并简化了部分推理。我们展示了联合解码的优势，在混合TIDIGITS数据集上的概念验证实验。
2022-04-15 cs.LG cs.SD eess.AS
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文研究了在自动语音识别（ASR）中从个性化说话人自适应神经网络声学模型（AM）中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要，其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法，我们开发了两种攻击模型，旨在从更新的个性化模型中推断说话人身份，而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明，本文提出的方法是非常有效的，可以提供1- 2%的等出错率（EER）。
2022-01-14 cs.CL cs.CR cs.SD
Subjective and objective experiments on the influence of speaker's gender on the unvoiced segments
Indian Institute of Science（印度科学学院）；Voice and Speech Systems（语音与言语系统公司）
本文通过主观和客观实验，研究了说话人性别对清音声学特性的影响。用异性说话者的相应段替换话语的U段，以准备修改的话语。人类被要求判断修改后的话语是由一个还是两个说话者说的。实验表明，人类受试者无法区分修改后的内容和原始内容。因此，收听者能够识别U段，而不管性别如何，这可以基于一些说话者无关的不变声学线索。为了检验这一发现是否纯粹是一种知觉现象，还进行了客观实验。使用TIMIT训练集来训练基于性别特定HMM的音素识别系统，并对（a）由相同性别说出的话语（b）由相反性别说出的话语和（c）测试集的修改的话语进行测试。如所预期的，情况（a）的性能最高，情况（b）的性能最低。对于情况（c），性能仅略微降低。这一结果表明，说话人的性别对U音的声学效果的影响并不像对浊音那样强烈。
2018-07-16 cs.SD eess.AS
Speaker-Independent Speech-Driven Visual Speech Synthesis using Domain-Adapted Acoustic Models
Apple Inc.（苹果公司）
语音驱动的视觉语音合成涉及将从声学语音中提取的特征映射到用于面部模型的对应嘴唇动画控件。这种映射可以采取多种形式，但一种强大的方法是使用深度神经网络（DNN）。然而，一个限制是缺乏可靠地训练DNN所需的同步音频、视频和深度数据，特别是对于与说话者无关的模型。在本文中，我们探讨适应自动语音识别（ASR）的声学模型（AM）的视觉语音合成的问题。我们训练了10000小时的音频数据。然后使用90小时的同步视听语音使AM适应于视觉语音合成域。使用主观评估测试，我们比较了AM初始化DNN与随机初始化DNN的性能。结果表明，观众显着更喜欢从AM初始化DNN生成的动画比使用随机初始化模型生成的动画。我们的结论是，视觉语音合成可以显着受益于语音的ASR声学模型的强大代表性。
2019-05-15 cs.LG cs.SD eess.AS
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University（亚琛工业大学）
本文提出了，在多通道ASR的背景下，一种方法来适应基于掩模的，统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算，所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器，其中包括掩模估计网络，和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定，掩模估计网络因此可以通过再训练来微调。因此，感兴趣的说话者的话语可以在两遍方法中使用，以针对该特定说话者的语音特性优化波束成形。结果表明，这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外，估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
Knowledge Distillation Leveraging Alternative Soft Targets from Non-Parallel Qualified Speech Data
IBM Research AI（IBM研究院人工智能部门）
本文描述了一种新的知识蒸馏框架，利用声学合格的语音数据包括在现有的训练数据池作为特权信息。在我们提出的框架中，一个学生网络的训练与多个软目标为每个话语，包括主要的软目标从原始扬声器的话语和替代目标从其他扬声器的话语在更好的声学条件下发言作为辅助视图。这些合格的话语从其他扬声器，用于产生更好的软目标，收集从一个合格的数据池，通过使用严格的限制，在字/电话/状态持续时间。我们提出的方法是一种形式的目标侧数据增强，创建多个副本的数据与相应的更好的软目标从一个合格的数据池。我们在声学模型自适应设置下的实验表明，所提出的方法，利用更好的软目标从各种扬声器，可以进一步提高识别精度相比，传统的方法只使用软目标从原始扬声器。
2021-12-16 cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
PromptTTS++: Controlling Speaker Identity in Prompt-Based Text-to-Speech Using Natural Language Descriptions
Tohoku University（东北大学）；LINE Corp.（LINE公司）
本文提出PromptTTS++，一种基于提示的TTS系统，通过引入说话人提示和扩散声学模型，利用自然语言描述有效控制说话人身份，优于无提示方法。
2023-12-27 cs.CL cs.LG cs.SD
Multi-Task Network for Noise-Robust Keyword Spotting and Speaker Verification using CTC-based Soft VAD and Global Query Attention
KAIST（韩国科学技术院）
关键字定位（KWS）和说话人确认（SV）已经独立研究，虽然它是已知的，声学和扬声器域是互补的。在本文中，我们提出了一个同时执行KWS和SV的多任务网络，以充分利用相互关联的域信息。多任务网络紧密结合的子网络，旨在提高性能的挑战性条件下，如嘈杂的环境，开放的词汇KWS，和短时间SV，通过引入新的技术的连接时间分类（CTC）的软语音活动检测（VAD）和全球查询注意。帧级的声学和说话人信息与语音起源的权重相结合，从而形成单词级的全局表示。然后将其用于特征向量的聚合以生成区分性嵌入。我们提出的方法显示，4.06%和26.71%的相对改善等错误率（EER）相比，这两个任务的基线。我们还提出了一个可视化的例子和烧蚀实验的结果。
2020-08-07 cs.CL cs.LG cs.SD
Token-level Speaker Change Detection Using Speaker Difference and Speech Content via Continuous Integrate-and-fire
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Bytedance AI LAB（字节跳动人工智能实验室）
在会议和对话等多人场景中，通常需要语音处理系统对音频进行分段，然后转录每个分段。这两个阶段分别由说话人变化检测（SCD）和自动语音识别（ASR）来解决。大多数先前的SCD系统仅依赖于说话人信息，而忽略了语音内容的重要性。在本文中，我们提出了一种新的SCD系统，同时考虑说话人差异和语音内容的线索。这两个线索被转换成令牌级表示的连续集成和消防（CIF）机制，然后结合用于检测扬声器的变化令牌声学边界。我们评估了我们的方法在公共真实记录的会议数据集AISHELL-4上的性能。实验结果表明，我们的方法优于竞争帧级基线系统的2.45%等覆盖率纯度（ECP）。此外，我们证明了语音内容和扬声器差异的SCD任务的重要性，以及进行SCD的令牌声学边界相比，进行SCD帧逐帧的优势。
2022-11-17 cs.SD eess.AS
End-to-end Silent Speech Recognition with Acoustic Sensing
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
无声语音接口（SSI）是最近人们感兴趣的一个令人兴奋的领域。在本文中，我们提出了一种非侵入性的无声语音接口，使用听不见的声学信号来捕捉人们说话时的嘴唇运动。我们利用智能手机的扬声器和麦克风分别发出信号和听取它们的反射。这些反射的提取相位特征被输入深度学习网络以识别语音。我们还提出了一个端到端的识别框架，它结合了CNN和基于注意力的编码器-解码器网络。有限词汇（54句）的评估结果在说话者独立和环境独立的设置中产生的单词错误率为8.4%，在看不见的句子测试中为8.1%。
2020-11-23 cs.SD eess.AS
Adversarial Speaker Adaptation
Microsoft Corporation（微软公司）
我们提出了一种新的对抗性说话人自适应（ASA）方案，其中对抗性学习应用于调节说话人相关（SD）深度神经网络（DNN）声学模型中的深度隐藏特征的分布，以接近于自适应过程中固定的说话人无关（SI）DNN声学模型。引入了一个附加的神经网络来区分SD模型产生的深度特征和SI模型产生的深度特征。在ASA中，以固定的SI模型为参考，SD模型与SVM网络联合优化，以最小化状态分类损失，同时最小化适应数据上的SI/SD区分损失。使用ASA，在SD模型中学习具有与SI模型相似分布的senone判别深度特征。利用这种正则化和自适应的深度特征，SD模型可以对目标说话者的语音执行改进的自动语音识别。在微软短消息听写数据集上进行评估，ASA对于监督和无监督自适应分别实现了14.4%和7.9%的相对单词出错率改进，超过了从2600小时数据训练的SI模型，每个扬声器具有200个自适应话语。
2019-04-29 cs.CL cs.LG cs.SD
Multi-channel multi-speaker transformer for speech recognition
本文提出多通道多说话人Transformer模型，通过改进的结构在远场多说话人语音识别任务中取得显著性能提升。
2026-01-06 cs.AI cs.SD
Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations
针对一位捷克语气管造口及严重构音障碍说话人，本文提出基于Whisper Base的多阶段微调ASR系统，利用人工对话协议收集的33小时数据，实现字符错误率相对降低50%，证明严重受损语音也可获得有效识别。
2026-10-05 cs.AI cs.CL cs.HC
ParA-LLM: A Unified Approach to Paralinguistic and Acoustic Speech Understanding
Adobe Research（Adobe研究院）；University of Maryland, College Park（马里兰大学学院公园分校）；OpenAI
针对音频大模型忽视副语言信息的问题，提出ParA-LLM，通过两阶段课程训练和120万问答对，在ParA-Bench等基准上超越GPT-4o-Audio，显著提升说话人与声学特征理解。
2026-09-22 cs.AI cs.LG cs.SD
Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery
Paderborn University（帕德博恩大学）
纯粹从语音输入中发现与扬声器无关的声学单元是一个困难的问题。在这项工作中，我们提出了一个无监督的说话人归一化技术之前，单位发现。它是基于分离说话人相关的内容引起的变化，在语音信号与对抗性对比预测编码方法。这种技术既不需要转录的语音，也不需要扬声器标签，而且，可以以多语言的方式进行训练，从而实现扬声器标准化，即使只有很少的未标记的数据是从目标语言。说话人规范化是通过将所有的话语映射到一个代表整个数据库的medoid风格来完成的。我们证明了该方法的有效性进行声学单元发现与隐马尔可夫模型变分自动编码器注意到，但是，建议的扬声器归一化可以作为任何单位发现系统的前端。在英语、约鲁巴语和姆博希语上的实验表明，与使用非规范化输入相比，该方法有所改进。
2021-05-04 cs.CL cs.SD eess.AS
R-Spin: Efficient Speaker and Noise-invariant Representation Learning with Acoustic Pieces
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出R-Spin自监督方法，通过说话人不变聚类学习离散声学单元并预测声学片段，以12倍更少计算资源在严重失真语音中实现更优的说话人与噪声不变表征。
2024-04-01 cs.CL cs.SD eess.AS
Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对现有说话人日志方法仅依赖声学信息导致不利条件下性能下降的问题，提出从会议语义内容提取说话人信息，并联合建模声学与语义信息，在AISHELL-4和AliMeeting数据集上取得一致改进。
2023-05-22 cs.CL cs.SD eess.AS
CoLMbo-SV: A Grounded Language Model for Explainable Speaker Verification
CoLMbo-SV通过将预训练说话人编码器与语言模型结合，并引入VoxReason数据集和评估框架，在VoxCeleb1-O上实现0.99%等错误率，提供可检查的声学比较报告，显著提升可解释说话人验证的准确性与解释质量。
2026-10-05 cs.CL cs.SD eess.AS
Audiovisual speaker conversion: jointly and simultaneously transforming facial expression and acoustic characteristics
National Institute of Informatics（国立信息学研究所）；The University of Edinburgh（爱丁堡大学）
提出了一种视听说话人转换方法，用于同时将源说话人的面部表情和语音转换为目标说话人的面部表情和语音。将面部和声学特征一起变换使得转换后的语音和面部表情高度相关，并且生成的目标说话者看起来和听起来自然。它使用三个神经网络：融合并变换面部特征和声学特征的转换网络、从经转换的面部特征和声学特征两者产生波形的波形生成网络、以及也基于经转换的特征两者输出RGB面部图像的图像重建网络。使用情感视听数据库的实验结果表明，与单独变换声音和面部特征的方法相比，所提出的方法实现了显着更高的自然度。
2018-12-01 cs.CL cs.LG cs.SD
Independent and automatic evaluation of acoustic-to-articulatory inversion models
PSL Research University（PSL研究大学）
为了提高语音识别和文本到语音合成，已经提出了从声学语音信号重建发音轨迹。然而，在这些设置中是有用的，发音重建必须是扬声器独立的。此外，由于大多数研究都集中在说话者较少的单个小数据集上，因此强大的发音重建可以从组合数据集中受益。标准的评估措施，如均方根误差和皮尔逊相关性是不合适的评估模型的说话人独立性或组合数据集的有用性。我们提出了一个新的评价发音重建，这是独立的发音数据集用于培训：电话歧视ABX任务。我们使用ABX测量来评估在3个数据集（14个说话者）上训练的基于Bi-LSTM的模型，并表明它提供了与标准测量互补的信息，并使我们能够评估数据集合并的影响以及模型的说话者独立性。
2019-11-15 cs.CL cs.SD eess.AS
Wasserstein GAN and Waveform Loss-based Acoustic Model Training for Multi-speaker Text-to-Speech Synthesis Systems Using a WaveNet Vocoder
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
最近的神经网络，如直接从语音波形样本学习的WaveNet和sampleRNN，即使在多扬声器文本转语音合成系统中，也在自然度和扬声器相似性方面实现了非常高质量的合成语音。这种神经网络被用作声码器的替代方案，因此它们通常被称为神经声码器。神经声码器使用声学特征作为局部条件参数，这些参数需要由另一个声学模型准确预测。然而，还不清楚如何训练该声学模型，这是有问题的，因为合成语音的最终质量受声学模型的性能的显著影响。发生显著的退化，特别是当预测的声学特征与自然特征相比具有不匹配的特征时。为了减少自然和生成的声学特征之间的不匹配特性，我们提出了将条件生成对抗网络（GAN）或其变体Wasserstein GAN与梯度惩罚（WGAN-GP）结合到使用WaveNet声码器的多扬声器语音合成中的框架。我们还扩展了GAN框架，并使用经过良好训练的WaveNet的离散化混合逻辑损失以及均方误差和对抗损失作为目标函数的一部分。实验结果表明，使用WGAN-GP框架训练的声学模型，使用反向传播离散混合物流（DML）损失在质量和扬声器相似性方面达到最高的主观评价分数。
2018-07-31 cs.CL cs.SD eess.AS
SEAL: Speaker Error Correction using Acoustic-conditioned Large Language Models
Ohio State University（俄亥俄州立大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对传统说话人日志系统易产生说话人错误的问题，提出基于声学条件化大语言模型的SEAL方法，结合约束解码减少幻觉，在多个数据集上实现24%-43%的说话人错误率下降。
2025-01-14 cs.AI cs.CL cs.LG
Speaker conditioned acoustic-to-articulatory inversion using x-vectors
言语的产生涉及到各种发音器官的运动，包括舌头、下巴和嘴唇。从语音声学来估计发音器官的运动被称为声学发音反转（AAI）。最近，已经表明，与以特定于说话者的方式训练AAI不同，汇集来自多个说话者的声学发音数据是有益的。此外，通过在AAI的输入处的独热编码与声学特征一起使用扬声器特定信息的附加调节有益于在封闭设置的扬声器训练和测试条件下的AAI性能。在这项工作中，我们进行了实验研究的好处，使用x向量提供扬声器的特定信息条件AAI。30个说话人的实验表明，AAI性能受益于在闭集看到说话人条件下使用x向量。此外，x向量也很好地推广了未见过的扬声器评估。
2020-06-20 eess.AS
A Study of Acoustic Features in Arabic Speaker Identification under Noisy Environmental Conditions
USTHB（阿尔及尔科技大学）
语音识别领域的主要部分之一是选择声学特征，这些特征必须对语音信号的变化、失配条件和噪声环境具有鲁棒性。因此，已经开发了不同的语音特征提取技术。在本文中，我们研究了几个前端技术在阿拉伯语说话人识别的鲁棒性。我们评估了五个不同的功能，在不同的信号噪声比（SNR）的串音，工厂和地铁条件。实验结果表明，两种听觉特征，即伽玛频率倒谱系数（GFCC）和功率归一化倒谱系数（PNCC），与它们的组合不同，其性能明显优于传统的说话人特征，即梅尔频率倒谱系数（MFCC）。
2021-10-23 cs.SD eess.AS
Personalized Acoustic Echo Cancellation for Full-duplex Communications
Northwestern Polytechnical University（西北工业大学）
深度神经网络（DNN）已经显示出用于声学回声消除（AEC）的有希望的结果。但是基于DNN的AEC模型允许所有近端扬声器，包括干扰语音。鉴于最近的个性化语音增强的研究，我们调查的可行性个性化声学回声消除（PAEC）在本文中的全双工通信，其中背景噪声和干扰扬声器可能共存的声学回声。具体来说，我们首先提出了一种新的骨干神经网络，称为门控时间卷积神经网络（GTCNN），其性能优于最先进的AEC模型。说话人嵌入，如d向量，进一步采用作为辅助信息，以指导GTCNN专注于目标说话人。PAEC中的一个特殊情况是呼叫双方的语音片段都被登记。实验结果表明，无论是近端说话人还是远端说话人的辅助信息都可以提高基于DNN的AEC性能。尽管如此，在有限维说话人嵌入的利用方面仍有很大的改进空间。
2022-06-30 cs.SD eess.AS
Speaker conditioned acoustic modeling for multi-speaker conversational ASR
在本文中，我们提出了一种新的方法，从单通道语音记录的语音对话与自然扬声器重叠的转录。所提出的模型是一个说话人日记系统和混合自动语音识别（ASR）系统的组合。ASR系统中的说话人条件声学模型（SCAM）由一系列嵌入层组成，这些嵌入层使用来自日记化系统的说话人活动输入来导出说话人特定嵌入。SCAM的输出是用于解码对话中每个扬声器的转录的扬声器特定的senone。在这项工作中，我们的实验与自动扬声器活动的决定使用端到端扬声器日记系统。还提出了一种联合学习方法，其中日志化模型和ASR声学模型被联合优化。实验是在Switchboard电话会话语料库中的混合通道双说话人录音上进行的。在这些实验中，我们表明，所提出的声学模型，结合扬声器活动决策和联合优化，显着提高了ASR系统与显式源过滤（相对改善12%的字错误率（WER）的基线系统）。
2022-08-29 eess.AS
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University（剑桥大学）
在本文中，我们提出了一种用于训练深度神经网络（DNN）的半监督学习（SSL）技术，以生成说话人区分的声学嵌入（说话人嵌入）。获取大量的说话人识别训练数据对于期望的目标域可能是困难的，特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练（VAT）[1]的一种变体，其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性，如余弦距离所测量的。因此，我们将该技术称为余弦距离虚拟对抗训练（CD-VAT）。与许多现有的SSL技术相比，未标记的数据不必来自与标记数据相同的类（这里是扬声器）。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示，在说话人验证任务中，相对于纯监督基线，它实现了11.1%的等错误率（EER）降低。如果未标记数据的说话人标签可用，这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
A two-stage speaker extraction algorithm under adverse acoustic conditions using a single-microphone
Bar-Ilan University（巴伊兰大学）；OriginAI
在这项工作中，我们提出了一个两阶段的方法，混响和噪声条件下的说话人提取。给定期望扬声器的参考信号，首先从噪声混合信号中提取干净但仍然混响的期望扬声器。在第二阶段中，通过联合去混响和残余噪声和干扰减少来进一步增强所提取的信号。所提出的架构包括两个子网络，一个用于提取任务，第二个用于去混响任务。我们提出了一个训练策略，这种架构，并表明，所提出的方法的性能是与其他国家的最先进的（SOTA）的方法时，适用于WHAMR！数据集。此外，我们提出了一个新的数据集更现实的不利的声学条件，并表明我们的方法优于竞争的方法时，应用到这个数据集以及。
2023-03-13 cs.SD eess.AS
On Synchronization of Wireless Acoustic Sensor Networks in the Presence of Time-varying Sampling Rate Offsets and Speaker Changes
Paderborn University（帕德博恩大学）
如果网络设备的模数转换器（ADC）不同步，则无线声学传感器网络记录具有音频流之间的采样时间和采样速率偏移的音频信号。在这里，我们引入了一个新的采样率偏移模型来模拟时变采样频率，例如，由ADC晶体振荡器的温度变化引起的，并提出了一种估计算法来处理这种动态方面与不断变化的声源位置相结合。此外，我们还展示了如何使用基于深度神经网络的麦克风和人类说话者之间距离的估计来确定采样时间偏移。这使得音频流能够同步以反映飞行的物理时差。
2021-10-25 cs.SD eess.AS
Impact of Naturalistic Field Acoustic Environments on Forensic Text-independent Speaker Verification System
Center for Robust Speech Systems (CRSS), University of Texas at Dallas（德克萨斯大学达拉斯分校鲁棒语音系统中心）
用于法医说话人验证的音频分析在系统性能方面提供了独特的挑战，部分原因是在自然现场声学环境中收集的数据，其中位置/场景不确定性在法医数据收集过程中是常见的。作为潜在证据的法庭语音数据可以在随机的自然环境中获得，导致数据质量可变。语音样本可能包括由于声音的努力，如在911紧急呼叫大喊大叫，而其他可能是耳语或现场位置或面试室的情景强调的声音的变化。这种语音变异性包括内在和外在特征，使得说话人确认成为一项复杂而艰巨的任务。外部属性包括录音设备，如麦克风类型和位置，环境噪声，房间配置（包括混响）和其他基于环境噪声的问题。一些因素，如噪声和非目标语音，会影响验证系统的性能，因为它们的存在。为了调查现场声学环境的影响，我们进行了说话人验证研究的基础上，从8个现场位置，包括警察采访收集的音频CRSS-法医语料库。这项调查包括七个看不见的声学环境对扬声器验证系统的性能使用x-向量系统的影响进行分析。
2022-01-28 cs.SD eess.AS
Voice Conversion for Lombard Speaking Style with Implicit and Explicit Acoustic Feature Conditioning
Department of Computing, Imperial College London（帝国理工学院计算机系）；Amazon Alexa, TTS Research（亚马逊Alexa，语音合成研究）
本文研究Lombard发音风格迁移，提出在语音转换中采用隐式声学特征条件策略，在转换说话人身份的同时保留Lombard风格属性，实现了与显式条件相当的可懂度提升并保持了说话人相似度。
2025-07-12 cs.CL cs.SD eess.AS
CrossSpeech: Speaker-independent Acoustic Representation for Cross-lingual Speech Synthesis
dot Inc.（42dot公司）
针对跨语言语音合成中说话人与语言信息纠缠的问题，提出CrossSpeech方法，通过分离说话人无关与相关生成器解耦两类信息，显著提升跨语言TTS的说话人相似度与合成质量。
2023-06-12 cs.AI cs.SD eess.AS
Problem-Agnostic Speech Embeddings for Multi-Speaker Text-to-Speech with SampleRNN
Amazon Research（亚马逊研究院）
文语转换（TTS）声学模型将语言特征映射到生成可听波形的声学表示中。最新和最自然的TTS系统在语言和波形域之间建立了直接映射，如SampleRNN。这样，由于中间声学表示被丢弃，避免了可能的信号自然度损失。除了自然性之外，研究的另一个重要方面是它们对从训练期间看不见的新说话者发出声音的适应性。在本文中，我们首先提出了使用问题不可知的语音嵌入在一个多扬声器声学模型的TTS基于SampleRNN。通过这种方式，我们为声学模型提供了扬声器声学相关的表示，这些表示比与这些因素无关的离散嵌入更丰富了波形生成。我们的第一个结果表明，所提出的嵌入导致更好的质量的声音比那些获得离散嵌入。此外，由于我们可以在推理过程中使用任何语音片段作为编码表示，因此该模型能够推广到新的说话人身份，而无需重新训练网络。我们最后表明，随着嵌入提取器中语音持续时间的小幅增加，我们大大降低了频谱失真，以缩小目标身份的差距。
2019-09-22 cs.SD eess.AS
Exploring wav2vec 2.0 on speaker verification and language identification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
Wav 2 vec 2.0是最近提出的用于语音表示学习的自监督框架。它遵循预训练和微调的两阶段训练过程，并在语音识别任务，特别是超低资源的情况下表现良好。在这项工作中，我们试图将自监督框架扩展到说话人确认和语言识别。首先，我们使用一些初步的实验来表明wav 2 vec 2.0可以捕获有关说话人和语言的信息。然后我们证明了wav 2 vec 2.0在这两个任务上的有效性。对于说话人验证，我们获得了一个新的最先进的结果，在VoxCeleb 1数据集上的相等出错率（EER）为3.61%。对于语言识别，我们在1秒条件下获得了12.02%的EER，在AP 17-OLR数据集的全长条件下获得了3.47%的EER。最后，通过对两个任务的多任务学习，利用一个模型实现统一建模。
2021-01-14 cs.CL cs.SD eess.AS
Interpreting the Dimensions of Speaker Embedding Space
University College London（伦敦大学学院）
本文利用10,000名说话人语料库和三种嵌入系统，分析说话人嵌入与可解释声学参数、年龄及性别的关系，发现9个声学参数可解释超过50%的方差并存在隐式性别信息，但年龄表征不足。
2025-10-18 cs.SD eess.AS
Exploring a Unified Attention-Based Pooling Framework for Speaker Verification
Tsinghua University（清华大学）；Unit, Chinese People's Liberation Army（中国人民解放军62315部队）
池化层是基于神经网络的说话人确认的重要组成部分。目前说话人确认中的大多数网络都使用平均池来获得话语级说话人表示。平均池化将每个帧视为同等重要，这是次优的，因为说话者判别能力在语音段之间是不同的。在本文中，我们提出了一个统一的基于注意力池的框架，并将其与多头注意力。在Fisher和NIST SRE 2010数据集上的实验表明，涉及较低层的输出来计算注意力权重可以优于平均池化，并且比vanilla注意力方法获得更好的结果。多头注意力进一步提高了性能。
2018-08-21 cs.SD eess.AS
Exploring Detection-based Method For Speaker Diarization @ Ego4D Audio-only Diarization Challenge 2022
Nanjing University（南京大学）
我们提供了ECCV 2022中Ego 4D纯音频日志化挑战的技术报告。说话人日志化以音频流作为输入，并根据说话人的身份输出同质段。它旨在解决“谁在什么时候发言”的问题。“在本文中，我们探索了一种基于检测的方法来解决仅音频的说话人日记化任务。我们的方法首先提取音频特征的音频骨干，然后提供给一个检测生成网络，以获得扬声器的建议。最后，经过后处理，我们可以得到的日志化结果。验证数据集验证了该方法，我们的方法在测试数据集上实现了53.85 DER。这些结果在2022年Ego 4D纯音频日记挑战排行榜上排名第三。
2022-11-16 cs.SD eess.AS
Why Did the x-Vector System Miss a Target Speaker? Impact of Acoustic Mismatch Upon Target Score on VoxCeleb Data
University of Eastern Finland（东芬兰大学）；School of Computing（计算机学院）
现代自动说话人验证（ASV）在很大程度上依赖于通过深度神经网络实现的机器学习。很难解释这些黑匣子的输出。与解释性机器学习一致，我们对ASV检测分数对注册和测试话语的声学失配的依赖性进行建模。我们的目标是确定失配的因素，解释目标扬声器错过（错误拒绝）。我们使用选定的声学特征的一阶和二阶统计中的距离作为线性混合效应模型中的预测因子，而标准的Kaldi x向量系统形成了我们的ASV黑盒。我们对VoxCeleb数据的研究结果显示，最突出的失配因素是F0均值，其次是与共振峰频率相关的失配。我们的研究结果表明，x-向量系统缺乏鲁棒性扬声器内的变化。
2020-08-11 cs.CY cs.SD eess.AS
Robust Acoustic Domain Identification with its Application to Speaker Diarization
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；GITAM (Deemed to be University)（甘地技术与管理大学（认定大学））；Université de Lorraine（洛林大学）
随着多年来多媒体内容的增加，在音频的记录环境中观察到更多的变化。当音频处理系统在其前端具有识别声学域的模块时，音频处理系统可能会受益。在本文中，我们展示了\emph{acoustic domain identification}（ADI）的思想，为\emph{speaker diarization}。为此，我们首先对第三个DIHARD挑战的各个领域进行了详细的研究，突出了将它们彼此区分开来的因素。我们的主要贡献是为ADI公司开发简单高效的解决方案。在目前的工作中，我们探讨这个任务的发言人嵌入。接下来，我们将ADI模块与DIHARD III挑战赛的演讲者日记框架集成。当凝聚层次聚类的阈值根据各自的域进行优化时，性能大大提高。在DIHARD III评估集的轨道1上，我们分别在核心和完全条件下实现了DER的$5\%$和$8\%$以上的相对改善。
2022-08-08 cs.SD eess.AS
Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders
University of Edinburgh（爱丁堡大学）；Meta AI
基于文本的语音编辑（TBVE）使用文本到语音（TTS）系统的合成输出来替换原始录音中的单词。最近的工作使用神经模型来产生编辑后的语音，这些语音在清晰度、说话者身份和韵律方面与原始语音相似。然而，先前工作的一个限制是使用微调来优化性能：这需要对来自目标说话者的数据进行进一步的模型训练，这是一个昂贵的过程，可能会将潜在的敏感数据合并到服务器端模型中。相比之下，这项工作的重点是zero-shot的方法，它避免了微调，而是使用预先训练的说话人验证嵌入与联合训练的参考编码器一起编码话语级信息，帮助捕获方面，如说话人的身份和韵律。主观听音测试发现，在zero-shot设置下，话语嵌入和参考编码器都提高了编辑后的合成语音和未编辑的原始录音之间的说话人身份和韵律的连续性。
2022-10-28 cs.CL cs.SD eess.AS
A$^3$T: Alignment-Aware Acoustic and Text Pretraining for Speech Synthesis and Editing
University of Waterloo（滑铁卢大学）；Baidu Research USA（百度美国研究院）；Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
最近，语音表示学习已经改善了许多与语音相关的任务，例如语音识别、语音分类和语音到文本的翻译。然而，所有上述任务都是在语音理解的方向上，但对于相反的方向，语音合成，由于生成高质量语音的挑战性，表征学习的潜力尚未实现。为了解决这个问题，我们提出了我们的框架，Alignment-Aware Acoustic-Text Pretraining（A $^3$ T），它在训练过程中使用文本输入和声学文本对齐来重建掩蔽的声学信号。通过这种方式，预训练的模型可以生成高质量的重建谱图，其可以直接应用于语音编辑和不可见说话人TTS。实验结果表明，$^3$ T在语音编辑方面优于SOTA模型，并且在没有外部说话人确认模型的情况下改善了多说话人语音合成。
2022-06-18 cs.CL cs.SD eess.AS
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation
Alibaba Group（阿里巴巴集团）
本文提出一种利用语义信息改进基于聚类的说话人日志系统的新方法，通过口语理解模块提取语义并构建成对约束，实验证明其性能优于仅用声学特征的系统。
2024-02-04 cs.CL cs.SD eess.AS
