A Comparative Study of Modular and Joint Approaches for Speaker-Attributed ASR on Monaural Long-Form Audio
Microsoft Corp.（微软公司）
说话人属性自动语音识别（SA-ASR）是从多个说话人的录音中识别“谁说了什么”的任务。SA-ASR系统通常由语音分离、说话人日志化和ASR等多个模块组成。另一方面，考虑到联合优化，最近提出了一种端到端（E2 E）SA-ASR模型，并在仿真数据上取得了令人满意的结果。在本文中，我们提出了我们最近的研究比较真实的单声道录音，这种模块化和联合的方法对SA-ASR。我们通过利用大规模训练数据，包括7.5万小时的ASR训练数据和用于说话人表示学习的VoxCeleb语料库，为模块化和联合方法开发最先进的SA-ASR系统。我们还提出了一个新的管道，执行E2 E SA-ASR模型后，扬声器聚类。在AMI会议语料库上的评价表明，经过少量的实际数据微调后，联合系统的准确率比最好的模块系统提高了8.9- 29.9%，而模块系统在微调前的准确率更高。我们还进行了各种误差分析，以显示单耳SA-ASR的剩余问题。
2021-09-17 cs.CL cs.SD eess.AS
Sequence-level Speaker Change Detection with Difference-based Continuous Integrate-and-fire
说话人切换检测是会议、对话等多方交互中的一项重要任务。在本文中，我们解决说话人变化检测任务的角度来看，序列转导。具体来说，我们提出了一种新的编码器-解码器框架，直接将输入的特征序列转换为说话人身份序列。基于差异的连续集成和激发机制被设计用于支持该框架。它通过逐帧整合编码器输出之间的扬声器差异来检测扬声器变化，并根据检测到的扬声器变化将编码器输出传输到分段级扬声器嵌入。整个框架由说话人身份序列监督，这是一个比精确说话人转换点更弱的标签。AMI和DIHARD-I语料库上的实验表明，我们的序列级方法始终优于使用精确的说话人变化标签的强帧级基线。
2022-06-27 cs.SD eess.AS
A Comparative Evaluation of Pitch Modification Techniques
University of Mons（蒙斯大学）
本文讨论的音高修改的问题，作为一个有效的语音转换系统的重要模块。我们在以前的工作中提出的残差信号的确定性加随机模型进行了比较TDPSOLA，HNM和STRAIGHT。通过一个重要的主观测试，这四种方法进行了比较。分析了说话人性别和基音修正率对语音质量的影响。尽管其较高的压缩水平，DSM技术示出了类似或更好的结果比其他方法，特别是男性扬声器和重要的修改比率。DSM原来是唯一优于直的女性声音。
2020-01-02 cs.CL cs.SD eess.AS
A Comparative Study of Fusion Methods for SASV Challenge 2022
1 Samsung R\&D Institute Russia
自动说话人确认系统是一种生物特征认证系统。它可能受到入侵者的攻击，入侵者伪造数据以访问受保护的信息。对策（CM）是检测这些欺骗攻击的特殊算法。虽然ASVspoof挑战赛系列的重点是针对固定ASV系统开发CM，但新的欺骗感知扬声器验证（SASV）挑战赛组织者认为，如果CM和ASV系统联合优化，可以实现最佳效果。协作优化的方法之一是融合从ASV和CM模型获得的嵌入或得分。SASV Challenge 2022的基线呈现了两种类型的融合：分数总和和具有3层MLP的后端集成。本文介绍了我们对其他融合方法的研究，包括增强嵌入，这还没有被用于反欺骗研究之前。
2022-03-31 cs.SD eess.AS
Token-level Speaker Change Detection Using Speaker Difference and Speech Content via Continuous Integrate-and-fire
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Bytedance AI LAB（字节跳动人工智能实验室）
在会议和对话等多人场景中，通常需要语音处理系统对音频进行分段，然后转录每个分段。这两个阶段分别由说话人变化检测（SCD）和自动语音识别（ASR）来解决。大多数先前的SCD系统仅依赖于说话人信息，而忽略了语音内容的重要性。在本文中，我们提出了一种新的SCD系统，同时考虑说话人差异和语音内容的线索。这两个线索被转换成令牌级表示的连续集成和消防（CIF）机制，然后结合用于检测扬声器的变化令牌声学边界。我们评估了我们的方法在公共真实记录的会议数据集AISHELL-4上的性能。实验结果表明，我们的方法优于竞争帧级基线系统的2.45%等覆盖率纯度（ECP）。此外，我们证明了语音内容和扬声器差异的SCD任务的重要性，以及进行SCD的令牌声学边界相比，进行SCD帧逐帧的优势。
2022-11-17 cs.SD eess.AS
A Comparative Study of Voice Conversion Models with Large-Scale Speech and Singing Data: The T13 Systems for the Singing Voice Conversion Challenge 2023
Nagoya University（名古屋大学）；LINE Corp.（LINE公司）
本研究面向2023年歌唱语音转换挑战赛，提出基于扩散模型的任意到任意语音转换T13系统，先利用750小时大规模语音歌唱数据预训练再针对目标对象微调，在跨域任务中取得有竞争力的效果，验证了大数据对跨域SVC的增益。
2023-10-08 cs.CL cs.LG cs.SD
A Comparative Evaluation of Deep Learning Models for Speech Enhancement in Real-World Noisy Environments
ECE, Clarkson University（电气与计算机工程系，克劳斯顿大学）
本研究比较了三种深度学习模型在真实世界嘈杂环境中的语音增强性能，发现CMGAN在感知质量上表现最佳，U-Net在噪声抑制方面表现突出，Wave-U-Net则在平衡各项指标上表现优异。
2026-01-21 cs.LG cs.SD eess.AS
Do speech foundation models perceive speaker similarity as humans do?
Keio University, Japan（庆应大学，日本）；The University of Tokyo, Japan（东京大学，日本）
本研究通过比较40多个语音基础模型的说话人嵌入与人类主观相似性评分，探究模型距离是否与人类感知一致，并识别影响模型与人类感知一致性的关键配置因素。
2026-06-18 cs.SD eess.AS
Streaming Speaker Change Detection and Gender Classification for Transducer-Based Multi-Talker Speech Translation
Microsoft（微软公司）
本文提出将说话人嵌入整合到基于 Transducer 的流式端到端语音翻译模型中，以同时实现多说话人场景下的流式说话人变更检测与性别分类，实验验证了该方法的高准确率。
2025-02-04 cs.AI cs.CL cs.SD
Speaker and Language Change Detection using Wav2vec2 and Whisper
Radboud University Nijmegen（奈梅亨拉德堡德大学）
我们调查了最近的Transformer网络预训练的自动语音识别的能力，以检测说话人和语言的变化。我们通过简单地将说话者（变化）或语言目标添加到标签来实现这一点。对于Wav2vec2预训练的网络，我们还研究了说话人改变符号的表示是否可以被调节以捕获说话人身份特征。使用一些构建的数据集，我们表明，这些能力是肯定存在的，与说话人识别的顺序为10%的错误率和几个百分点的语言检测错误率相等。我们将发布代码以供复制。
2023-02-18 cs.CL cs.LG cs.SD
RLS-Based Adaptive Dereverberation Tracing Abrupt Position Change of Target Speaker
Nanjing University（南京大学）；Institute of Acoustics（声学研究所）
基于多通道线性预测的自适应算法是一种有效的去混响方法，能够很好地平衡长时混响的衰减和去混响后的语音质量。然而，通常由说话人的移动引起的语音源位置的突变形成了自适应算法的障碍，并且使得难以保证快速收敛速度和最优稳态行为。研究了基于RLS的自适应多通道线性预测方法，提出了一种基于自适应滤波器系数相对加权变化的时变遗忘因子，有效地跟踪目标说话人位置的突变。仿真和实验证明了该方案的优越性。
2018-08-23 cs.SD eess.AS
Speaker Change Detection for Transformer Transducer ASR
Microsoft（微软）
说话人改变检测（SCD）是通过在说话人改变点处将单词序列分成段落来提高来自自动语音识别（ASR）系统的所识别单词的可读性的重要特征。现有的SCD解决方案或者需要用于基于时间的决策和识别的单词序列的附加集成，或者实现ASR和SCD之间的紧密集成，从而限制了两个任务的潜在最佳性能。为了解决这些问题，我们提出了一个新的框架SCD任务，其中一个额外的SCD模块是建立在现有的Transformer传感器ASR（TT-ASR）网络的顶部。SCD网络的两种变体在这个框架中进行了探索，自然地估计每个单词的说话人变化概率，同时允许ASR和SCD具有独立的优化方案以获得最佳性能。实验表明，与联合SCD和ASR基线相比，我们的方法可以显着提高LibriCSS和Microsoft呼叫中心数据集的F1得分，而不会降低ASR。
2023-02-16 cs.SD eess.AS
Collar-aware Training for Streaming Speaker Change Detection in Broadcast Speech
Tallinn University of Technology（塔林理工大学）
在本文中，我们提出了一种新的训练方法的说话人变化检测模型。说话人转换检测通常被看作是一个二进制序列标记问题。这种方法的主要挑战是由说话人回合之间的沉默和由于大多数帧不包括说话人变化而导致的不平衡数据引起的注释变化点的复杂性。传统的训练方法通过人为增加训练数据中阳性标签的比例来解决这些问题。相反，所提出的方法使用目标函数，该目标函数鼓励模型预测指定项圈内的单个阳性标记。这是通过边缘化衣领内恰好有一个正标签的所有可能的子序列来完成的。在英语和爱沙尼亚语数据集上的实验表明，与传统的训练方法相比，该方法有很大的改进。此外，模型输出具有集中到单个帧的峰值，消除了对后处理的需要，以找到准确的预测变化点，这对于流应用特别有用。
2022-05-14 cs.CL cs.SD eess.AS
SCDiar: a streaming diarization system based on speaker change detection and speech recognition
IT Innovation and Research Center, Huawei Technologies（华为技术有限公司 IT 创新研究中心）
针对长会议实时语音流中说话人分离易出错的问题，提出SCDiar系统，通过SCD模块在token级别切分语音片段并优化片段选择，在超十人真实会议数据上准确率提升53.6%，显著缩小了在线与离线系统性能差距。
2025-01-28 cs.HC cs.SD eess.AS
Separating Content from Speaker Identity in Speech for the Assessment of Cognitive Impairments
深度说话人嵌入已经被证明是有效的评估认知障碍，除了他们的说话人验证的原始目的。然而，研究发现，说话人嵌入编码说话人身份和一系列信息，包括说话人的人口统计数据，如性别和年龄，以及一定程度上的语音内容，这是认知障碍评估中已知的混杂因素。在本文中，我们假设，内容信息分离的扬声器身份使用的框架，语音转换是更有效的评估认知障碍和训练简单的分类比较分析的DementiaBank皮特语料库。我们的研究结果表明，虽然内容嵌入具有优势，扬声器嵌入的定义的问题，进一步的实验表明，其有效性取决于信息编码的扬声器嵌入由于用于提取内容的架构的固有设计。
2022-03-21 eess.AS
Spoken language change detection inspired by speaker change detection
IIT Dharwad（达尔瓦德印度理工学院）
本文借鉴说话人切换检测框架研究语言切换检测，通过增大分析窗口并利用先验语言知识，在合成与真实语码转换数据集上显著提升性能。
2023-02-10 cs.SD eess.AS
On Synchronization of Wireless Acoustic Sensor Networks in the Presence of Time-varying Sampling Rate Offsets and Speaker Changes
Paderborn University（帕德博恩大学）
如果网络设备的模数转换器（ADC）不同步，则无线声学传感器网络记录具有音频流之间的采样时间和采样速率偏移的音频信号。在这里，我们引入了一个新的采样率偏移模型来模拟时变采样频率，例如，由ADC晶体振荡器的温度变化引起的，并提出了一种估计算法来处理这种动态方面与不断变化的声源位置相结合。此外，我们还展示了如何使用基于深度神经网络的麦克风和人类说话者之间距离的估计来确定采样时间偏移。这使得音频流能够同步以反映飞行的物理时差。
2021-10-25 cs.SD eess.AS
Augmenting Transformer-Transducer Based Speaker Change Detection With Token-Level Training Loss
Google LLC（谷歌有限责任公司）
在这项工作中，我们提出了一种新的基于令牌的训练策略，提高了基于转换器-转换器（T-T）的说话人变化检测（SCD）的性能。传统的基于T-T的SCD模型损失同样优化了所有输出令牌。由于训练数据中说话人变化的稀疏性，传统的基于T-T的SCD模型损失导致次优的检测精度。为了缓解这个问题，我们使用定制的编辑距离算法来估计训练过程中的令牌级SCD错误接受（FA）和错误拒绝（FR）率，并优化模型参数，以最大限度地减少FA和FR的加权组合，将模型集中在准确预测说话人变化上。我们还提出了一组评估指标，更好地与商业用例保持一致。在一组具有挑战性的真实世界数据集上的实验表明，所提出的训练方法可以显着提高SCD模型的整体性能与相同数量的参数。
2022-12-04 cs.LG cs.SD eess.AS
USM-SCD: Multilingual Speaker Change Detection Based on Large Pretrained Foundation Models
Google LLC（谷歌有限责任公司）
提出多语言说话人变更检测模型USM-SCD，基于大型语音基础模型微调，在96种语言上实现高精度检测与ASR，仅需训练四分之一参数即达SOTA性能。
2024-01-06 cs.LG cs.SD eess.AS
Multitask Detection of Speaker Changes, Overlapping Speech and Voice Activity Using wav2vec 2.0
University of West Bohemia（西波西米亚大学）
本文利用 wav2vec 2.0 自监督模型，提出多任务系统同时检测说话人变化、重叠语音和语音活动，在四个语料库上超越先前结果，并在 AMI 语料库上达到最先进性能。
2023-03-10 cs.SD eess.AS
Encoder-decoder multimodal speaker change detection
NAVER Corporation（NAVER公司）；NAVER Cloud Corporation（NAVER云公司）
针对多模态说话人切换检测，本文提出融合音频与文本的编码器-解码器模型，采用1.5秒说话人嵌入和transformer解码器，取得最先进性能。
2023-06-01 cs.AI cs.SD eess.AS
Neural Predictive Coding using Convolutional Neural Networks towards Unsupervised Learning of Speaker Characteristics
在说话人识别、日记化和语音识别等应用中，学习特定于说话人的特征至关重要。本文提出了一种新的方法，我们称之为神经预测编码（NPC），学习说话人特定的特征，在一个完全无监督的方式从大量的未标记的训练数据，甚至包含许多非语音事件和多说话人的音频流。NPC框架利用了所提出的短期活动说话人平稳性假设，该假设假设两个时间上接近的短语音段属于同一说话人，因此可以对两个段的共性进行编码的共同表示应该捕获该说话人的声音特征。我们训练一个卷积深度连体网络，通过学习分离从音频流的未标记数据生成的“相同”与“不同”扬声器对来产生“扬声器嵌入”。在不同的场景下进行了两组实验，以评估NPC嵌入的强度，并与最先进的域内监督方法进行比较。首先，两个说话人辨识实验与不同的上下文长度进行的情况下，相对有限的说话人内通道的变化。NPC嵌入被发现在短时间实验中表现最好，并且它们为完整话语实验提供了i-向量的补充信息。其次，一个大规模的扬声器确认任务具有广泛的扬声器内通道的变化被采用作为上限实验，其中比较绘制与域监督方法。
2019-04-25 cs.CL cs.SD eess.AS
A Thousand Words are Worth More Than One Recording: NLP Based Speaker Change Point Detection
Ariel University（阿里埃勒大学）；Ariel Cyber Innovation Center（阿里埃勒网络创新中心）
扬声器日志化（SD）包括根据扬声器身份来分割或分段输入音频突发。在本文中，我们专注于SD问题的关键任务，这是音频分割过程，并提出了一个解决方案的变化点检测（CPD）问题。我们经验证明的负相关性增加的扬声器和召回和F1分数测量的数量。这种负相关性被证明是一个大规模的实验评估过程的结果，这说明它的优越性，最近开发的基于语音的解决方案。为了克服扬声器的数量问题，我们提出了一个强大的解决方案的基础上，一种新的自然语言处理（NLP）技术，以及元数据特征提取过程，而不是一个单独的声乐为基础。据我们所知，我们是第一个提出基于智能NLP的解决方案的人，该解决方案（I）用希伯来语的数据集解决CPD问题，（II）解决SD问题的CPD变体。我们经验表明，基于两个不同的数据集，我们的方法是能够准确地识别的CPD在音频突发与82.12%和89.02%的成功率在召回和F1分数测量。
2020-05-18 cs.CL cs.SD eess.AS
Speaker Turn Modeling for Dialogue Act Classification
University of Southern California（南加州大学）
对话行为分类是根据话语在对话中的功能对话语进行分类的任务。现有的DA分类模型的话语没有纳入整个对话中说话者之间的话轮变化，因此对待它没有什么不同的非交互式的书面文本。在本文中，我们建议在建模DA时，将说话人之间的会话中的话轮变化整合起来。具体来说，我们学习会话不变的说话人话轮嵌入来表示会话中的说话人话轮;然后将学习到的说话人话轮嵌入与DA分类的下游任务的话语嵌入合并。有了这个简单而有效的机制，我们的模型是能够捕捉到的语义从对话内容，同时占不同的扬声器轮流在对话中。在三个基准公共数据集上的验证证明了我们模型的优越性能。
2021-09-10 cs.CL cs.SD eess.AS
SCDNet: Self-supervised Learning Feature-based Speaker Change Detection
本文提出 SCDNet 说话人切换检测模型，系统比较 Hubert、wav2vec 2.0 与 WavLm 的自监督特征，并通过可学习层加权、微调和对比学习提升性能。
2024-06-12 cs.SD eess.AS
Survey of End-to-End Multi-Speaker Automatic Speech Recognition for Monaural Audio
Worcester Polytechnic Institute（沃斯特理工大学）
本文系统综述了端到端多说话人自动语音识别的神经架构范式（SIMO与SISO）、近期改进方法及长语音扩展策略，并通过标准基准评估比较了各类方法。
2026-05-27 cs.AI cs.CL cs.SD
BERTraffic: BERT-based Joint Speaker Role and Speaker Change Detection for Air Traffic Control Communications
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；German Aerospace Center (DLR)（德国航空航天中心）
自动语音识别（ASR）允许转录空中交通管制员（ATCO）和飞行员之间的通信。transname稍后用于提取ATC命名实体，例如，飞机呼号一个常见的挑战是语音活动检测（SAD）和说话人日志化（SD）。在故障条件下，两个或更多段保留在同一记录中，从而危及整体性能。我们提出了一个结合SAD和BERT模型的系统，通过分块ASR成绩单来执行说话人变化检测和说话人角色检测（SRD），即，SD与SRD一起定义扬声器数量。该模型在现实生活中的公共ATC数据库进行评估。我们的BERT SD模型基线在公共和私人ATC数据库中达到高达10%和20%的基于令牌的Jaccard错误率（JER）。与VBx（一种众所周知的SD系统）相比，我们还分别在JER和SD错误率（DER）方面实现了32%和7.7%的相对改善。
2022-10-14 cs.CL cs.LG eess.AS
pyannote.audio: neural building blocks for speaker diarization
我们介绍pyannote.audio，这是一个用Python编写的用于演讲者日记的开源工具包。基于PyTorch机器学习框架，它提供了一组可训练的端到端神经构建块，可以组合并联合优化以构建扬声器日志化管道。pyannote.audio还提供了预先训练的模型，涵盖了语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入的广泛领域，其中大多数都达到了最先进的性能。
2019-11-04 cs.SD eess.AS
DNN driven Speaker Independent Audio-Visual Mask Estimation for Speech Separation
University of Stirling（斯特林大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；University of Sheffield（谢菲尔德大学）
人类的听觉皮层擅长选择性地抑制背景噪音，以专注于目标说话者。已知大脑中的选择性注意过程是根据上下文利用可用的音频和视觉线索来更好地关注目标说话者，同时过滤掉其他噪音。在这项研究中，我们提出了一种新的基于深度神经网络（DNN）的视听（AV）掩模估计模型。所提出的AV掩模估计模型结合了音频和抗噪声视觉特征的时间动态，以改进掩模估计和语音分离。对于最佳AV特征提取和理想二进制掩码（IBM）估计，利用混合DNN架构来利用堆叠的长短期记忆（LSTM）和卷积LSTM网络的互补优势。在语音质量和可懂度方面的比较仿真结果表明，我们提出的AV掩模估计模型相比，音频和视觉掩模估计方法的扬声器相关和独立的情况下，显着的性能改善。
2018-07-31 cs.CV cs.LG cs.SD
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University（孟加拉国布拉克大学）
Prodorshok I是一个孟加拉语孤立词数据集，旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别（ASR），以帮助改善人机交互（HCI）。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果，以评估其在利用具有高斯发射和深度神经网络（DNN）的隐马尔可夫模型（HMM）的ASR系统中的可靠性。结果表明，简单的数据增强，涉及一个小的音高变化，可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
Time out of Mind: Generating Rate of Speech conditioned on emotion and speaker
语音合成在过去十年中取得了显着的进步，从而产生了高度可理解的语音。进一步的研究已经产生了可以产生可变语音的模型，包括有条件的情感表达。问题在于，然而，在一个短语级的修改和韵律声乐功能的重点。使用CREMA-D数据集，我们训练了一个以情感为条件的GAN，为给定的输入文本生成价值长度。这些字长是相对于中性语音的，并且可以通过语音合成置标语言（SSML）提供给文本到语音（TTS）系统以生成更有表达力的语音。此外，还使用隐式最大似然估计（IMLE）训练生成模型，并包括与GANs的比较分析。与开箱即用的模型相比，我们能够在中性语音的客观测量方面实现更好的性能，并在快乐语音方面实现更好的时间对齐。然而，主观评价还需要进一步的研究。
2023-01-31 cs.CL cs.SD eess.AS
Comparison of Speaker Role Recognition and Speaker Enrollment Protocol for conversational Clinical Interviews
PSL Research University（巴黎文理研究大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（法国高等社会科学研究院）；INRIA（法国国家信息与自动化研究所）；INSERM（法国国家健康与医学研究院）；UPEC（巴黎第十二大学）；Henri-Mondor Hospital, APHP（巴黎公共医疗集团亨利·蒙多尔医院）；Huntington's Disease National Reference Center（亨廷顿病国家参考中心）
在自然条件下，临床医生和患者之间的对话是医疗随访的宝贵信息来源。对这些对话的自动分析可以帮助提取新的语言标记并加快临床医生的报告。然而，目前还不清楚哪种语音处理管道在检测和识别说话者转向方面表现最好，特别是对于有语音和语言障碍的人。在这里，我们提出了一个分裂的数据，允许进行比较评估的扬声器角色识别和扬声器注册方法来解决这个任务。我们训练了端到端神经网络架构，以适应每项任务，并在相同的指标下评估每种方法。实验结果报告神经心理学家和受访者之间的自然临床对话，在亨廷顿舞蹈症的不同阶段。我们发现，我们的扬声器角色识别模型给出了最好的性能。此外，我们的研究强调了使用域内数据重新训练模型的重要性。最后，我们观察到结果不取决于受访者的人口统计数据，这凸显了我们方法的临床相关性。
2020-11-05 cs.CL eess.AS
Comparative Evaluation of Expressive Japanese Character Text-to-Speech with VITS and Style-BERT-VITS2
Columbia University, RoleGaku（哥伦比亚大学、RoleGaku）；Columbia University（哥伦比亚大学）
本文比较了VITS和Style-BERT-VITS2 JP Extra在生成表达性日语字符语音中的表现，发现SBV2JE在自然度和可懂度方面表现更优，适用于语言学习和角色对话生成。
2025-11-30 cs.CL cs.SD eess.AS
Voice-preserving Zero-shot Multiple Accent Conversion
Meta AI
本文提出一种基于对抗性学习的零样本多口音转换方法，在改变口音的同时保留说话者声音身份，主观评估验证其有效性。
2023-10-14 cs.AI cs.SD eess.AS
A Comparative Study of Pre-trained Speech and Audio Embeddings for Speech Emotion Recognition
IIIT Delhi（德里英迪拉·甘地信息技术学院）；University of Tartu（塔尔图大学）
本文比较八种语音与音频预训练模型在四个SER数据集上的嵌入表现，发现说话人识别模型嵌入配合XGBoost、Random Forest或FCN效果最佳。
2023-04-22 cs.AI cs.LG eess.AS
A Real-time Speaker Diarization System Based on Spatial Spectrum
Alibaba Group（阿里巴巴集团）
在本文中，我们描述了一个扬声器日记系统，使本地化和识别的所有扬声器在对话或会议。本文提出了一种新的系统方法来解决说话人日志化中的几个长期存在的挑战：（1）分割和分离来自两个说话人的重叠语音;（2）估计参与者随时可能进入或离开会话时的说话人数量;（3）对与文本无关的短话语提供准确的说话人辨识;（4）跟踪说话人在会话期间的移动;（5）跟踪说话人在会话中的移动。（5）实时的【形】检测说话人变化发生率。首先，采用基于差分方向性麦克风阵列的方法，在远场恶劣环境中捕获目标说话人的语音。其次，提出了一种在线的说话人位置联合聚类方法来跟踪说话人位置。第三，开发了一个即时说话人数目检测器，以触发分离重叠语音的机制。结果表明，我们的系统有效地结合了空间信息，并取得了显着的收益。
2021-07-20 cs.LG cs.SD eess.AS
Sonorant spectra and coarticulation distinguish speakers with different dialects
Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）；Cyprus University of Technology（塞浦路斯理工大学）；University of Oslo（奥斯陆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究的目的是确定语言品种的压力和非压力的响音（鼻音/m，n/，横向近似音/l/，和rhotics /r/）的频谱分布的影响，并对他们的coarticulatory相邻的声音的影响。为了量化频谱分布的形状，我们计算了雅典希腊语和塞浦路斯希腊语扬声器产生的鼻音/m，n/，横向近似音/l/和旋转音/r/的响音频谱的频谱矩。为了估计辅音发音对相邻元音F1 - F4共振峰频率的协同发音效应，我们建立了相邻元音共振峰轮廓的多项式模型。我们发现显着的影响，语言的多样性（社会语言学信息）的频谱矩的每个sonorant /m/，/n/，/l/，/r/（除了/m/和/n/）和相邻元音的共振峰轮廓。所有辅音（包括/m/和/n/）对相邻元音的共振峰轮廓都有明显的影响，尤其是F3和F4。该研究强调了响音的频谱矩和协同发音效应的结合决定了响音的语言学（重音和音位范畴）和社会语言学（语言多样性）特征。它还提供了第一个比较声学分析雅典希腊和塞浦路斯希腊响音。
2021-10-07 cs.CL cs.SD eess.AS
Unsupervised Speaker Diarization in Distributed IoT Networks Using Federated Learning
Michigan State University（密歇根州立大学）
本文针对分布式物联网音频设备提出了基于联邦学习的无监督说话人日志记录框架，通过无监督更新机制、说话人变化检测技术和聚类方法，实现了非IID数据下的高效识别，降低了计算开销和检测误差。
2024-11-29 cs.LG cs.SD eess.AS
BA-SOT: Boundary-Aware Serialized Output Training for Multi-Talker ASR
Northwestern Polytechnical University（西北工业大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对多说话人ASR中SOT方法说话人切换预测难的问题，提出BA-SOT方法，通过边界相关任务与损失、两阶段CTC策略优化，结合新指标UD-CER验证，显著降低了字符错误率。
2023-10-05 cs.CL cs.SD eess.AS
End-to-end speaker segmentation for overlap-aware resegmentation
IRIT, Université de Toulouse, CNRS（图卢兹大学计算机科学研究所（IRIT），法国国家科学研究中心）
说话人分割是将一个或多个说话人之间的对话划分为说话人话轮。通常解决的三个子任务（语音活动检测，说话人变化检测，重叠语音检测）的后期组合，我们提出了训练一个端到端的分割模型，直接做。受原始端到端神经说话人日记化方法（EEND）的启发，该任务被建模为使用置换不变训练的多标签分类问题。主要的区别是，我们的模型在短音频块（5秒）上运行，但时间分辨率要高得多（每16毫秒）。在多个说话人日志数据集上的实验表明，该模型可以成功地用于语音活动检测和重叠语音检测。我们提出的模型也可以用作后处理步骤，检测和正确分配重叠的语音区域。相对于最佳考虑基线（VBx）的相对日志错误率改善在AMI上达到17%，在DIHARD 3上达到13%，在VoxConverse上达到13%。
2021-06-10 cs.SD eess.AS
Technical report: Impact of Duration Prediction on Speaker-specific TTS for Indian Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）；BharatGen（巴哈特基因）
该研究训练基于非自回归 CNF 的印度语言语音模型，比较多种时长预测策略，揭示其在零样本说话人特定生成中的语言与任务相关权衡。
2025-07-22 cs.LG eess.AS
VoxHakka: A Dialectally Diverse Multi-speaker Text-to-Speech System for Taiwanese Hakka
United Link Co., Ltd.（联科股份有限公司）；National United University（国立联合大学）
本文提出基于 YourTTS 的台湾客家话 TTS 系统 VoxHakka，通过网络抓取与 ASR 清洗构建多方言多说话人语料，支持六种方言并在 CMOS 评测中显著优于现有系统。
2024-10-02 cs.AI cs.CL cs.SD
Factors Affecting the Performance of Automated Speaker Verification in Alzheimer's Disease Clinical Trials
Winterlight Labs Inc.（温特莱特实验室公司）
本研究分析影响阿尔茨海默病临床试验中自动说话人验证性能的因素，发现人口统计特征、音频质量和疾病严重程度显著影响ASV性能，并强调改进数据收集设置的重要性。
2023-06-20 cs.AI cs.LG cs.SD
Analysis of impact of emotions on target speech extraction and speech separation
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
近年来，语音盲分离和目标语音提取的性能有了很大的提高。然而，大多数工作集中在相对良好控制的条件下，例如，读演讲稿。在更现实的情况下，性能可能会降低。造成这种退化的因素之一可能是固有的扬声器可变性，如情绪，通常发生在现实的语音。在本文中，我们研究情绪对TSE和BSS的影响。我们创建了一个新的测试数据集的情绪混合物的评估TSE和BSS。该数据集结合了LibriSpeech和Ryerson情感语音和歌曲视听数据库（RAVDESS）。通过控制实验，分析不同情绪对BSS和TSE绩效的影响。我们观察到，BSS是相对强大的情绪，而TSE，它需要识别和提取的语音的目标扬声器，是更敏感的情绪。在比较说话人确认实验中，我们发现，识别目标说话人可能是特别具有挑战性的处理情感的语音。利用我们的研究结果，我们概述了未来可能的方向，可以提高BSS和TSE系统对情感语音的鲁棒性。
2022-08-15 cs.LG cs.SD eess.AS
Digital Speech Algorithms for Speaker De-Identification
目前的工作是基于成本行动IC1206去识别多媒体内容。在一个语音性别识别器上测试了四种语音修改算法，以确定当语音识别器的成功概率等于失败概率时，音调的修改程度。该分析的目的是评估语音语调改变的强度、质量、所做改变的可逆性和不可逆性。
2022-03-08 cs.LG cs.SD eess.AS
Asymmetric Classifier-Free Guidance for Target-Speaker ASR
Worcester Polytechnic Institute（伍斯特理工学院）
针对目标说话人ASR在域偏移下性能下降的问题，提出基于Whisper的非对称分类器无关引导，通过单一引导尺度调整说话人条件贡献，并训练轻量级预测器逐句优化尺度，实现最高21.8%的相对词错误率降低。
2026-09-28 cs.CL cs.SD eess.AS
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology（代尔夫特理工大学）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；University of Amsterdam（阿姆斯特丹大学）；Netherlands Cancer Institute（荷兰癌症研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们提出了一种新的方法，病理语音合成。而不是使用健康的语音作为源，我们定制一个现有的病理语音样本，以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题，因为在我们的方法中，语音转换（VC）模型不需要针对语音退化进行优化，而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念，我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明，合理的自然度高清晰度构音障碍的扬声器，虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比，地面真理。对于低清晰度和高清晰度的说话人，说话人特性转换是成功的，但对于中清晰度的说话人，转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
A Review of Speaker Diarization: Recent Advances with Deep Learning
University of Southern California（南加州大学）；Microsoft（微软）；ASAPP；Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日记是一个用与说话人身份相对应的类来标记音频或视频记录的任务，或者简而言之，一个识别“谁在什么时候说话”的任务。在早期，说话人日记化算法被开发用于多说话人音频记录上的语音识别，以实现说话人自适应处理。随着时间的推移，这些算法作为一个独立的应用程序也获得了自己的价值，为音频检索等下游任务提供特定于说话者的元信息。最近，随着深度学习技术的出现，它推动了语音应用领域研究和实践的革命性变化，扬声器日志化取得了快速进步。在本文中，我们不仅回顾了说话人日记化技术的历史发展，而且还在最近的神经说话人日记化方法的进展。此外，我们还讨论了说话人日志化系统如何与语音识别应用集成，以及最近的深度学习浪潮如何引领联合建模这两个组件以实现互补。通过考虑这些令人兴奋的技术趋势，我们相信本文是对社区的宝贵贡献，通过巩固神经方法的最新发展，从而促进更有效的扬声器日记的进一步进展，提供了一个调查工作。
2021-11-26 cs.CL cs.SD eess.AS
VoxKnesset: A Large-Scale Longitudinal Hebrew Speech Dataset for Aging Speaker Modeling
Department of Computer Science and Applied Mathematics, Department of Molecular Cell Biology, Weizmann Institute of Science（计算机科学与应用数学系、分子细胞生物学系、魏茨曼科学研究所）
VoxKnesset数据集通过纵向希伯来语语音数据提升说话人老化建模的准确性与鲁棒性。
2026-03-05 cs.CL cs.LG cs.SD
Voice-ENHANCE: Speech Restoration using a Diffusion-based Voice Conversion Framework
Qualcomm Technologies Inc.（高通技术公司）
该研究提出名为Voice-ENHANCE的两阶段语音增强系统，前端用生成式语音修复模型降噪并修复损伤，再结合基于扩散的语音转换框架借助干净说话人嵌入进一步优化，在多数据集上达到与SOTA方法相当的语音质量。
2025-05-21 cs.SD eess.AS
Retrieving Speaker Information from Personalized Acoustic Models for Speech Recognition
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
能够收集其用户的语音的功能强大的个人设备的广泛使用为构建说话者自适应语音识别系统（ASR）或参与ASR的协作学习提供了机会。在这两种情况下，可以构建个性化的声学模型（AM），即具有特定扬声器数据的微调AM。一个自然出现的问题是，个性化声学模型的传播是否会泄露个人信息。在本文中，我们表明，它是可以检索的性别的扬声器，而且他的身份，只是利用权矩阵的变化，神经声学模型本地适应这个扬声器。顺便说一句，我们观察到的现象可能有助于在语音处理的背景下解释深度神经网络。性别几乎可以肯定地确定，只有使用第一层和说话人验证时，使用中间层。我们在TED-LIUM 3数据集上使用HMM/TDNN模型进行的实验研究表明，性别检测的准确率为95%，并且通过仅利用可以交换的个性化模型而不是用户数据的权重进行说话人验证任务的相等出错率为9.07%。
2021-11-07 cs.CL cs.SD eess.AS
Speaker- and Age-Invariant Training for Child Acoustic Modeling Using Adversarial Multi-Task Learning
University of New South Wales（新南威尔士大学）
儿童语音声学建模的主要挑战之一是随着儿童的成长，他们的发音发生快速变化，他们不同的增长速度以及随后在同一年龄组中的高变异性。这些高声学变化以及儿童语音语料库的稀缺阻碍了可靠的儿童语音识别系统的发展。本文提出了一种基于对抗性多任务学习的说话人和年龄不变训练方法。该系统由一个生成器共享网络组成，该网络学习生成与音素、年龄和说话者三个识别网络相连的说话者和年龄不变特征。生成器网络被训练成在对抗性多任务学习方式中最小化音素辨别损失并最大化说话者和年龄辨别损失。发生器网络是一个时间延迟神经网络（TDNN）结构，而三个鉴别器是前馈网络。该系统被应用到OGI语音语料库，并取得了13%的减少WER的ASR。
2022-11-07 cs.CL cs.SD eess.AS
Human and Machine Speaker Recognition Based on Short Trivial Events
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology（清华大学信息科学技术国家实验室）；JD AI Research（京东人工智能研究院）
琐碎的事件在人与人的对话中无处不在，例如，咳嗽、大笑和嗅闻。与常规语音相比，这些琐碎事件通常简短且不清楚，因此通常被认为是不具有说话人区分性的，因此在很大程度上被当前的说话人识别研究所忽视。然而，这些琐碎的事件在某些特定的情况下，如法医检查，是非常有价值的，因为他们很少受到故意的变化，所以可以用来发现真正的发言者伪装的语音。在本文中，我们收集了一个平凡的事件语音数据库，涉及75个扬声器和6种类型的事件，并报告初步的说话人识别结果在这个数据库中，由人类听众和机器。特别是，我们小组最近提出的深度特征学习技术被用来分析和识别微不足道的事件，这导致了可接受的等出错率（EER），尽管这些事件的持续时间非常短（0.2-0.5秒）。比较不同类型的事件，“嗯”似乎更具有说话者的区分力。
2018-02-06 cs.CL cs.NE cs.SD
Bi-LSTM Scoring Based Similarity Measurement with Agglomerative Hierarchical Clustering (AHC) for Speaker Diarization
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
跨不同场景的大多数语音信号对于仅包含单个扬声器的明确定义的音频段是不可用的。两个说话者之间的典型对话由他们的声音重叠，相互打断或在多个句子之间停止讲话的片段组成。日记化技术的最新进展利用基于神经网络的方法来改进说话人日记化系统的多个子系统，包括提取分段嵌入特征和检测说话人在对话期间的变化。然而，为了通过聚类来识别说话人，模型依赖于PLDA等方法来生成从给定会话音频中提取的两个片段之间的相似性度量。由于这些算法忽略了会话的时间结构，它们往往会达到更高的日志化错误率（DER），从而导致在说话人和变化识别方面的误检测。因此，为了独立地和顺序地比较两个语音片段的相似性，我们提出了一个双向长短期记忆网络来估计相似性矩阵中的元素。一旦相似性矩阵的生成，凝聚层次聚类（AHC）应用于进一步确定基于阈值的说话人段。为了评估性能，使用日志化错误率（DER%）度量。与传统的基于PLDA的相似性度量机制相比，该模型在来自ICSI会议语料库的音频样本测试集上实现了34.80%的低DER，该机制实现了39.90%的DER。
2022-05-19 cs.AI cs.CL cs.CV
