Error-driven Fixed-Budget ASR Personalization for Accented Speakers
IIT Bombay(印度理工学院孟买分校)
我们认为个性化的ASR模型的任务,而被限制在一个固定的预算上记录扬声器特定的话语。给定一个扬声器和一个ASR模型,我们提出了一种方法来识别句子的扬声器的话语很可能是困难的给定的ASR模型来识别。我们假设少量的特定于说话人的数据来学习音素级错误模型,帮助我们选择这样的句子。我们表明,扬声器的话语选择使用我们的错误模型的句子确实有较大的出错率相比,扬声器的话语随机选择的句子。我们发现,微调的ASR模型的帮助下选择的句子话语产生更高的WER的改善相比,微调的随机选择的句子话语的数量相等。因此,我们的方法提供了一个有效的方式收集扬声器的话语下的预算限制个性化的ASR模型。
2021-06-02 cs.CL cs.SD eess.AS
Transcribe-to-Diarize: Neural Speaker Diarization for Unlimited Number of Speakers using End-to-End Speaker-Attributed ASR
Microsoft(微软)
本文提出了一种新的神经说话人日志化方法,即Transcribe-to-Diarize,它使用端到端(E2 E)说话人属性自动语音识别(SA-ASR)。E2 E SA-ASR是最近提出的用于说话者计数、多说话者语音识别和来自包含重叠语音的单声道音频的说话者识别的联合模型。虽然E2 E SA-ASR模型最初不估计任何与时间相关的信息,但我们表明,通过添加少量可学习的参数,可以从E2 E SA-ASR的内部状态以足够的精度估计每个单词的开始和结束时间。与基于目标说话人语音活动检测(TS-VAD)的日志化方法类似,E2 E SA-ASR模型被应用于估计每个说话人的语音活动,同时它具有以下优点:(i)处理无限数量的说话人,(ii)利用语言信息进行说话人日志化,以及(iii)同时生成说话人属性transmittance。在LibriCSS和AMI语料库上的实验结果表明,当说话人数目未知时,该方法的语音识别错误率明显优于现有的各种说话人语音识别方法;当说话人数目预先给定时,该方法的语音识别性能与TS-VAD相当.所提出的方法同时生成扬声器属性的转录与国家的最先进的准确性。
2022-01-22 cs.CL cs.SD eess.AS
Effects of Speaker Count, Duration, and Accent Diversity on Zero-Shot Accent Robustness in Low-Resource ASR
Brown University(布朗大学);Meta FAIR
本文研究低资源ASR训练中说话人数量、单说话人时长和口音多样性对未见口音鲁棒性的影响,发现增加说话人数量比增加单说话人时长更有效,且口音多样性在控制说话人数量时收益有限。
2025-06-04 cs.CL cs.SD eess.AS
Enhancing and Adversarial: Improve ASR with Speaker Labels
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
本研究提出利用说话人标签结合领域增强与对抗训练改进基于conformer的ASR,并设计自适应梯度反转层以稳定训练,实验验证了最优应用位置及组合策略,在Switchboard Hub5'00上实现7%相对提升。
2023-02-24 cs.CL cs.LG cs.SD
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI(微软云计算与人工智能部门);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种流说话人属性的自动语音识别(SA-ASR)模型,可以识别"谁说了什么“,即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练(t-SOT),这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份,我们提出了一个基于编码器-解码器的说话人嵌入提取器,可以估计每个识别的令牌,不仅从非重叠的语音,但也从重叠的语音的说话人表示。所提出的说话人嵌入,命名为t-vector,与t-SOT ASR模型同步提取,使说话人识别(SID)或说话人日记(SD)与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性,并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
Analyzing And Improving Neural Speaker Embeddings for ASR
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
神经说话人嵌入通过DNN模型对说话人的语音特征进行编码,并普遍用于说话人验证任务。然而,很少有研究调查使用的神经扬声器嵌入的ASR系统。在这项工作中,我们提出了我们的努力w.r.t集成神经扬声器嵌入到一个基于conformer的混合HMM ASR系统。对于ASR,我们改进的嵌入提取管道与加权简单相加集成方法相结合,使x向量和c向量达到与i向量相当的性能。我们进一步比较和分析不同的说话人嵌入。我们提出了我们的声学模型的改进,通过从newbob学习率调度切换到一个周期的学习时间表,从而在Switchboard上减少了约3%的相对WER,另外减少了17%的整体训练时间。通过进一步添加神经说话人嵌入,我们在Hub 5 '00上获得了额外的~3%的相对WER改进。我们最好的基于Conformer的混合ASR系统,具有扬声器嵌入,在Hub 5 '00和Hub 5'01上实现了9.0%的WER,并在SWB 300 h上进行了训练。
2023-09-20 cs.CL eess.AS stat.ML
Listen, Attend, Spell and Adapt: Speaker Adapted Sequence-to-Sequence ASR
Nuance Communications, Inc.(Nuance通信公司)
基于序列到序列(seq 2seq)的ASR系统已经显示出最先进的性能,同时在简单性方面具有明显的优势。然而,比较主要是在与说话者无关(SI)的ASR系统上进行的,尽管说话者自适应的常规系统在实践中通常用于提高对说话者和环境变化的鲁棒性。在本文中,我们将说话人自适应应用到seq 2seq模型中,目标是匹配传统ASR自适应的性能。具体来说,我们调查Kullback-Leibler分歧(KLD)以及线性隐藏网络(LHN)为seq 2seq ASR的适应,每个扬声器使用不同量(最多20小时)的适应数据。我们的SI模型在大量听写数据上进行训练,并获得了最先进的结果。我们通过seq 2seq模型的KLD适应获得了25%的相对字错误率(WER)改善,而传统系统中的声学模型适应获得了18.7%的增益。我们还表明,seq 2seq模型的WER随着适应数据量的增加而呈对数线性下降。最后,我们分析了基于最小WER准则的自适应,并将语言模型(LM)与说话人自适应seq 2seq模型进行分数融合,从而进一步提高了seq 2seq系统的性能。
2019-07-08 cs.CL cs.LG cs.SD
Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization
Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种新的范式,用于处理远场多说话人数据在一个端到端的神经网络的方式,称为定向自动语音识别(D-ASR),明确的模型源说话人的位置。在D-ASR中,源相对于麦克风阵列的方位角被定义为潜在变量。该角度控制分离的质量,这反过来又决定了ASR性能。D-ASR的所有三个功能:定位,分离和识别都连接为一个可微神经网络,并仅基于ASR错误最小化目标进行训练。与现有方法相比,D-ASR的优点有三个方面:(1)它提供了显式的说话人位置,(2)它提高了可解释性因子,(3)由于过程更加精简,它实现了更好的ASR性能。此外,D-ASR不需要像现有数据驱动的定位模型那样的显式波达方向(DOA)监督,这使得它更适合于现实数据。对于两个源混合的情况下,D-ASR实现了小于3度的平均DOA预测误差。它在分离质量和ASR性能方面也优于强大的远场多扬声器端到端系统。
2020-10-30 cs.CL cs.SD eess.AS
Extended Graph Temporal Classification for Multi-Speaker End-to-End ASR
MERL(三菱电机研究实验室)
基于图的时态分类(GTC)是联结主义时态分类损失的一种推广形式,最近被提出来改进基于图监督的自动语音识别(ASR)系统。例如,GTC首先用于将伪标签序列的N最佳列表编码到图中以用于半监督学习。在本文中,我们提出了一个扩展的GTC模型的标签和标签转换的后验的神经网络,它可以应用到更广泛的任务。作为一个应用实例,我们使用扩展的GTC(GTC-e)的多扬声器语音识别任务。多说话人语音的转换和说话人信息用图表示,其中说话人信息与转换相关联,ASR输出与节点相关联。使用GTC-e,多说话者ASR建模变得与单说话者ASR建模非常相似,因为多个说话者的令牌被识别为按时间顺序的单个合并序列。为了进行评估,我们在来自LibriSpeech的模拟多说话者语音数据集上进行实验,获得了与任务的经典基准接近的性能。
2022-03-01 cs.CL cs.SD eess.AS
A Comparative Study of Modular and Joint Approaches for Speaker-Attributed ASR on Monaural Long-Form Audio
Microsoft Corp.(微软公司)
说话人属性自动语音识别(SA-ASR)是从多个说话人的录音中识别“谁说了什么”的任务。SA-ASR系统通常由语音分离、说话人日志化和ASR等多个模块组成。另一方面,考虑到联合优化,最近提出了一种端到端(E2 E)SA-ASR模型,并在仿真数据上取得了令人满意的结果。在本文中,我们提出了我们最近的研究比较真实的单声道录音,这种模块化和联合的方法对SA-ASR。我们通过利用大规模训练数据,包括7.5万小时的ASR训练数据和用于说话人表示学习的VoxCeleb语料库,为模块化和联合方法开发最先进的SA-ASR系统。我们还提出了一个新的管道,执行E2 E SA-ASR模型后,扬声器聚类。在AMI会议语料库上的评价表明,经过少量的实际数据微调后,联合系统的准确率比最好的模块系统提高了8.9- 29.9%,而模块系统在微调前的准确率更高。我们还进行了各种误差分析,以显示单耳SA-ASR的剩余问题。
2021-09-17 cs.CL cs.SD eess.AS
Transsion's Speaker-Attributed Multilingual ASR System for the MLC-SLM 2026 Challenge
Shenzhen Transsion Holdings Co., Ltd(深圳传音控股股份有限公司)
本文提出由说话人日志、多语言ASR和融合模块组成的级联框架,解决多语言对话语音的说话人属性转录问题,在MLC-SLM 2026挑战赛任务1中取得15.41%的tcpMER并排名第二。
2026-09-21 cs.CL
End-to-end Multichannel Speaker-Attributed ASR: Speaker Guided Decoder and Input Feature Analysis
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室);Vivoka(Vivoka公司)
本文提出一种端到端多通道说话人归属ASR系统,结合Conformer编码器与说话人引导解码器,在模拟和真实数据上显著降低词错误率,并分析了输入特征的影响。
2023-10-16 cs.CL cs.SD eess.AS
Extending Whisper with prompt tuning to target-speaker ASR
Shandong University(山东大学);North Carolina State University(北卡罗来纳州立大学);Shandong Normal University(山东师范大学)
本文提出利用提示微调将 Whisper 扩展至目标说话人 ASR,仅用约 1% 的任务特定参数即可达到与完全训练相当的性能,并保留时间戳等原有特性。
2024-01-11 cs.CL cs.SD eess.AS
Auxiliary Interference Speaker Loss for Target-Speaker Speech Recognition
Hitachi Ltd.(日立有限公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出了一种新的辅助损失函数用于目标-说话人自动语音识别。我们的方法自动提取和转录目标扬声器的话语从单声道混合多个扬声器语音给定的目标扬声器的短样本。所提出的辅助损失函数试图在训练期间额外最大化干扰扬声器ASR准确性。这将正则化网络,以实现更好的说话人分离表示,从而实现更好的目标说话人ASR准确性。我们评估了我们提出的方法,使用两个扬声器混合语音在各种信号干扰比条件。我们首先建立了一个强大的目标说话人的ASR基线的基础上,最先进的无格最大互信息。该基线在测试集上实现了18.06%的单词出错率(WER),而使用干净数据训练的正常ASR产生了完全损坏的结果(WER为84.71%)。然后,我们提出的损失进一步降低了6.6%的WER相对于这个强大的基线,实现WER为16.87%。除了准确性的提高,我们还表明,所提出的损失的辅助输出分支,甚至可以用于二次ASR干扰扬声器的语音。
2019-06-26 cs.CL cs.SD eess.AS
Hypothesis Stitcher for End-to-End Speaker-attributed ASR on Long-form Multi-talker Recordings
Microsoft(微软)
最近提出了一种端到端(E2 E)的说话人属性自动语音识别(SA-ASR)模型,用于联合执行说话人计数、语音识别和说话人辨识。该模型实现了一个低的扬声器归因字出错率(SA-WER)的单声道重叠语音包括一个未知数量的扬声器。然而,E2 E建模方法容易受到训练和测试条件之间的不匹配的影响。E2 E SA-ASR模型是否适用于比训练期间看到的样本长得多的记录,还有待研究。在这项工作中,我们首先将一种已知的解码技术应用于我们的E2 E SA-ASR任务,该解码技术是为长格式音频执行单扬声器ASR而开发的。然后,我们提出了一种新的方法,使用一个序列到序列的模型,称为hypothesis prischer。该模型采用从原始长形式输入中提取的短音频片段获得的多个假设,然后输出融合的单个假设。我们提出了几个架构的变化的假设的解码器模型,并比较它们与传统的解码方法。使用LibriSpeech和LibriCSS语料库的实验表明,该方法显着提高SA-WER,特别是对于长形式的多说话人录音。
2021-01-06 cs.CL cs.SD eess.AS
A Unified Speaker Adaptation Approach for ASR
Nanyang Technological University(南洋理工大学);Machine Intelligence Technology, Alibaba Group(阿里巴巴集团机器智能技术部门)
Transformer模型已成功地应用于自动语音识别(ASR)中,取得了令人瞩目的效果。然而,其性能仍然受到训练和测试数据之间的说话人失配的影响。用目标说话人数据进一步微调训练模型是最自然的适应方法,但它需要大量的计算,并可能导致对现有说话人的灾难性遗忘。在这项工作中,我们提出了一个统一的说话人自适应方法,包括特征自适应和模型自适应。对于特征自适应,我们采用了一个说话人感知的持久记忆模型,该模型通过使用说话人i向量来形成持久记忆,从而更好地推广到看不见的测试说话人。对于模型自适应,我们使用一种新的逐步修剪方法来适应目标扬声器,而不改变模型架构,据我们所知,这是从来没有探索过的ASR。具体来说,我们逐渐修剪模型编码器上贡献较小的参数到一定的稀疏度水平,并使用修剪的参数进行自适应,同时冻结未修剪的参数以保持原始模型性能。我们在Librispeech数据集上进行了实验。我们提出的方法带来了相对2.74-6.52%的字错误率(WER)减少一般的说话人适应。在目标说话人自适应方面,我们的方法优于基线,相对WER降低高达20.58%,并优于微调方法高达相对2.54%。此外,对于极低资源的适应数据(例如,1话语),我们的方法可以提高WER相对6.53%,只有几个时代的训练。
2021-10-16 cs.CL cs.LG cs.SD
Joint Beamforming and Speaker-Attributed ASR for Real Distant-Microphone Meeting Transcription
iFLYTEK Co., Ltd.(iFLYTEK公司)
本文提出联合波束成形与说话人属性ASR的方法,在真实AMI语料库上通过微调SA-ASR与神经波束成形器,将词错误率相对降低8%和9%。
2025-07-08 cs.CL
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
该研究针对多语言双说话者对话语音,设计了结合语音分离前端与适配Qwen3-ASR-1.7B识别器的系统。通过多步微调及强化学习适配ASR模型,在挑战赛中取得较好成绩,消融实验显示各部分对提升性能和鲁棒性的作用。
2026-07-17 cs.CL
Multi-Channel Multi-Speaker ASR Using 3D Spatial Feature
Tencent AI Lab(腾讯人工智能实验室)
多通道多说话人重叠语音的自动语音识别一直是语音学界最具挑战性的课题之一。在本文中,我们期待这一挑战,利用目标说话人在三维空间中的位置信息的第一次。为了探索提出的3D空间特征的强度,研究了两种范式。1)流水线系统,其具有多通道语音分离模块,随后是最先进的单通道ASR模块; 2)“一体化”模型,其中3D空间特征直接用作ASR系统的输入,而没有显式分离模块。它们都是完全可微的,可以端到端反向传播。我们在模拟重叠语音和真实录音上测试它们。实验结果表明:1)所提出的ALL-In-One模型实现了与流水线系统相当的出错率,同时减少了一半的推理时间; 2)所提出的3D空间特征显著优于(31% CERR)所有先前在两种范例中使用1D方向信息的工作。
2021-11-22 cs.CL cs.HC cs.LG
Cross-Attention End-to-End ASR for Two-Party Conversations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个端到端的语音识别模型,学习两个说话人之间的互动的基础上的话轮变化信息。与传统的语音识别模型不同,我们的模型利用了两个扬声器的历史会话上下文信息,跨越多个回合内的一个端到端的框架。具体来说,我们提出了一个特定于说话人的交叉注意机制,可以看看其他说话人的输出以及当前说话人的输出,以更好地识别长对话。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-07-24 cs.CL cs.LG cs.SD
Mitigating Speaker Leakage in Cascaded Multi-talker ASR with Diarization-based Transcript Correction
Portland State University(波特兰州立大学);US Army Research Laboratory(美国陆军研究实验室)
该研究针对级联多说话人自动语音识别中的说话人泄漏问题,提出基于剪枝的校正范式,利用预训练说话人 diarization 模型剪枝转录片段,在多语料库上实现 cpW ER 最高相对降低 29%,提升了转录可靠性。
2026-08-25 cs.CL eess.AS
You don't understand me!: Comparing ASR results for L1 and L2 speakers of Swedish
KTH Royal Institute of Technology(皇家理工学院);Heriot-Watt University(赫瑞瓦特大学)
本研究比较了不同ASR服务对瑞典语母语者和非母语者朗读及自发语音的识别性能,使用词错误率量化差距,并分析导致转录错误的语言因素,以揭示ASR在非典型说话者场景下的局限性。
2024-05-22 cs.CL cs.SD eess.AS
Asymmetric Classifier-Free Guidance for Target-Speaker ASR
Worcester Polytechnic Institute(伍斯特理工学院)
针对目标说话人ASR在域偏移下性能下降的问题,提出基于Whisper的非对称分类器无关引导,通过单一引导尺度调整说话人条件贡献,并训练轻量级预测器逐句优化尺度,实现最高21.8%的相对词错误率降低。
2026-09-28 cs.CL cs.SD eess.AS
Streaming Multi-speaker ASR with RNN-T
Amazon Alexa(亚马逊Alexa)
最近的研究表明,端到端ASR系统可以识别多个说话人的重叠语音。然而,所有已发表的作品都假设在推理期间没有延迟约束,这不适用于大多数语音助理交互。这项工作的重点是多扬声器语音识别的基础上,已被证明是在低延迟的在线识别制度,以提供高的识别精度的递归神经网络传感器(RNN-T)。我们研究了RNN-T的两种多说话人模型训练方法:确定性输出目标分配和排列不变训练。我们表明,在前一种情况下,使用说话人顺序标签的引导分离增强了RNN-T的高级说话人跟踪能力。除此之外,通过对单说话者和多说话者话语的多风格训练,所得到的模型在推理过程中对模糊的说话者数量具有鲁棒性。我们最好的模型在模拟的2扬声器LibriSpeech数据上实现了10.2%的WER,这与先前报道的最先进的非流模型(10.3%)具有竞争力,而所提出的模型可以直接应用于流应用。
2021-02-19 cs.CL cs.SD eess.AS
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别(TS-ASR)的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是,当录音中的扬声器未知时,它不能使用,因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制,我们提出了一种迭代法,其中(i)说话人嵌入的估计和(ii)基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音,其中扬声器重叠率超过20%,评估所提出的方法。我们证实,所提出的方法显着降低了字出错率(WER)和日记出错率(DER)。我们提出的方法结合i-向量说话人嵌入最终实现了WER,其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外,我们的方法可以同时解决说话人日记作为一个副产品,并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
The Impact of Automatic Speech Transcription on Speaker Attribution
Johns Hopkins University(约翰霍普金斯大学);Université du Québec à Montréal(魁北克大学蒙特利尔分校)
本文研究了自动语音转录对说话人归因性能的影响,发现即使在存在转录错误的情况下,归因性能仍保持良好,可能是因为ASR转录错误能揭示说话人身份特征。
2026-01-25 cs.CL cs.LG
End-to-End Multi-speaker ASR with Independent Vector Analysis
LINE Corporation(LINE公司);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
我们开发了一个端到端的多通道、多说话人自动语音识别系统。提出了一种基于独立向量分析(IVA)范式的联合源分离和去混响前端。它使用快速和稳定的迭代源转向算法与神经源模型。来自ASR模块和神经源模型的参数从ASR损失本身联合优化。我们证明了与以前的系统使用神经波束成形前端的竞争力。首先,我们探讨了使用不同数量的通道进行训练和测试时的权衡。其次,我们证明了所提出的IVA前端在噪声数据上表现良好,即使只在干净的混合物上训练。此外,它扩展到没有再培训的分离更多的扬声器,这是证明了三个和四个扬声器的混合物。
2022-04-01 cs.CL cs.SD eess.AS
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore(新加坡国立大学);Radboud University(拉德堡德大学);University of Maryland, College Park(马里兰大学帕克分校);Pindrop;SRI International(SRI国际)
人口快速老龄化刺激了辅助设备的发展,为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统,其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别(ASR)技术以能够提供准确的发音反馈。与长期的目标,开发现成的ASR系统,可以纳入临床背景下,没有事先的扬声器信息,我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型,已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能,这些系统上的两个构音障碍的语音数据集的不同特征,以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距,显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
Minimum Bayes Risk Training for End-to-End Speaker-Attributed ASR
Microsoft Corp.(微软公司)
最近,针对单声道重叠语音,提出了一种端到端的说话人属性自动语音识别(E2 E SA-ASR)模型,作为说话人计数、语音识别和说话人识别的联合模型。在以前的研究中,模型参数的训练基于说话人属性最大互信息(SA-MMI)标准,与多说话人转录和说话人识别的联合后验概率最大化的训练数据。尽管SA-MMI训练对于由各种数量的说话者组成的重叠语音显示出有希望的结果,但训练标准并不直接与最终的评估度量相关联,即,说话者归因的单词错误率(SA-WER)。在本文中,我们提出了一种说话人属性最小贝叶斯风险(SA-MBR)训练方法,其中参数被训练为直接最小化训练数据上的预期SA-WER。使用LibriSpeech语料库的实验表明,与SA-MMI训练的模型相比,所提出的SA-MBR训练使SA-WER相对降低了9.0%。
2020-11-03 cs.CL cs.SD eess.AS
Controllable Dysarthric Speech Synthesis with Patient-Specific Conditioning for Speaker-Diverse ASR Augmentation
Department of Language Science and Technology, The Hong Kong Polytechnic University(语言科学与技术系,香港理工大学);College of Rehabilitation Medicine, Fujian University of Traditional Chinese Medicine(康复医学学院,福建中医药大学);Department of Imaging, Rehabilitation Hospital affiliated to Fujian University of Traditional Chinese Medicine(影像科,福建中医药大学附属康复医院)
本文提出ProtoDisent-TTS框架,通过原型解耦技术实现健康与口吃语音的可控转换,提升语音合成的可控性和鲁棒性。
2026-09-15 cs.CL cs.SD
Unifying Diarization, Separation, and ASR with Multi-Speaker Encoder
Honda Research Institute Japan, Japan(本田研究院日本);Carnegie Mellon University, USA(卡内基梅隆大学)
本文提出统一多说话人编码器(UME),通过共享语音基础编码器联合学习说话人识别、语音分离和多说话人ASR任务的表示,提升重叠语音数据性能。
2026-05-13 cs.CL cs.SD eess.AS
Investigating data partitioning strategies for crosslinguistic low-resource ASR evaluation
Boston College(波士顿学院);University of California, Davis(加州大学戴维斯分校)
许多自动语音识别(ASR)数据集包括单个预定义的测试集,该测试集由其语音从未出现在训练集中的一个或多个说话者组成。然而,这种“保持说话者”的数据划分策略对于说话者的数量非常少的数据集可能不是理想的。本研究调查了五种语言的十种不同的数据分割方法,使用最少的ASR训练资源。我们发现:(1)模型的性能随说话人的不同而有很大的差异;(2)所有说话人的平均单词出错率(WER)不仅与多个随机分割的平均WER相当,而且与任何给定的单个随机分割的平均WER相当;(3)当数据被反向或反向分割时,WER也具有一般的可比性;(4)无论数据如何分割,话语持续时间和强度都是相对更具有预测性的变异性因素。这些结果表明,广泛使用的保持扬声器的ASR数据分区的方法可以产生的结果,不反映模型的性能看不见的数据或扬声器。当面对数据稀疏时,随机分裂可以产生更可靠和更普遍的估计。
2022-08-26 cs.CL cs.SD eess.AS
Speaker-Reasoner: Scaling Interaction Turns and Reasoning Patterns for Timestamped Speaker-Attributed ASR
School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Shanghai Lingguang Zhaxian Technology(上海灵光乍现科技)
本文提出Speaker-Reasoner,一种端到端的语音大语言模型,通过迭代分析音频结构和自主预测时间边界,提升了多说话人对话的转录和理解能力,尤其在处理重叠语音和复杂轮次转换方面表现优异。
2026-04-03 cs.CL cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
本文介绍了我们在重叠语音的端到端自动语音识别(ASR)方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统,并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料,并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明,对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
End-to-end multi-talker audio-visual ASR using an active speaker attention module
Google Inc.(谷歌公司)
本文提出了一种新的端到端视听多说话人语音识别方法。这种方法在这里被称为视觉上下文注意力模型(VCAM),它很重要,因为它使用可用的视频信息将解码后的文本分配给多个可见人脸中的一个。这基本上解决了与大多数多说话者建模方法相关联的标签模糊性问题,这些方法可以解码多个标签串,但不能将标签串分配给正确的说话者。这被实现为基于transformer-transducer的端到端模型,并使用从YouTube视频创建的两个扬声器视听重叠语音数据集进行评估。它示出在该文件中,VCAM模型相对于以前报道的音频和视听多说话者ASR系统提高了性能。
2022-04-01 cs.CL cs.SD eess.AS
End-to-End Speaker-Attributed ASR with Transformer
Microsoft Corp.(微软公司)
本文介绍了我们最近的努力,端到端的说话人属性的自动语音识别,联合执行说话人计数,语音识别和说话人识别单声道多说话人音频。首先,我们通过应用Transformer架构,彻底更新了先前基于长短期记忆(LSTM)的注意力编码器解码器设计的模型架构。其次,我们提出了一个说话人去重机制,以减少在高度重叠的区域说话人识别错误。在LibriSpeechMix数据集上的实验结果表明,基于transformer的架构特别擅长计算说话者,并且所提出的模型将说话者归因的单词错误率比基于LSTM的基线降低了47%。此外,对于由重叠语音的真实记录组成的LibriCSS数据集,所提出的模型在有和没有目标说话者配置文件的情况下分别实现了11.9%和16.3%的级联最小排列单词错误率,这两个都是LibriCSS在单声道设置下的最新结果。
2021-04-05 cs.CL cs.SD eess.AS
TagSpeech: End-to-End Multi-Speaker ASR and Diarization with Fine-Grained Temporal Grounding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Johns Hopkins University(约翰霍普金斯大学)
研究提出TagSpeech框架,利用时间锚点定位技术联合多说话人ASR与说话人分离。通过关键设计解决细粒度对齐挑战,端到端建模“谁在何时说了什么”。实验显示其在DER上优于基线,采用参数高效训练范式,低计算成本获强性能。
2026-07-14 cs.CL eess.AS
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University(西北工业大学);Zhejiang University(浙江大学)
在本文中,我们进行了一个比较研究的说话人属性的自动语音识别(SA-ASR)在多方会议的情况下,会议丰富的转录越来越受到关注的话题。具体而言,在这项研究中,三种方法进行了评估。第一种方法,FD-SOT,包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对,得到说话人属性的transmittance。然而,这种对齐策略可能会遭受错误的时间戳,由于模块的独立性,严重阻碍了模型的性能。因此,我们提出了第二种方法,WD-SOT,通过引入一个字级的日志模型,它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题,我们提出了第三种方法TS-ASR,它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法,在一个真实的会议场景语料库,AliMeeting,实验结果表明,WD-SOT方法实现了10.7%的平均说话人相关字符出错率(SD-CER)的相对减少,相比FD-SOT方法。此外,TS-ASR方法也优于FD-SOT方法,并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR
Honda Research Institute Japan Co., Ltd.(本田研究院日本株式会社);Carnegie Mellon University(卡内基梅隆大学)
CALM通过端到端框架整合目标说话人条件和上下文偏差,降低多说话人语音识别的词错误率和字符错误率,验证了跨语言的联合语音-语言建模有效性。
2026-05-13 cs.CL cs.SD eess.AS
Unified Autoregressive Modeling for Joint End-to-End Multi-Talker Overlapped Speech Recognition and Speaker Attribute Estimation
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社媒体智能研究所);Nagaoka University of Technology(长冈技术科学大学)
提出了一种新的单通道多说话人重叠自动语音识别(ASR)系统建模方法。完全基于神经网络的端到端模型已经显著地提高了多接受者重叠ASR任务的性能。一种很有前途的端到端建模方法是自回归建模与序列化输出训练,其中多个扬声器的transmittance一个接一个地递归生成。这使我们能够自然地捕捉说话者之间的关系。然而,传统的建模方法不能显式地考虑个体话语的说话者属性,例如性别和年龄信息。事实上,当每个说话者是同一性别或年龄接近时,性能会恶化。为了解决这个问题,我们提出了统一的自回归建模联合端到端的多说话人重叠ASR和说话人属性估计。我们的核心思想是在统一的自回归模型中处理性别和年龄估计任务。在该方法中,基于变换的自回归模型不仅递归地生成文本标记,而且还生成每个说话人的属性标记。这使得我们能够有效地利用说话人属性来改善多说话人重叠ASR。在日语多人重叠ASR任务上的实验验证了该方法的有效性。
2021-07-04 cs.CL cs.SD eess.AS
Inference-Time Target Speaker Unlearning in LLM-Based Automatic Speech Recognition
Indiana University(印第安纳大学)
提出推理时目标说话人遗忘任务及轻量级注册条件门控模块,在冻结的语音LLM上动态实现新说话人退出转写,在AMI和AliMeeting上显著降低退出词准确率且不影响保留说话人性能。
2026-09-28 cs.CL cs.SD eess.AS
End-to-End Monaural Multi-speaker ASR System without Pretraining
Johns Hopkins University(约翰斯·霍普金斯大学)
近年来,端到端模型已成为自动语音识别(ASR)中传统混合模型的一种替代方法。多说话人语音分离与识别是鸡尾酒会问题的核心任务。在本文中,我们提出了一个国家的最先进的单耳多说话人端到端的自动语音识别模型。与以往单耳多说话人语音识别的研究相比,该端到端框架完全从头开始训练识别多个标签序列。该系统只需要语音混合和相应的标签序列,而不需要从非混合语音或相应的标签/对齐获得任何不确定的监督。此外,我们利用每个单独的扬声器和定时采样的个人注意力模块,以进一步提高性能。最后,我们评估所提出的模型上的2扬声器混合语音从WSJ语料库和wsj 0 - 2 mix数据集,这是一个语音分离和识别的基准。实验结果表明,该方法可以提高端到端模型在分离重叠语音和识别分离流方面的性能。从结果来看,所提出的模型导致约10.0%的相对性能增益CER和WER分别。
2018-11-05 cs.CL cs.SD eess.AS
Indic DiarBench: A Multilingual Joint Diarization and ASR Benchmark for Indian Languages
Sarvam AI(萨尔瓦姆人工智能公司);AI4Bharat, IIT Madras(印度理工学院马德拉斯分校人工智能促进印度发展实验室)
介绍涵盖印度22种在册语言的Indic DiarBench基准数据集,含约108小时多说话者音频,经人工校正注释。通过评估领先系统建立基线,该数据集作为开放资源推动印度语言多语言语音技术研究。
2026-07-28 cs.AI cs.CL
AG-LSEC: Audio Grounded Lexical Speaker Error Correction
AWS AI Labs(亚马逊云科技人工智能实验室)
提出AG-LSEC方法,利用现有SD流水线的说话人分数在声学上锚定并增强LSEC系统,在多个数据集上显著降低词日志错误率。
2024-06-25 cs.AI cs.CL cs.LG
Speaker Group Encoding in Self-supervised Speech Recognition Models
MILES Team, LAMSADE, Université Paris Dauphine-PSL, France(法国巴黎多芬纳-PSL大学LAMSADE实验室MILES团队);GETALP Team, LIG, Université Grenoble Alpes, France(法国格勒诺布尔阿尔卑斯大学LIG实验室GETALP团队);NLP team, LIS, Aix-Marseille University, France(法国艾克斯-马赛大学LIS实验室NLP团队)
研究自监督语音识别模型如何编码说话人群体信息,发现微调任务和公平性算法对不同类型群体信息的影响不同。
2026-06-09 cs.CL
Enhancing Speech Emotion Recognition Leveraging Aligning Timestamps of ASR Transcripts and Speaker Diarization
Department of English(英语系);National Taiwan Normal University(台湾师范大学);Department of Computer Science and Information Engineering(计算机科学与信息工程系)
针对 ASR 转录与说话人分箱时间错位影响 SER 的问题,提出基于预训练模型的时间戳对齐流程,并融合 RoBERTa、Wav2Vec 与门控交叉注意力,在 IEMOCAP 上验证了性能提升。
2025-07-25 cs.CL cs.SD eess.AS
Choosing a PEFT Variant for Per-Patient Dysarthric ASR: A Single-Speaker Case Study on Two ASR Bases
The Scott-Morgan Foundation(斯科特-摩根基金会);Institute of Informatics, University of Szeged(塞格德大学信息学研究所)
本研究针对一名重度构音障碍的卒中后匈牙利男性说话人,对比七种PEFT变体在两款ASR基础模型上的表现,得出LoRA更具优势、5分钟音频采集可实现近一半CER降低量等结论。
2026-09-03 cs.CL cs.SD
FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition
Telefónica Innovación DigitalSpain(西班牙电信创新数字研究院);Universidad Autónoma de MadridSpain(马德里自治大学);Brno University of TechnologyCzech Republic(捷克布拉格技术大学)
本研究提出通过特征线性调制(FiLM)将x-vector说话人信息注入冻结的ASR编码器各Transformer层,实现对病理语音的说话人自适应,在不修改基础模型权重的情况下提升识别性能,并保持对非条件化语音的问答能力。
2026-06-04 cs.CL cs.SD eess.AS
Enhancing AAC Software for Dysarthric Speakers in e-Health Settings: An Evaluation Using TORGO
Northeastern University(东北大学);University of Victoria(维多利亚大学)
本研究针对构音障碍者在医疗场景中ASR识别率低的问题,提出打破TORGO数据集提示重叠的算法,并评估n-gram和LLM错误纠正方法,以提升非典型语音识别,促进公平医疗访问。
2024-11-08 cs.CL cs.HC cs.SD
Gender Representation in French Broadcast Corpora and Its Impact on ASR Performance
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文分析了法语广播四个主要语料库中的性别表征。这些语料库在语音处理社区中被广泛使用,它们是训练自动语音识别(ASR)系统的主要材料。由于性别偏见已在众多的自然语言处理(NLP)的应用程序中突出显示,我们研究的ASR系统的性能上的电视和广播中的性别不平衡的影响。这一分析表明,在我们的数据中,女性在发言者和发言轮数方面的代表性不足。我们引入了演讲者角色的概念来完善我们的分析,发现女性在与杰出演讲者相对应的锚类别中甚至更少。两性现有数据的差异导致妇女的业绩下降。然而,当有足够的数据时,这一全球趋势可以对习惯于在媒体上发言的发言者进行平衡。
2019-08-23 cs.CL cs.SD eess.AS
Towards Fair ASR For Second Language Speakers Using Fairness Prompted Finetuning
Johannes Kepler University Linz, Austria(奥地利林茨约翰内斯·开普勒大学);IIT Kharagpur, India(印度德里理工学院);University of Eastern Finland(芬兰东部理工大学);University of Copenhagen(丹麦哥本哈根大学);Aalborg University(丹麦奥胡斯大学)
本文提出基于公平性提示的微调方法,通过结合频谱解耦、组分布鲁棒优化和不变风险最小化,提升第二语言说话者在自动语音识别中的公平性与准确率。
2026-01-25 cs.CL
Make It Hard to Hear, Easy to Learn: Long-Form Bengali ASR and Speaker Diarization via Extreme Augmentation and Perfect Alignment
Risalat Labib(拉西拉特实验室);A H M Fuad(A H M 基普)
本文通过极端增强和完美对齐技术,解决孟加拉语长时语音识别与说话人聚类的资源匮乏问题,提出优化双流程实现高效处理。
2026-02-26 cs.AI cs.CL cs.SD
A study on native American English speech recognition by Indian listeners with varying word familiarity level
Indian Institute of Science (IISc)(印度科学学院);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
在这项研究中,不同的印度裔的听众被要求听和识别TIMIT的美国人所说的话语。我们有三种反应,从每个听众,而他们认识到一个发言:1。句子难度评分,2。演讲者难度等级,和3。话语的转录。从这些译文中计算出单词错误率(WER),并将其作为衡量识别句子与原始句子之间相似性的一个指标,根据单词在句子中出现的频率将所选句子分为三组:易、中、难。我们观察到,句子,扬声器难度等级和WERs增加从容易到难的句子类别。我们还比较了人类语音识别性能与使用三种自动语音识别(ASR)在以下三种声学模型(AM)和语言模型(LM)组合下的性能:ASR 1)使用来自印度裔说话者的录音训练AM,并在TIMIT文本上构建LM,ASR 2)使用来自美国本土说话者的录音训练AM,并在来自LIBRI语音语料库的文本上构建LM,和ASR 3)AM使用来自美国本土说话者的录音,LM建立在LIBRI语音和TIMIT文本上。我们观察到,HSR的性能类似于ASR1,而ASR3实现了最佳性能。发言者出生明智的分析表明,发言者的一些出生是更难以识别的印度听众相比,其他一些出生
2021-12-08 cs.CL cs.SD eess.AS
Who Spoke What When? Evaluating Spoken Language Models for Conversational ASR with Semantic and Overlap-Aware Metrics
NTT, Inc.(日本NTT公司);CMU(卡内基梅隆大学);BUT(捷克但尼奇技术大学)
本文通过语义和重叠感知指标评估对话ASR模型,发现基于LLM的系统在双人对话中表现良好,但随着说话人数和重叠增加而下降,而模块化流水线方法更稳健。
2026-03-24 cs.CL eess.AS