Real-time Speech Extraction Using Spatially Regularized Independent Low-rank Matrix Analysis and Rank-constrained Spatial Covariance Matrix Estimation
The University of Tokyo(东京大学);The National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
本文提出一种基于ILRMA和RCSCME的实时语音提取方法,通过引入两种空间正则化器提升扩散噪声环境下的提取性能,实验验证了其实时性和有效性。
2024-03-19 cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们提出了一种新的多通道语音提取系统,同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上,采用说话人嵌入来识别和提取多个目标,而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型,我们提出了一个新的扬声器调节机制,通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR!数据表明,在强多通道基线上,所提出的系统相对于源分离性能提高了9%,并且相对于相同基线,它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
A Comparative Study on E-Branchformer vs Conformer in Speech Recognition, Translation, and Understanding Tasks
Carnegie Mellon University(卡内基梅隆大学);ASAPP Inc.(ASAPP公司)
本研究通过大量端到端实验对比了E-Branchformer与Conformer编码器,发现在15个ASR、2个ST和3个SLU基准测试中,E-Branchformer表现相当或更优且训练更稳定。
2023-05-18 cs.CL cs.SD eess.AS
A Comparative Study on Neural Architectures and Training Methods for Japanese Speech Recognition
Google(谷歌)
端到端(E2E)建模对于自动语音识别(ASR)是有利的,特别是对于日语,因为日语的基于单词的标记化不是微不足道的,并且E2E建模能够直接对字符序列建模。本文重点介绍了最新的E2E建模技术,并通过对比实验研究了它们在基于字符的日语ASR上的性能。结果进行了分析和讨论,以了解长短期记忆(LSTM)的相对优势,并与连接主义的时间分类,传感器和基于注意力的损失函数相结合的构象模型。此外,本文研究了最近的训练技术,如数据增强(SpecAugment),变分噪声注入,指数移动平均的有效性。在论文中发现的最佳配置实现了最先进的字符出错率的4.1%,3.2%和3.5%的语料库自发日语(CSJ)eval1,eval2和eval3的任务,分别。该系统也被证明是计算效率由于构象换能器的效率。
2021-06-09 cs.CL cs.SD eess.AS
End-to-End Speech Recognition with High-Frame-Rate Features Extraction
Toshiba's Cambridge Research Laboratory(东芝剑桥研究实验室)
现有技术的端到端自动语音识别(ASR)每10 ms从输入语音信号中提取声学特征,这对应于100帧/秒的帧速率。在这份报告中,我们研究了在端到端ASR中使用高帧率特征提取。在特征提取中使用200和400帧/秒的高帧速率,并为端到端ASR提供附加信息。高帧速率特征提取的有效性进行了评估独立和结合速度扰动的数据增强。在两个语音语料库,华尔街日报(WSJ)和CHiME-5上进行的实验表明,使用高帧速率特征提取可以提高端到端ASR的性能,无论是独立还是与速度扰动相结合。在WSJ语料库上,高帧率特征提取单独和结合速度扰动产生的词错误率(WER)的相对减少分别高达21.3%和24.1%。在CHiME-5语料库上,麦克风阵列记录的测试数据的相应相对WER降低分别高达2.8%和7.9%,双耳麦克风记录的测试数据的相应相对WER降低分别高达11.8%和21.2%。
2019-07-12 cs.CL cs.SD eess.AS
A Comparative Study on Transformer vs RNN in Speech Applications
NTT Communication Science Laboratories(NTT通信科学实验室);Waseda University(早稻田大学);Johns Hopkins University(约翰霍普金斯大学);LINE Corporation(LINE公司);Nagoya University(名古屋大学);Human Dataware Lab. Co., Ltd.(Human Dataware 实验室有限公司);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Kyoto University(京都大学);Shanghai Jiao Tong University(上海交通大学)
序列到序列模型已广泛用于端到端语音处理,例如,自动语音识别(ASR)、语音翻译(ST)和文本到语音(TTS)。本文重点介绍了一种称为Transformer的紧急序列到序列模型,该模型在神经机器翻译和其他自然语言处理应用中具有最先进的性能。我们进行了深入的研究,在总共15个ASR,一个多语言ASR,一个ST和两个TTS基准测试中,我们实验性地比较和分析了Transformer和传统的递归神经网络(RNN)。我们的实验揭示了Transformer在每个任务中获得的各种训练技巧和显着的性能优势,包括与RNN相比,Transformer在13/15 ASR基准测试中的惊人优势。我们正准备使用开源和公开可用的数据集发布Kaldi风格的可重复配方,用于所有ASR,ST和TTS任务,以便社区成功实现我们令人兴奋的成果。
2019-09-28 cs.CL cs.SD eess.AS
Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis
Institute of Artificial Intelligence (TeleAI)(人工智能研究所(TeleAI))
针对汉语方言ASR数据稀缺的问题,采用Data2vec2自监督预训练结合LLM的范式,经大规模数据训练后在多方言数据集取得SOTA结果,将开源以推动研究。
2025-06-16 cs.CL cs.SD eess.AS
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University(孟加拉国布拉克大学)
Prodorshok I是一个孟加拉语孤立词数据集,旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别(ASR),以帮助改善人机交互(HCI)。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果,以评估其在利用具有高斯发射和深度神经网络(DNN)的隐马尔可夫模型(HMM)的ASR系统中的可靠性。结果表明,简单的数据增强,涉及一个小的音高变化,可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
Qwen vs. Gemma Integration with Whisper: A Comparative Study in Multilingual SpeechLLM Systems
Institute for Infocomm Research (I$^{2}$R), A$^{\ast}$STAR, Singapore(信息与通信研究所(I²R)、A*STAR、新加坡);SoICT, Hanoi University of Science and Technology, Vietnam(河内科学技术大学SoICT、越南)
本文面向 MLC-SLM Challenge 2025,比较了 Qwen 与 Gemma 集成 Whisper 的多语言 SpeechLLM 系统,通过三阶段训练优化各组件,Gemma3-12B 取得 16.63% 的平均 WER/CER。
2025-07-07 cs.CL cs.SD eess.AS
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University(西北工业大学);Zhejiang University(浙江大学)
在本文中,我们进行了一个比较研究的说话人属性的自动语音识别(SA-ASR)在多方会议的情况下,会议丰富的转录越来越受到关注的话题。具体而言,在这项研究中,三种方法进行了评估。第一种方法,FD-SOT,包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对,得到说话人属性的transmittance。然而,这种对齐策略可能会遭受错误的时间戳,由于模块的独立性,严重阻碍了模型的性能。因此,我们提出了第二种方法,WD-SOT,通过引入一个字级的日志模型,它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题,我们提出了第三种方法TS-ASR,它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法,在一个真实的会议场景语料库,AliMeeting,实验结果表明,WD-SOT方法实现了10.7%的平均说话人相关字符出错率(SD-CER)的相对减少,相比FD-SOT方法。此外,TS-ASR方法也优于FD-SOT方法,并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
Speaker activity driven neural speech extraction
NTT Corporation(日本电报电话公司);Brno University of Technology(布尔诺理工大学);IT4I Center of Excellence(IT4I卓越中心)
目标语音提取,即在给定辅助说话人线索的情况下,从混合语音中提取目标说话人的语音,近来受到越来越多的关注。已经调查了各种线索,例如预先录制的注册话语、方向信息或目标说话者的视频。在本文中,我们探索使用说话人活动信息作为辅助线索的单通道神经网络的语音提取。我们提出了一个说话人活动驱动的语音提取神经网络(ADeNet),并表明它可以实现性能水平的竞争力与基于注册的方法,而不需要预先录制。我们进一步证明了所提出的方法的潜力,用于处理类似会议的录音,其中的扬声器活动是从日记系统。我们表明,这种简单而实用的方法可以成功地提取扬声器后,日记,从而提高ASR性能,特别是在高重叠的条件下,与相对字错误率降低高达25%。
2021-02-09 cs.SD eess.AS
Comparative layer-wise analysis of self-supervised speech models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
在过去的几年中,已经提出了许多自监督语音模型,其预训练目标、输入模态和预训练数据各不相同。尽管在下游任务上取得了令人印象深刻的成功,但我们对模型编码的属性以及模型之间的差异仍然了解有限。在这项工作中,我们研究了各种最近的模型的中间表示。具体来说,我们测量声学,语音和单词级属性编码在各个层中,使用一个轻量级的分析工具,基于典型相关分析(CCA)。我们发现,这些属性在不同的层之间根据模型的不同而变化,这些变化与预训练目标的选择有关。我们进一步调查我们的分析,下游任务的实用性,通过比较性能的语音识别和口语语言理解任务的趋势。我们发现,CCA趋势为下游任务选择感兴趣的层提供了可靠的指导,并且单层性能通常与使用所有层相匹配或有所改善,这意味着更有效地使用预训练模型。
2023-03-16 cs.CL cs.LG cs.SD
Speech Recognition-based Feature Extraction for Enhanced Automatic Severity Classification in Dysarthric Speech
Sogang University(西江大学)
针对构音障碍严重程度评估中ML特征覆盖不足的问题,提出利用微调ASR转写提取词段边界及发音、韵律特征,将平衡准确率提升至83.72%。
2024-12-05 cs.AI cs.SD eess.AS
A Comparative Analysis of Bilingual and Trilingual Wav2Vec Models for Automatic Speech Recognition in Multilingual Oral History Archives
University of West Bohemia(西波希米亚大学)
本文比较了单语与多语言Wav2Vec 2.0模型在含混合语言句子的口述历史档案上的语音识别性能,发现单语模型在多数情况下优于多语言模型,并公开了预训练模型以促进研究。
2024-07-24 cs.AI cs.CL
Bridging the gap: A comparative exploration of Speech-LLM and end-to-end architecture for multilingual conversational ASR
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound AI技术有限公司)
本文提出一种结合微调Whisper和mHuBERT编码器与LLM的ASR框架,通过交叉注意力机制提升多语言对话ASR性能,实验表明其在性能上接近端到端模型,但仍有提升空间。
2026-02-02 cs.CL cs.SD eess.AS
Exploiting Single-Channel Speech for Multi-Channel End-to-End Speech Recognition: A Comparative Study
Tsinghua University(清华大学);TasiTech Co., Ltd.(塔斯科技有限公司)
近年来,端到端的多通道语音识别训练方法已显示出其有效性,该方法通常由波束形成前端和识别后端组成。然而,由于多个模块的集成,端到端的训练变得更加困难,特别是考虑到真实环境中记录的多通道语音数据在大小上是有限的。这就提出了利用单通道数据进行多通道端到端ASR的需求。在本文中,我们系统地比较了三种方案的性能,利用外部单通道数据的多通道端到端ASR,即后端预训练,数据调度和数据模拟,在不同的设置,如单通道数据的大小和前端的选择。在CHiME-4和AISHELL-4数据集上进行的大量实验表明,虽然这三种方法都提高了多通道端到端语音识别性能,但数据模拟优于其他两种方法,代价是更长的训练时间。数据调度的性能略优于后端预训练,但几乎是一致的,这可能是因为在预训练阶段,后端往往过拟合单通道数据,特别是当单通道数据大小很小时。
2022-10-08 cs.CL eess.AS
Speaker Reinforcement Using Target Source Extraction for Robust Automatic Speech Recognition
Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
提高单通道自动语音识别(ASR)在噪声条件下的准确性是具有挑战性的。强大的语音增强前端是可用的,然而,它们通常需要重新训练ASR模型以应对处理伪影。在本文中,我们探讨了扬声器增强策略,提高识别性能,而无需重新训练的声学模型(AM)。这是通过将增强的信号与未处理的输入重新混合以减轻处理伪影来实现的。我们使用基于DNN说话人提取的语音去噪器来评估所提出的方法,该语音去噪器使用感知动机损失函数进行训练。结果表明,(没有AM再训练)我们的方法产生约23%和25%的相对精度增益相比,未经处理的单声道模拟和真实的CHiME-4评估集,分别,并优于一个国家的最先进的参考方法。
2022-05-09 cs.SD eess.AS
Regularizing Learnable Feature Extraction for Automatic Speech Recognition
RWTH Aachen University(亚琛RWTH大学);AppTek GmbH(AppTek公司)
针对可学习语音特征前端易过拟合的问题,本文研究音频扰动与STFT域掩码两种正则化方法,改进SpecAugment并弥合其与传统特征的性能差距。
2025-09-30 cs.CL cs.LG cs.SD
Speaker Independent Continuous Speech to Text Converter for Mobile Application
Pondicherry Engineering College(本地治里工程学院)
本文提出了一种适用于移动应用的高效语音文本转换器。其主要目的是制定一个系统,这将提供最佳的性能方面的复杂性,准确性,延迟和存储器的要求,移动环境。语音到文本转换器包括两个阶段,即前端分析和模式识别。前端分析包括预处理和特征提取。仅跟踪能量的传统语音活动检测算法不能成功地从输入中识别潜在的语音,因为语音的不想要的部分也具有一些能量并且看起来是语音。在该系统中,VAD,计算的能量的高频部分单独的过零率,以区分噪声和语音。采用Mel频率倒谱系数(MFCC)作为特征提取方法,采用广义回归神经网络作为识别器。MFCC提供低的字出错率和更好的特征提取。神经网络提高了预测精度。因此,包含用户所有可能的音节发音的小数据库足以给出接近100%的识别准确度。因此,所提出的技术娱乐实现实时的扬声器独立的应用,如移动电话,PDA等。
2013-07-19 cs.CL cs.NE cs.SD
wav2vec and its current potential to Automatic Speech Recognition in German for the usage in Digital History: A comparative assessment of available ASR-technologies for the use in cultural heritage contexts
University of Graz(格拉茨大学)
在本案例研究中,我们为德语自动语音识别(ASR)培训并发布了一个最先进的开源模型,以评估该技术在数字人文和文化遗产更大背景下的当前潜力。随着这篇论文,我们发布了我们基于wav2vec2的语音到文本模型,同时我们评估了它在我们收集的历史录音语料库上的性能,并与基于商业云的专有服务进行了比较。虽然我们的模型取得了中等的结果,但我们看到专有云服务的表现要好得多。正如我们的结果所示,目前可以实现超过90%的识别率,但是,一旦录音的音频质量有限或使用非日常或过时的语言,这些数字就会迅速下降。一个大问题是德语中不同方言和口音的高度多样性。尽管如此,本文强调,目前可用的识别质量足够高,可以解决数字人文学科中的各种用例。我们认为,ASR将成为一个关键技术的文件和分析的视听来源,并确定了一系列的重要问题,卫生署社区和文化遗产的利益相关者将不得不在不久的将来解决。
2023-03-06 cs.CL cs.LG cs.SD
A Comparative Study on Multichannel Speaker-Attributed Automatic Speech Recognition in Multi-party Meetings
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
多方会议场景中的说话人归属自动语音识别(SA-ASR)是最有价值和最具挑战性的自动语音识别任务之一。结果表明,单通道帧级日志化与串行输出训练(SC-FD-SOT)、单通道词级日志化与SOT(SC-WD-SOT)以及单通道目标语者分离与ASR联合训练(SC-TS-ASR)可以部分解决这一问题。在本文中,我们提出了三个相应的多通道(MC)SA-ASR方法,即MC-FD-SOT,MC-WD-SOT和MC-TS-ASR。针对不同的任务/模型,考虑了不同的多通道数据融合策略,包括MC-FD-SOT的通道级跨通道关注、MC-WD-SOT的帧级跨通道关注和MC-TS-ASR的神经波束形成。AliMeeting语料库上的结果表明,我们提出的模型在与说话人相关的字符错误率方面始终优于相应的单通道模型。
2023-03-02 cs.SD eess.AS
Gender Identification using MFCC for Telephone Applications - A Comparative Study
Sejong University(世宗大学);King Mongkut's University of Technology North Bangkok(北曼谷国王科技大学)
性别识别是自动语音识别和交互式语音应答系统的重要组成部分。确定说话者的性别减少了这种系统用于任何进一步处理的计算负担。从语音中识别性别的典型方法主要依赖于特征提取和分类过程。本研究的目的是评估各种最先进的分类方法的性能,以及调整其参数,以帮助选择最佳的分类方法进行性别识别任务。利用Mel频率倒谱系数对k-近邻、朴素贝叶斯、多层感知器、随机森林和支持向量机等5种分类方法进行了电话语音性别判别的综合评价。不同的实验进行,以确定训练数据的大小,语音流的长度,和参数调整对分类性能的影响。结果表明,支持向量机是最好的分类器中的所有五个方案的性别识别。
2016-01-07 cs.SD
Improving End-to-end Speech Recognition with Pronunciation-assisted Sub-word Modeling
Johns Hopkins University(约翰斯·霍普金斯大学)
大多数端到端语音识别系统直接将文本建模为字符或子词的序列。当前的子词提取方法仅考虑字符序列频率,这有时会产生可能导致错误的语音识别输出的较差的子分词。我们提出了发音辅助子词建模(PASM),一个子词提取方法,利用一个词的发音信息。实验结果表明,该方法可以大大提高基于字符的基线,也优于常用的字节对编码方法。
2019-02-21 cs.CL
Progressive Residual Extraction based Pre-training for Speech Representation Learning
Tianjin University(天津大学);Huiyan Technology (Tianjin) Company, Ltd.(汇研科技(天津)有限公司);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tibet University(西藏大学)
本文提出ProgRE预训练方法,通过在SSL主干中引入轻量任务模块并以残差方式逐步提取音高、说话人和内容表示,再按层权重组合为任务特定表示,从而在多个语音下游任务上实现联合性能提升。
2024-08-31 cs.SD eess.AS
Efficient Extraction of Noise-Robust Discrete Units from Self-Supervised Speech Models
KU Leuven(鲁汶大学);Xiaomi Corporation(小米公司)
本文提出一种参数高效的小型编码器-解码器方法,对自监督语音模型隐藏特征同时去噪和离散化,以生成抗噪离散单元,在带噪离散化和语音识别任务上优于多种预训练方法,并可用少量无标签数据微调适应目标环境。
2024-09-04 cs.SD eess.AS
Should We Always Separate?: Switching Between Enhanced and Observed Signals for Overlapping Speech Recognition
NTT Corporation(日本电报电话公司)
尽管深度学习技术的最新进展改善了自动语音识别(ASR),但当语音与其他人的声音重叠时,仍然很难识别语音。语音分离或提取通常用作ASR的前端以处理这种重叠语音。然而,基于深度神经网络的语音增强会产生“处理伪像”,这是增强的副作用,会降低ASR性能。例如,众所周知,针对非语音噪声(非重叠语音)的单通道降噪通常不会改善ASR。同样地,当用分离/提取方法处理重叠语音时,处理伪像在某些条件下也可能对ASR有害,尽管通常认为分离/提取改善了ASR。为了回答这个问题,我们总是必须从混合物中分离/提取语音吗?“,我们分析了在各种噪声和干扰条件下观察到的和增强的语音的ASR性能,并且表明语音增强在某些条件下甚至对于重叠语音也会降低ASR。基于这些发现,我们提出了一个简单的切换算法之间的观察和增强语音的基础上估计的信号干扰比和信噪比。我们的实验表明,这样一个简单的切换机制可以提高识别性能时,处理文物是有害的ASR。
2021-06-02 cs.SD eess.AS
Discrete Speech Unit Extraction via Independent Component Analysis
National Institute of Advanced Industrial Science and Technology(日本国立先进工业科学技术研究院);Carnegie Mellon University(卡内基梅隆大学);Toyohashi University of Technology(丰桥技术科学大学)
针对自监督语音模型表征聚类前缺乏预处理优化的问题,本文研究了多种线性预处理方法对离散语音单元提取的效果,验证了其在k-means聚类前的有效性并分析了相关特性。
2025-01-11 cs.AI cs.LG cs.SD
Keywords Extraction and Sentiment Analysis using Automatic Speech Recognition
Punjab Engineering College(旁遮普工程学院)
自动语音识别(ASR)是计算语言学的一个跨学科分支,它开发了能够通过计算机识别口语并将其翻译成文本的方法和技术。它融合了语言学,计算机科学和电气工程领域的知识和研究。情感分析是文本的上下文挖掘,它识别和提取源材料中的主观信息,并帮助企业了解其品牌,产品或服务的社会情感,同时监控在线对话。根据语音结构,语音识别中使用三种模型进行匹配:声学模型、语音词典和语言模型。任何语音识别程序都是用两个因素来评估的:准确性(将口语转换为数字数据的错误百分比)和速度(程序能跟上人类说话者的程度)。为了将语音转换为文本(STT),我们将研究以下开源工具包:CMU Sphinx和Kaldi。该工具包使用Mel频率倒谱系数(MFCC)和I向量进行特征提取。CMU Sphinx已与预训练的隐马尔可夫模型(HMM)和高斯混合模型(GMM)一起使用,而Kaldi与预训练的神经网络(NNET)一起使用作为声学模型。n-gram语言模型包含音素或pdf-id,用于以网格的形式生成最可能的假设(转录)。语音数据集以.raw或.wav文件的形式存储,并转录为.txt文件。然后,系统尝试识别文本中的观点,并提取以下属性:极性(如果说话者表达了积极或消极的观点)和关键词(正在谈论的事情)。
2020-04-07 cs.SD eess.AS eess.SP
Decentralizing Feature Extraction with Quantum Convolutional Neural Network for Automatic Speech Recognition
Georgia Institute of Technology(佐治亚理工学院);Brookhaven National Laboratory(布鲁克海文国家实验室);IBM Research(IBM研究院);University of Enna(恩纳大学);NTNU(挪威科技大学)
我们提出了一种新的分散式联邦学习特征提取方法,以解决语音识别的隐私保护问题。它建立在量子卷积神经网络(QCNN)上,该网络由用于特征提取的量子电路编码器和基于递归神经网络(RNN)的端到端声学模型(AM)组成。为了增强分散式架构中的模型参数保护,输入语音首先被上行到量子计算服务器以提取Mel频谱图,并且使用具有随机参数的量子电路算法对相应的卷积特征进行编码。然后,编码后的特征被向下传输到本地RNN模型进行最终识别。所提出的去中心化框架利用量子学习过程来保护模型并避免隐私泄露攻击。在Google Speech Commands Dataset上进行测试,提出的QCNN编码器在去中心化模型中达到了95.12%的竞争准确率,这比之前使用具有卷积特征的集中式RNN模型的架构要好。我们还对不同的量子电路编码器架构进行了深入研究,以提供设计基于QCNN的特征提取器的见解。神经显着性分析证明了所提出的QCNN特征、类激活图和输入谱图之间的相关性。我们为未来的研究提供了一个实现。
2021-02-12 cs.LG cs.NE cs.SD
Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement
University of Sheffield(谢菲尔德大学);South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学)
针对真实对话中多说话人提取面临的沉默过多和注册语音不匹配挑战,提出新损失函数提升STOI和分段SNR,并分析不匹配影响。
2026-09-23 cs.CL cs.SD
Comparative Evaluation of Expressive Japanese Character Text-to-Speech with VITS and Style-BERT-VITS2
Columbia University, RoleGaku(哥伦比亚大学、RoleGaku);Columbia University(哥伦比亚大学)
本文比较了VITS和Style-BERT-VITS2 JP Extra在生成表达性日语字符语音中的表现,发现SBV2JE在自然度和可懂度方面表现更优,适用于语言学习和角色对话生成。
2025-11-30 cs.CL cs.SD eess.AS
Contribution of Glottal Waveform in Speech Emotion: A Comparative Pairwise Investigation
本文研究了声门波在人类发声情感表达中的作用。七种情绪状态,包括温和和激烈的版本的三个情绪家族的愤怒,喜悦和悲伤,加上一个中性状态,与语音样本在普通话中。首先从不同情绪状态的语音样本中提取声门波形,并对其进行时域和频域分析,找出它们之间的差异。然后,基于从原始全语音信号和仅从声门波信号中提取的特征来进行比较情感分类。在生成性能驱动的分层分类器架构和对个体情绪状态进行成对分类的实验中,从语音信号和声门信号获得的准确度之间的低差异证明了语音中的大多数情绪线索可以通过声门波形来传达。声门波最佳区分的情绪对是强烈愤怒对中度悲伤,准确率为92.45%。研究还表明,声门波比唤醒波更能代表情绪的效价线索。
2018-08-30 cs.SD
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室);Brno University of Technology(布尔诺理工大学)
目标语音提取是指在给定目标说话人信息的情况下,从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam,它利用目标说话者的自适应话语来提取他/她的声音特征,然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案,因为它能够跨话语跟踪目标说话人的语音,并实现有希望的语音提取性能。然而,当说话人具有相似的语音特征时,例如在同性混合中,它有时会失败,因为很难区分目标说话人和干扰说话人。在本文中,我们调查的战略,提高扬声器的区分能力的SpeakerBeam。首先,我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络(TasNet),它已经实现了最先进的语音分离性能。此外,我们还研究了(1)当麦克风阵列记录可用时,使用空间特征来更好地区分说话者,(2)添加辅助说话者识别损失,以帮助学习更多有区别的语音特征。我们的实验表明,这些策略大大提高了语音提取的性能,特别是对于同性混合,并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University(西北工业大学)
近年来,基于深度学习的自组织麦克风阵列的研究备受关注,特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域,以至于多个说话人可能相距很远并且独立地说话,所以目标相关语音分离(其目的是从混合语音中提取目标说话人)对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而,这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法,这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先,提出了一种基于说话人提取的有监督信道选择框架,该框架利用目标语音的话语级信噪比作为信道选择的依据。其次,我们将所选择的通道应用于基于深度学习的MVDR算法,其中,将单通道说话人提取算法应用于每个所选择的通道,以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
A Comparative Study of Discrete Speech Tokens for Semantic-Related Tasks with Large Language Models
The Chinese University of Hong Kong(香港中文大学)
本文使用Qwen1.5-0.5B对比了离散与连续语音特征在语义任务上的表现,发现连续特征更优,并分析了离散Token表现不佳的原因及改进方向。
2024-11-13 cs.CL cs.SD eess.AS
A Comparative Study on Proactive and Passive Detection of Deepfake Speech
National Institute of Informatics(国立信息研究所);Academia Sinica(学术.sinica)
本研究针对深度伪造语音主动水印与被动检测两类方案缺乏统一评估标准的问题,提出统一评估框架,在通用数据集和指标下对比发现两类模型对不同语音属性失真的脆弱性存在差异,并开源了相关代码。
2025-06-17 cs.SD
Two-stage Framework for Robust Speech Emotion Recognition Using Target Speaker Extraction in Human Speech Noise Conditions
Nagoya University(名古屋大学)
针对噪声下语音情感识别受人类语音干扰的问题,提出级联目标说话人提取与情感识别的两阶段框架,联合训练提升未加权准确率14.33%,尤其擅长不同性别混合场景。
2024-12-17 cs.CL cs.SD eess.AS
DENSE: Dynamic Embedding Causal Target Speech Extraction
针对静态嵌入难以捕捉已提取语音上下文的问题,提出DENSE动态嵌入因果TSE模型,通过自回归生成上下文相关嵌入,实现实时帧级提取并提升STOI与SDR。
2024-12-10 cs.SD eess.AS
A Comparative Analysis of Pretrained Language Models for Text-to-Speech
Alexa AI, Amazon(亚马逊Alexa人工智能部门)
本研究首次对比分析15种预训练语言模型在文本到语音的韵律预测和停顿预测任务中的表现,发现模型大小与质量呈对数关系,且实证结果与GLUE分数强相关。
2023-09-04 cs.CL cs.SD eess.AS
VorTEX: Various overlap ratio for Target speech EXtraction
Department of Artificial Intelligence, Chung-Ang University, Republic of Korea(人工智能系, Chung-Ang 大学,韩国)
VorTEX通过Decoupled Adaptive Multi-branch融合模块实现了目标语音提取,针对不同重叠比构建PORTE数据集,并提出SuRe指标,实验显示其在20%-100%重叠比下分离效果最佳,无抑制残留干扰。
2026-03-23 cs.AI cs.CL cs.SD
Shennong: a Python toolbox for audio speech features extraction
Inria(法国国家信息与自动化研究所);EHESS(法国高等社会科学研究院);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);CNRS(法国国家科学研究中心);Facebook AI Research(脸书人工智能研究院)
我们介绍了神农,一个Python工具箱和命令行实用程序的语音特征提取。它实现了广泛的成熟的最先进的算法,包括频谱-时间滤波器,如梅尔频率倒谱滤波器组或预测线性滤波器,预训练的神经网络,音高估计器以及扬声器归一化方法和后处理算法。Shennong是一个开源、易用、可靠和可扩展的框架。Python的使用使得与其他语音建模和机器学习工具的集成变得容易。它旨在取代或补充几个异构软件,如Kaldi或Praat。在描述了神农软件体系结构、核心组件和实现算法之后,本文说明了它在三个应用上的使用:在音素辨别任务上的语音特征性能的比较、作为用于训练的语音持续时间的函数的声道长度归一化模型的分析以及在各种噪声条件下的音高估计算法的比较。
2021-12-10 cs.CL cs.SD eess.AS
A comparative study between linear and nonlinear speech prediction
Escola Universitària Politècnica de Mataró(马塔罗理工大学学院)
本文的重点是非线性预测编码,它包括对语音样本的预测的基础上的非线性组合的前一个样本。众所周知,在声门脉冲的产生中,波动方程不线性地表现[2],[10],并且我们通过基于参数神经网络模型的语音的非线性预测来对这些效应进行建模。这项工作集中在神经网络权重的量化和压缩增益。
2022-03-31 cs.SD eess.AS
A Comparative Study of Speaker Role Identification in Air Traffic Communication Using Deep Learning Approaches
Sichuan University(四川大学)
空中交通管制(ATC)中的飞行员-驾驶员对话的自动口语指令理解(SIU)不仅需要识别语音的单词和语义,还需要确定说话者的角色。然而,在空中交通通信中的自动理解系统的研究中,很少有人关注说话人角色识别(SRI)。在本文中,我们制定了SRI任务的飞行员导频通信作为一个二元分类问题。此外,本文还提出了基于文本、基于语音以及基于语音和文本的多模态方法,以实现对SRI任务的全面比较。为了消除比较方法的影响,应用各种先进的神经网络架构来优化基于文本和基于语音的方法的实现。最重要的是,一个多模态说话人角色识别网络(MMSRINet)的设计,以实现SRI任务,同时考虑语音和文本的模态特征。为了聚合模态特征,提出了模态融合模块,分别通过模态注意力机制和自注意力池层来融合和挤压声学和文本表示。最后,比较方法进行了验证的ATC语音语料库收集从现实世界的ATC环境。实验结果表明,所有的比较方法都适用于SRI任务,所提出的MMSRINet显示出竞争力的性能和鲁棒性比其他方法的可见和不可见的数据,分别达到98.56%和98.08%的准确率。
2022-08-22 cs.CL cs.SD eess.AS
Speaker Extraction with Co-Speech Gestures Cue
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学)
说话人提取的目的是从多说话人的混合语音中提取出目标说话人的纯净语音。已经有研究使用预先录制的语音样本或目标说话者的面部图像作为说话者线索。在人类交流中,与语音自然同步的协同语音手势也有助于语音感知。在这项工作中,我们探索使用共同的语音手势序列,例如手和身体的动作,作为说话人提取的说话人线索,这可以很容易地从低分辨率的视频记录中获得,因此比人脸记录更可用。我们提出了两个网络使用的共同语音手势线索,以执行专注的听目标扬声器,一个隐式融合的共同语音手势线索在扬声器提取过程中,另一个执行语音分离第一,然后明确使用共同语音手势线索相关联的分离语音的目标扬声器。实验结果表明,协同语音手势提示在与目标说话人的关联中具有一定的信息量。
2022-05-10 cs.CV cs.SD eess.AS
Efficient Independent Vector Extraction of Dominant Target Speech
当只需要一个特定目标说话人的语音时,由盲声源分离执行的完全分解在计算上是苛刻的并且是多余的。在本文中,我们提出了一种计算效率的盲语音提取方法的基础上,通常使用的独立向量分析算法的适当修改,温和的假设下,感兴趣的信号的平均功率超过干扰语音源。考虑到最小失真原则不能实现,因为完整的混合矩阵是不可用的,我们还设计了一个单位的缩放操作来解决缩放模糊。仿真结果验证了该方法在提取语音主导成分方面的有效性。
2020-08-01 cs.SD eess.AS
Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Artificial Intelligence 인 공 지 능 학 과(人工智能人工智慧学系)
针对表现力文本转语音合成高质量语音的挑战,提出SpotlightTTS,通过浊音感知风格提取(聚焦浊音区域并保持连续性)和风格方向调整(优化风格融入),在表现力、语音质量及风格迁移能力上优于基线模型。
2025-11-18 cs.AI cs.SD
Target Speech Extraction with Conditional Diffusion Model
NTT Corporation(日本电报电话公司)
针对多人混合语音中的目标说话人提取问题,提出以说话人线索为条件的扩散模型,并引入集成推理减少误差,在Libri2mix上优于判别式TSE系统。
2023-08-17 cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
USEV: Universal Speaker Extraction with Visual Cue
National University of Singapore(新加坡国立大学);Tianjin University(天津大学);the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学);Kriston AI(Kriston人工智能)
说话人提取算法试图从多说话人语音混合中提取目标说话人的语音。现有的研究主要集中在从高度重叠的多说话人混合语音中提取说话人。然而,在自然语音通信中,目标说话人与干扰说话人的重叠率可能在0%~ 100%的范围内变化,而且目标说话人可能不存在于语音混合中,因此将这种通用多说话人情况下的语音混合描述为通用语音混合。说话人提取算法需要辅助参考,例如视频记录或预先录制的语音,以形成对目标说话人的自上而下的听觉注意。我们提倡视觉提示,即,嘴唇运动比音频提示更能提供信息,即,预先录制的语音,作为辅助参考的讲话者提取在解开目标说话者从一个一般的语音混合。在本文中,我们提出了一个通用的说话人提取网络与视觉提示,适用于所有多说话人的情况。此外,我们提出了一个基于目标感知的差异化损失函数用于网络训练,以平衡不同目标-干扰说话人配对场景下的网络性能。实验结果表明,我们提出的方法优于各种竞争基线的一般语音混合信号的保真度。
2022-08-30 cs.SD eess.AS
All Neural Low-latency Directional Speech Extraction
Meta Platforms Inc.(元平台公司)
本文提出一种全神经低延迟定向语音提取模型,通过从零训练DOA嵌入并与循环神经网络融合,实现高帧率下对动态声学场景的快速适应和鲁棒提取。
2024-07-05 cs.SD eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University(西安交通大学)
本文提出AVSepChain,将音视频目标语音提取分为语音感知与生成两阶段,通过交换音视频模态主导地位并引入对比语义匹配损失,缓解模态不平衡,在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
A Hybrid Continuity Loss to Reduce Over-Suppression for Time-domain Target Speaker Extraction
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);University of Bremen(不来梅大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
说话人提取算法从含有干扰语音和背景噪声的混合语音中提取目标语音。提取过程有时会过度抑制所提取的目标语音,这不仅在收听期间产生伪像,而且还会损害下游自动语音识别算法的性能。针对时域说话人提取算法中的过抑制问题,提出了一种混合连续性损失函数。在用于优良信号质量的波形电平损失之上,即,在SI-SDR中,我们在频域中引入了多分辨率的delta谱损失,以保证提取的语音信号的连续性,从而减轻过抑制。我们使用YouTube LRS 2-BBC数据集上的时域视听扬声器提取算法来检查混合连续性损失函数。实验结果表明,该损失函数在不影响重建语音质量的前提下,降低了过抑制现象,提高了语音识别的误识率。
2022-06-20 cs.SD eess.AS
A Comparative Study of Glottal Source Estimation Techniques
University of Mons(蒙斯大学);Izmir Institute of Technology(伊兹密尔理工学院)
源道分解(或声门流估计)是语音处理的基本问题之一。为此,文献中已经提出了几种技术。然而,比较不同方法的研究几乎不存在。此外,还对合成语音和持续元音进行了系统的实验。在这项研究中,我们比较了三个主要的代表国家的最先进的声门流量估计方法:闭相逆滤波,迭代和自适应逆滤波,和混合相分解。这些技术首先提交给合成语音信号的客观评估测试。它们对影响估计质量的各种因素的敏感性,以及它们对噪声的鲁棒性进行了研究。在第二个实验中,他们的能力,标签语音质量(紧张,模态,软)研究了一个大型语料库的真实连接语音。结果表明,语音质量的变化反映在声门特征分布的显着修改。基于混合相位分解和基于闭合相位逆滤波过程的技术在干净的合成和真实的语音信号上都给出了最好的结果。另一方面,迭代和自适应逆滤波,建议在噪声环境中,其高鲁棒性。
2019-12-28 cs.CL cs.SD eess.AS
Synthetic Data Generation Techniques for Developing AI-based Speech Assessments for Parkinson's Disease (A Comparative Study)
针对帕金森病AI语音评估训练数据不足的问题,本文比较基于深度学习的合成语音数据生成技术,以提升核心机器学习分类器的准确率。
2023-12-04 cs.AI cs.LG cs.SD