Towards General Discrete Speech Codec for Complex Acoustic Environments: A Study of Reconstruction and Downstream Task Consistency
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence(人工智能摩尔实验室);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);X-LANCE Lab(X-LANCE实验室);School of Computer Science(计算机科学学院)
该研究提出新颖的ERSB基准,通过评估鲁棒重建与下游任务一致性,揭示神经语音编解码器在复杂声学环境下的性能退化,为其未来提升环境鲁棒性指明方向。
2025-05-28 cs.SD eess.AS
Problem-Agnostic Speech Embeddings for Multi-Speaker Text-to-Speech with SampleRNN
Amazon Research(亚马逊研究院)
文语转换(TTS)声学模型将语言特征映射到生成可听波形的声学表示中。最新和最自然的TTS系统在语言和波形域之间建立了直接映射,如SampleRNN。这样,由于中间声学表示被丢弃,避免了可能的信号自然度损失。除了自然性之外,研究的另一个重要方面是它们对从训练期间看不见的新说话者发出声音的适应性。在本文中,我们首先提出了使用问题不可知的语音嵌入在一个多扬声器声学模型的TTS基于SampleRNN。通过这种方式,我们为声学模型提供了扬声器声学相关的表示,这些表示比与这些因素无关的离散嵌入更丰富了波形生成。我们的第一个结果表明,所提出的嵌入导致更好的质量的声音比那些获得离散嵌入。此外,由于我们可以在推理过程中使用任何语音片段作为编码表示,因此该模型能够推广到新的说话人身份,而无需重新训练网络。我们最后表明,随着嵌入提取器中语音持续时间的小幅增加,我们大大降低了频谱失真,以缩小目标身份的差距。
2019-09-22 cs.SD eess.AS
A comparison of recent waveform generation and acoustic modeling methods for neural-network-based speech synthesis
National Institute of Informatics(国立信息学研究所);Aalto University(阿尔托大学)
语音合成的最新进展表明,可以通过使用先进的机器学习方法来克服诸如具有最小相位近似的幅度谱的有损性质和声学建模中的过平滑效应之类的限制。在本文中,我们建立了一个框架,我们可以公平地比较新的声码和声学建模技术与传统的方法,通过大规模的众包评估。声学模型的结果表明,生成对抗网络和自回归(AR)模型的性能优于正常的递归网络,AR模型的性能最好。使用相同的AR声学模型对声码器进行评估表明,Wavenet声码器的性能优于经典的基于源滤波器的声码器。特别地,从AR声学模型和Wavenet声码器的组合生成的语音波形实现了类似的语音质量分数的声码语音。
2018-04-07 cs.CL cs.SD eess.AS
Glow-WaveGAN: Learning Speech Representations from GAN-based Variational Auto-Encoder For High Fidelity Flow-based Speech Synthesis
Tencent AI Lab(腾讯人工智能实验室)
当前的两阶段TTS框架通常将声学模型与声码器集成-声学模型预测诸如Mel频谱的低分辨率中间表示,而声码器从中间表示生成波形。虽然中间表示作为一个桥梁,仍然存在的声学模型和声码器之间的关键不匹配,因为它们通常是分开学习和工作在不同的分布的表示,导致不可避免的人工合成的语音。在这项工作中,不同于使用预先设计的中间表示在大多数以前的研究中,我们提出使用VAE结合GAN直接从语音学习的潜在表示,然后利用基于流的声学模型来模拟的潜在表示从文本的分布。通过这种方式,当两个阶段在相同的分布上工作时,不匹配问题被迁移。结果表明,基于流的声学模型可以准确地模拟我们学习的语音表示的分布,并且所提出的TTS框架,即Glow-WaveGAN,可以产生高保真语音,优于最先进的基于GAN的模型。
2021-06-22 cs.SD eess.AS
Edit Content, Preserve Acoustics: Imperceptible Text-Based Speech Editing via Self-Consistency Rewards
The State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Department of Automation, Tsinghua University(清华大学自动化系);BNRist, Tsinghua University(清华大学BNRist)
提出一种在稳定语义空间中编辑内容、通过流匹配解码器保持声学连续性的框架,并利用自一致性奖励组相对策略优化实现不可感知的文本语音编辑。
2026-06-11 cs.SD eess.AS
SAR: Self-Supervised Anti-Distortion Representation for End-To-End Speech Model
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
针对TTS中预测声学特征易受失真影响的问题,提出自监督SAR框架,在自动编码器预训练中引入失真先验以学习抗失真表示,并通过主客观评估验证其优于梅尔频谱图。
2023-04-23 cs.SD eess.AS
Improving Language Model-Based Zero-Shot Text-to-Speech Synthesis with Multi-Scale Acoustic Prompts
Skywork AI PTE. LTD.(世芯人工智能私人有限公司)
该研究针对零样本TTS中短声学提示难以还原个人说话风格的问题,基于VALL-E引入多尺度风格与音色提示,提升自然度和说话人相似度。
2024-04-09 cs.SD eess.AS
Pretraining Strategies, Waveform Model Choice, and Acoustic Configurations for Multi-Speaker End-to-End Speech Synthesis
National Institute of Informatics(国立信息学研究所)
我们探讨了预训练策略,包括基础语料的选择,目的是为zero-shot多说话人端到端合成选择最佳策略。我们还研究了用于波形合成的神经声码器的选择,以及用于梅尔频谱图和最终音频输出的声学配置。我们发现,从已经通过一个简单的质量阈值的有声读物数据中微调多说话人模型可以提高合成语音的自然度和与看不见的目标说话人的相似性。此外,我们发现听众可以区分16 kHz和24 kHz的采样率,并且WaveRNN产生的输出波形质量与WaveNet相当,推理时间更快。
2020-11-10 cs.CL cs.SD
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China(上海交通大学X-LANCE实验室);Shanghai Innovation Institute, China(上海创新研究院);Soul AI Lab, China(Soul AI实验室)
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力,实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
Direct Text to Speech Translation System using Acoustic Units
University of Zaragoza(萨拉戈萨大学);Aragón Institute for Engineering Research (I3A)(阿拉贡工程研究所);Le Mans University(勒芒大学);Avignon University(阿维尼翁大学)
本文提出一种基于离散声学单元的直接文本到语音翻译系统,通过语音编码器与聚类算法提取声学单元并结合编码器-解码器架构与声码器生成目标语音,在CVSS语料库上取得有竞争力的性能。
2023-09-14 cs.CL cs.LG cs.SD
Adversarial Feature Learning and Unsupervised Clustering based Speech Synthesis for Found Data with Acoustic and Textual Noise
Northwestern Polytechnical University(西北工业大学);Bytedance AI Lab(字节跳动人工智能实验室)
基于注意力的序列到序列(seq2seq)语音合成已经取得了非凡的性能。但是,一个工作室质量的语料库与手工转录是必要的训练这样的seq2seq系统。在本文中,我们提出了一种方法来建立高质量和稳定的seq2seq为基础的语音合成系统使用具有挑战性的发现数据,其中训练语音包含噪声干扰(声学噪声)和文本是不完善的语音识别成绩单(文本噪声)。为了处理文本端的噪声,我们提出了一种基于VQVAE的探试法,用直接从语音中学习到的语音信息来补偿错误的语言特征。对于语音侧噪声,我们提出通过对抗训练和数据增强在自回归解码器中学习与噪声无关的特征,这不需要额外的语音增强模型。实验结果表明,该方法在处理文本和语音噪声方面是有效的。超越了基于最先进的语音增强模型的去噪方法,我们的系统建立在嘈杂的发现数据可以合成干净和高质量的语音与MOS接近的系统建立在干净的对应。
2020-04-28 cs.LG cs.SD eess.AS
Wasserstein GAN and Waveform Loss-based Acoustic Model Training for Multi-speaker Text-to-Speech Synthesis Systems Using a WaveNet Vocoder
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学)
最近的神经网络,如直接从语音波形样本学习的WaveNet和sampleRNN,即使在多扬声器文本转语音合成系统中,也在自然度和扬声器相似性方面实现了非常高质量的合成语音。这种神经网络被用作声码器的替代方案,因此它们通常被称为神经声码器。神经声码器使用声学特征作为局部条件参数,这些参数需要由另一个声学模型准确预测。然而,还不清楚如何训练该声学模型,这是有问题的,因为合成语音的最终质量受声学模型的性能的显著影响。发生显著的退化,特别是当预测的声学特征与自然特征相比具有不匹配的特征时。为了减少自然和生成的声学特征之间的不匹配特性,我们提出了将条件生成对抗网络(GAN)或其变体Wasserstein GAN与梯度惩罚(WGAN-GP)结合到使用WaveNet声码器的多扬声器语音合成中的框架。我们还扩展了GAN框架,并使用经过良好训练的WaveNet的离散化混合逻辑损失以及均方误差和对抗损失作为目标函数的一部分。实验结果表明,使用WGAN-GP框架训练的声学模型,使用反向传播离散混合物流(DML)损失在质量和扬声器相似性方面达到最高的主观评价分数。
2018-07-31 cs.CL cs.SD eess.AS
XY-Tokenizer: Mitigating the Semantic-Acoustic Conflict in Low-Bitrate Speech Codecs
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
提出XY-Tokenizer,通过多阶段多任务学习缓解语音编解码器中语义与声学冲突,在语义和声学任务上均达到最先进水平,文本对齐强且重建说话人相似度达0.83。
2025-07-09 cs.AI cs.SD eess.AS
Investigating Human-Model Discrepancies in Speech Quality Assessment via Acoustic and Prosodic Perturbations
Nagoya Institute of Technology, Japan(名古屋技术大学,日本);LY Corporation, Japan(LY公司,日本)
通过声学退化、韵律错误和说话人特征扰动,发现MOS预测模型对声学退化敏感,但对韵律错误不敏感,且对基频有偏见,而对语速和基频变化不敏感。
2026-06-19 cs.CL cs.LG cs.SD
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时,文本到语音(TTS)的最新进展已经提高了接近人类能力的质量和自然度。但是,要实现类似人类的交流,仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题,特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法,它利用语言信息,利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明,该方法提高了韵律和自然的复杂话语,以及在长形式阅读(LFR)。
2020-11-18 cs.CL cs.SD eess.AS
DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders
Microsoft Azure Speech(微软Azure语音);Microsoft Research Asia(微软亚洲研究院)
当前的文本到语音(TTS)系统通常利用级联的声学模型和声码器流水线,其中梅尔频谱图作为中间表示,其受到两个限制:1)声学模型和声码器是单独训练的,而不是联合优化的,这导致级联的误差; 2)中间语音表示(例如,MEL频谱图)是预先设计的,并且丢失了相位信息,这是次优的。为了解决这些问题,本文开发了DelightfulTTS 2,这是一种新型端到端语音合成系统,具有自动学习的语音表示以及联合优化的声学模型和声码器。具体而言,1)我们提出了一种新的基于矢量量化自编码器与对抗训练(VQ-GAN)的编解码器网络,以提取中间帧级语音表示(而不是像梅尔频谱图这样的传统表示)并重建语音波形; 2)共同优化声学模型(基于DelightfulTTS)和声码器(VQ-GAN的解码器),在声学模型上具有辅助损失以预测中间语音表示。实验表明,DelightfulTTS 2的CMOS增益比DelightfulTTS提高了+0.14,进一步的方法分析进一步验证了所开发系统的有效性。
2022-07-11 cs.SD eess.AS eess.SP
On the Effectiveness of Acoustic BPE in Decoder-Only TTS
MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);AI Institute(人工智能研究院);Shanghai Jiao Tong University(上海交通大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);CUHK-Shenzhen(香港中文大学(深圳))
本研究全面探究声学BPE在采用语义语音词元的仅解码器TTS模型中的有效性,通过LibriTTS实验验证其可统一提升合成语音的可懂度与多样性,且不同设置特性不同,是仅解码器TTS的有利工具。
2024-07-04 cs.AI cs.SD eess.AS
Multi-view Temporal Alignment for Non-parallel Articulatory-to-Acoustic Speech Synthesis
University of Granada(格拉纳达大学);University of Sheffield(谢菲尔德大学)
发音到声学(A2 A)合成是指从语音发音器官的捕获运动生成可听语音。这项技术有许多应用,例如恢复由于疾病或受伤而无法说话的人的口头交流。到目前为止,大多数成功的技术都采用了监督学习框架,其中时间同步的发音和语音记录被用于训练监督机器学习算法,该算法可以在以后用于将发音架运动映射到语音。然而,这阻止了A2 A技术在并行数据不可用的情况下的应用,例如,一个人已经失去了她/他的声音,并且只能捕获发音数据。在这项工作中,我们提出了一个解决这个问题的多视图学习理论的基础上。所提出的算法试图找到一个最佳的时间对齐对非对齐的发音和声学序列具有相同的语音内容,通过将它们投影到一个共同的潜在空间,其中两个视图是最大的相关性,然后应用动态时间扭曲。这个想法的几个变种进行了讨论和探讨。我们表明,在不对齐的情况下产生的语音质量是在平行的情况下获得的。
2020-12-30 cs.LG cs.SD eess.AS
Audiovisual Speech Synthesis using Tacotron2
Apple(苹果公司)
视听语音合成是在最大化声学和视觉语音的相干性的同时合成说话的面部的问题。在本文中,我们提出并比较了两个视听语音合成系统的三维人脸模型。第一个系统是AVTacotron2,这是一个基于Tacotron2架构的端到端文本到视听语音合成器。AVTacotron2将表示句子的音素序列转换为声学特征序列和面部模型的相应控制器。输出的声学特征用于调节WaveRNN以重建语音波形,并且输出的面部控制器用于生成说话面部的相应视频。第二个视听语音合成系统是模块化的,其中使用传统的Tacotron 2从文本合成声学语音。然后,使用独立训练的音频到面部动画神经网络,使用重建的声学语音信号来驱动面部模型的面部控制。我们进一步条件的端到端和模块化的情感嵌入方法,编码所需的韵律生成情感的视听语音。我们分析了这两个系统的性能,并使用主观评价测试将它们与地面实况视频进行比较。端到端和模块化系统能够合成接近人类的视听语音,平均意见得分(MOS)分别为4.1和3.9,而专业录制视频生成的地面实况的MOS为4.1。虽然端到端系统给出了更好的整体质量,但模块化方法更灵活,并且声学语音和视觉语音合成的质量几乎是彼此独立的。
2021-08-30 cs.CL cs.SD eess.AS
Forward Attention in Sequence-to-sequence Acoustic Modelling for Speech Synthesis
University of Science and Technology of China(中国科学技术大学)
本文提出了一种用于语音合成的序列到序列声学建模的前向注意方法.该方法的动机是从音素序列到声学序列的单调对齐的性质。在每个解码器时间步长处仅考虑满足单调条件的对准路径。使用前向算法递归地计算每个时间步的修改的注意概率。进一步提出了一种用于前向注意的转移代理,该转移代理帮助注意力机制做出是向前移动还是停留在每个解码器时步的决策。实验结果表明,与基线注意力方法相比,前向注意力方法具有更快的收敛速度和更高的稳定性。此外,引入过渡代理的前向注意方法还有助于提高合成语音的自然度,有效地控制合成语音的速度。
2018-07-18 cs.CL cs.LG cs.SD
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University(斯泰伦博斯大学);The University of Edinburgh(爱丁堡大学)
对于我们提交的ZeroSpeech 2019挑战,我们将离散潜变量神经网络应用于未标记的语音,并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器(AE)架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时,单元发现从一个看不见的扬声器的语音进行,然后由一个已知的目标扬声器单元解码条件,以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化,分类变分自编码器(CatVAE),矢量量化的VAE(VQ-VAE)和直通估计进行了比较,在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码,VQ-VAE离散化,解卷积解码和FFTNet声码器。我们表明,解耦扬声器调节本质上提高了离散的声学表示,产生竞争力的合成质量相比,挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
CrossSpeech: Speaker-independent Acoustic Representation for Cross-lingual Speech Synthesis
dot Inc.(42dot公司)
针对跨语言语音合成中说话人与语言信息纠缠的问题,提出CrossSpeech方法,通过分离说话人无关与相关生成器解耦两类信息,显著提升跨语言TTS的说话人相似度与合成质量。
2023-06-12 cs.AI cs.SD eess.AS
Learning Speech Representation From Contrastive Token-Acoustic Pretraining
Tianjin University(天津大学);Kuaishou Technology Co., Ltd(快手科技有限公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对细粒度语音任务中中间表示冗余且现有对比学习不适用的问题,提出 CTAP,在帧级对齐音素与语音,并基于 21 万对数据实现最小监督 TTS、VC 和 ASR。
2023-12-18 cs.AI cs.CL cs.SD
Reference-free automatic speech severity evaluation using acoustic unit language modelling
Nagoya University(名古屋大学)
针对现有语音严重程度评估模型泛化性差、需参考语音/文本的问题,提出无参考方法SpeechLMScore,构建NKI-SpeechRT数据集,验证其抗噪性及优于传统方法的性能。
2025-10-01 cs.SD
TVPara: Paralinguistic Captioning of Expressive TV-Series Speech in Complex Acoustic Environments
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究构建了基于电视剧的副语言字幕数据集TVPara,通过微调开源大型音频-语言模型,显著提升了复杂声学环境下的副语言理解能力,且增益可泛化至未见过的电视剧及跨域语音。
2026-10-15 cs.SD
EMPHASIS: An Emotional Phoneme-based Acoustic Model for Speech Synthesis System
Baidu Inc.(百度公司)
提出了一种基于情感音素的语音合成声学模型EMPHASIS。EMPHASIS包括音素持续时间预测模型和声学参数预测模型。它使用基于CBHG的回归网络来建模语言特征和声学特征之间的依赖关系。我们修改了网络的输入和输出层结构,以提高性能。对于语言特征,我们采用特征分组策略来增强情感和韵律特征。声学参数被设计为适合于回归任务和波形重建。EMPHASIS可以实时合成语音,生成具有高音质的表达性的疑问和感叹语音。EMPHASIS是一个多语言模型,目前可以合成普通话和英语语音。在情感语音合成的实验中,取得了比其他实时语音合成系统更好的主观效果。
2018-06-26 cs.SD eess.AS
From Human Speech to Ocean Signals: Transferring Speech Large Models for Underwater Acoustic Target Recognition
College of Computer Science and Technology, Harbin Engineering University, Harbin, China(计算机科学与技术学院,哈尔滨工程大学,哈尔滨,中国)
本文提出UATR-SLM,利用语音大模型进行水下声学目标识别,实验显示其在域内和跨域任务中均表现出高准确率和鲁棒性。
2026-01-26 cs.SD eess.AS
Blind Estimation of Room Acoustic Parameters and Speech Transmission Index using MTF-based CNNs
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);National Science and Technology Development Agency(国家科技发展局);Sirindhorn International Institute of Technology, Thammasat University(泰国法政大学诗琳通国际理工学院)
提出了一种基于调制传递函数和Schroeder模型的七倍频程混响时间盲估计方法。因此,可以估计语音传输指数和五个房间声学参数。
2021-03-14 cs.SD eess.AS
Acoustic absement in detail: Quantifying acoustic differences across time-series representations of speech data
University of Washington(华盛顿大学)
本文提出用 absement 量化语音时间序列间的声学差异,并通过基于动态时间规整的孤立词模板识别实验验证其有效性,取得 57.9% 的识别准确率,探讨了纯声学词识别模型的启示。
2023-04-14 cs.SD eess.AS
Joint Online Multichannel Acoustic Echo Cancellation, Speech Dereverberation and Source Separation
Alibaba Group(阿里巴巴集团)
本文提出了一种联合声源分离算法,同时减少声回波,混响和干扰源。通过最大化相对于其他源的独立性,将目标语音从混合物中分离出来。结果表明,分离过程可分解为回声消除、语音去混响和声源分离等子过程,这些子过程均采用基于辅助函数的独立分量/向量分析技术求解,且求解顺序可互换。级联的解决方案不仅导致较低的计算复杂性,但比香草联合算法有更好的分离性能。
2021-04-09 cs.SD eess.AS
Classification of Speech with and without Face Mask using Acoustic Features
Department of Electrical and Computer Engineering National University of Singapore(新加坡国立大学电气与计算机工程系)
言语的理解和解释会受到各种外部因素的影响。口罩的使用就是这样一个因素,它会在交流时造成言语障碍。这可能导致语音处理的退化并影响人类的感知。知道说话者是否戴着面具可能对针对不同应用建模语音有用。有了这个动机,从给定的演讲中找出说话者是否戴着面具被列为计算副语言学评估(ComparE)2020的一项任务。我们研究了基于线性滤波器组、瞬时相位和长期信息的新的声学特征,这些特征可以捕获用于有和没有面罩的语音分类的伪影。这些声学特征与CompParE 2020的CompParE泛函、音频词袋、DeepSpectrum和auDeep特征的最新基线一起使用。这些研究揭示了声学特征的有效性,并且它们与ComparE 2020基线的得分水平融合导致测试集上73.50%的未加权平均召回率。
2020-10-08 cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution(马尔瓦迪教育基金会集团机构)
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清,加上身体受损,限制了他们的沟通,造成缺乏信心,影响了生活方式。本文试图提高自动语音识别(ASR)系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率,提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的,并测试了系统的性能。实验结果表明,采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化,在训练时间为5:30:17时,识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab(腾讯人工智能实验室)
声学回声消除在全双工语音通信中起着重要的作用,同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中,我们提出了一个全深度学习框架,隐式估计回声/噪声和目标语音的二阶统计量,并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明,该模型可以与说话人嵌入更好的目标语音增强,并进一步开发一个分支的自动增益控制(AGC)的任务,形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Optimizing Speech Language Models for Acoustic Consistency
本研究提出融合自监督初始化、轻量对齐损失及稀疏化辅助目标的语音语言模型训练方法,发现纯语音模型声学一致性更优,交错训练可提升语义对齐,证明模型侧设计可调控声学稳定性与语义接地的平衡。
2025-09-30 cs.CL cs.SD
Joint Acoustic Echo Cancellation and Speech Dereverberation Using Kalman filters
提出了一种短时傅里叶变换域的回声消除和语音去混响联合算法。混响麦克风信号使用自回归(AR)模型来描述。AR系数和麦克风扬声器到麦克风的声学传递函数(ATF)被认为是时变的,并同时使用一阶马尔可夫过程建模。这导致了一种解决方案,其中这些参数可以使用卡尔曼滤波器进行最佳估计。仿真结果表明,该算法在语音质量和回声抑制性能方面均优于传统的AEC和DR算法以及基于半盲声源分离的联合DRAEC算法。
2023-02-09 cs.SD eess.AS
Dictionary-Based Fusion of Contact and Acoustic Microphones for Wind Noise Reduction
Meta Reality Labs Research(Meta现实实验室);University of Oldenburg(奥尔登堡大学)
在移动语音通信应用中,风噪声会导致语音质量和可懂度的严重降低。由于使用声学麦克风的语音增强算法的性能在极其具有挑战性的场景中趋于显著降低,因此可以使用诸如接触式麦克风的辅助传感器。虽然接触式麦克风提供了一个低得多的记录风噪声水平,他们在语音失真和额外的噪声分量的代价。针对利用声学和接触式麦克风的优势,在本文中,我们提出了扩展传统的单麦克风字典为基础的语音增强方法,同时建模的声学和接触式麦克风信号。我们建议训练单个语音字典和两个噪声字典,并使用相对传递函数来模拟麦克风处的语音分量之间的关系。仿真结果表明,所提出的方法产生的语音质量和可懂度的改善相比,几个基线的方法,最显着的方法只使用接触麦克风或只声学麦克风。
2022-11-14 cs.SD eess.AS
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University(俄亥俄州立大学)
自几年前引入深度学习以来,单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众,它直接馈送到自动语音识别(ASR)系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处,或者单耳语音增强和识别之间的差距,通常归因于在增强过程中引入的语音失真。在这项研究中,我们分析了失真的问题,比较不同的声学模型,并探讨了失真无关的单耳语音识别的训练计划。实验结果表明,与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外,在CHiME-2语料库上,本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Acoustic Landmarks Contain More Information About the Phone String than Other Frames for Automatic Speech Recognition with Deep Neural Network Acoustic Model
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Novumind;Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
大多数主流的自动语音识别(ASR)系统认为所有特征帧同等重要。然而,声学地标理论是基于一个矛盾的想法,即一些帧比其他帧更重要。声学地标理论利用发音声学和声学感知关系中的量子非线性来定义语音频谱突然改变或达到极值的地标时间;已证明与地标重叠的帧足以用于语音感知。在这项工作中,我们进行实验的TIMIT语料库,与GMM和DNN为基础的ASR系统,并发现,包含地标的帧比其他人的ASR信息。我们发现,通过重新加权声学可能性来改变对地标的强调程度往往会降低电话错误率(PER)。此外,通过利用地标作为启发式算法,我们的一种混合DNN丢帧策略在对不到一半(精确地说是45.8%)的帧进行评分时,将PER保持在最佳的0.44%以内。这种混合策略优于其他非启发式的方法,并展示了潜在的地标,以减少计算。
2018-03-21 cs.SD eess.AS
TAPLoss: A Temporal Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室)
语音增强模型近年来取得了很大的进展,但其语音输出的感知质量仍然受到限制。我们提出了一个基于时间声学参数的感知质量的目标。这些是基本的语音特征,在各种应用中起着至关重要的作用,包括说话人识别和语言分析。我们提供了一个可微估计四类低级别的声学描述符,涉及:频率相关的参数,能量或振幅相关的参数,频谱平衡参数,和时间特征。与先前的工作,着眼于聚合的声学参数或几个类别的声学参数,我们的时间声学参数(TAP)的损失,使辅助优化和改进的许多细粒度的语音特征增强工作流程。我们表明,添加TAPLoss作为语音增强的辅助目标,产生语音与改善的感知质量和可懂度。我们使用来自深度噪声抑制2020挑战赛的数据来证明时域领域模型和时频领域模型都可以从我们的方法中受益。
2023-02-16 cs.CL cs.SD eess.AS
Louder, Longer, Livelier: Acoustic Shortcuts and Underspecified Rationales in Speech LLM Judges
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Netflix(网飞)
本研究审计六个语音LLM裁判,发现其存在声学捷径(偏好更响、更丰富、更生动的语音),且理由缺乏声学依据,并提出可靠裁判需抵制捷径并基于声学证据给出理由。
2026-09-30 cs.SD eess.AS
An interpretable speech foundation model for depression detection by revealing prediction-relevant acoustic features from long speech
Usher Institute(乌sher研究所);Centre for Medical Informatics, Usher Institute(乌sher医学信息学中心)
本文提出一种可解释的语音基础模型,通过揭示长期语音中的预测相关声学特征,提升抑郁症检测工具的临床适用性,实验表明该模型优于基于短片段的模型,并识别出降噪和F0作为相关信号。
2026-03-25 cs.SD eess.AS
Combination of Time-domain, Frequency-domain, and Cepstral-domain Acoustic Features for Speech Commands Classification
University of Yamanashi(山梨大学);Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences(医学、工学与农学综合研究生院)
在语音相关的分类任务中,经常使用诸如对数Mel滤波器组系数(FBANK)的频域声学特征和诸如Mel频率倒谱系数(MFCC)的倒谱域声学特征。然而,时域特征在一些包含非声乐或弱语音相关声音的声音分类任务中表现得更有效。我们之前提出了一种称为位序列表示(BSR)的特征,这是一种基于原始波形的时域二进制声学特征。与MFCC相比,BSR在环境声音检测方面表现更好,并且在有限词汇量的语音识别任务中表现出相当的准确性。在本文中,我们提出了一种新的改进BSR功能称为BSR-float 16更精确地表示浮点值。我们使用Google提出的Speech Commands数据集,通过实验证明了时域,频域和倒谱域特征之间的互补性。因此,我们使用了一个简单的后端分数融合方法,以提高最终的分类精度。融合结果也表现出较好的噪声鲁棒性。
2022-06-17 cs.SD eess.AS
An Investigation on Applying Acoustic Feature Conversion to ASR of Adult and Child Speech
The Chinese University of Hong Kong(香港中文大学)
由于训练数据量有限,儿童语音识别的性能通常不如成人语音令人满意。当将在成人语音上训练的自动语音识别(ASR)系统直接应用于儿童语音时,由于域失配,预期性能显著下降。本研究的重点是成人到儿童的声学特征转换,以减轻这种不匹配。不同的声学特征转换方法,包括基于深度神经网络和基于信号处理,在公平的实验设置下进行了研究和比较,其中从相同数量的标记成人语音转换的声学特征用于从头开始训练ASR模型。实验结果表明,并不是所有的转换方法导致ASR性能增益。具体地说,作为经典的无监督域自适应方法,统计匹配没有表现出有效性。基于解纠缠的自动编码器(DAE)转换框架被发现是有用的,并且F0归一化的方法实现了最佳性能。值得注意的是,转换特征的F0分布是反映转换质量的重要属性,而利用成人-儿童深度分类模型进行判断是不合适的。
2022-05-25 cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中,通常很少的训练数据可用于特定的具有挑战性的任务,但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题,我们提出了一种两阶段的声学建模方法,该方法将噪声和混响数据增强与迁移学习相结合,以鲁棒地解决困难的声学记录条件,自发语音和老年人语音等挑战。我们评估我们的方法使用的例子,德国口述历史访谈,其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Cascaded all-pass filters with randomized center frequencies and phase polarity for acoustic and speech measurement and data augmentation
Wakayama University(和歌山大学);Waseda University(早稻田大学)
我们介绍了一个新的成员TSP(时间拉伸脉冲)的声学和语音测量基础设施,基于一个简单的全通滤波器和系统的随机化。这种新的基础设施从根本上升级了我们以前的测量程序,它可以同时测量多个属性,包括非线性属性,而无需额外的过滤或后处理。我们的新建议在声学测量中建立了理论上坚实,灵活和可扩展的基础。此外,它的通用性足以为其他领域提供通用的研究工具,如生物信号分析。我们说明使用声学测量和数据增强作为各种潜在应用中的代表性例子。我们开源了MATLAB实现。它包括一个交互式和实时声学工具,MATLAB函数和支持材料。
2021-02-13 cs.SD eess.AS
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST(韩国科学技术院);Mokwon University(木原大学);KAIST Institute for Artificial Intelligence(韩国科学技术院人工智能研究所)
许多语音增强方法试图学习噪声和干净语音之间的关系,使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标,这项工作的目标是提出一种替代学习算法,称为声学和对抗监督(AAS)。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性,又具有干净语音的一般特征,这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试,包括加性噪声没有混响和混响,Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音,我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Dereverberation using joint estimation of dry speech signal and acoustic system
Spotify, S.A.(Spotify公司)
语音去混响的目的是从信号中去除时不变脉冲响应滤波器的质量降低效应。在这份报告中,我们描述了一种方法,语音去混响,涉及联合估计的干语音信号和房间的脉冲响应。我们将探索分别应用于每个任务的深度学习模型,以及如何将这些模型组合到具有共享参数的联合模型中。
2020-07-24 cs.LG cs.SD eess.AS
PAAPLoss: A Phonetic-Aligned Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室)
尽管近年来发展迅速,但当前的语音增强模型通常产生与真正的干净语音在感知质量上不同的语音。我们提出了一个学习目标,正式的感知质量的差异,通过使用领域知识的声学语音。我们确定时间声学参数-如频谱倾斜,频谱通量,微光等-是不可微的,我们开发了一个神经网络估计,可以准确地预测其时间序列值在整个话语。我们还为每个特征建模音素特定的权重,因为已知声学参数在不同的音素中显示不同的行为。我们可以将此标准作为辅助损失添加到任何产生语音的模型中,以优化语音输出,从而在这些特征中匹配干净语音的值。实验上,我们表明,它提高了语音增强工作流程在时域和时频域,标准的评估指标。我们还提供了一个音素依赖的声学参数的改进分析,证明了我们的方法提供的额外的可解释性。这种分析可以表明哪些功能目前是改进的瓶颈。
2023-02-16 cs.CL cs.SD eess.AS
Speaker-Independent Speech-Driven Visual Speech Synthesis using Domain-Adapted Acoustic Models
Apple Inc.(苹果公司)
语音驱动的视觉语音合成涉及将从声学语音中提取的特征映射到用于面部模型的对应嘴唇动画控件。这种映射可以采取多种形式,但一种强大的方法是使用深度神经网络(DNN)。然而,一个限制是缺乏可靠地训练DNN所需的同步音频、视频和深度数据,特别是对于与说话者无关的模型。在本文中,我们探讨适应自动语音识别(ASR)的声学模型(AM)的视觉语音合成的问题。我们训练了10000小时的音频数据。然后使用90小时的同步视听语音使AM适应于视觉语音合成域。使用主观评估测试,我们比较了AM初始化DNN与随机初始化DNN的性能。结果表明,观众显着更喜欢从AM初始化DNN生成的动画比使用随机初始化模型生成的动画。我们的结论是,视觉语音合成可以显着受益于语音的ASR声学模型的强大代表性。
2019-05-15 cs.LG cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
本研究在虚拟声学环境中用非脚本自然语音探究视听增益,通过EEG和皮层语音追踪分析不同条件及说话者特征的影响,发现噪声下视听增强显著,唇部运动作用关键,验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
电声联合刺激(EAS)已被证明比传统人工耳蜗(CI)更好的语音识别,并在安静条件下产生令人满意的性能。然而,当涉及噪声信号时,电信号和声信号都可能失真,从而导致差的识别性能。为了抑制噪声影响,语音增强(SE)是EAS设备中的必要单元。近年来,基于短时客观可懂度(STOI)目标函数的全卷积神经网络(FCN)的时域语音增强算法(简称FCN(S))因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN(S)对正常语音的好处,本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试,研究了FCN(S)在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明,与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比,FCN(S)算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究,证实了FCN(S)是一种有效的SE方法,可以集成到EAS处理器中,使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
MOSRA: Joint Mean Opinion Score and Room Acoustics Speech Quality Assessment
Logitech Europe S.A.(罗技欧洲公司)
声学环境可降低通信期间的语音质量(例如,视频通话、远程演示、外部语音记录),并且其影响通常是未知的。考虑到影响语音质量的因素的多维性和收集标记数据的困难性,语音质量的客观度量已经被证明是具有挑战性的。假设声学对语音质量的影响,本文提出了MOSRA:一种非侵入性的多维语音质量度量,可以预测房间声学参数(SNR,STI,T60,DRR和C50)以及语音质量的总体平均意见得分(MOS)。通过显式优化模型来学习这些房间声学参数,我们可以提取更多信息的特征,并在训练数据有限的情况下提高MOS任务的泛化能力。此外,我们还表明,这种联合训练方法增强了室内声学的盲估计,提高了当前最先进模型的性能。这种联合预测的另一个副作用是提高了预测的可解释性,这对许多应用来说是一个有价值的功能。
2022-06-29 cs.AI cs.LG cs.SD
End-to-end Silent Speech Recognition with Acoustic Sensing
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
无声语音接口(SSI)是最近人们感兴趣的一个令人兴奋的领域。在本文中,我们提出了一种非侵入性的无声语音接口,使用听不见的声学信号来捕捉人们说话时的嘴唇运动。我们利用智能手机的扬声器和麦克风分别发出信号和听取它们的反射。这些反射的提取相位特征被输入深度学习网络以识别语音。我们还提出了一个端到端的识别框架,它结合了CNN和基于注意力的编码器-解码器网络。有限词汇(54句)的评估结果在说话者独立和环境独立的设置中产生的单词错误率为8.4%,在看不见的句子测试中为8.1%。
2020-11-23 cs.SD eess.AS