Auditory Model based Phase-Aware Bayesian Spectral Amplitude Estimator for Single-Channel Speech Enhancement
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
短时谱幅度的贝叶斯估计是噪声污染语音增强的主要方法之一。当考虑任何感知相关的成本函数时,这些估计器的性能通常会显着提高。另一方面,基于相位的语音信号处理的最新进展表明,基于频谱相位估计方法的纯相位增强即使在低SNR条件下也可以提供感知语音质量和可懂度的联合改善。在本文中,利用感知动机的成本函数,涉及STSA估计和真正的干净的语音,并利用先验谱相位信息,我们推导出一个相位感知贝叶斯STSA估计。基于人类听觉系统的特性,即耳蜗的动态压缩非线性、感知响度理论和耳朵的同时掩蔽特性,来选择成本函数的参数。这种类型的参数选择方案导致更多的噪声降低,同时限制语音失真。推导出的STSA估计器是最佳的MMSE意义下,如果事先的相位信息是可用的。然而,在实践中,典型地,通过采用在过去几年中开发的不同类型的谱相位估计技术,仅能够获得干净语音相位的估计。在一个盲目的设置,我们已经评估了不同类型的标准相位估计方法,在文献中提出的贝叶斯STSA估计。实验结果表明,所提出的估计器可以实现性能上的显着改善比传统的相位盲方法。
2022-02-10 cs.SD eess.AS
ML Estimation and CRBs for Reverberation, Speech and Noise PSDs in Rank-Deficient Noise-Field
Bar-Ilan University(巴伊兰大学)
语音通信系统在混响和噪声声学环境中易于性能下降。去混响和降噪算法通常需要几个模型参数,例如语音、混响和噪声功率谱密度(PSD)。通常使用的假设是噪声PSD矩阵是已知的。然而,在实际的声学场景中,噪声PSD矩阵是未知的,并且应该与语音和混响PSD一起估计。在本文中,我们考虑秩亏噪声PSD矩阵的情况下,这是由多个定向干扰源,其数量小于麦克风的数量的噪声信号。我们得到两个封闭形式的最大似然估计(MLE)。第一种是联合估计语音、混响和噪声PSD的基于非块的估计器,第二种是基于块的估计器,其首先块化语音信号,然后联合估计混响和噪声PSD。这两种估计的解析比较和分析,均方误差(MSE)的表达式。此外,Cramer-Rao界(CRB)的估计PSD的推导。使用模拟和真实的混响和噪声信号,所提出的估计检查,证明所提出的方法相比,竞争估计的优势。
2020-01-27 cs.SD eess.AS
EAD-VC: Enhancing Speech Auto-Disentanglement for Voice Conversion with IFUB Estimator and Joint Text-Guided Consistent Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
本文提出EAD-VC两阶段自监督语音解耦模型,通过IFUB互信息上界估计器分离语音成分重叠信息,并引入联合文本引导一致性模块消除音色泄漏,在语音转换中提升解耦有效性、自然度和相似度。
2024-04-30 cs.SD eess.AS
Improving Confidence Estimation on Out-of-Domain Data for End-to-End Speech Recognition
Google(谷歌)
随着端到端自动语音识别(ASR)模型达到有希望的性能,各种下游任务依赖于这些系统的良好置信度估计器。最近的研究表明,基于模型的置信度估计器比使用输出softmax概率具有显着的优势。如果语音识别器的输入数据来自不匹配的声学和语言条件,则ASR性能和相应的置信度估计器可能表现出严重的退化。由于置信度模型通常在与ASR相同的域内数据上进行训练,因此推广到域外(OOD)场景具有挑战性。在保持ASR模型不变的情况下,本文提出了两种改进基于模型的OOD数据置信度估计的方法:使用伪transmittance和一个额外的OOD语言模型。通过在LibriSpeech上训练的ASR模型,实验表明,所提出的方法可以大大提高TED-LIUM和Switchboard数据集上的置信度,同时保持域内性能。此外,改进的置信估计更好地校准OOD数据,可以提供一个更可靠的标准,数据选择。
2022-03-02 cs.LG eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司)
大多数基于深度神经网络(DNN)的语音增强算法依赖于短时谱幅度(STSA)的均方误差(MSE)准则,其与人类感知(例如语音可懂度)没有明显的联系。另一方面,短时客观可懂度(STOI)是一种流行的最先进的语音可懂度估计器,它依赖于语音时间包络的线性相关。这就提出了一个问题,与基于STSA-MSE标准的算法相比,基于包络线性相关(ELC)的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中,我们推导出,在一定的一般条件下,STSA-MSE和ELC准则实际上是等价的,我们提供的经验数据来支持我们的理论结果。此外,我们的实验结果表明,标准的STSA最小MSE估计是接近最佳的,如果目标是提高嘈杂的语音的方式,这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
End-to-End Feedback Loss in Speech Chain Framework via Straight-Through Estimator
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN, Center for Advanced Intelligence Project AIP(理化学研究所 高级智能项目中心)
语音链机制在训练期间将自动语音识别(ASR)和文本到语音合成(TTS)模块集成到单个循环中。在我们以前的工作中,我们应用了语音链机制作为半监督学习。它为ASR和TTS提供了在接收未配对数据时相互帮助的能力,并让它们推断缺失的对并优化重建损失的模型。如果我们只有语音而没有转录,那么ASR会从语音数据中生成最有可能的转录,然后TTS使用生成的转录来重建原始语音特征。然而,在以前的论文中,我们只是将反向传播限制在最近的模块,即TTS部分。一个原因是通过ASR反向传播误差是具有挑战性的,因为ASR的输出是离散的令牌,在TTS和ASR之间产生不可微性。在本文中,我们解决了这个问题,并描述了如何彻底训练语音链端到端的重建损失使用直通估计器(ST)。实验结果表明,从ST-Gumbel-Softmax的采样,我们能够更新ASR参数和提高ASR性能的11- %的相对CER减少相比,基线。
2018-10-31 cs.CL cs.LG cs.SD
Single-channel speech enhancement by using psychoacoustical model inspired fusion framework
Department of Electronics and Telecommunication Engineering(电子与电信工程系);Indian Institute of Engineering Science(印度工程科学研究院)
本文提出融合声学和调制域方法的框架,以提升单通道语音增强的感知质量和可懂度。
2025-12-17 cs.SD eess.AS
Incorporating Multi-Target in Multi-Stage Speech Enhancement Model for Better Generalization
近年来基于深度神经网络的单通道语音增强方法取得了显著的效果,但在实际场景中仍存在泛化问题。与其他数据驱动的方法一样,基于DNN的语音增强模型在未经训练的数据上会产生显著的性能下降。在这项研究中,我们充分利用多目标联合学习对模型泛化能力的贡献,提出了一种轻量级和低计算量的扩张卷积网络(DCN)模型,用于更鲁棒的语音去噪任务。我们的目标是将掩蔽目标、映射目标和传统语音增强估计器的参数整合到一个DCN模型中,以最大限度地发挥它们的互补优势。为此,我们建立了一个多阶段学习框架,分阶段处理多个目标,实现它们的联合学习,即“MT-in-MS”。实验结果表明,与时域和时频域模型相比,该低成本DCN模型在说话人、噪声和通道失配情况下具有更好的泛化性能。
2021-07-09 eess.AS
A Universal Deep Room Acoustics Estimator
Logitech(罗技)
语音音频质量易受声学环境和各向同性环境噪声和点噪声引起的劣化的影响。这种环境会导致语音清晰度下降,并使听者失去注意力。很好地表征环境的基本声学参数是(i)信噪比(SNR)、(ii)语音传输指数、(iii)混响时间、(iv)清晰度和(v)直达混响比。除了SNR之外,这些参数通常来自房间脉冲响应(RIR)测量;然而,这些测量通常不可用。本文提出了一种基于卷积递归神经网络的通用房间声学估计器设计,该设计可以盲估计和联合估计声学环境测量。我们的研究结果表明,该系统是鲁棒的非平稳信号的变化,并优于目前最先进的方法。
2021-09-29 cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology(坦佩雷理工大学);Eriksholm Research Centre, Oticon A/S(奥迪康公司埃里克肖姆研究中心)
均方误差(MSE)已经是当前基于深度神经网络(DNN)的语音分离技术中作为损失函数的优选选择。在本文中,我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度(ESTOI)的措施。我们专注于低算法延迟($\leq 10$ ms)非常重要的应用。我们使用长短期记忆网络(LSTM),并在来自扩展丹麦噪声听力(HINT)数据集的四组两扬声器混合物上评估我们提出的方法。我们表明,建议的损失函数可以提供改进或在标准的客观可懂度(在ESTOI方面)相比,MSE优化的基线,同时导致较低的目标分离性能(在源失真比(SDR)方面)。然后,我们继续提出一种方法,其中网络首先使用针对MSE标准优化的权重进行初始化,然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失,同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
SylNet: An Adaptable End-to-End Syllable Count Estimator for Speech
Aalto University(阿尔托大学);Tampere University(坦佩雷大学)
自动音节计数估计(SCE)用于各种应用,从说话速率估计到检测可穿戴麦克风的社交活动,或者涉及量化语言学习儿童在不同环境中听到的语音的发展研究。大多数以前使用的SCE方法依赖于启发式DSP方法,只有少数双向长短期记忆(BLSTM)方法在SCE任务中使用了现代机器学习方法。本文提出了一种新的端到端的方法称为SylNet的自动音节计数从语音,建立在神经网络架构的最新发展的基础上。我们描述了整个模型如何可以直接优化,以尽量减少SCE错误的训练数据没有注释对齐在音节水平,以及它如何可以适应新的语言使用有限的语音数据与已知的音节计数。在几种不同语言上的实验表明,SylNet可以推广到训练数据之外的语言,并通过自适应进一步改进。它也优于几个以前提出的音节化方法,包括端到端BLSTM。
2019-06-24 cs.CL cs.SD eess.AS
A Hybrid DSP/Deep Learning Approach to Real-Time Full-Band Speech Enhancement
Mozilla Corporation(Mozilla公司);Mountain View, CA, USA(美国加利福尼亚州山景城(此处地址信息按要求不应提取,仅保留机构名Mozilla Corporation))
尽管噪声抑制是信号处理中的成熟领域,但它仍然高度依赖于估计器算法和参数的微调。在本文中,我们演示了一种混合DSP/深度学习的噪声抑制方法。具有四个隐藏层的深度神经网络用于估计理想的临界频带增益,而更传统的音调滤波器衰减音调谐波之间的噪声。该方法实现了显着更高的质量比传统的最小均方误差谱估计,同时保持足够低的复杂度,实时的【形】操作在48 kHz的低功耗处理器。
2018-05-31 cs.SD eess.AS
REAL-M: Towards Speech Separation on Real Mixtures
Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Università Politecnica delle Marche(马尔凯理工大学)
近年来,基于深度学习的源分离取得了令人印象深刻的成果。然而,大多数研究仍然在合成数据集上评估分离模型,而最先进的技术在野外语音数据上的性能仍然是一个悬而未决的问题。本文通过两种方式填补了这一空白。首先,我们发布了REAL-M数据集,这是一个众包的真实混合物语料库。其次,我们解决了现实生活中的混合物,地面真相是不可用的性能评估的问题。我们通过仔细设计盲尺度不变信噪比(SI-SNR)神经估计器来绕过这个问题。通过用户研究,我们表明,我们的估计可靠地评估分离性能的真实混合物。SI-SNR估计器的性能预测确实与人的意见很好地相关。此外,我们观察到,在评估流行的语音分离模型时,我们的估计器在REAL-M数据集上预测的性能趋势与在合成基准上实现的性能趋势密切相关。
2021-10-20 cs.LG cs.SD eess.AS
Improving spatial cues for hearables using a parameterized binaural CDR estimator
University of Sydney(悉尼大学)
我们研究了一种基于双耳相干扩散功率比(CDR)的语音增强方法,该方法保留了掩蔽者和宽边目标的听觉空间线索。传统的CDR估计器通常在其公式中依赖于期望信号和/或扩散噪声场的数学相干模型,这可能影响其在自然环境中的准确度。本文提出了一种新的鲁棒性和参数化的方向性双耳CDR估计器。估计器在时频域中计算,并且基于双耳麦克风信号之间的空间相干函数的几何解释。新的CDR估计器的双耳性能相比,三个国家的最先进的CDR估计在鸡尾酒会的环境中,并已显示出改善方面的几个客观的语音质量指标,如PESQ和SRMR。我们还讨论了不同的声音环境的参数化CDR估计的好处,并简要地反映了几个非正式的主观评价使用低延迟的实时框架。
2022-07-17 cs.SD eess.AS
Estimating the confidence of speech spoofing countermeasure
National Institute of Informatics(国立信息学研究所)
传统的语音欺骗对策(CM)被设计为对输入试验进行二元判定。然而,在闭集数据库上训练的CM理论上不能保证在未知的欺骗攻击上表现良好。在某些情况下,一种替代策略是让CM在不自信时推迟决策。问题是如何估计CM对输入试验的信心。我们研究了几个置信估计,可以很容易地插入到CM。在ASVspoof2019逻辑访问数据库上,结果表明,基于能量的估计器和基于神经网络的估计器在识别测试集中的未知攻击方面取得了可接受的性能。在具有额外未知攻击和来自其他数据库的真实试验的测试集上,置信度估计器表现得相当好,并且CM更好地区分具有高置信度分数的真实和欺骗试验。额外的结果还揭示了通过向训练集添加未知攻击来增强置信度估计的困难。
2022-02-01 cs.CR cs.SD eess.AS
BERP: A Blind Estimator of Room Parameters for Single-Channel Noisy Speech Signals
School of Information Science, Japan Advanced Institute of Science and Technology(信息科学学部,日本先进科学研究所)
提出通用盲估计框架BERP,通过结合注意力与卷积的统一编码器及独立预测器,从单通道带噪语音中联合估计房间声学、几何参数及占用率,实现了SOTA性能与优异的现实场景适应性。
2025-05-30 cs.SD eess.AS
Large Language Model Guided Decoding for Self-Supervised Speech Recognition
Technion-Israel Institute of Technology(以色列理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种结合大语言模型与自监督语音模型的引导解码方法,通过综合语音评分与LLM评分提升转录准确性,尤其在处理复杂语音输入时表现优异。
2026-01-06 eess.AS
Scene-aware Far-field Automatic Speech Recognition
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种新的方法来产生场景感知的训练数据的远场自动语音识别。我们使用基于深度学习的估计器来非侵入性地从语音样本中计算环境的子带混响时间。我们模型的混响时间的场景的声学特性,并表示它使用多元高斯分布。我们使用这个分布来选择声学脉冲响应从一个大的现实世界的数据集增强语音数据。在我们的场景感知数据上训练的语音识别系统在REVERB和AMI远场基准测试中的表现始终优于使用更多随机声脉冲响应训练的系统。在实践中,我们获得了2.64%的绝对改善字错误率相比,使用相同大小的训练数据均匀分布的混响时间。
2021-04-21 cs.SD eess.AS
Automatic Speech Recognition System-Independent Word Error Rate Estimation
University of Sheffield(谢菲尔德大学)
本文提出一种与ASR系统无关的词错误率估计方法(SIWE),通过模拟ASR输出和使用语音相似或语言学更可能的替代词生成假设进行训练,在域外数据上达到SOTA性能。
2024-04-26 cs.CL cs.SD eess.AS
Cross-domain Neural Pitch and Periodicity Estimation
Northwestern University(西北大学)
本文提出改进神经音高与周期性估计的技术及基于熵的周期性提取方法,实现语音与音乐跨域最先进估计,并开源高速 penn 工具包。
2024-08-12 cs.SD eess.AS
Noise-Robust DSP-Assisted Neural Pitch Estimation with Very Low Complexity
Amazon Web Services(亚马逊云服务)
本文提出一种结合小型DNN与传统DSP特征的混合基音估计方法,在保持极低复杂度和算法延迟的同时达到或超越纯DNN模型的性能,并验证其对神经声码任务的有效性。
2024-01-16 cs.SD eess.AS
Fast Word Error Rate Estimation Using Self-Supervised Representations for Speech and Text
University of Sheffield(谢菲尔德大学);Liveperson, Inc.(Liveperson公司);School of Computer Science, University of Sheffield(谢菲尔德大学计算机学院)
本文提出Fe-WER,一种基于语音和文本自监督学习表示平均池化的快速词错误率估计器,在Ted-Lium3数据集上以更优的误差和相关性表现及3.4倍的推理速度提升,解决了现有WER估计器计算效率不足的问题。
2025-01-29 cs.CL cs.SD eess.AS
Towards efficient models for real-time deep noise suppression
Microsoft Research(微软研究院)
随着最近的研究进展,深度学习模型正在成为实时应用中语音增强的有吸引力和强大的选择。虽然最先进的模型可以在语音质量和背景噪声降低方面取得出色的效果,但主要的挑战是获得足够紧凑的模型,这些模型在推理时间内具有资源效率。数据驱动方法的一个重要但经常被忽视的方面是,只有在真实数据上进行测试并使用有用的指标进行评估时,结果才能令人信服。在这项工作中,我们研究了用于语音增强的合理的小递归和卷积递归网络架构,并在考虑混响的大型数据集上进行了训练。我们表现出有趣的计算复杂性和可实现的语音质量之间的权衡,测量使用一个高度准确的MOS估计的真实录音。结果表明,可实现的语音质量是网络复杂度的函数,并显示哪些模型有更好的权衡。
2021-05-19 cs.SD eess.AS
ZipVoice: Fast and High-Quality Zero-Shot Text-to-Speech with Flow Matching
Xiaomi Corp.(小米公司)
本文提出ZipVoice,一种基于流匹配的紧凑零样本TTS模型,通过Zipformer和流蒸馏实现与最先进模型相当的语音质量,同时模型小3倍、推理快30倍。
2025-08-07 cs.SD eess.AS
Automatic Data Augmentation for Domain Adapted Fine-Tuning of Self-Supervised Speech Representations
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院 LTCI);Samsung AI Center(三星人工智能中心);University of Cambridge(剑桥大学)
针对自监督语音表示在预训练与目标声学领域失配时性能下降的问题,提出基于条件依赖估计最小化自动选择数据增强的监督领域自适应微调方法,并在受控失真和低资源场景中验证其优于基线。
2023-06-01 cs.LG eess.AS
Relative Transfer Function Estimation Exploiting Spatially Separated Microphones in a Diffuse Noise Field
University of Oldenburg(奥尔登堡大学)
许多多麦克风语音增强算法需要所需语音源的相对传递函数(RTF)向量,将所有阵列麦克风的声学传递函数与参考麦克风相关联。在本文中,我们提出了一种计算效率高的方法来估计RTF矢量在扩散噪声场,这需要一个额外的麦克风,在空间上分离的麦克风阵列,这样的麦克风阵列信号和额外的麦克风信号中的噪声分量之间的空间相干性是低的。假设这个空间相干性为零,我们表明,可以得到一个无偏估计的RTF向量。基于真实录音的实验结果表明,所提出的RTF估计器优于国家的最先进的估计器,只使用麦克风阵列信号的估计精度和降噪性能。
2018-07-12 cs.SD eess.AS
Towards Maximum Likelihood Training for Transducer-based Streaming Speech Recognition
XL8 Inc.(XL8公司);Seoul National University(首尔大学);Chung-Ang University(中央大学)
针对传统流式Transducer模型因训练推理不匹配导致的似然变形与准确率次优问题,提出前向变量因果补偿(FoCC)量化差距并设计估计器FoCCE,在LibriSpeech数据集验证其可提升模型准确率。
2024-11-26 cs.LG eess.AS
Crowdsourced and Automatic Speech Prominence Estimation
Northwestern University(西北大学)
本文提出众包标注与神经估计器,用于语音显著性估计,并开源LibriTTS子集标注,研究数据量与每句标注数对性能的影响。
2023-12-22 cs.SD eess.AS
Improving Speech Enhancement through Fine-Grained Speech Characteristics
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室)
虽然基于深度学习的语音增强系统在提高语音信号的质量方面取得了快速进展,但它们仍然可以产生包含伪像并且听起来不自然的输出。我们提出了一种新的语音增强方法,旨在通过优化语音的关键特征来提高增强信号的感知质量和自然度。我们首先确定关键的声学参数,已被发现与语音质量(如抖动,微光,和频谱通量),然后提出目标函数,其目的是减少干净的语音和增强语音之间的差异相对于这些功能。完整的声学特征集是扩展的Geneva声学参数集(eGeMAPS),其包括与语音感知相关联的25个不同属性。鉴于这些特征计算的不可微性质,我们首先构建eGeMAPS的可微估计器,然后使用它们来微调现有的语音增强系统。我们的方法是通用的,可以应用于任何现有的基于深度学习的增强系统,以进一步改善增强的语音信号。在深度噪声抑制(DNS)挑战数据集上进行的实验结果表明,我们的方法可以改进最先进的基于深度学习的增强系统。
2022-07-11 cs.LG cs.SD eess.AS
Factual Consistency Oriented Speech Recognition
Microsoft(微软)
本文提出了一种新的优化框架,自动语音识别(ASR)的目的是减少幻觉产生的ASR模型。所提出的框架优化了ASR模型,以最大限度地提高ASR假设和地面实况之间的预期事实一致性得分,其中事实一致性得分由单独训练的估计器计算。使用AMI会议语料库和VoxPopuli语料库的实验结果表明,使用所提出的框架训练的ASR模型生成的ASR假设具有显着更高的一致性分数与地面实况transmittance,同时保持接近交叉熵训练的ASR模型的单词错误率。此外,它表明,训练的ASR模型与所提出的框架,提高了语音摘要的质量,由一个大型语言模型生成的会议会话摘要的事实一致性来衡量。
2023-02-24 cs.CL cs.SD eess.AS
TAPLoss: A Temporal Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室)
语音增强模型近年来取得了很大的进展,但其语音输出的感知质量仍然受到限制。我们提出了一个基于时间声学参数的感知质量的目标。这些是基本的语音特征,在各种应用中起着至关重要的作用,包括说话人识别和语言分析。我们提供了一个可微估计四类低级别的声学描述符,涉及:频率相关的参数,能量或振幅相关的参数,频谱平衡参数,和时间特征。与先前的工作,着眼于聚合的声学参数或几个类别的声学参数,我们的时间声学参数(TAP)的损失,使辅助优化和改进的许多细粒度的语音特征增强工作流程。我们表明,添加TAPLoss作为语音增强的辅助目标,产生语音与改善的感知质量和可懂度。我们使用来自深度噪声抑制2020挑战赛的数据来证明时域领域模型和时频领域模型都可以从我们的方法中受益。
2023-02-16 cs.CL cs.SD eess.AS
Relative Transfer Matrix Estimator using Covariance Subtraction
University of Moratuwa(穆塔瓦大学);Australian National University(澳大利亚国立大学)
针对多声源多接收器场景下的相对传递矩阵盲估计需求,提出基于协方差减法的灵活估计方法,经混响环境下说话人分离任务验证,在低信噪比模拟与真实环境中性能优于现有相关估计器。
2025-10-22 cs.SD eess.AS
ReFESS-QI: Reference-Free Evaluation For Speech Separation With Joint Quality And Intelligibility Scoring
Johns Hopkins University, USA(约翰霍普金斯大学);Technion, Israel Institute of Technology, Israel(技术学院,以色列技术学院);University of Haifa, Israel(海法大学)
针对无参考语音分离评估难题,提出基于自监督表示的无参考框架ReFESS-QI,联合预测SI-SNR和WER,在WHAMR!数据集上取得高相关性,验证了鲁棒性。
2025-10-27 cs.SD eess.AS
Using instantaneous frequency and aperiodicity detection to estimate F0 for high-quality speech synthesis
Google(谷歌);Wakayama University(和歌山大学)
本文介绍了一个通用的和灵活的框架,F0和非周期性(添加剂非周期性成分)分析,特别是高质量的语音合成和修改的应用。该框架由三个子系统组成:瞬时频率估计器和初始非周期检测器、F0轨迹跟踪器和F0细化和非周期提取器。所提出的框架的初步实现大大优于(由10倍的RMS F0估计误差)现有的F0提取器在跟踪能力的时间变化的F0轨迹。前端非周期性检测器由具有高度选择性的时间和频谱包络的复值小波分析滤波器组成。该前端非周期性检测器使用量化与周期性的偏差的新度量。该测量对慢FM和AM不太敏感,并且与信噪比密切相关。
2016-07-22 cs.SD eess.AS eess.SP
Minimum Processing Near-end Listening Enhancement
RTX A/S(RTX A/S公司);Aalborg University(奥尔堡大学)
本文提出一种最小处理的近端听音增强方法,在满足可懂度约束下以均方误差为处理代价,通过简单增益规则自适应噪声条件,在保证可懂度的同时减少语音失真并提升质量。
2023-05-30 cs.SD eess.AS eess.SP
Building Tailored Speech Recognizers for Japanese Speaking Assessment
本文提出多任务学习与有限状态转换器融合方法,构建带声调标记的日语音素识别器,将莫拉错误率从12.3%降至7.1%。
2025-09-25 cs.CL cs.SD eess.AS
Statistical Testing on ASR Performance via Blockwise Bootstrap
Facebook AI(脸书人工智能实验室)
在自动语音识别(ASR)评估中提出的一个常见问题是,比较两个ASR系统,观察到的字错误率(WER)改善的可靠性如何,其中统计假设检验和置信区间(CI)可以用于判断这种改善是真实的还是仅仅由于随机机会。Bootstrap回归方法具有直观、易用的特点,在显著性分析中得到了广泛的应用。然而,这种方法无法处理语音世界中普遍存在的相关数据-例如,来自同一说话人的话语的ASR性能可能是相关的。在本文中,我们提出了分块自举方法-通过将评价话语分为不重叠的块,这种方法重新采样这些块,而不是原始数据。我们证明了在温和的条件下,两个ASR系统之间的绝对WER差的方差估计是一致的。我们还证明了分块自举方法在合成语音数据和真实语音数据上的有效性。
2020-05-20 cs.LG eess.AS stat.ML
Semi-supervised learning of glottal pulse positions in a neural analysis-synthesis framework
UMR 9912 STMS IRCAM(UMR 9912 声音与音乐科学与技术研究所);Sorbonne University(索邦大学);CNRS(法国国家科学研究中心)
本文研究了最近出现的使用深度神经网络估计声门闭合时刻(GCI)的方法。我们建立在我们以前的方法,专门使用合成语音来创建完美的注释训练数据,并已被证明可以与使用电声门图(EGG)信号的其他训练方法进行比较。在这里,我们介绍了一种半监督训练策略,允许通过使用真实语音信号的分析-合成设置来改进估计器,其中GCI地面实况不存在。通过将从分析仪生成的声门流信号中提取的GCI与从CMU北极数据集上的EGG中提取的GCI进行比较来执行分析仪的评估,其中除了语音之外还记录EGG信号。我们观察到(1.)在我们先前的合成数据库的构建中使用的脉冲形状多样性的人工增加是有益的,(2.)在分析-合成设置中训练GCI网络允许实现GCI分析器的非常显著的改进,(3.)当在分析-合成设置中训练时,附加的正则化策略允许改进最终的分析网络。
2020-03-02 cs.SD eess.AS
SCA: Streaming Cross-attention Alignment for Echo Cancellation
Meta
端到端深度学习已经在语音增强任务中显示出有希望的结果,例如噪声抑制、去混响和语音分离。然而,大多数最先进的回声消除方法是基于DSP的经典算法或混合DSP-ML算法。延迟估计器和自适应线性滤波器等组件基于传统的信号处理概念,深度学习算法通常仅用于取代非线性残留回声抑制器。本文介绍了一种端到端的回声消除网络与流交叉注意对齐(SCA)。我们提出的方法可以处理未对齐的输入,而不需要外部对齐,并生成高质量的语音没有回声。同时,端到端算法简化了时变回声路径情况下的当前回声消除流水线。我们在ICASSP 2022和Interspeech 2021 Microsoft深度回声消除挑战评估数据集上测试了我们提出的方法,其中我们的方法优于其他一些混合和端到端方法。
2022-11-01 cs.SD eess.AS eess.SP
End-to-End Label Uncertainty Modeling in Speech Emotion Recognition using Bayesian Neural Networks and Label Distribution Learning
Universität Hamburg(汉堡大学)
针对语音情感识别中标注主观性导致的标签不确定性问题,提出基于Student's t分布的端到端贝叶斯神经网络方法,在两个真实数据集上取得最优不确定性建模效果,跨语料库表现稳定。
2023-06-13 cs.LG eess.AS
Refinement of Direction of Arrival Estimators by Majorization-Minimization Optimization on the Array Manifold
LINE Corporation(LINE公司)
我们提出了一个广义的制定波达方向估计,其中包括许多现有的方法,如转向响应功率,子空间,相干和非相干,以及语音稀疏的方法。与大多数传统的方法,完全依赖于网格搜索,我们引入了一个连续的优化算法,以改善DOA估计超出初始网格的分辨率。该算法是来自优化最小化(MM)技术。我们得到两个代理函数,一个二次和一个线性。这两种算法都可以产生高效的迭代算法,不需要超参数,如步长,并确保DOA估计永远不会离开阵列流形,而不需要投影步骤。在数值实验中,我们表明,几次迭代后的MM算法的精度几乎消除了依赖于所使用的初始网格的分辨率。我们发现,二次代理函数导致非常快的收敛,但线性算法的简单性是非常有吸引力的,性能差距小。
2021-06-02 cs.SD eess.AS eess.SP
RAND: Robustness Aware Norm Decay For Quantized Seq2seq Models
Google, LLC(谷歌有限责任公司)
本文针对量化Seq2seq模型提出鲁棒性感知范数衰减方法,通过低复杂度修改QAT过程解决噪声量化中正则化信号不足问题,在语音识别和机器翻译任务上优于现有可学习尺度与裁剪方法,并支持混合精度训练和长形式语音识别泛化提升。
2023-05-24 cs.LG eess.AS
Multi-agent Auditory Scene Analysis: Improved Localization Speed and Robustness by Multi-beamformed Speech Quality Feedback
Instituto de Investigaciones en Matematicas Aplicadas y en Sistemas, Universidad Nacional Autonoma de Mexico(墨西哥国立自治大学应用数学与系统研究所)
针对多智能体听觉场景分析优化速度慢的问题,提出基于多波束形成语音质量反馈的新优化机制,利用多位置质量估计集简化搜索空间,显著提升定位速度、准确性与鲁棒性,且复杂度更低。
2026-10-02 cs.AI cs.MA eess.AS
Wideband Relative Transfer Function (RTF) Estimation Exploiting Frequency Correlations
针对传统RTF估计忽略频谱相关性的问题,提出基于子空间分析并利用频谱与空间相关性的宽带估计方法,推导CRB并通过真实与合成实验验证其优于CW。
2025-02-17 eess.AS eess.SP
Can we use Common Voice to train a Multi-Speaker TTS system?
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室)
本文提出利用非侵入式 MOS 估计器 WV-MOS 自动筛选 Common Voice 中的高质量样本,训练多说话人 GlowTTS 模型,显著提升生成语音质量,为自动构建 TTS 数据集铺路。
2022-10-12 cs.SD eess.AS