Multi-Channel Speech Denoising for Machine Ears
Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系);Google Research(谷歌研究院)
这项工作描述了一个语音降噪系统的机器耳朵,旨在提高语音清晰度和整体的听力体验在嘈杂的环境。我们记录了大约100个小时的音频数据与混响和适度的环境噪声使用一对麦克风阵列放置在每一个耳朵,然后混合录音,以模拟不利的声学场景。然后,我们在混合录音上训练了一个多通道语音去噪网络(MCSDN)。为了改进训练,我们采用了一种无监督的方法,复角中心高斯混合模型(cACGMM),从嘈杂的录音中获取更清晰的语音作为学习目标。在推理阶段,我们提出了MCSDN-Beamforming-MCSDN框架。主观评价的结果表明,cACGMM改善了训练数据,从而产生更好的降噪效果和用户偏好,整个系统提高了嘈杂环境下的可懂度和收听体验。
2022-02-17 cs.SD eess.AS eess.SP
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University(奥尔堡大学);GN Hearing(GN听力公司)
在诸如鸡尾酒会场景的情况下,听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中,我们提出了一个双耳语音增强框架,考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器,使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器(STP)参数以及干净语音音调参数。在这项工作中,提出了一种基于双耳码本的方法来估计STP参数,并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息,导致滤波器参数的更鲁棒的估计。客观的措施,如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试,以评估清晰度和质量改善方面的性能。听力测试表明,该算法,即使只有一个通道的噪声观察,显着提高整体语音质量,和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
Improving Predicted MOS Scores, Not Perceived Quality: Multi-Predictor Test-Time Optimization of Enhanced Speech
1 NTT, Inc., Japan \ \ \ 2 Waseda University, Japan
本研究首次全面分析语音增强任务的测试时优化,发现优化多个MOS预测器分数虽提升预测值,但感知质量无改善,警示评估实践需避免使用优化用预测器并保持排名预测器不公开。
2026-10-01 cs.SD eess.AS
Optimising Hearing Aid Fittings for Speech in Noise with a Differentiable Hearing Loss Model
University of Sheffield(谢菲尔德大学)
目前的助听器通常基于一般的规定性适配来提供放大,并且尽管包括噪声抑制特征,但是助听器提供的益处在不同的听音环境中是不同的。受这一事实的启发,本文提出了一种数据驱动的机器学习技术,以开发在不同嘈杂环境中定制语音的助听器配件。提出了一种可区分的听力损失模型,并用于优化拟合与反向传播。定制反映在不同噪声中的语音数据上,同时考虑噪声抑制。客观评价显示了优化的定制配件优于一般规定配件的优势。
2021-06-08 cs.SD eess.AS
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能,但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统,利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明,使用10个语音源和160个麦克风在一个大的,混响室。
2019-12-10 cs.SD eess.AS
Geometry-Constrained EEG Channel Selection for Brain-Assisted Speech Enhancement
University of Science and Technology of China (USTC)(中国科学技术大学)
本文提出一种几何约束的EEG通道选择方法,用加权多扩张时间卷积网络替代BASEN中的Conv-TasNet,并设计GC-ConvRS模块,在公共数据集上验证了其优于BASEN,实现了性能与集成成本的更好权衡。
2024-09-19 cs.SD eess.AS
AV2Wav: Diffusion-Based Re-synthesis from Continuous Self-supervised Features for Audio-Visual Speech Enhancement
AV2Wav提出基于扩散模型的再合成音视频语音增强方法,利用AV-HuBERT连续特征和噪声鲁棒训练,在真实数据下生成干净语音,优于掩蔽基线。
2024-11-04 cs.CL cs.SD eess.AS
Transformation of low-quality device-recorded speech to high-quality speech using improved SEGAN model
National Institute of Informatics(信息学研究所);University of Edinburgh(爱丁堡大学)
如今,大量的语音数据是从低质量的记录设备(如智能手机、平板电脑、笔记本电脑和中等质量的麦克风)中记录的。本研究的目的是研究从低质量的设备记录的语音中自动生成高质量的语音,然后可以应用于许多语音生成任务。在本文中,我们首先介绍了我们新的设备记录的语音数据集,然后提出了一种改进的端到端的方法,自动转换低质量的设备记录的语音到专业的高质量的语音。我们的方法是基于生成对抗网络(GAN)的语音增强模型(称为语音增强GAN(SE GAN))的扩展,我们提出了两个修改,使模型训练更强大和稳定。最后,从一个大规模的听力测试,我们表明,我们的方法可以显着提高设备记录的语音信号的质量。
2019-11-20 cs.SD eess.AS
The PESQetarian: On the Relevance of Goodhart's Law for Speech Enhancement
本文通过提出在VB-DMD上PESQ达3.82但听感很差的“PESQetarian”模型,揭示了仅针对PESQ等单一指标优化语音增强模型会导致过拟合和误导性评估,主张结合多指标与主观听力测试。
2024-06-05 cs.LG cs.SD eess.AS
An individualized super Gaussian single microphone Speech Enhancement for hearing aid users with smartphone as an assistive device
本文提出了一种基于超高斯联合最大后验概率的单麦克风语音增强增益函数。开发的语音增强方法在智能手机上实现,这种安排作为助听器的辅助设备。我们引入了一个权衡参数,在派生的增益函数,允许智能手机用户自定义他们的听力偏好,通过控制噪声抑制和语音失真的量在实时的基础上,他们在嘈杂的现实世界的声学环境中感知的听觉舒适度。客观的质量和可懂度的措施表明所提出的方法的有效性相比,基准技术在本文中考虑。主观结果反映了有用的开发语音增强应用在现实世界中的噪声条件下的信号噪声比水平为0 dB和5 dB。
2018-12-10 cs.SD eess.AS
AMRConvNet: AMR-Coded Speech Enhancement Using Convolutional Neural Networks
Samsung R&D Institute Philippines(三星菲律宾研发研究所);University of the Philippines(菲律宾大学)
使用语音编码将语音转换为数字信号以进行有效传输。然而,这通常会降低语音的质量和带宽。本文探讨了卷积神经网络在人工带宽扩展(ABE)和语音增强中的应用,特别是在2G蜂窝电话呼叫中使用的自适应多速率(AMR)。在本文中,我们介绍了AMRConvNet:一个卷积神经网络,对AMR编码的语音进行ABE和语音增强。该模型直接对输入和输出语音的时域进行操作,但使用组合的时域重建损失和频域感知损失进行优化。AMRConvNet导致AMR比特率为4.75k的平均意见分数-收听质量目标(MOS-LQO)平均提高了0.425分,AMR比特率为12.2k的MOS-LQO平均提高了0.073分。AMRConvNet在AMR比特率输入中也表现出了鲁棒性。最后,消融测试表明,我们的组合时域和频域损失导致比单独使用任一损失略高的MOS-LQO和更快的训练收敛。
2020-08-24 cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.(小米公司)
本研究提出一种高效可扩展的语音增强方法,利用预训练生成式音频编码器提取含噪语音嵌入,经紧凑去噪编码器处理后由声码器合成干净语音,在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
Dilated FCN: Listening Longer to Hear Better
Ohio University(俄亥俄大学);University of Kentucky(肯塔基大学)
深度神经网络解决方案已经成为语音增强(SE)的新的强大范例。捕获长上下文和提取多尺度模式的能力对于设计有效的SE网络至关重要。然而,这种能力往往与保持紧凑网络以确保良好的系统泛化的目标相冲突。在本文中,我们探索了膨胀运算,并将其应用于全卷积网络(FCN)来解决这个问题。扩张使网络具有大大扩展的感受野,而不增加参数的数量。在这项工作中,不同的策略来融合多尺度膨胀,以及安装膨胀模块进行了探索。使用Noisy VCTK和AzBio句子数据集,我们证明了所提出的膨胀模型在基线FCN上有显着改进,并且优于最先进的SE解决方案。
2019-07-27 cs.LG cs.SD eess.AS
Evaluating Multichannel Speech Enhancement Algorithms at the Phoneme Scale Across Genders
Université de Lorraine, CNRS, Inria, LORIA(卢瓦尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、LORIA研究所)
本文在音素尺度上评估多通道语音增强算法,发现性别差异在语句级微小但在音素级显著,算法对女性语音(尤其塞音、擦音、元音)干扰抑制更好且伪影更少。
2025-06-23 cs.SD eess.AS
Uni-VERSA: Versatile Speech Assessment with a Unified Network
Carnegie Mellon University(卡内基梅隆大学);Language Technologies Institute(语言技术研究所)
针对主观听感测试昂贵且现有客观指标单一的问题,提出统一网络Uni-VERSA,同时预测自然度、可懂度等多维指标,经URGENT24基准验证,可替代单方面评估且与人类感知高度一致。
2025-05-27 cs.SD eess.AS
Subjective Evaluation of Deep Neural Network Based Speech Enhancement Systems in Real-World Conditions
Tampere University(坦佩雷大学);Huawei(华为)
两个低延迟深度神经网络(DNN)的主观评价结果进行比较,一个成熟的版本的传统维纳滤波器的噪声抑制器。目标用例是真实世界的单通道语音增强应用,例如,通讯真实世界的录音组成的附加固定和非固定噪声类型包括在内。评估分为四个结果:语音质量、噪声透明度、语音清晰度或听力努力度以及噪声水平w.r.t.演讲结果表明,DNN在所有条件下都能改善噪声抑制,与传统的维纳滤波器基线相比,语音质量和噪声透明度没有重大下降,同时保持语音清晰度优于基线。
2022-08-14 cs.MM cs.SD eess.AS
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs(Facebook现实实验室)
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下,所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中,我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估(3QUEST)的语音平均意见分数(SMOS)和噪声MOS(NMOS)的近场和远场应用的指标。此外,所提出的语音增强方法大大提高了信噪比(SNR)和主观听觉体验。相比之下,传统的语音增强方法虽然增加了NMOS和SNR,但降低了SMOS。此外,所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
EARS: An Anechoic Fullband Speech Dataset Benchmarked for Speech Enhancement and Dereverberation
Universität Hamburg(汉堡大学);Meta;Carnegie Mellon University(卡内基梅隆大学)
本文发布含107位说话人、100小时消声语音的 EARS 数据集,覆盖多样说话风格,并对语音增强与去混响方法进行客观指标、听辨测试及盲测在线评估。
2024-06-11 cs.LG cs.SD eess.AS
Pre-training Feature Guided Diffusion Model for Speech Enhancement
University of Oxford(牛津大学)
针对现有语音增强模型的局限,本文提出预训练特征引导的扩散模型,结合VAE频谱特征、预训练引导与DDIM采样,在不同SNR数据集上实现更优效率、鲁棒性和SOTA性能。
2024-06-11 cs.AI cs.LG cs.SD
On the Importance of Super-Gaussian Speech Priors for Machine-Learning Based Speech Enhancement
Universität Hamburg(汉堡大学)
为了增强噪声信号,基于机器学习的单通道语音增强方案利用关于典型语音频谱结构的先验知识。为了确保良好的泛化并满足计算复杂性和存储器消耗方面的要求,某些方法将其自身限制为学习语音频谱包络。我们将这些方法称为基于机器学习谱包络(MLSE)的方法。在本文中,我们通过理论和实验分析表明,对于基于MLSE的方法,超高斯先验可以减少语音频谱谐波之间的噪声,这是无法实现的使用高斯估计,如维纳滤波器。为了进行评估,我们使用基于深度神经网络(DNN)的音素分类器和低秩非负矩阵分解(NMF)框架作为基于MLSE的方法的示例。听力实验和仪器测量证实,虽然超高斯先验只产生适度的改进经典的增强方案,基于MLSE的方法,超高斯先验显然作出了重要的区别,并显着优于高斯先验。
2018-01-16 cs.SD
SECP: A Speech Enhancement-Based Curation Pipeline For Scalable Acquisition Of Clean Speech
Cisco Systems, Inc.(思科系统公司)
本文提出基于语音增强的策展流水线SECP,通过迭代获取和精炼干净语音,实验表明增强输出作为标签不会降低模型性能,且精炼数据在主观听感上优于原始数据。
2024-02-19 cs.IR cs.LG cs.SD
Self-Supervised Learning for Speech Enhancement through Synthesis
Bose Corporation(博士公司);Georgia Institute of Technology(佐治亚理工学院)
现代语音增强(SE)网络通常通过时频掩蔽、潜在表示掩蔽或区分信号预测来实现噪声抑制。相比之下,最近的一些作品通过生成语音合成探索SE,其中系统的输出在固有的有损特征去噪步骤之后由神经声码器合成。在本文中,我们提出了一种去噪声码器(DeVo)的方法,其中声码器接受嘈杂的表示,并学习直接合成干净的语音。我们利用自监督学习(SSL)语音模型的丰富表示来发现相关特征。我们在15个潜在的SSL前端进行候选搜索,随后训练我们的声码器对抗最好的SSL配置。此外,我们展示了一个因果版本,能够在流媒体音频上运行,延迟10毫秒,性能下降最小。最后,我们进行了客观评估和主观听力研究,以表明我们的系统提高了客观指标,主观上优于现有的最先进的SE模型。
2022-11-04 cs.CL cs.LG cs.SD
Minimum Processing Near-end Listening Enhancement
RTX A/S(RTX A/S公司);Aalborg University(奥尔堡大学)
本文提出一种最小处理的近端听音增强方法,在满足可懂度约束下以均方误差为处理代价,通过简单增益规则自适应噪声条件,在保证可懂度的同时减少语音失真并提升质量。
2023-05-30 cs.SD eess.AS eess.SP
Development of the Listening in Spatialized Noise-Sentences (LiSN-S) Test in Brazilian Portuguese: Presentation Software, Speech Stimuli, and Sentence Equivalence
University of Campinas(坎皮纳斯大学);Pontifical Catholic University of Campinas(坎皮纳斯天主教大学);Macquarie University(麦考瑞大学)
本文开发巴西葡萄牙语版 LiSN-S,构建专业语音库与呈现软件,并基于35名成人和24名儿童的听辨数据筛选、校准120个等价句子。
2024-09-06 cs.SD eess.AS
Incremental Machine Speech Chain Towards Enabling Listening while Speaking in Real-time
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
受人类语音链机制的启发,最近提出了一种基于深度学习的机器语音链框架,用于自动语音识别(ASR)和文本到语音合成(TTS)系统的半监督开发。然而,边听边说的机制只能在接收到整个输入序列之后才能完成。因此,当遇到长话语时存在显著的延迟。相比之下,人类可以实时的【形】听他们说什么,如果听力有延迟,他们就无法继续说话。在这项工作中,我们提出了一个增量机器语音链,使机器能够在实时的【形】边听边说。具体来说,我们构建增量ASR(ISR)和增量TTS(ITTS),让这两个系统通过短期循环共同提高。我们的实验结果表明,我们提出的框架是能够减少延迟,由于长的话语,同时保持相当的性能,非增量基本机器语音链。
2020-11-04 cs.CL cs.SD eess.AS
Listening while Speaking and Visualizing: Improving ASR through Multimodal Chain
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
之前,提出了一种基于序列到序列深度学习的机器语音链来模仿语音感知和产生行为。这些链通过自动语音识别(ASR)和文本到语音合成(TTS)分别处理听力和口语,并同时使它们能够在收到未配对数据时在半监督学习中相互教导。遗憾的是,这种言语链研究仅限于言语和语篇模态。事实上,自然交流实际上是多模态的,涉及听觉和视觉感官系统。虽然所述语音链降低了具有全部配对数据的要求,但是在这种情况下,我们仍然需要大量的未配对数据。在这项研究中,我们采取更进一步的步骤,构建一个多模态链和设计一个紧密结合的链架构,结合ASR,TTS,图像描述,图像生产模型到一个单一的框架。该框架允许每个组件的训练,而不需要大量的并行多模态数据。我们的实验结果还表明,ASR可以进一步训练没有语音和文本数据和跨模态数据增强仍然是可能的,通过我们提出的链,这提高了ASR的性能。
2019-11-14 cs.CL cs.SD eess.AS
Listening Between the Lines: Synthetic Speech Detection Disregarding Verbal Content
Politecnico di Milano(米兰理工大学)
本研究探索仅基于背景成分而非言语内容进行合成语音检测,发现语音成分非关键因素,为检测器开发提供指导。
2024-02-08 cs.MM cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
本研究在虚拟声学环境中用非脚本自然语音探究视听增益,通过EEG和皮层语音追踪分析不同条件及说话者特征的影响,发现噪声下视听增强显著,唇部运动作用关键,验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
French Listening Tests for the Assessment of Intelligibility, Quality, and Identity of Body-Conducted Speech Enhancement
Laboratoire de Mécanique des Structures et des Systèmes Couplés(结构与耦合系统力学实验室)
本研究通过法语听力测试评估EBEN模型在骨导语音中的表现,证实其能提升语音质量与可懂度,并揭示了STOI与感知质量的相关性及现有指标在预测可懂度上的局限性。
2025-06-04 eess.AS
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of British Columbia(不列颠哥伦比亚大学);Indiana University Bloomington(印第安纳大学伯明顿分校);Newcastle University(纽卡斯尔大学);Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所)
直接从语音信号中导出语义表示是一项极具挑战性的任务,但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元,我们提出了WavEmbed,一个多模态顺序自动编码器,预测隐藏单元从密集的语音表示。其次,我们还提出了S-HuBERT通过知识蒸馏来归纳意义,其中句子嵌入模型首先在隐藏单元上进行训练,并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中(0.5~0.6),不依赖于任何标签或透明度。此外,这些模型还可以很容易地扩展,以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘,索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
Listening to the World Improves Speech Command Recognition
R7 Speech Sciences Inc(R7语音科学公司)
我们研究卷积网络架构中的迁移学习,应用于识别音频的任务,例如环境声音事件和语音命令。我们的关键发现是,不仅可以将表示从环境声音分类等不相关的任务转移到语音命令识别等以语音为中心的任务,而且这样做可以显着提高准确性。我们还研究了增加迁移学习音频的模型容量的影响,首先验证了计算机视觉领域的已知结果,即在两个音频数据集上通过越来越深的网络实现更好的准确性:UrbanSound8k和新发布的Google Speech Commands数据集。然后,我们提出了一个简单的多尺度输入表示使用扩张卷积,并表明它能够聚合更大的上下文,提高分类性能。此外,使用迁移学习和多尺度输入表示的组合训练的模型仅需要40%的训练数据来实现与具有100%的训练数据的新训练的模型类似的精度。最后,我们展示了多尺度输入和迁移学习的积极的交互作用,为这两种技术的联合应用提供了一个案例。
2017-10-23 cs.AI cs.SD eess.AS
Towards Decoding Brain Activity During Passive Listening of Speech
BME, TTK(BME TTK);BME, VIK(BME VIK)
本研究利用深度学习方法解码被动聆听语音时的颅内脑电(iEEG)数据,旨在促进脑机接口(BCI)语音合成发展,并揭示语音感知的神经机制。
2024-02-26 cs.HC cs.LG cs.SD
Selective Listening by Synchronizing Speech with Lips
一种说话者提取算法试图在给定表示目标说话者的线索(诸如预先登记的语音话语或伴随的视频轨道)时从多说话者语音混合物中提取目标说话者的语音。当预先登记的语音不可用时,视觉提示特别有用。在这项工作中,我们不依赖于目标说话人的预先登记的语音,而是使用目标说话人的面部轨迹作为说话人线索,即被称为辅助参考,形成一个吸引子朝向目标说话人。我们认为,语音和伴随的嘴唇运动之间的时间同步是一个直接的和占主导地位的视听线索。因此,我们提出了一种自我监督的预训练策略,利用语音唇同步线索进行目标说话人提取,这使我们能够利用丰富的未标记的域内数据。我们将知识从预训练的模型转移到说话人提取网络的吸引子编码器。我们表明,所提出的说话人提取网络在信号质量,感知质量和可懂度方面优于各种竞争基线,实现了最先进的性能。
2022-01-24 eess.AS
Uncovering the role of semantic and acoustic cues in normal and dichotic listening
本研究提出多模态深度学习序列模型STEM,通过匹配-不匹配分类任务分析EEG数据,量化声学与语义线索在自然被动聆听和双耳分听中的作用,验证右耳优势且性能优于现有模型。
2025-07-30 eess.AS eess.SP
How do Voices from Past Speech Synthesis Challenges Compare Today?
National Institute of Informatics(国立情报学研究所)
共同的挑战为使用标准化评价比较接受过共同数据培训的系统提供了一个场所,当数据和评价结果公开发布时,它们也为研究人员提供了宝贵的资源。暴雪挑战赛和语音转换挑战赛分别是文本到语音合成和扬声器转换的两个挑战赛,它们公开的系统样本和听力测试结果构成了多年来最先进的合成方法的历史记录。在本文中,我们重新审视了这些过去的挑战,并进行了大规模的听力测试与样本从许多挑战相结合。我们的目标是分析和比较大量系统的意见,以确定意见是否以及如何随着时间的推移而变化,并收集各种各样的合成样本及其评级的大规模数据集,以供进一步研究。我们发现,在系统层面上,原始结果与我们新的听力测试之间存在很强的相关性。我们还观察到扬声器的选择对合成质量的重要性。
2021-06-30 cs.SD eess.AS
CALLS: Japanese Empathetic Dialogue Speech Corpus of Complaint Handling and Attentive Listening in Customer Center
The University of Tokyo(东京大学);LINE Corp.(LINE公司)
本文提出日语客服中心共情对话语音语料库CALLS,通过模拟电话接线员场景扩展共情对话语音合成的应用范围,并实验证明混合不同领域语料会导致合成语音质量出现有偏差的改善。
2023-05-23 cs.CL cs.LG cs.SD
Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
研究评估经典和神经语音编解码器在干净及嘈杂条件下的可懂度与听觉努力,还评估编码前语音增强的影响,发现经典编解码器更抗噪,语音增强可提升受噪声影响编解码器的可懂度等。
2026-07-07 eess.AS
Leveraging Spatial Cues from Cochlear Implant Microphones to Efficiently Enhance Speech Separation in Real-World Listening Scenes
Radboud University(拉德堡德大学);Columbia University(哥伦比亚大学);Leiden University Medical Centre(莱顿大学医学中心);Leiden Institute for Brain and Cognition(莱顿脑与认知研究所)
针对真实声学环境,量化空间线索对语音分离的影响,发现隐式和显式空间线索均能提升分离质量,尤其在频谱线索模糊时,强调真实数据训练以增强泛化能力。
2025-01-24 cs.AI cs.SD eess.AS
AIx Speed: Playback Speed Optimization Using Listening Comprehension of Speech Recognition Models
The University of Tokyo(东京大学);Sony CSL Kyoto(索尼计算机科学实验室京都分部)
本研究针对提升时序内容理解效率的需求,提出AIx Speed系统,以语音识别得分为代理,在音素级动态调整播放速度以兼顾速度与可懂度,实验证实其生成的语音比恒速快放更易收听。
2024-03-05 cs.CL cs.HC cs.LG
Looking Enhances Listening: Recovering Missing Speech Using Images
Carnegie Mellon University(卡内基梅隆大学);University of Edinburgh(爱丁堡大学)
通过使用视觉上下文可以更好地理解语音;因此,已经有许多尝试使用图像来适应自动语音识别(ASR)系统。然而,目前的工作表明,视觉适应的ASR模型只使用图像作为正则化信号,而完全忽略了它们的语义内容。在本文中,我们提出了一组实验,我们在嘈杂的条件下显示的视觉模态的效用。我们的研究结果表明,多模态ASR模型可以恢复被掩盖在输入的声学信号的话,接地其transanterity使用的视觉表示。我们观察到,整合视觉上下文可以导致高达35%的相对改善掩蔽词恢复。这些结果表明,端到端的多模态ASR系统可以通过利用视觉上下文变得对噪声更加鲁棒。
2020-02-13 cs.CL cs.MM eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics(国立情报学研究所);SOKENDAI(综合研究大学院大学)
在环境噪声和混响的存在下,语音的可懂度严重降低。在本文中,我们提出了一种新的基于深度学习的系统,用于修改语音信号以在等功率约束下提高其可懂度,即,修改前后的信号功率必须相同。为了实现这一点,我们使用生成对抗网络(GANs)来获得时频相关的放大因子,然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络(DNN)模型,以同时优化多个高级语音指标,而不是只优化一个简单的指标,包括与清晰度和质量相关的指标,从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放,但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明,该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Human Listening and Live Captioning: Multi-Task Training for Speech Enhancement
随着在线会议的激增,在各种噪声条件下提供高质量的语音音频和实时字幕变得比以往任何时候都更加重要。然而,大多数单声道语音增强(SE)模型引入处理伪像,从而降低下游任务(包括自动语音识别(ASR))的性能。本文提出了一个多任务训练框架,使SE模型无害的ASR。由于大多数ASR训练样本没有相应的干净信号参考,我们交替执行两个模型更新步骤,称为SE步骤和ASR步骤。SE步骤使用干净和有噪声的信号对以及基于信号的损失函数。ASR步骤将预训练的ASR模型应用于利用SE模型增强的训练信号。计算ASR输出和参考瞬态之间的交叉熵损失以更新SE模型参数。使用在75,000小时数据上训练的ASR模型进行实际大规模设置的实验结果表明,所提出的框架将SE输出的单词错误率提高了11.82%,而SE质量几乎没有影响。还通过改变ASR模型、用于ASR步骤的数据以及两个更新步骤的时间表来进行性能分析。
2021-06-05 eess.AS
Listening for "You": Enhancing Speech Image Retrieval via Target Speaker Extraction
提出目标说话人语音-图像检索任务及TSRE框架,通过目标说话人感知对比学习提取并对齐语音与图像,在SpokenCOCO2Mix/3Mix上显著提升检索性能。
2025-09-11 eess.AS eess.IV
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic(奥迪克公司);Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Sonova AG(索诺瓦公司);Hörzentrum Oldenburg GmbH(奥尔登堡听力中心有限公司)
针对现有助听器在真实噪声环境中效果不佳的问题,研究团队开发了可在手机上实时运行的深度学习降噪系统,音频流式传输至助听器总延迟约75ms,经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
Lip-Listening: Mixing Senses to Understand Lips using Cross Modality Knowledge Distillation for Word-Based Models
The American University in Cairo(开罗美国大学)
在这项工作中,我们提出了一种技术来转移语音识别能力从音频语音识别系统的视觉语音识别器,我们的目标是在唇读模型训练过程中利用音频数据。在语音识别领域中的令人印象深刻的进展已经通过音频和视听系统展示出来。尽管如此,由于某些音素的视觉模糊性,视觉语音识别系统仍有许多需要探索的地方。为此,鉴于音频模型的不稳定性,视觉语音识别模型的开发是至关重要的。本研究的主要贡献在于:i)通过将序列级和帧级知识蒸馏(KD)集成到他们的系统中,建立了最近最先进的基于单词的唇读模型; ii)在训练视觉模型期间利用音频数据,这在先前的基于单词的工作中还没有被利用; iii)提出帧级KD中的高斯形平均,作为帮助模型在序列模型编码器处提取知识的有效技术。这项工作提出了一种新颖而有竞争力的唇读架构,因为我们证明了性能的显着改善,在LRW数据集上设置了一个新的基准,等于88.64%。
2022-06-05 cs.CL cs.MM cs.SD
Requirements for Mass Adoption of Assistive Listening Technology by the General Public
Arizona State University(亚利桑那州立大学)
本研究针对辅助听音系统(ALSs)虽能提升语音清晰度、惠及大众但普及率极低的问题,系统分析了五点阻碍因素并提出对应解决方案,以推动该技术的大规模普及。
2023-05-03 cs.SD eess.AS
Understanding effect of speech perception in EEG based speech recognition systems
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
与语音并行记录的脑电(EEG)信号用于执行孤立和连续语音识别。在说话过程中,一个人也听到他或她自己的语音,这种语音感知也反映在记录的EEG信号中。在本文中,我们研究是否有可能分离出这个语音感知分量从EEG信号,以设计更强大的EEG为基础的语音识别系统。我们进一步证明了预测EEG信号记录在平行与被动听力,反之亦然,非常低的归一化根均方误差(RMSE)从EEG信号记录在平行说话。最后,我们使用与听、说并行记录的EEG信号演示了孤立和连续语音识别,并使用他们的数据集改进了作者在[1]中演示的先前的连接主义时间分类(CTC)模型结果。
2020-05-29 cs.LG cs.SD eess.AS
Screening Matters: A Comparative Study of Conventional and Crowdsourced Listening Tests
通过统计分析比较传统P.800 DCR测试与众包P.808测试,提出结合锚定排序、评分跨度、陷阱和黄金标准问题的筛选方法,以提升众包评估质量。
2026-06-29 eess.AS
Acoustic-to-Text KV Compression for Full-Duplex Speech Models
Sungkyunkwan University(成均馆大学)
针对全双工语音模型内存密集问题,提出声学到文本KV压缩,利用聆听空隙将语音转文本并驱逐旧声学状态,减少64.6%峰值缓存,提升转录与问答性能。
2026-09-28 cs.AI cs.SD eess.AS
The VoiceMOS Challenge 2022
Nagoya University(名古屋大学);National Institute of Informatics(国立信息学研究所);Academia Sinica(中央研究院)
我们提出了第一版的VoiceMOS挑战赛,一个科学的事件,旨在促进自动预测的平均意见得分(MOS)的合成语音的研究。这项挑战吸引了来自学术界和工业界的22个参与团队,他们尝试了各种方法来解决预测人工合成语音评级的问题。挑战赛主赛道的听力测试数据由来自187个不同的文本到语音和语音转换系统的样本组成,这些系统跨越了十年的研究,域外赛道由来自最近的系统的数据组成,这些系统在单独的听力测试中进行了评级。挑战的结果显示了微调自监督语音模型对MOS预测任务的有效性,以及预测看不见的扬声器和听众的MOS评级的困难,以及在域外设置中看不见的系统。
2022-07-04 cs.SD eess.AS
Evaluating Text-to-Speech Synthesis from a Large Discrete Token-based Speech Language Model
KTH Royal Institute of Technology(瑞典皇家理工学院)
该研究从五个维度评估基于离散token的语音语言模型的文本转语音效果,发现其韵律多样性等表现优于传统TTS,但可懂度等存在不足,扩大模型规模可小幅提升鲁棒性,为相关研究提供基准。
2024-05-16 cs.SD eess.AS
Actions Speak Louder than Listening: Evaluating Music Style Transfer based on Editing Experience
Academia Sinica(中央研究院);KKBOX, Inc.(KKBOX公司)
对音乐生成技术的主观评价主要是基于听觉测试的,而忽略了从音乐创作、编曲和配乐编辑的角度。在本文中,我们提出了一个编辑测试,以评估用户的编辑体验的音乐生成模型在一个系统的方式。为此,我们设计了一个新的音乐风格迁移模型结合非时序推理架构,自回归模型和Transformer,这是一个改进的基线模型相同的风格迁移任务。然后,我们将这两个模型的性能与传统的听力测试和建议的编辑测试进行比较,在编辑测试中,生成的样本的质量通过努力量(例如,所需的键盘和鼠标动作的数量)。对两种目标样式的测试结果表明,编辑测试可以定量地反映相对于基线模型的改进。此外,编辑测试提供了深刻的见解,这是无法从通常的听力测试。本文的主要贡献是系统地介绍了编辑测试和相应的见解,而提出的音乐风格转移模型的基础上,国家的最先进的神经网络代表另一个贡献。
2021-10-25 cs.HC cs.LG cs.MM
Evaluating Off-the-Shelf Machine Listening and Natural Language Models for Automated Audio Captioning
Huawei Technologies, Munich Research Center(华为技术有限公司慕尼黑研究中心);Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术研究组);Audio Research Group, Tampere University(坦佩雷大学音频研究组)
自动音频字幕(AAC)是自动生成一般音频信号的文本描述的任务。字幕系统必须从输入信号中识别出各种信息,并用自然语言来表达。现有的工作主要集中在研究新的方法,并试图提高其性能测量现有的数据集。最近才引起人们的注意,很少有关于AAC的工作研究现有的预训练音频和自然语言处理资源的性能。在本文中,我们评估的性能现成的模型与基于变压器的字幕方法。我们利用免费提供的Clotho数据集来比较四种不同的预训练机器听力模型,四种词嵌入模型以及它们在许多不同设置中的组合。我们的评估表明,YAMNet结合BERT嵌入产生最好的字幕。此外,一般来说,微调预训练的词嵌入可以带来更好的性能。最后,我们表明,序列的音频嵌入可以使用Transformer编码器处理,以产生更高质量的字幕。
2021-10-14 cs.CL cs.LG cs.SD
Listening to Multi-talker Conversations: Modular and End-to-end Perspectives
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究说话人归属的多说话人语音识别问题,提出模块化(基于说话人日志、目标说话人提取与ASR的流水线)与端到端(SURT模型联合训练)两种视角,有效解决了多方自由对话的识别与转录。
2024-02-14 cs.SD eess.AS