Automatic Estimation of Intelligibility Measure for Consonants in Speech
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在这篇文章中，我们提供了一个模型来估计一个真正的价值衡量个别语音段的可懂度。我们基于卷积神经网络（CNN）训练回归模型，用于与元音\textipa{/A/}相关的塞音\textipa{/p,t,k,b,d,g/}，以估计相应的信噪比（SNR），在该信噪比下，辅音-元音（CV）声音对于正常听力（NH）耳朵变得可理解。每个声音的可懂度度量称为SNR $_{90}$，定义为人类参与者能够平均至少90%正确识别辅音的SNR水平，如之前对NH受试者的实验所确定的。将CNN的性能与基于自动语音识别（ASR）的基线预测进行比较，具体地，从SNR中减去恒定偏移，在该恒定偏移处，ASR变得能够正确地标记辅音。与基线相比，我们的模型能够准确估计SNR $_{90}$ ~可懂度测量，平均均方误差（MSE）小于2 [dB $^2$ ]，而基线ASR定义的测量计算SNR $_{90}$ ~，方差为5.2至26.6 [dB $^2$ ]，具体取决于辅音。
2020-06-28 cs.CL cs.SD eess.AS
An Attention Long Short-Term Memory based system for automatic classification of speech intelligibility
Universidad Carlos III de Madrid（卡洛斯三世大学）
本研究提出一种基于注意力LSTM和非侵入式方法的语音可懂度自动分类系统，利用对数梅尔频谱图特征，在UA-Speech数据库上优于SVM和均值池化LSTM基线。
2024-02-05 cs.LG cs.SD eess.AS
V-Cloak: Intelligibility-, Naturalness- & Timbre-Preserving Real-Time Voice Anonymization
Zhejiang University（浙江大学）；Wuhan University（武汉大学）
在即时消息或社交媒体应用程序上生成的语音数据包含唯一的用户声纹，这些声纹可能会被恶意攻击者滥用，用于身份推断或身份盗窃。现有的语音匿名化技术，例如，信号处理和语音转换/合成遭受感知质量的降级。在本文中，我们开发了一个语音匿名化系统，命名为V-Cloak，它实现了实时的【形】语音匿名化，同时保持可懂度，自然度和音质的音频。我们设计的匿名器具有一个一次性生成模型，可以在不同的频率水平上调制原始音频的特征。我们用精心设计的损失函数来训练匿名者。除了匿名性损失，我们进一步纳入可懂度损失和基于心理声学的自然性损失。匿名器可以实现无目标和有目标的匿名，以达到不可识别和不可链接的匿名目标。我们在四个数据集上进行了广泛的实验，即，LibriSpeech（英语）、AISHELL（中文）、CommonVoice（法语）和CommonVoice（意大利语），五个自动说话人验证（ASV）系统（包括两个基于DNN的ASV、两个统计ASV和一个商业ASV），以及十一个自动语音识别（ASR）系统（针对不同语言）。实验结果表明，V-Cloak在匿名性能方面优于五个基线。我们还证明了仅在VoxCeleb 1数据集上训练的V-Cloak对ECAPA-TDNN ASV和DeepSpeech 2 ASR具有针对其他ASV的可转移匿名性和其他ASR的跨语言可理解性。此外，我们验证了V-Cloak对各种去噪技术和自适应攻击的…
2022-10-27 cs.AI cs.CR cs.SD
DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility
Shanghai Jiao Tong University（上海交通大学）；ShanghaiTech University（上海科技大学）
本文提出端到端视频到语音合成模型DiVISe，仅从视频帧直接预测梅尔频谱图，无需声学提示即可在保持说话人特征的同时提升语音可懂度，并在LRS2和LRS3数据集上优于现有方法。
2025-03-07 cs.CV cs.LG cs.MM
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
How Private is Low-Frequency Speech Audio in the Wild? An Analysis of Verbal Intelligibility by Humans and Machines
RWTH Aachen University（亚琛工业大学）；Delft University of Technology（代尔夫特理工大学）
本文评估低频音频在真实环境中保护言语隐私的有效性，通过模拟攻击并权衡语音活动检测性能与隐私，结合人类和机器可懂度分析其平衡。
2024-07-18 cs.HC cs.SD eess.AS
Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training
Seoul National University（首尔国立大学）
构音障碍是一种影响数百万人的运动性语言障碍。构音障碍者的言语比非构音障碍者的言语更难理解，从而导致显著的沟通困难。我们工作的目标是开发一个模型，构音障碍，以健康的语音转换使用周期一致的GAN。使用18，700个构音障碍和8，610个健康对照韩语话语，这些话语是为了在先前的研究中自动识别语音键盘而记录的，该生成器被训练成在谱域中将构音障碍转换为健康语音，然后将其转换回语音。客观评价使用自动语音识别的生成的话语上举行了测试集显示，识别性能得到改善，与原来的dysarthic语音进行对抗训练后，作为绝对WER已降低了33.4%。实验结果表明，所提出的基于GAN的转换方法对于改善构音障碍语音的可懂度是有用的。
2020-01-10 cs.CL cs.SD eess.AS
Transfer Learning from Whisper for Microscopic Intelligibility Prediction
Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统科学实验室）
针对微观可懂度预测缺乏大规模深度学习迁移学习方法的问题，本文提出将Whisper模型迁移学习用于词汇响应级微观可懂度预测，在零样本及微调场景下均优于基线，最高相对提升66%，验证了该类方法的潜力。
2024-04-02 cs.CL cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering（军事工程学院）
本文提出了一种新的盲声掩模（BAM）设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息，以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外，该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法，理想的二进制掩码（IBM），目标二进制掩码（TBM），和非平稳噪声估计语音增强（NNESE），考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比（SNR）进行评估。结果表明，BAM技术实现可懂度增益与理想的面具，同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
Training-Free Intelligibility-Guided Observation Addition for Noisy ASR
Nanyang Technological University（南洋理工大学）；Nara Institute of Science and Technology（奈良科学技術大學）
提出一种无训练的可懂度引导观测添加方法，通过后端ASR的可懂度估计推导融合权重，提升噪声环境下ASR鲁棒性，无需修改SE或ASR模型参数。
2026-06-06 cs.AI cs.SD eess.AS
Unsupervised speech intelligibility assessment with utterance level alignment distance between teacher and learner Wav2Vec-2.0 representations
Language Technologies Research Center（语言技术研究中心）
针对有监督语音可懂度检测依赖人工标注、扩展性差的问题，提出基于Wav2Vec-2.0自监督表征与DTW对齐距离的无监督方法，三种距离度量下准确率最高达96.58%。
2023-06-15 cs.AI cs.SD eess.AS
An ASR Guided Speech Intelligibility Measure for TTS Model Selection
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
神经文本到语音（TTS）的感知质量高度依赖于训练过程中模型的选择。使用训练目标度量（如最小均方误差）选择模型并不总是与人类感知相关。在本文中，我们提出了一个客观的度量的基础上的电话出错率（PER）选择TTS模型与最佳的语音可懂度。在TTS模型的输入文本与使用自动语音识别（ASR）模型从合成语音解码的文本之间计算PER，ASR模型在与TTS模型相同的数据上训练。与主观研究的帮助下，我们表明，选择的TTS模型与最小的PER验证分裂有显着更高的语音清晰度相比，最少的训练目标度量损失的模型。最后，使用建议的PER和主观评价，我们表明，最佳TTS模型的选择取决于体裁的目标领域的文本。我们所有的实验都在印地语数据集上进行。然而，所提出的模型选择方法是语言无关的。
2020-06-02 cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.（先进媒体公司）
针对无干净参考的助听器处理语音清晰度预测任务，研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略，提出帧对齐融合方法，在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合不确定性量化的改进GoP方法，通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能，在英语、韩语和泰米尔语上均优于基线，并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
ReFESS-QI: Reference-Free Evaluation For Speech Separation With Joint Quality And Intelligibility Scoring
Johns Hopkins University, USA（约翰霍普金斯大学）；Technion, Israel Institute of Technology, Israel（技术学院，以色列技术学院）；University of Haifa, Israel（海法大学）
针对无参考语音分离评估难题，提出基于自监督表示的无参考框架ReFESS-QI，联合预测SI-SNR和WER，在WHAMR!数据集上取得高相关性，验证了鲁棒性。
2025-10-27 cs.SD eess.AS
Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
语音障碍的自动分类可以为识别语音障碍的存在和严重程度提供客观的工具。分类方法还可以帮助识别难以识别的语音样本，以教授ASR系统有关受损语音的各种表现。在这里，我们开发并比较了不同的深度学习技术，以对选定短语上的无序语音的可懂度进行分类。我们收集了来自661名具有各种自我报告障碍的说话者的样本，这些说话者说了29个单词或短语，这些单词或短语由语音语言病理学家使用五点Likert量表对其整体可理解性进行了评级。然后，我们评估了使用3种方法开发的分类器：（1）为任务训练的卷积神经网络（CNN），（2）使用无监督目标的CNN的非语义语音表示训练的分类器[1]，以及（3）来自典型语音训练的ASR系统的声学（编码器）嵌入训练的分类器[2]。我们发现，ASR编码器的嵌入大大优于其他两个检测和分类无序语音。进一步的分析表明，ASR嵌入聚类语音的口语短语，而非语义嵌入聚类语音的说话人。此外，较长的短语比单个单词更能说明可理解性缺陷。
2021-07-08 cs.LG cs.SD eess.AS
Gammatonegram Representation for End-to-End Dysarthric Speech Processing Tasks: Speech Recognition, Speaker Identification, and Intelligibility Assessment
University of Zurich（苏黎世大学）；University of Tehran（德黑兰大学）
本文提出将gammatonegram表示与基于预训练Alexnet的CNN迁移学习方法结合，用于构音障碍语音的识别、说话人识别和可懂度评估，并设计了级联多网络架构提升自动化识别准确率。
2024-03-20 cs.CL cs.SD eess.AS
Simulating Native Speaker Shadowing for Nonnative Speech Assessment with Latent Speech Representations
Graduate School of Engineering（工学研究生院）；The University of Tokyo（东京大学）
本研究提出一种基于语音转换和潜在语音表示的语音生成系统，模拟母语者跟读过程，以评估非母语者的语音可懂度，实验证明该方法有效且使用自监督表示效果更佳。
2024-09-19 cs.SD eess.AS
Automatic Prosody Prediction for Chinese Speech Synthesis using BLSTM-RNN and Embedding Features
Northwestern Polytechnical University（西北工业大学）
韵律影响语音的自然度和可懂度。然而，汉语语音合成中从文本中自动预测韵律仍然是一个巨大的挑战，传统的基于条件随机场（CRF）的方法往往严重依赖于特征工程。在本文中，我们提出使用神经网络预测韵律边界标签直接从汉字没有任何特征工程。实验结果表明，堆叠前馈和双向长短期记忆（BLSTM）递归网络层实现优于基于CRF的方法的性能。从原始文本中学习的嵌入特征进一步增强了性能。
2015-11-02 cs.CL cs.SD
Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech
Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
针对现有合成语音自动评估指标多局限于可懂度的问题，提出通过在合成语音上训练ASR模型、用其在真实语音上的WER衡量语音分布相似性的评估方法，该指标与MOS的自然度和可懂度均有强相关性。
2023-10-01 cs.CL cs.SD eess.AS
SALT: Distinguishable Speaker Anonymization Through Latent Space Transformation
Northwestern Polytechnical University（西北工业大学）；Ximalaya Inc.（喜马拉雅公司）；Xizhang (Shanghai) Network Technology Co., Ltd.（希壤（上海）网络科技有限公司）
针对现有说话人匿名化方法对分布外说话人存在伪说话人区分度、语音质量及可懂度下降的问题，提出基于潜在空间变换的SALT系统，通过潜在向量插值与外推实现匿名化，在Voice Privacy Challenge数据集上取得最优区分度且保留语音质量与可懂度。
2023-10-08 cs.SD eess.AS
DHASP: Differentiable Hearing Aid Speech Processing
University of Sheffield（谢菲尔德大学）
助听器被期望提高听力障碍者的言语清晰度。一个适当的放大配件调谐为听众的听力残疾是至关重要的良好的性能。大多数规定性的配件的发展是基于主观听力实验中收集的数据，这通常是昂贵和耗时的。在本文中，我们探索了一种替代方法，通过引入助听器语音处理框架，找到最佳的拟合，其中拟合是优化的，在自动化的方式使用基于HASPI生理听觉模型的可懂度目标函数。该框架是完全可微的，因此可以采用反向传播算法进行有效的数据驱动优化。我们最初的客观实验显示了无噪声语音放大的良好效果，其中自动优化的处理器优于公认的助听器处方之一。
2021-03-15 cs.LG cs.SD
AffectCodec: Emotion-Preserving Neural Speech Codec with Block-Diagonal Residual FSQ
Beijing University of Posts and Telecommunications（北京邮电大学）
针对神经语音编解码器在量化过程中丢弃情感线索的问题，提出基于块对角残差有限标量量化（BD-RFSQ）的AffectCodec，通过结构约束的量化实现情感保持，在低比特率下显著提升情感保留度。
2026-05-22 cs.SD
Voice Conversion for Lombard Speaking Style with Implicit and Explicit Acoustic Feature Conditioning
Department of Computing, Imperial College London（帝国理工学院计算机系）；Amazon Alexa, TTS Research（亚马逊Alexa，语音合成研究）
本文研究Lombard发音风格迁移，提出在语音转换中采用隐式声学特征条件策略，在转换说话人身份的同时保留Lombard风格属性，实现了与显式条件相当的可懂度提升并保持了说话人相似度。
2025-07-12 cs.CL cs.SD eess.AS
Prediction of speech intelligibility with DNN-based performance measures
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本文提出了一种基于自动语音识别（ASR）的语音可懂度模型，该模型结合了来自深度神经网络（DNN）的音素概率和从这些概率估计单词出错率的性能度量。该模型在测试过程中不需要干净的语音参考，也不需要单词标签，因为ASR解码步骤被省略，该步骤在给定音素后验概率的情况下找到最可能的单词序列。该模型通过从8个正常听力的听众的预测和观察到的语音接收阈值之间的均方根误差进行评估。识别任务包括从德国矩阵句子测试中识别噪声单词。语音材料与八个噪声掩蔽物混合，覆盖不同的调制类型，从语音形状的静态噪声到单个说话者掩蔽物。的预测性能进行比较，五个已建立的模型和一个ASR模型，使用单词标签。测试了功能和网络的两种组合。两者都包括在特征级（幅度调制滤波器组和前馈网络）或由架构（梅尔频谱图和时间延迟深度神经网络，TDNN）捕获的时间信息。TDNN模型与DNN相当，同时将参数数量减少了37倍;这种优化允许在专用助听器硬件上并行流，因为可以在每帧的10 ms内计算前向传递。该模型的性能几乎与基于标签的模型一样好，并且比基线模型产生更准确的预测。
2022-03-17 cs.AI cs.CL cs.LG
Optimising Neural Speech Codecs for 300bps Communication using Reinforcement Learning
Tsinghua University（清华大学）；Huawei Technologies Co., Ltd（华为技术有限公司）
本文提出ClariCodec，一种在300bps下工作的神经语音编解码器，通过将量化视为随机策略，利用强化学习优化可懂度，从而在极端压缩水平下减少词错误率。
2026-07-27 cs.SD
A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica（中央研究院）；University of Palermo（巴勒莫大学）
本研究提出GPT-Whisper，结合Whisper与提示工程实现零样本非侵入式语音评估，在可懂度和CER相关性上优于现有模型，验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
Deep Xi as a Front-End for Robust Automatic Speech Recognition
Griffith University（格里菲斯大学）
当前用于鲁棒自动语音识别（ASR）的前端包括用于语音增强的基于掩蔽和映射的深度学习方法。最近提出的一种用于优先SNR估计的深度学习方法，称为DeepXi，能够以比当前基于掩蔽和映射的方法更高的质量和可懂度产生增强的语音。受此启发，我们将Deep Xi作为强大ASR的前端进行研究。使用真实世界的非平稳和有色噪声源在多个SNR水平下对Deep Xi进行评估。我们的实验研究表明，DeepXi作为前端能够产生比最近基于掩蔽和映射的深度学习前端更低的单词错误率。这项工作中的结果表明，Deep Xi是一个可行的前端，能够显着提高ASR系统的鲁棒性。可用性：Deep Xi可在：https://github.com/anicolson/DeepXi
2020-01-28 cs.SD eess.AS eess.SP
Low-Resource Mongolian Speech Synthesis Based on Automatic Prosody Annotation
VXI
虽然基于深度学习的TTS（文本到语音）模型（如VITS）已经显示出出色的结果，但它们通常需要大量高质量的<text，audio>对来进行训练，这是昂贵的。到目前为止，世界上大多数语言仍然缺乏开发TTS系统所需的训练数据。本文针对低资源蒙古语语音合成面临的两个问题提出了两种改进方法：a）鉴于缺乏高质量的<text，audio>数据对，难以对语言特征到声学特征的映射问题进行建模。使用预训练的VITS模型和迁移学习方法进行改进。b）针对标注信息少的问题，提出采用一种自动韵律标注方法对文本和对应语音的韵律信息进行标注，从而提高低资源蒙古语的自然度和可懂度。通过实证研究，本文提出的方法的N-MOS为4.195，I-MOS为4.228。
2023-01-04 cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本文提出基于ARN时间域增强模型，将语音增强与仅在干净语音上训练的声学模型解耦，在CHiME-2上实现6.28%词错误率，相对提升19.3%。
2023-06-21 cs.SD eess.AS
Automatic Evaluation of Turn-taking Cues in Conversational Speech Synthesis
KTH, Royal Institute of Technology（KTH皇家理工学院）
本文提出基于语音活动投影模型自动评估TTS系统生成话轮转换线索的能力，发现商用系统信号常模糊、开源系统让出话轮线索弱，为对话语音合成提供了功能性评价新视角。
2023-05-29 cs.SD eess.AS
Transfer Learning of wav2vec 2.0 for Automatic Lyric Transcription
School of Computing, National University of Singapore（新加坡国立大学计算学院）
近年来，由于大规模数据集和自监督学习（SSL）范例的出现，自动语音识别（ASR）取得了显著进展。然而，作为歌唱领域的对应问题，自动歌词转录（ALT）的发展受到有限的数据和演唱歌词的可理解性下降。为了填补ALT和ASR之间的性能差距，我们试图利用语音和唱歌之间的相似之处。在这项工作中，我们提出了一种基于迁移学习的ALT解决方案，该解决方案通过将SSL ASR模型wav 2 vec 2.0适应唱歌域来利用这些相似性。我们通过探索不同迁移起点的影响来最大化迁移学习的效果。我们进一步提高性能，通过扩展原来的CTC模型的混合CTC/注意力模型。我们的方法在各种ALT基准数据集上大大超过了以前的方法。进一步的实验表明，即使是很小比例的训练数据，我们的方法仍然取得了竞争力的性能。
2022-10-16 cs.SD eess.AS eess.SP
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Centre (EMC)（埃因霍温医学院）；Indian Inst. of Information Technology Allahabad（阿利哈巴德信息科技学院）；Dept. of Plastic and Reconstructive Surgery（整形外科与重建外科系）；Dept. of Electronics and Communication（电子与通信系）
针对构音障碍语音对ASR系统的挑战，本研究探索扩散模型在构音障碍语音增强中的应用，通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响，验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
语音增强模型用于将含噪语音映射为干净语音。在训练阶段，通常采用目标函数来优化模型参数。然而，在大多数研究中，模型优化标准和增强语音的评价标准之间存在不一致。例如，在测量语音可懂度时，大多数评估度量是基于短时客观可懂度（STOI）测量，而在优化模型时广泛使用估计语音和干净语音之间的基于帧的最小均方误差（MMSE）。由于不一致性，无法保证训练的模型可以在应用程序中提供最佳性能。在这项研究中，我们提出了一个端到端的基于话语的语音增强框架，使用全卷积神经网络（FCN），以减少模型优化和评估标准之间的差距。由于基于话语的优化，当基于感知的目标函数用于直接优化时，可以考虑长语音段的时间相关信息，或者甚至在整个话语级。作为一个例子，我们实现了建议的FCN增强框架，以优化的STOI措施。实验结果表明，由于训练目标与评价目标的一致性，测试语音的STOI优于传统MMSE优化语音。此外，通过将STOI集成在模型优化中，与MMSE准则生成的语音相比，人类主体和自动语音识别（ASR）系统对增强语音的可懂度也得到了显著改善。
2018-03-15 cs.LG cs.SD stat.ML
Design, construction and evaluation of emotional multimodal pathological speech database
Taiyuan University of Technology（太原理工大学）；Newcastle University（纽卡斯尔大学）；Taiyuan Hospital（太原医院）；Taiyuan Central Hospital（太原中心医院）
针对构音障碍患者情感表达研究缺乏可用情感病理数据库的问题，构建了首个中文多模态情感病理语音数据库，通过主客观分析验证了数据库有效性，揭示了疾病对情感表达的影响。
2023-12-14 cs.AI cs.SD eess.AS
GLASS: GRPO-Trained LoRA for Acoustic Style Steering in Zero-Shot Text-to-Speech
Department of Artificial Intelligence, Sungkyunkwan University（人工智能系，全州大学）
提出GLASS框架，通过GRPO训练轻量LoRA适配器实现零样本自回归TTS中可组合的声学风格控制，无需风格标签即可从奖励中学习控制。
2026-06-04 cs.CL cs.SD eess.AS
On the Problem of Text-To-Speech Model Selection for Synthetic Data Generation in Automatic Speech Recognition
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）；Nara Institute of Science and Technology（奈良科学技术学院）
本文比较五种TTS解码器架构在合成数据生成中对CTC语音识别的影响，发现自回归解码优于非自回归解码，并提出量化TTS泛化能力的方法。
2024-07-31 cs.CL cs.LG cs.SD
Proteus: Automated Adversarial Robustness Testing for Audio Deepfake Detectors
Resemble AI
提出Proteus框架，通过搜索日常音频变换组合（如编解码、噪声等）自动发现欺骗深度伪造检测器的对抗样本，并利用BFS和Q-learning两种策略优化攻击链，以提升检测器鲁棒性。
2026-06-28 cs.AI cs.SD
Transcription-Free Fine-Tuning of Speech Separation Models for Noisy and Reverberant Multi-Speaker Automatic Speech Recognition
Solventum（索尔文腾公司）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
针对真实重叠语音缺少参考转录的问题，提出仅用音频、以预训练ASR编码器嵌入差异为损失并结合GPIT的无转录联合微调方法，显著降低WER并提升STOI。
2024-06-13 cs.LG cs.SD eess.AS
ClariCodec: Optimising Neural Speech Codes for 200bps Communication using Reinforcement Learning
本文提出ClariCodec，一种在200bps下通过强化学习优化语音编码器的神经编码器，其通过将量化重新定义为随机策略，提升可懂度。
2026-04-19 cs.SD eess.AS
Child-Centric Voice Anonymization in Single and Multi-Speaker Speech via Domain-Adapted SSL Models
通过将自监督学习（SSL）语音匿名化流水线适应儿童语音领域，在单说话人和两说话人混合场景下提升可懂度和感知质量，同时保持强隐私保护，并扩展至多说话人场景以保护对话结构。
2026-06-29 cs.AI cs.SD eess.SP
Language-Independent Approach for Automatic Computation of Vowel Articulation Features in Dysarthric Speech Assessment
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
不精确的元音发音可以在帕金森病（PD）患者中观察到。测量元音清晰度的声学特征已被证明是PD评估的有效指标。根据元音/a/、/i/和/u/的前两个共振峰，导出了标准临床元音发音特征：元音工作空间面积（VSA）、元音发音指数（VAI）和共振峰集中率（FCR）。传统上，在测量元音清晰度之前，需要从语音数据中手动注释角元音。这一过程很耗时。目前的工作旨在减少人类的努力，在临床分析PD语音提出了一个自动管道元音清晰度评估。该方法是基于自动角元音检测使用语言通用音素识别器，然后通过统计分析的共振峰数据。这种方法消除了对说话内容和语言的先验知识的限制。芬兰PD语音语料库上的实验结果表明，所提出的自动方法在获得VAI，VSA，FCR和F2 i/F2 u（第二共振峰比元音/i/和/u/）的有效性和可靠性。自动计算的参数被证明是高度相关的角元音手动注释计算的功能。此外，自动和手动计算的元音发音特征与专家对语音清晰度，语音障碍和沟通障碍的整体严重程度的评级具有可比的相关性。在西班牙语PD数据库PC-GITA和英语构音障碍语音TORGO语料库上进一步验证了所提出方法的独立性。
2021-08-17 cs.SD eess.AS eess.SP
Forget who you Forgot: Speaker Unlearning to Prevent Re-Identification in Zero-Shot Text-to-Speech
Sungkyunkwan University（成均馆大学）
针对零样本语音合成中的说话人身份遗忘问题，提出GUARD框架，结合门控与激活引导，在CosyVoice2上将重新识别准确率从73.5%降至0.5%，并强调重新识别作为补充评估标准。
2026-09-24 cs.AI cs.SD
Privacy-preserving Automatic Speaker Diarization
INESC-ID/IST, University of Lisbon（里斯本大学INESC-ID/IST）；Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文针对自动说话人分离的隐私泄露问题，提出结合安全多方计算与安全模哈希的隐私保护方案，应用于说话人嵌入提取和凝聚层次聚类，在两种安全设置下实现实时因子1.1和1.6的合理性能与效率权衡。
2023-04-18 cs.CR cs.SD eess.AS
ConPCO: Preserving Phoneme Characteristics for Automatic Pronunciation Assessment Leveraging Contrastive Ordinal Regularization
本文提出对比音素序数正则化器ConPCO，通过对比学习对齐音素表示与文本嵌入，并在特征空间中保留音素类别距离和序数关系，配合分层APA模型在speechocean762上验证了其有效性。
2024-06-08 cs.SD eess.AS
Speaker Anonymization with Phonetic Intermediate Representations
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
在这项工作中，我们提出了一个扬声器匿名化管道，利用高质量的自动语音识别和合成系统，以生成语音transmitting和匿名扬声器嵌入的语音条件。使用音素作为中间表示确保从输入中几乎完全消除说话者身份信息，同时尽可能多地保留原始语音内容。我们在LibriSpeech和VCTK语料库上的实验结果揭示了两个关键发现：1）尽管自动语音识别会产生不完美的transmittance，但我们的神经语音合成系统可以处理这样的错误，使我们的系统可行且鲁棒; 2）将来自不同资源的说话人嵌入结合起来是有益的，并且它们的适当归一化是至关重要的。总的来说，我们最终的最佳系统在针对懒惰的攻击者的隐私鲁棒性方面明显优于2020年语音隐私挑战赛中提供的基线，同时保持匿名语音的高清晰度和自然度。
2022-07-11 cs.CR cs.LG cs.SD
Preserving the beamforming effect for spatial cue-based pseudo-binaural dereverberation of a single source
University of Engineering and Technology Peshawar（白沙瓦工程技术大学）；Qatar University（卡塔尔大学）
混响是不可避免的封闭，导致降低清晰度听力受损和非母语的听众，甚至为正常的听力听众在嘈杂的环境。它还降低了机器监听应用程序的性能。在本文中，我们提出了一种新的方法的双耳去混响的一个单一的语音源，利用直接路径信号和混响的双耳线索的差异。两个波束形成器，间隔在一个耳间的距离，用于提取混响语音的混响。由这些混响生成的耳间线索和由直接路径信号生成的耳间线索充当两类数据集，用于训练U-Net（深度卷积神经网络）。在其训练之后，波束形成器被移除，并且当系统暴露于混响语音信号的耳间频谱图时，训练的U-Net连同最大似然估计（MLE）算法一起用于区分直接路径线索与混响线索。该模型在倒谱距离（CEP）、频率加权分段信噪比（FWSEGSNR）和信号与混响调制能量比（SRMR）方面比经典的信号处理去混响模型加权预测误差分别提高了1.4个点、8 dB和0.6 dB。它比基于深度学习的去混响模型获得了更好的性能，在CEP中获得了1.3个点的改进，具有可比的FWSEGSNR，使用的训练数据集几乎比该模型所需的数据集小8倍。所提出的模型还保持其性能下相对类似的看不见的声学条件下，并在其训练位置附近的位置。
2022-08-10 cs.SD eess.AS
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University（南洋理工大学）
语音增强（speech enhancement，SE）的目的是抑制含噪语音信号中的加性噪声，以提高语音的感知质量和可懂度。然而，增强语音中的过抑制现象可能会降低下游的自动语音识别（ASR）任务的性能，由于丢失的潜在信息。为了缓解这个问题，我们提出了一个交互式的特征融合网络（IFF-Net）的噪声鲁棒语音识别学习互补的信息，从增强功能和原始的噪声功能。实验结果表明，该方法实现了绝对词错误率（WER）降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明，建议的IFF-Net可以补充一些丢失的信息，在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS
Effect of noise suppression losses on speech distortion and ASR performance
Microsoft Research（微软研究院）
基于深度学习的语音增强在提高质量方面取得了快速发展，同时模型变得更加紧凑，可用于实时边缘推理。然而，语音质量直接与模型大小成比例，并且小模型通常仍然无法实现足够的质量。此外，引入的语音失真和伪像极大地损害语音质量和可懂度，并且通常显著降低自动语音识别（ASR）速率。在这项工作中，我们揭示了频谱复杂的压缩均方误差（MSE）损失的成功，以及它的幅度和相位感知的条款是如何与语音失真与降噪权衡。我们进一步研究了将预训练的无参考预测因子用于平均意见得分（MOS）和单词错误率（WER），以及预训练的ASR和声音事件检测嵌入。我们的分析表明，没有一个预训练的网络在强频谱损失上增加了显着的性能。
2021-11-23 cs.SD eess.AS
Cellular Network Speech Enhancement: Removing Background and Transmission Noise
Carnegie Mellon University（卡内基梅隆大学）
语音增强的主要目标是在保留目标语音的同时降低背景噪声。当说话者被限制在嘈杂的环境中并且接收具有高背景和传输噪声的呼叫时，常见的困境发生。为了解决这个问题，深度噪声抑制（DNS）挑战赛的重点是使用下一代深度学习模型消除背景噪声，以增强目标的语音;然而，研究人员未能考虑IP语音（VoIP）应用的传输噪声。我们专注于Google Meet及其蜂窝应用程序，在VoIP DNS挑战赛的Google Meet To Phone Track上实现了最先进的性能。本文演示了如何击败工业性能，实现1.92 PESQ和0.88 STOI，以及各种指标的卓越声学保真度，感知质量和可懂度。
2023-01-22 cs.LG cs.SD eess.AS
Unsupervised Data Selection for TTS: Using Arabic Broadcast News as a Case Study
KANARI AI（卡纳里人工智能公司）；Carnegie Mellon University（卡内基梅隆大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Nagoya University（名古屋大学）；Human Dataware Lab. Co., Ltd.（人类数据仓库实验室有限公司）；American University of Beirut（贝鲁特美国大学）
一些高资源的文本到语音（TTS）系统目前产生自然的，完善的类人语音。相比之下，低资源语言，包括阿拉伯语，由于缺乏资源，TTS系统非常有限。我们提出了一个完全无监督的方法来建立TTS，包括自动数据选择和预训练/微调策略的TTS训练，使用广播新闻作为案例研究。我们展示了如何仔细选择数据，但数量较少，可以提高TTS系统的效率，比在更大的数据集上训练的系统生成更自然的语音。我们采用为以下内容提出不同的方法：1）数据：我们应用了使用DNSMOS的自动注释、自动元音化和自动语音识别（ASR）来修复转录错误; 2）模型：我们在TTS模型中使用来自高资源语言的迁移学习，并通过一小时的广播录音对其进行微调，然后我们使用该模型来指导基于FastSpeech 2的Conformer模型持续时间。我们的客观评价显示3.9%的字符出错率（CER），而地面实况有1.3%的CER。至于主观评价，其中1是坏的，5是优秀的，我们的基于FastSpeech 2的Conformer模型实现了4.4的可理解性和4.2的自然度的平均意见得分（MOS），其中许多注释者识别出广播员的声音，这证明了我们提出的无监督方法的有效性。
2023-01-26 cs.CL cs.SD eess.AS
Receiver Placement for Speech Enhancement using Sound Propagation Optimization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Maryland（马里兰大学）
声学设计中的一个常见问题是公共广播系统，电信和家庭智能扬声器或数字个人助理的扬声器或接收器的放置。我们提出了一种新的算法，自动放置扬声器或接收器在一个房间里，以提高设计中的口语短语的清晰度。我们的技术使用的声音传播优化配方，以最大限度地提高语音传输指数（STI）通过计算的声音接收器的最佳位置。我们在复杂的3D模型上使用高效准确的混合声传播技术来计算房间脉冲响应（RIR）并评估其对STI的影响。整个算法计算接收器的全局最优位置，其减少混响和噪声对许多源位置的影响。我们在各种室内3D模型上评估了我们的算法，所有这些模型都显示出STI的显着改善，基于准确的声音传播。
2018-11-24 cs.SD eess.AS
