Improving Hypernasality Estimation with Automatic Speech Recognition in Cleft Palate Speech
鼻音过重是人类语音产生中的一种异常共鸣，尤其是在颅面畸形（如腭裂）患者中。在临床应用中，高鼻音估计在腭裂诊断中至关重要，因为其结果决定了后续手术和额外的语音治疗。因此，设计一个自动化的鼻音评估方法将有助于语音语言病理学家做出准确的诊断。现有的鼻音估计方法仅通过使用基于统计或神经网络的特征，基于低资源腭裂数据集进行声学分析。在本文中，我们提出了一种新的方法，使用自动语音识别模型，以改善hypnasality估计。具体来说，我们首先通过使用语音到文本数据集在自动语音识别（ASR）目标中预训练编码器-解码器框架，然后在腭裂数据集上微调ASR编码器以进行鼻音估计。得益于这样的设计，我们的模型可以享受ASR模型的优点：1）与低资源腭裂数据集相比，ASR任务通常包括大规模的语音数据，这使得模型具有更好的泛化能力; 2）ASR数据集中的文本注释引导模型提取更好的声学特征。在两个腭裂数据集上的实验结果表明，与以前的方法相比，我们的方法具有更好的性能。
2022-08-10 eess.AS
Analysis and Synthesis of Hypo and Hyperarticulated Speech
University of Mons (UMons)（蒙斯大学）
本文在基于隐马尔可夫模型的语音合成框架下研究了低清晰度和高清晰度语音的分析与合成。首先，创建了一个符合我们需求的新法语数据库，其中包含三个相同的集合，具有三种不同程度的发音：中性，hypo和hyperarticulated语音。在此基础上，进行了声学和语音分析。结果表明，发音的程度显着影响，一方面，声道和声门特性，另一方面，语速，电话持续时间，电话的变化和声门塞音的存在。最后，使用基于HMM的语音合成合成中性、低清晰度和高清晰度语音，并进行客观和主观测试，旨在评估所生成的语音质量。这些测试表明，合成hypocarticulated语音似乎是不自然的中性和hyperarticulated语音呈现。
2020-06-07 cs.CL eess.AS
HyperTTS: Parameter Efficient Adaptation in Text to Speech using Hypernetworks
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出HyperTTS，利用超网络根据说话人表示动态生成Adapter参数，以参数高效方式提升TTS的域外说话人适配性能，并在两种设置下达到最先进水平。
2024-04-06 cs.CL cs.LG cs.SD
Curved Worlds, Clear Boundaries: Generalizing Speech Deepfake Detection using Hyperbolic and Spherical Geometry Spaces
针对跨多种语音合成范式的语音深度伪造检测泛化难题，提出融合双曲与球面几何空间表征的RHYME框架，实现跨范式检测性能突破。
2025-11-13 eess.AS
Differential Evolution Algorithm based Hyper-Parameters Selection of Convolutional Neural Network for Speech Command Recognition
National Institute of Technology, Durgapur（杜尔加布尔国家技术学院）；Indian Institute of Engineering Science and Technology, Shibpur（希布尔印度工程科学技术学院）；University of Waterloo（滑铁卢大学）
本文提出基于差分进化算法的卷积神经网络超参数选择方法，用于提升语音命令识别性能，在GSC数据集上的实验及对比分析证明了其有效性与效率。
2023-10-13 cs.NE cs.SD eess.AS
Exploring Tradeoffs in Models for Low-latency Speech Enhancement
Google Research（谷歌研究院）；Google Chrome Audio（谷歌Chrome音频团队）
我们探讨了各种神经网络配置的单通道和双通道频谱掩模为基础的语音增强。我们的最佳模型在CHiME2语音增强任务上的先前最先进的性能上提高了0.4分贝的信号失真比（SDR）。我们研究权衡，如非因果前瞻，计算和参数计数与增强性能，发现零前瞻模型可以实现，平均而言，在0.03 dB SDR的最佳双向模型。此外，我们发现，200毫秒的前瞻性足以实现与我们最好的双向模型相当的性能。
2018-11-16 cs.SD eess.AS
Selective Classifier-free Guidance for Zero-shot Text-to-speech
University of Calgary, Department of Computer Science, Canada（卡尔加里大学计算机科学系）
本文研究了分类器无关引导在零样本文本到语音中的应用，发现传统方法在语音合成中效果不佳，通过分步应用选择性引导策略可提升说话人相似性并保持文本一致性。
2026-03-24 cs.AI cs.SD eess.AS
Acoustic Model Optimization Based On Evolutionary Stochastic Gradient Descent with Anchors for Automatic Speech Recognition
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
进化随机梯度下降（ESGD）是一种基于种群的优化方法，它结合了梯度感知和无梯度优化算法的优点，具有较好的全局优化性能。在本文中，我们研究了一个变种的ESGD优化的声学模型自动语音识别（ASR）。在这个变体中，我们假设存在一个经过良好训练的声学模型，并将其用作亲本种群中的锚，其良好的“基因”将在进化中传播给后代。我们提出了一个ESGD算法，利用锚模型，使它保证人口的最佳适应度永远不会从锚模型退化。在50小时广播新闻（BN 50）和300小时交换台（SWB 300）上的实验表明，与现有的训练良好的声学模型相比，带锚的ESGD可以进一步改善损失和ASR性能。
2019-07-10 cs.CL cs.LG eess.AS
FBWave: Efficient and Scalable Neural Vocoders for Streaming Text-To-Speech on the Edge
Facebook Reality Labs（Facebook现实实验室）；Facebook AI（Facebook人工智能实验室）；UC Berkeley（加州大学伯克利分校）
目前，越来越多的应用可以受益于基于边缘的文本到语音（TTS）。然而，大多数现有的TTS模型在计算上过于昂贵，并且不够灵活，无法部署在具有同样不同计算能力的各种边缘设备上。为了解决这个问题，我们提出了FBWave，这是一系列高效且可扩展的神经声码器，可以为不同的边缘设备实现最佳的性能效率权衡。FBWave是一种基于流的混合生成模型，结合了自回归和非自回归模型的优点。它可以产生高质量的音频，并在推理过程中支持流式传输，同时保持高度的计算效率。我们的实验表明，FBWave可以实现与WaveRNN相似的音频质量，同时将MAC减少40倍。更高效的FBWave变体可以实现高达109倍的MAC，同时仍然提供可接受的音频质量。音频演示可在https://bichenwu09.github.io/vocoder_demos上获得。
2020-11-25 cs.LG cs.SD eess.AS
Accelerating Codec-based Speech Synthesis with Multi-Token Prediction and Speculative Decoding
Korea Advanced Institute of Science and Technology（韩国科学技术院）；dot Inc（42dot公司）
本文提出多预测头多令牌预测与基于维特比算法的投机解码方法，在不额外训练的情况下将编解码器语音合成速度提升4至5倍，同时保持甚至改善语音可懂度。
2024-10-17 cs.AI cs.SD eess.AS
DuRep: Dual-Mode Speech Representation Learning via ASR-Aware Distillation
DuRep提出双模式语音表征学习，使单一编码器兼顾流式与非流式任务，DuRep-200M在多语言ASR上提升12%和11.6%，DuRep-2B在ASR与非ASR任务上创下新基准。
2025-05-26 eess.AS
A Speech Representation Anonymization Framework via Selective Noise Perturbation
University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
当将语音信号传送到诸如自动语音识别（ASR）和语音情感识别（SER）之类的云服务时，隐私和安全是主要关注点。语音匿名化的现有解决方案主要集中在语音转换或语音修改，以将原始话语转换为具有相似内容但不同或没有身份相关信息的另一个话语。然而，在隐私保护表示形式下共享语音数据的替代方法在很大程度上还未被探索。在本文中，我们提出了一个语音匿名化框架，通过噪声扰动的高效用表示使用预先训练的语音编码器提取的一个选定的子集，实现隐私。该子集使用基于transformer的隐私风险显着性估计器来选择。我们验证我们的框架上的四个任务，即自动说话人验证（ASV），ASR，SER和意图分类（IC）的隐私和效用评估。实验结果表明，与VoicePrivacy 2022挑战赛的语音匿名化基线相比，我们的方法能够实现具有竞争力甚至更好的实用性，提供相同水平的隐私。此外，易于控制的扰动量允许我们的框架具有灵活的隐私-效用权衡范围，而无需重新训练任何组件。
2022-10-28 cs.CR cs.SD eess.AS
Survey of End-to-End Multi-Speaker Automatic Speech Recognition for Monaural Audio
Worcester Polytechnic Institute（沃斯特理工大学）
本文系统综述了端到端多说话人自动语音识别的神经架构范式（SIMO与SISO）、近期改进方法及长语音扩展策略，并通过标准基准评估比较了各类方法。
2026-05-27 cs.AI cs.CL cs.SD
Mask scalar prediction for improving robust automatic speech recognition
Google LLC（谷歌有限责任公司）
使用基于神经网络的声学前端来提高流式自动语音识别（ASR）系统的鲁棒性是具有挑战性的，因为前端处理在语音中引入的因果关系约束和所产生的失真。基于时频掩蔽的方法已被证明工作良好，但它们需要额外的超参数来缩放掩蔽以限制语音失真。这种掩码标量通常是手动调整和保守选择的。在这项工作中，我们提出了一种技术来预测掩码标量使用ASR为基础的损失在一个端到端的方式，在整体模型的大小和复杂性的增加最小。我们评估两个强大的ASR任务的方法：多通道增强语音和非语音噪声的存在下，和声学回声消除（AEC）。结果表明，所提出的算法一致地提高了字错误率（WER），而不需要在使用手动调整的超参数的强基线上进行任何额外的调整：在噪声条件下多通道增强高达16%，AEC高达7%。
2022-04-26 cs.SD eess.AS
SpeechAccentLLM: A Unified Framework for Foreign Accent Conversion and Text to Speech
Southeast University（东南大学）；LIGHTSPEED；Tencent Hunyuan（腾讯文元）；Independent Researcher（独立研究者）
本文提出SpeechAccentLLM统一框架，通过SpeechCodeVAE实现CTC集成的语音令牌化，并采用多任务学习与SpeechRestorer后处理，解决外来口音转换中的数据稀缺和生成误差问题。
2025-07-08 cs.SD eess.AS
Keyword Spotting with Hyper-Matched Filters for Small Footprint Devices
Technion – Israel Institute of Technology, Faculty of Electrical and Computer Engineering（技术学院 – 以色列理工学院，电气与计算机工程学院）；Northwestern University, Department of Linguistics（西北大学，语言学系）
本文提出一种面向小型设备的开放词汇关键词识别模型，采用超网络生成匹配滤波器权重，以微型编码器实现最先进检测性能，最小模型仅420万参数即超越数倍大小模型。
2025-08-06 cs.LG cs.SD eess.AS
Two-pass Endpoint Detection for Speech Recognition
Amazon Alexa AI（亚马逊Alexa AI）
针对远场语音识别中端点评测需权衡准确率与延迟的问题，提出由 EP Arbitrator 验证首遍端点的两遍方案，在多类数据集上减少提前截断且不依赖特定首遍模型。
2024-01-17 cs.SD eess.AS
EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）；Tianjin University（天津大学）
EmoShift通过轻量级激活引导框架提升情感感知语音合成的情感表达与自然性。
2026-01-30 cs.AI cs.CL cs.SD
A Review of Differentiable Digital Signal Processing for Music & Speech Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（帝国理工学院）
本文综述可微数字信号处理在音乐与语音合成中的应用，分类介绍其任务、动机、可微操作，并指出优化、鲁棒性及设计权衡等挑战与未来方向。
2023-08-29 cs.SD eess.AS
Technical report: Impact of Duration Prediction on Speaker-specific TTS for Indian Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）；BharatGen（巴哈特基因）
该研究训练基于非自回归 CNF 的印度语言语音模型，比较多种时长预测策略，揭示其在零样本说话人特定生成中的语言与任务相关权衡。
2025-07-22 cs.LG eess.AS
EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
Brno University of Technology（布尔诺理工大学）
自监督ASR-TTS模型在域外数据条件下受到影响。在这里，我们提出了一个增强的ASR-TTS（EAT）模型，它包括两个主要特征：1）ASR $\rightarrow$ TTS方向配备了一个语言模型奖励，以惩罚ASR假设，然后将其转发到TTS。2)在TTS $\rightarrow$ ASR方向上，引入超参数以在将合成语音发送到ASR以处理域外数据之前缩放来自合成语音的注意力上下文。训练策略和EAT模型的有效性进行了探讨域外数据条件下。结果表明，EAT在Librispeech和BABEL上分别将监督训练和自监督训练的性能差距缩小了2.6%和2.7%。
2021-04-13 cs.AI cs.LG cs.SD
Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
本文研究了不同的权衡模型参数的数量和增强的语音质量之间采用几个深度张量到矢量回归模型的语音增强。我们发现，一个混合架构，即CNN-TT，是能够保持一个良好的质量性能与减少模型参数的大小。CNN-TT由底部的几个卷积层组成，用于特征提取以提高语音质量，顶部的张量训练（TT）输出层用于减少模型参数。我们首先推导出一个新的上界的卷积神经网络（CNN）的基于向量到向量回归模型的泛化能力。然后，我们在爱丁堡噪声语音语料库上提供实验证据，证明在单通道语音增强中，CNN以较小的模型大小增量为代价优于DNN。此外，CNN-TT仅利用了CNN模型参数的32%，略优于CNN。此外，如果将CNN-TT参数的数目增加到CNN模型大小的44%，则可以进一步提高性能。最后，我们的多通道语音增强的模拟噪声WSJ 0语料库上的实验表明，我们提出的混合CNN-TT架构取得了更好的效果比DNN和CNN模型在更好的增强语音质量和更小的参数大小。
2020-08-03 cs.CL cs.LG cs.NE
Gated Recurrent Context: Softmax-free Attention for Online Encoder-Decoder Speech Recognition
Seoul National University（首尔国立大学）；Institute of New Media and Communications（新媒体与通信研究所）
最近，基于注意力的编码器-解码器（AED）模型在自动语音识别（ASR）中显示出最先进的性能。由于具有全局注意力的原始AED模型不能够进行在线推理，因此已经开发了各种在线注意力方案来减少ASR延迟以获得更好的用户体验。然而，传统的基于softmax的在线注意力方法的一个共同限制是，它们引入了与注意力窗口长度相关的额外超参数，需要多次模型训练试验来调整超参数。为了解决这个问题，我们提出了一种新的softmax-free注意力方法及其改进的在线注意力公式，该方法在训练阶段不需要任何额外的超参数。通过大量的ASR实验，我们证明了所提出的在线注意力技术的延迟和性能之间的权衡可以通过仅仅在测试阶段调整阈值来控制。此外，所提出的方法表现出竞争力的性能，传统的全球和在线的注意力方面的字错误率（WERs）。
2021-01-14 cs.SD eess.AS
Bangla-Wave: Improving Bangla Automatic Speech Recognition Utilizing N-gram Language Models
North South University（北南大学）；Apurba Technologies（阿普尔巴技术公司）
虽然全世界有超过3亿人说孟加拉语，但由于孟加拉语是一种低资源语言，因此在改善孟加拉语语音到文本转录方面的工作很少。然而，随着孟加拉语通用语音9.0语音数据集的引入，自动语音识别（ASR）模型现在可以得到显着改进。孟加拉语共同之声拥有399小时的语音记录，是世界上最大和最多样化的孟加拉语开源语音语料库。在本文中，我们通过在普通语音数据集上微调预训练的wav 2 vec 2模型，超越了SOTA预训练的孟加拉语ASR模型。我们还演示了如何通过添加一个n-gram语言模型作为后处理器来显着提高ASR模型的性能。最后，我们做了一些实验和超参数调整，以产生一个强大的孟加拉ASR模型，比现有的ASR模型。
2022-09-13 cs.AI cs.CL eess.AS
Effective Use of Variational Embedding Capacity in Expressive End-to-End Speech Synthesis
Google Research（谷歌研究院）
最近的工作已经探索了序列到序列的表达性语音合成（支持韵律和风格的控制和转移）的潜在变量模型，但还没有提出一个连贯的框架来理解竞争方法之间的权衡。在本文中，我们提出了嵌入容量（嵌入包含的信息量的数据）作为一个统一的方法来分析语音的潜变量模型的行为，比较现有的启发式（非变分）的方法，变分方法，能够明确限制容量上界的代表性互信息。在我们提出的模型（Capacitron）中，我们表明，通过将条件依赖性添加到变分后验中，使其与真实后验的形式相匹配，相同的模型可用于高精度韵律传输，文本不可知风格传输和生成自然的先验样本。对于多说话人模型，Capacitron能够在说话人之间的韵律传输过程中以及从潜在先验中提取样本时保持目标说话人身份。最后，我们介绍了一种方法，用于在两组潜伏期中分层分解嵌入容量，允许指定一部分潜伏变异性，其余变异性从学习到的先验中采样。音频示例可在网络上获取。
2019-10-25 cs.CL cs.LG cs.SD
Fast Yet Effective Speech Emotion Recognition with Self-distillation
L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Griffith University（格里菲斯大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
语音情感识别是从语音中识别人的情感状态的任务。SER在帮助对话系统真正理解我们的情感并成为值得信赖的人类对话伙伴方面非常普遍。由于语音的冗长性质，SER还缺乏用于深度神经网络等强大模型的丰富标记数据。大规模语音数据集上的预训练复杂模型已经通过迁移学习成功地应用于SER。然而，微调复杂的模型仍然需要大量的内存空间，导致推理效率低。在本文中，我们认为通过自蒸馏可以实现快速而有效的SER，自蒸馏是一种同时微调预训练模型和训练更浅版本的方法。我们的自蒸馏框架的好处有三个方面：（1）在声学模态上采用自蒸馏方法突破了语音数据的有限真实性，并在SER数据集上优于现有模型的性能;（2）在不同深度执行强大的模型可以在资源有限的边缘设备上实现自适应的准确性-效率权衡;（3）新的微调过程而不是从头开始进行自蒸馏训练，导致更快的学习时间和具有少量标签信息的数据的最新准确性。
2022-10-26 cs.SD eess.AS
Speech & Song Emotion Recognition Using Multilayer Perceptron and Standard Vector Machine
City University of London（伦敦大学城市学院）
在这里，我们比较了SVM和MLP在RAVDESS数据集的语音和歌曲通道的情感识别中的性能。我们已经开始了提取各种音频特征的旅程，为我们的模型确定最佳缩放策略和超参数。为了增加样本量，我们进行了音频数据增强，并使用SMOTE解决了数据不平衡问题。我们的数据表明，优化的SVM优于MLP，准确率为82%，而不是75%。经过数据增强后，两种算法的性能相同，约为79%，但SVM的过拟合很明显。我们最后的探索表明，SVM和MLP的性能是相似的，都导致较低的准确度为语音通道相比，歌曲通道。我们的研究结果表明，支持向量机和MLP是强大的分类器，情感识别的声音依赖的方式。
2021-05-19 cs.LG cs.SD eess.AS
Statistical Parametric Speech Synthesis Incorporating Generative Adversarial Networks
The University of Tokyo（东京大学）
提出了一种结合生成对抗网络（GANs）的统计参数语音合成方法。虽然强大的深度神经网络（DNN）技术可以应用于人工合成语音波形，但是与自然语音相比，合成语音质量较低。导致质量下降的问题之一是在生成的语音参数中经常观察到的过平滑效应。本文介绍的GAN由两个神经网络组成：一个用于区分自然样本和生成样本的鉴别器和一个用于欺骗鉴别器的生成器。在所提出的框架中，结合了GANs，训练语音识别器以区分自然和生成的语音参数，而训练声学模型以最小化传统的最小生成损失和用于欺骗语音识别器的对抗性损失的加权和。由于GANs的目标是最小化发散（即，该方法利用自然语音参数与生成语音参数之间的差异（即语音参数的分布差异），有效地消除了过平滑对生成语音参数的影响。我们评估了文本到语音和语音转换的有效性，发现所提出的方法可以产生更自然的频谱参数和$F_0$比传统的最小生成误差训练算法，无论其超参数设置。此外，我们研究了各种GANs的发散的影响，发现最小化地球移动器距离的Wasserstein GAN在提高合成语音质量方面效果最好。
2017-09-23 cs.LG cs.SD eess.AS
Parallel Rescoring with Transformer for Streaming On-Device Speech Recognition
Google Inc.（谷歌公司）
端到端模型的最新进展通过采用两遍模型而优于传统模型。两遍模型为设备上语音识别提供了更好的速度-质量权衡，其中第一遍模型以流方式生成假设，并且第二遍模型利用完整的音频序列上下文对假设重新评分。第二遍模型在端到端模型的质量改进中起着关键作用，以超越传统模型。两遍模型的一个主要挑战是第二遍模型引入的计算延迟。具体来说，两遍模型的原始设计使用LSTM用于第二遍模型，这受到长延迟的影响，因为它们受到递归性质的约束，并且必须顺序运行推理。在这项工作中，我们探索用Transformer层替换第二遍重采样器中的LSTM层，它可以并行处理整个假设序列，因此可以更有效地利用设备上的计算资源。与基于LSTM的基线相比，我们提出的Transformer rescorer实现了超过50%的延迟减少，质量提高。
2020-09-02 cs.CL eess.AS
Automatic Estimation of Intelligibility Measure for Consonants in Speech
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在这篇文章中，我们提供了一个模型来估计一个真正的价值衡量个别语音段的可懂度。我们基于卷积神经网络（CNN）训练回归模型，用于与元音\textipa{/A/}相关的塞音\textipa{/p,t,k,b,d,g/}，以估计相应的信噪比（SNR），在该信噪比下，辅音-元音（CV）声音对于正常听力（NH）耳朵变得可理解。每个声音的可懂度度量称为SNR $_{90}$，定义为人类参与者能够平均至少90%正确识别辅音的SNR水平，如之前对NH受试者的实验所确定的。将CNN的性能与基于自动语音识别（ASR）的基线预测进行比较，具体地，从SNR中减去恒定偏移，在该恒定偏移处，ASR变得能够正确地标记辅音。与基线相比，我们的模型能够准确估计SNR $_{90}$ ~可懂度测量，平均均方误差（MSE）小于2 [dB $^2$ ]，而基线ASR定义的测量计算SNR $_{90}$ ~，方差为5.2至26.6 [dB $^2$ ]，具体取决于辅音。
2020-06-28 cs.CL cs.SD eess.AS
Towards Automatic Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对障碍语音识别数据稀缺的问题，提出基于强化学习的自动数据增强方法，用RNN策略控制器自动学习SpecAugment的掩码参数，在UASpeech语料上取得优于或媲美手工策略的效果。
2023-12-14 cs.SD eess.AS
DiSTAR: Diffusion over a Scalable Token Autoregressive Representation for Speech Generation
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University（X-LANCE实验室，计算机科学学院，上海交通大学）；ByteDance Inc.（字节跳动公司）
DiSTAR提出一种零样本文本到语音框架，在离散RVQ码空间中耦合AR语言模型与掩码扩散模型，实现块级并行长语音合成，并在鲁棒性、自然度及说话人/风格一致性上超越现有最先进系统。
2025-10-15 cs.CL cs.LG eess.AS
Evaluating Self-Supervised Speech Models via Text-Based LLMS
LY Corporation（LY公司）；Carnegie Mellon University（卡内基梅隆大学）
该研究提出用文本大语言模型评估自监督语音模型的新指标，通过输入离散令牌与领域提示得到平均对数似然评分，无需额外训练调优，且评分与语音识别任务相关，LLM还能提供说话人验证可用的推理嵌入。
2025-10-06 cs.SD eess.AS
Kernel Machines Beat Deep Neural Networks on Mask-based Single-channel Speech Enhancement
The Ohio State University（俄亥俄州立大学）
本文提出了一种快速核方法用于基于掩码的单通道语音增强。具体来说，我们的方法解决了一个核回归问题与非光滑核函数（指数幂核）与高效的迭代法（EigenPro）。由于该方法简单，其超参数，如核带宽可以自动和有效地选择使用线搜索的训练数据的子样本。我们观察到的回归损失（均方误差）和语音增强的常规指标之间的经验相关性。这一观察结果证明了我们的训练目标是正确的，并激励我们通过训练每个频率子带的独立核模型来实现更低的回归损失。我们将我们的方法与基于掩模的HINT和TIMIT的最先进的深度神经网络进行了比较。实验结果表明，我们的核方法始终优于深度神经网络，同时需要更少的训练时间。
2018-11-06 cs.LG cs.SD eess.AS
Pushing the Boundaries of Streaming Multi-Speaker ASR: A Systematic Study of Architectural Trade-offs
NVIDIA（英伟达）
本研究提出统一框架，将流式多说话人语音识别划分为四种架构策略，基于共享开源模型构建四个系统，评估多说话人准确性、单说话人性能下降、内存和训练复杂度，为不同部署场景提供选型指导。
2026-09-25 cs.SD eess.AS
Robust fine-tuning of speech recognition models via model merging: application to disordered speech
CallyopeFrance（卡利奥佩法国）
本研究通过模型合并方法改进构音障碍语音的ASR，以Whisper为基础，多运行合并相比经典微调降低12%的WER，在长音频上降低16.2%，且无需额外推理成本或调参。
2025-05-26 cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Osaka Prefecture University（大阪府立大学）
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统，用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上，并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上，该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将语音活动检测（VAD）功能与端到端自动语音识别集成到一个在线语音界面，并转录很长的音频记录。我们专注于连接主义时间分类（CTC）及其扩展的CTC/注意架构。与基于注意力的架构相反，输入同步标签预测可以基于具有CTC（预）softmax输出的贪婪搜索来执行。该预测包括连续的长空白标签，可以将其视为非语音区域。我们使用的标签作为一个线索，检测语音段与简单的阈值。阈值与非语音区域的长度直接相关，这比传统的VAD超参数更直观，更容易控制。未分割数据的实验结果表明，该方法优于基线方法使用传统的基于能量和神经网络的VAD方法，并实现了RTF小于0.2。所提出的方法是公开可用的。
2020-02-14 cs.CL cs.SD eess.AS
