Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal
Qatar Computing Research Institute, Doha, Qatar（卡塔尔计算研究所，多哈，卡塔尔）
提出仅使用母语语音资源训练的轻量级发音评估框架，通过离散化语音标记和语言模型计算意外度，结合文本引导对齐特征，在无监督或少量校准下达到接近监督方法的性能。
2026-06-24 cs.CL cs.SD eess.AS
Word Error Rate Estimation Without ASR Output: e-WER2
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Edinburgh（爱丁堡大学）
测量自动语音识别（ASR）系统的性能需要手动转录数据以计算单词错误率（WER），这通常是耗时且昂贵的。在本文中，我们继续我们的努力，估计WER使用声学，词汇和语音特征。我们的新方法来估计WER使用多流端到端架构。我们报告的结果，系统使用内部语音解码器功能（玻璃盒），系统没有语音解码器功能（黑盒），系统没有访问的ASR系统（无框）。无框系统从音素识别结果以及MFCC声学特征中学习联合声学词汇表示以估计WER。考虑到每个句子的WER，我们的无框系统在1,400个句子中实现了与参考评估的0.56 Pearson相关性和0.24均方根误差（RMSE）。e-WER 2估计的三小时测试集的总体WER为30.9%，而使用参考透射率计算的WER为28.5%。
2020-08-08 cs.CL cs.SD eess.AS
Capturing Spectral and Long-term Contextual Information for Speech Emotion Recognition Using Deep Learning Techniques
Islamic University of Technology（伊斯兰科技大学）
本文提出结合GCN与HuBERT的集成模型，分别处理文本和音频信号，以克服传统方法在长时依赖和多模态建模上的不足，从而提升语音情感识别准确率。
2023-08-04 cs.CL cs.SD eess.AS
Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition
Center of Language and Speech Processing, The Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）；Human Language Technology Center of Excellence, The Johns Hopkins University（约翰斯·霍普金斯大学人类语言技术卓越中心）；Multimedia Computing Group, Delft University of Technology（代尔夫特理工大学多媒体计算组）；Department of Electrical and Computer Engineering, University of Illinois（伊利诺伊大学电气与计算机工程系）
数据采集的高成本使得自动语音识别（ASR）模型训练对于大多数现有语言来说都是有问题的，包括甚至没有书面脚本的语言，或者电话库存仍然未知的语言。过去的工作探索了多语言培训，迁移学习以及零样本学习，以便为这些低资源语言构建ASR系统。虽然已经表明，从多种语言中汇集资源是有帮助的，但我们还没有看到ASR模型成功应用于训练过程中看不到的语言。将ASR从可见语言适应为不可见语言的关键一步是创建不可见语言的电话库存。我们工作的最终目标是在没有任何语言知识的情况下，以无监督的方式建立一种在训练过程中看不见的语言的电话库存。在本文中，我们1）调查不同因素的影响（即，模型架构、音素定位模型、语音表示类型）; 2）提供对哪些音素在语言间传递良好以及哪些音素在语言间传递不好的分析，以便理解自动音素清单创建的局限性和进一步改进的领域;以及3）呈现以无监督方式构建未见过语言的音素清单的不同方法。为此，我们对一组13种语音不同的语言和几种深入的分析进行了单，多和跨语言实验。我们发现了一些通用的电话令牌（IPA符号），它们在跨语言方面得到了很好的识别。通过对结果的详细分析，我们得出结论，独特的声音，相似的声音，和音调的语言仍然是一个主要的挑战，语音库存发现。
2022-01-28 cs.CL cs.SD eess.AS
Generic Indic Text-to-speech Synthesisers with Rapid Adaptation in an End-to-end Framework
由于存在大量的活跃语言，为印度语言构建文本转语音（TTS）合成器是一项艰巨的任务。印度语言可以分为一个有限的家庭，其中突出的，印度雅利安语和德拉威语。建议的工作利用这一属性，建立一个通用的TTS系统，使用多种语言从同一个家庭在一个端到端的框架。类属系统是相当健壮的，因为它们能够捕捉各种跨语言的音位结构。这些系统，然后适应一种新的语言在同一个家庭使用少量的适应数据。实验表明，高质量的TTS系统可以建立仅使用7分钟的适应数据。平均退化平均意见得分为3.98，获得了适应TTS。广泛的分析系统的语言之间的互动在通用TTS进行。包括x向量作为说话者嵌入，以合成特定说话者语音中的文本。一个有趣的观察是，目标说话人的声音的韵律被保留。这些结果是非常有希望的，因为它们表明通用TTS无缝地处理扬声器和语言切换的能力，以及适应新语言的容易性。
2020-06-12 eess.AS
Enhancing expressivity transfer in textless speech-to-speech translation
Avignon Universite（阿维尼翁大学）；University of Cambridge（剑桥大学）
本研究提出一种在离散语音单元级别利用多语言情感嵌入的方法，以增强无文本语音到语音翻译中的表现力迁移，实验证明其优于现有系统。
2023-10-11 cs.CL cs.SD eess.AS
INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval
National Taiwan University（台湾大学）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（台湾大学人工智能卓越研究中心）
研究针对现有语音检索系统无法适配多样用户意图的问题，构建首个指令感知语音检索基准INSPIRE，评估四类检索范式，发现当前无方法能稳健处理所有检索意图，凸显统一架构的必要性。
2026-08-18 cs.CL cs.SD eess.AS
Literary and Colloquial Dialect Identification for Tamil using Acoustic Features
Sri Sivasubramaniya Nadar College of Engineering（斯里·西瓦苏布拉马尼亚·纳达尔工程学院）
本文提出一种基于MFCC声学特征和GMM的泰米尔语文学与口语方言识别方法，无需标注语料库即可实现12%的错误率，并验证了元音鼻化对识别性能的关键作用。
2024-08-27 cs.LG eess.AS
Word-level Embeddings for Cross-Task Transfer Learning in Speech Processing
Swiss Federal Institute of Technology Lausanne（洛桑联邦理工学院）；Imperial College London（伦敦帝国学院）；Logitech Europe S.A.（罗技欧洲公司）
深度学习的最新突破通常依赖于表示学习和知识转移。近年来，用于学习语音表示的无监督和自监督技术被开发以促进自动语音识别。到目前为止，这些方法中的大多数是特定于任务的，并且被设计用于不同数据集或特定任务的设置之间的任务内迁移学习。反过来，学习任务独立的语音表示和迁移学习的跨任务应用仍然不太常见。在这里，我们介绍了一个编码器捕捉词级表示的语音跨任务迁移学习。我们展示了预训练编码器在四个不同的语音和音频处理任务中的应用：（i）语音增强，（ii）语言识别，（iii）语音，噪声和音乐分类，以及（iv）说话人辨识。在每个任务中，我们将跨任务迁移学习方法的性能与特定任务的基线进行比较。我们的研究结果表明，编码器通过预训练捕获的语音表示在不同的语音处理任务和数据集之间是可转移的。值得注意的是，即使是我们预先训练的编码器的简单应用程序也优于特定于任务的方法，或者是相当的，这取决于任务。
2021-12-14 cs.CL cs.SD eess.AS
Successes and critical failures of neural networks in capturing human-like speech recognition
University of Bristol（布里斯托大学）；New York University（纽约大学）；Max Planck NYU Center for Language, Music, and Emotion（马克斯·普朗克-纽约大学语言、音乐与情感中心）
本文用统一合成框架评估先进神经网络的类人语音识别鲁棒性，揭示其可复现部分人类知觉现象，但在人类可恢复的关键条件下失败。
2023-04-19 cs.AI cs.SD eess.AS
Enhancing End-to-End Conversational Speech Translation Through Target Language Context Utilization
Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）；George Mason University（乔治梅森大学）
针对端到端语音翻译上下文利用不足的问题，本文引入目标语言上下文、上下文丢弃和说话人信息，提升了会话翻译的连贯性与鲁棒性。
2023-09-27 cs.CL cs.SD eess.AS
Empathy Omni: Enabling Empathetic Speech Response Generation through Large Language Models
Zhejiang University LIGHTSPEED Independent Researcher
本文提出Emotion Omni模型，通过构建20万条情感对话数据集，在数据有限且无需大规模预训练的条件下，使语音LLMs能够理解用户情感并生成共情语音响应，在语音质量和共情能力上超越现有模型。
2025-09-17 cs.CL cs.SD eess.AS
Rethinking Speaker Embeddings for Speech Generation: Sub-Center Modeling for Capturing Intra-Speaker Diversity
Center for Language and Speech Processing (CLSP), Johns Hopkins University, USA（语言与语音处理中心（CLSP），约翰霍普金斯大学，美国）；Center for Robust Speech Systems (CRSS), The University of Texas at Dallas, USA（稳健语音系统中心（CRSS），德克萨斯大学达拉斯分校，美国）；Language Technologies Institute (LTI), Carnegie Mellon University, USA（语言技术研究所（LTI），卡内基梅隆大学，美国）
该研究针对语音生成中说话人嵌入的设计缺陷，提出子中心建模框架，在零样本语音转换任务中提升了可懂度、音高变异性与自然度，同时保留了说话人验证性能。
2026-08-31 cs.LG eess.AS
Efficient Keyword Spotting by capturing long-range interactions with Temporal Lambda Networks
基于注意机制的模型已经显示出前所未有的语音识别性能。然而，它们在计算上是昂贵的，并且对于关键字识别来说是不必要的复杂，这是一项针对小尺寸设备的任务。这项工作探讨了Lambda网络的应用，Lambda网络是一种用于捕获长距离交互而无需注意的替代框架，用于关键字定位任务。我们提出了一种新的\textit{ResNet}为基础的模型，通过交换的残留块的时间λ层。此外，所提出的架构是建立在一维时间卷积，进一步降低其复杂性。该模型不仅在Google Speech Commands数据集上达到了最先进的精度，而且比基于变换器（KWT）和卷积（Res15）的模型轻了85%和65%，同时速度快了100倍。据我们所知，这是第一次尝试在语音领域内探索Lambda框架，因此，我们将进一步研究基于这种架构的新接口。
2021-07-01 eess.AS
An End-to-End Speech Summarization Using Large Language Model
Huawei Translation Service Center（华为翻译服务中心）
本文提出以 Q-Former 连接语音与 LLM 的端到端语音摘要模型，通过 ASR、TSum 辅助任务和课程学习实现多阶段训练，并在 How-2 上取得有竞争力的结果。
2024-07-02 cs.CL cs.SD eess.AS
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent（腾讯）
本文提出一种基于语言模型的自发语音合成系统，通过系统性分类统一建模自发行为并引入细粒度韵律建模，在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；University of Paris（巴黎大学）；University of Toronto（多伦多大学）
我们的母语影响我们感知语音的方式，影响我们辨别非母语声音的能力。我们比较了两个想法的影响，母语的语音感知：感知同化模型，呼吁到本地音素类别的声音的心理分类，与丰富的，细粒度的语音表示调谐到统计的母语的想法，是足够的。我们操作这个想法使用两个国家的最先进的语音模型，狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的，开放的数据集，讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现，音素同化是一个更好的预测比细粒度的语音建模，无论是作为一个整体的歧视行为，并预测与母语背景的差异相关的可辨别性的差异。我们还表明，wav2vec 2.0，而不是善于捕捉母语对语音感知的影响，是补充信息的母语音素同化，并提供了一个很好的模型，低层次的语音表示，支持的想法，即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
DeToxy: A Large-Scale Multimodal Dataset for Toxicity Classification in Spoken Utterances
IIT Madras（印度理工学院马德拉斯分校）；IIIT-Delhi（德里印度理工学院）；TEG Analytics（TEG分析公司）；Cisco Systems（思科系统公司）
有毒言论，也被称为仇恨言论，被认为是当今在线社交媒体的关键问题之一。最新的有毒语音检测的工作被限制到文本和书面对话的形式与非常有限的工作从口语或使用语音的形式的毒性检测。在本文中，我们介绍了一个新的数据集DeToxy，第一个公开可用的毒性注释数据集的英语。DeToxy来源于各种公开的语音数据库，由超过200万个话语组成。我们相信，我们的数据集将作为相对较新和未探索的口语处理任务的基准，即从口语中检测毒性，并促进这一领域的进一步研究。最后，我们还为我们的数据集提供了强大的单峰基线，并比较了传统的两步和E2E方法。我们的实验表明，在口语的情况下，基于文本的方法在很大程度上依赖于黄金人类注释的成绩单，他们的性能，也遭受关键字偏见的问题。然而，DeToxy中语音文件的存在有助于促进E2E语音模型的开发，该模型通过更好地捕获语音线索来缓解上述问题。
2022-04-04 cs.CL cs.SD eess.AS
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Apple（苹果公司）
本研究针对语音转文本翻译系统的韵律利用问题，提出评估方法与ContraProST基准，实验发现端到端系统韵律感知能力优于级联系统，且现有系统韵律信号常不足以影响翻译。
2024-10-31 cs.CL cs.SD eess.AS
Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study on Speech Emotion Recognition
University of Edinburgh（爱丁堡大学）
本研究通过逐层分析自监督声学词嵌入（AWEs）与词嵌入的相似性，并在IEMOCAP和ESD语料库上对比实验，证明恰当使用AWEs能有效提升语音情感识别（SER）的准确性。
2024-02-04 cs.CL cs.SD eess.AS
Effective Cross-Utterance Language Modeling for Conversational Speech Recognition
National Taiwan Normal University（国立台湾师范大学）；Chunghwa Telecom Laboratories（中华电信研究所）
会话言语通常在话语层面上体现为松散的句法结构，但同时在连续的话语之间表现出主题连贯关系。先前的工作已经表明，用循环神经网络或长短期记忆语言模型（LM）捕获较长的上下文信息可能在排除长范围上下文的同时遭受最近偏差。为了捕捉词与词之间以及话语之间的长期语义交互，提出了会话语音自动语音识别（ASR）中不同会话历史融合的语言建模方法。此外，一种新的音频融合机制，管理融合和利用当前话语的声学嵌入和其相应的会话历史的语义内容，在合作的方式。为了充实我们的想法，我们将ASR N-best假设重新评分任务框架为预测问题，利用BERT（一种标志性的预训练LM）作为成分工具，以便于从给定的N-best假设列表中选择Oracle假设。在AMI基准数据集上进行的实证实验似乎证明了我们的方法相对于当前一些顶级方法的可行性和有效性。所提出的方法不仅实现了显着的推理时间减少，但也提高了会话语音的ASR性能。
2022-06-01 cs.CL cs.SD eess.AS
VAANI: Capturing the language landscape for an inclusive digital India
Indian Institute of Science, Bangalore（印度科学学院）；Department of Electrical Engineering, Indian Institute of Science, Bangalore（印度科学学院电气工程系）；Google DeepMind, Bangalore（谷歌DeepMind）
本文提出大规模多模态数据集VAANI，覆盖印度165个地区、105种语言，通过图像提示收集自发语音并严格质控，旨在推动包容性语音技术发展。
2026-05-26 eess.AS
Interpreting Content and Speaker Characteristics in Factorised Self-Supervised Subspaces
Stellenbosch University（斯泰伦博斯大学）
通过SVD分解WavLM特征为内容矩阵和说话人变换，发现内容空间主要编码强度、共振峰和发声，而说话人空间与音高和性别强相关，并可用于语音合成中的精细控制。
2026-10-20 eess.AS
Speech Emotion Recognition Via CNN-Transformer and Multidimensional Attention Mechanism
提出基于CNN-Transformer与多维注意力机制的语音情感识别网络，通过CNN块、时间-通道-空间注意力及轻量级Transformer模块分别建模局部与全局信息，在IEMOCAP和Emo-DB数据集上显著优于现有方法。
2024-06-04 eess.AS
Integrating Plug-and-Play Data Priors with Weighted Prediction Error for Speech Dereverberation
Northwestern Polytechnical University（西北工业大学）
本文提出在加权预测误差去混响框架中引入即插即用去噪正则化策略，利用数据驱动的语音先验提升复杂噪声环境下的去混响性能与鲁棒性。
2023-12-05 cs.SD eess.AS
TridentSE: Guiding Speech Enhancement with 32 Global Tokens
Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了TridentSE，一种新的架构语音增强，这是能够有效地捕捉全局信息和局部细节。TridentSE维护T-F bin级别的表示来捕获细节，并使用少量的全局令牌来处理全局信息。信息通过交叉注意模块在局部和全局表示之间传播。为了捕获帧间和帧内信息，将全局令牌分为两组，分别沿时间轴和频率轴进行处理。一个度量指标，以指导我们的模型，以实现更高的感知质量。即使计算成本显著降低，TridentSE的性能也优于以前的各种语音增强方法，在VoiceBank+DEMAND数据集上实现了3.47的PESQ，在DNS无混响测试集上实现了3.44的PESQ。可视化显示，全局令牌学习不同的和可解释的全局模式。
2022-10-24 cs.SD eess.AS
GLD-Net: Improving Monaural Speech Enhancement by Learning Global and Local Dependency Features with GLD Block
Trinity College Dublin（都柏林圣三一学院）；vivo AI Lab（vivo人工智能实验室）；HBUCM（河北中医药大学）
对于单声道语音增强，上下文信息对于准确的语音估计是重要的。然而，常用的卷积神经网络（CNN）在捕获时间上下文方面很弱，因为它们一次只构建处理一个局部邻域的块。为了解决这个问题，我们从人类的听觉感知中学习，引入了一个两阶段的可训练推理机制，称为全局-局部依赖（GLD）块。GLD块从噪声频谱图中捕获全局水平和局部水平的时频点的长期依赖性，以帮助检测语音部分、噪声部分和整个噪声输入之间的相关性。此外，我们还提出了一种单声道语音增强网络GLD-Net，该网络采用编解码器结构，由语音对象分支、干扰分支和全局噪声分支组成。提取的语音特征在全局和局部水平的有效推理和聚合在每个分支。我们将建议的GLD-Net与WSJ 0和DEMAND数据集上现有的最先进方法进行了比较。结果表明，GLD-Net在PESQ和STOI方面优于最先进的方法。
2022-06-30 cs.SD eess.AS
Prosodic Prominence and Boundaries in Sequence-to-Sequence Speech Synthesis
University of Helsinki（赫尔辛基大学）
深度学习方法的最新进展已经将合成语音质量提升到人类水平，并且该领域现在正朝着解决合成语音中的韵律变化的方向发展。尽管在这方面取得了成功，但最先进的系统无法忠实地再现引起例如，单词层次的强调和短语结构。这种类型的韵律变化通常反映了长距离的语义关系，这对于以单个句子作为其合成域的端到端系统来说是不可访问的。一种可能的解决方案可能是通过显式韵律标签来调节合成语音，可能使用较长的文本部分生成。在这项工作中，我们评估是否增加文本输入与这样的韵律标签捕捉词级的突出和短语的边界强度可以导致更准确地实现句子韵律。我们使用一个自动的基于小波的技术来提取这样的标签从语音材料，并使用它们作为一个输入到tacotron一样的合成系统旁边的文本信息。合成语音的客观评价的结果表明，使用韵律标签显着提高了输出的忠实度的f0和能量轮廓，与国家的最先进的实现相比。
2020-06-29 cs.SD eess.AS
Learning Hierarchical Discrete Linguistic Units from Visually-Grounded Speech
Computer Science and Artificial Intelligence Lab（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一种方法，通过将矢量量化层的视觉接地语音的神经模型学习离散的语言单位。我们表明，我们的方法是能够捕获字级和子字单元，这取决于它是如何配置的。本文与以前的语音单元学习工作的不同之处在于训练目标的选择。而不是使用基于重建的损失，我们使用一个有区别的，多模态接地的目标，迫使学习单位是有用的语义图像检索。我们评估了ZeroSpeech 2019挑战赛的子字单元，在保持比特率大致相同的情况下，ABX出错率比表现最好的提交减少了27.3%。我们还提出了实验证明这些单位的噪声鲁棒性。最后，我们证明了一个模型与多个量化器可以同时学习电话一样的检测器在较低的层和单词一样的检测器在较高的层。我们表明，这些检测器是高度准确的，发现279个字的F1得分大于0.5。
2020-02-14 cs.CL cs.LG cs.SD
Predicting within and across language phoneme recognition performance of self-supervised learning speech pre-trained models
Delft University of Technology（代尔夫特理工大学）
在这项工作中，我们分析和比较了从不同的冻结自监督学习（SSL）语音预训练模型中提取的语音表示，这些模型捕获发音特征（AF）信息的能力以及随后对语言场景内和跨语言场景的电话识别性能的预测。具体来说，我们比较了CPC，wav2vec 2.0和HuBert。首先，实现帧级AF探测任务。随后，实现了音素识别任务的音素级端到端ASR系统，并将帧级AF探测任务的性能与音素准确性相关联。与传统的语音表示MFCC相比，所有SSL预训练的语音表示都捕获了更多的AF信息，并在语言内和跨语言实现了更好的音素识别性能，其中HuBert表现最好。帧级AF探测任务是音素识别性能的一个很好的预测器，显示了在语音表示中捕获AF信息的重要性。与MFCC相比，在语言内场景中，这些SSL语音预训练模型在AF探测任务上的性能实现了最大34.4%的相对提高，并导致最低的PER为10.2%。在跨语言情景中，26.7%的最大相对增长也导致了23.0%的最低PER。
2022-06-24 cs.SD eess.AS
Selector-Enhancer: Learning Dynamic Selection of Local and Non-local Attention Operation for Speech Enhancement
National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University（武汉大学计算机学院多媒体软件国家工程研究中心）；Hubei Luojia Laboratory（湖北珞珈实验室）；Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University（武汉大学湖北省多媒体与网络通信工程重点实验室）
注意力机制（诸如局部和非局部注意力）在最近的基于深度学习的语音增强（SE）系统中起着基本作用。然而，自然语音包含许多快速变化和相对短暂的声学事件，因此，通过不加区别地使用本地和非本地注意来捕获最具信息量的语音特征是有挑战性的。我们观察到噪声类型和语音特征在语音序列中是不同的，并且局部和非局部操作可以分别从受损语音中提取不同的特征。为了利用这一点，我们提出了选择器增强器，这是一种基于双重注意力的卷积神经网络（CNN），它具有一个特征过滤器，可以从低分辨率语音特征中动态选择区域，并将它们馈送到本地或非本地注意力操作。特别是，所提出的特征过滤器是通过使用强化学习（RL）进行训练的，该强化学习具有与网络性能、模型复杂性和“SE任务的难度”相关的难度调节奖励。结果表明，我们的方法实现了可比或优于现有的方法的性能。特别是，选择器-增强器对于真实世界的去噪是潜在有效的，其中噪声的数量和类型在单个噪声混合物上是不同的。
2023-01-13 cs.SD eess.AS
CIS-BWE: Chaos-Informed Speech Bandwidth Extension
Chittagong University of Engineering and Technology（奇坦加大学工程与技术学院）；George Mason University（乔治·梅森大学）
本文提出NDSI-BWE框架，利用六种基于非线性动力学系统的判别器捕捉语音的复杂时间行为，通过深度卷积实现参数减少，提升语音带宽扩展性能。
2026-05-15 cs.AI cs.SD eess.AS
Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model
National Taiwan University（国立台湾大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出PW-HuBERT框架，利用视觉基础语音模型生成伪词级目标，无需语音-文本配对数据，在四个SLU基准上提升语义理解性能。
2024-02-08 cs.CL cs.LG eess.AS
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
本研究修改RVQ-VAE模型使其在音素级运行，通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息，验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
Syllable Discovery and Cross-Lingual Generalization in a Visually Grounded, Self-Supervised Speech Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI；Tampere University（坦佩雷大学）；Rembrand（Rembrand公司）
本研究发现视觉接地自监督语音模型可涌现音节表征，提出结合最小割算法与两阶段聚类的音节发现方法，在英语音节分割上达SOTA，且能零样本泛化至多语言的音节及词语分割任务。
2023-07-23 cs.AI cs.CL cs.SD
VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
单次语音转换（One-shot Voice Conversion，VC）是一种基于语音表示解纠缠的转换方法，它只需要一个目标说话人的语音作为参考，就可以在任意说话人之间进行转换。现有的工作通常忽略了不同的语音表示之间的相关性在训练过程中，这会导致泄漏的内容信息到扬声器表示，从而降低VC的性能。为了缓解这个问题，我们采用矢量量化（VQ）进行内容编码，并在训练过程中引入互信息（MI）作为相关性度量，通过以无监督的方式减少它们的相互依赖性，实现内容，扬声器和音高表示的适当解纠缠。实验结果反映了该方法在学习有效的解纠缠语音表示保留源语言内容和语调变化，同时捕捉目标说话人特征的优势。在这样做时，所提出的方法实现了更高的语音自然度和扬声器相似性比当前国家的最先进的单次VC系统。我们的代码、预训练模型和演示可在https://github.com/Wendison/VQMIVC上获得。
2021-06-18 cs.CL cs.MM cs.SD
End to End ASR System with Automatic Punctuation Insertion
最近的自动语音识别系统已经朝着可以一起训练的端到端系统发展。最近提出的许多技术实现了这一趋势，包括使用CNN的特征提取，使用RNN的上下文捕获和声学特征建模，使用连接主义时间分类的输入和输出序列的自动对齐，以及用RNN语言模型取代传统的n-gram语言模型。从历史上看，人们对文本或语音到文本上下文的自动标点有很大的兴趣。然而，似乎很少有人有兴趣将自动标点符号纳入新兴的基于神经网络的端到端语音识别系统，部分原因是缺乏英语语音语料库与标点成绩单。在这项研究中，我们提出了一种方法来生成标点成绩单的TEDLIUM数据集使用转录ted.com。我们还提出了一个端到端的ASR系统，输出单词和标点符号同时从语音信号。将Damerau Levenshtein距离和槽出错率结合到DLev-SER中，当假设文本与参考文献不完全对齐时，我们能够测量标点符号出错率。与以前的方法相比，我们的模型将时隙出错率从0.497降低到0.341。
2020-12-03 cs.CL cs.LG cs.SD
STSR: High-Fidelity Speech Super-Resolution via Spectral-Transient Context Modeling
National Engineering Research Center for Multimedia Software, School of Computer Science（多媒体软件国家工程研究中心，计算机科学学院）；School of Artificial Intelligence（人工智能学院）
STSR通过频谱-瞬态上下文建模实现高质量语音超分辨率，结合MDCT域的统一端到端框架，提升谐波一致性和瞬态锐利度，优于现有基线。
2025-12-30 cs.SD eess.AS
Multi-Scale Spectrogram Modelling for Neural Text-to-Speech
Alexa AI
我们提出了一种新的多尺度谱图（MSS）建模方法来合成语音与改进的粗粒度和细粒度韵律。我们提出了一个通用的多尺度谱图预测机制，系统首先预测粗尺度梅尔谱图捕捉语音中的超音段信息，然后使用这些粗尺度梅尔谱图预测细尺度梅尔谱图捕捉细粒度韵律。我们提出了两个特定版本的MSS称为词级MSS和句子级MSS的尺度在我们的系统中的动机的语言单位的细节。词级MSS对词、音素和帧级谱图进行建模，而句子级MSS另外对句子级谱图进行建模。主观评价表明，词级MSS在两种声音上的表现在统计上显著优于基线。
2021-06-29 cs.LG cs.SD eess.AS
Acoustic BPE for Speech Generation with Discrete Tokens
MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室，人工智能研究院）；X-LANCE Lab, Department of Computer Science and Engineering（X-LANCE实验室，计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
本文提出声学BPE，通过字节对编码压缩离散音频令牌序列以缩短长度并利用形态学先验，从而提升语音语言模型的推理速度与句法捕捉能力，并提出重打分方法从多样合成语音中选出最符合人类偏好的结果。
2024-01-15 cs.SD eess.AS
Emo-DPO: Controllable Emotional Speech Synthesis through Direct Preference Optimization
Agency for Science, Technology, and Research（科技研究局）；National University of Singapore（新加坡国立大学）
针对现有情感TTS模型难以捕捉不同情感细微差别的问题，本研究提出Emo-DPO方法，结合直接偏好优化与情感感知LLM-TTS架构，实验证明其性能优于现有基线。
2024-09-16 cs.SD eess.AS eess.SP
Evaluating the Impact of Discriminative and Generative E2E Speech Enhancement Models on Syllable Stress Preservation
Language Technology Research Centre, International Institute of Information Technology, Hyderabad（语言技术研究中心，印度海得拉巴国际信息技术学院）
该研究针对噪声环境下重音检测鲁棒性不足的问题，考察判别式与生成式端到端语音增强模型对音节重音保留的影响，结合机器检测与人类感知实验验证生成式模型结合启发式特征的鲁棒性。
2024-12-11 cs.SD eess.AS
SPIRE-SIES: A Spontaneous Indian English Speech Corpus
本文提出了170.83小时的众包自发性印度英语语音语料库SPIRE-SIES，采用图像刺激诱导自发语音，并通过VAD分割、性别验证和图像语义相关性验证语料质量，其中23小时转录文本可作为自发性语音ASR基准。
2023-12-01 eess.AS
AMNet: An Acoustic Model Network for Enhanced Mandarin Speech Synthesis
Xinjiang University（新疆大学）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center（新疆多模态智能处理与信息安全工程技术研究中心）
本文提出AMNet声学模型网络，基于FastSpeech 2架构，结合短语结构解析器和局部卷积模块，解耦声调与音素，提升普通话语音合成的局部上下文建模能力及声调准确性，实验中MOS更高、MCD更低、F0拟合更好。
2025-04-12 cs.AI cs.SD eess.AS
U-Former: Improving Monaural Speech Enhancement with Multi-head Self and Cross Attention
对于有监督的语音增强，上下文信息对于精确的频谱映射是重要的。然而，常用的深度神经网络（DNN）在捕获时间上下文方面受到限制。为了利用长期的上下文跟踪目标说话人，本文将语音增强看作是序列到序列的映射，提出了一种基于Transformer的单声道语音增强U网结构（U-Former）。其核心思想是通过多头注意机制对长期相关性和依赖性进行建模，这对于准确的噪声语音建模至关重要。为此，U-Former在两个层面上整合了多头注意力机制：1）多头自注意力模块，其沿着时间轴和频率轴两者计算注意力图以生成时间和频率子注意力图，用于利用编码器特征之间的全局交互，而2）插入到跳过连接中的多头交叉关注模块通过滤除不相关的特征而允许解码器中的精细恢复。实验结果表明，U-Former获得一贯更好的性能比最近的模型PESQ，STOI和SSNR分数。
2022-10-12 eess.AS
DFSMN-SAN with Persistent Memory Model for Automatic Speech Recognition
Tencent AI Lab（腾讯AI实验室）
自注意网络（SAN）由于其在捕获长时相关性方面的优越能力而被引入到自动语音识别（ASR）中，并取得了最新的性能。其中一个关键因素是自我注意机制，它可以有效地在整个话语水平上进行。在本文中，我们试图调查是否更多的信息超出了整个话语水平可以利用和有益的。我们建议将具有增强记忆的自我注意层应用于ASR。具体来说，我们首先提出了一种变体模型架构，该架构将深度前馈顺序记忆网络（DFSMN）与自注意层相结合，以形成比纯自注意网络更好的基线模型。然后，我们提出并比较了两种添加到自我注意层的附加记忆结构。在大规模LVCSR任务上的实验表明，在四个独立的测试集上，DFSMN-SAN结构的字符错误率（CER）相对优于vanilla SAN编码器5%。更重要的是，额外的存储器结构提供了CER的进一步5%至11%的相对改进。
2019-10-28 cs.LG cs.SD eess.AS
End-to-End Speech-Driven Facial Animation with Temporal GANs
Imperial College London（帝国理工学院）；Samsung AI Centre（三星人工智能中心）
语音驱动的人脸动画是利用语音信号自动合成说话人物的过程。这个领域的大部分工作创建了从音频特征到视觉特征的映射。这通常需要使用计算机图形技术进行后处理，以产生逼真的，但依赖于主题的结果。我们提出了一个系统，用于生成一个会说话的头的视频，使用一个人的静态图像和包含语音的音频剪辑，不依赖于任何手工制作的中间功能。据我们所知，这是第一种能够直接从原始音频生成与主题无关的逼真视频的方法。我们的方法可以生成具有（a）与音频同步的嘴唇运动和（b）自然面部表情（例如眨眼和眉毛运动）的视频。我们通过使用具有2个鉴别器的时间GAN来实现这一点，该鉴别器能够捕获视频的不同方面。通过消融研究量化了我们系统中每个组件的效果。生成的视频进行评估的基础上，他们的清晰度，重建质量和唇读精度。最后，进行了用户研究，证实了时间GANs比基于静态GAN的方法产生更自然的序列。
2018-07-19 cs.CV cs.SD eess.AS
Transforming the Embeddings: A Lightweight Technique for Speech Emotion Recognition Tasks
本文比较了五种预训练模型嵌入在语音情感识别中的效果，发现x-vector嵌入表现最佳，并提出结合x-vector与MFCC的轻量级方法，在CREMA-D上达到与SOTA相当的准确率。
2023-05-29 eess.AS
