ÌròyìnSpeech: A multi-purpose Yorùbá Speech Corpus
Stanford University（斯坦福大学）；University College London（伦敦大学学院）
本文提出ÌròyìnSpeech，一个多用途约鲁巴语语音语料库，通过众包和内部录制构建约48小时数据，支持TTS和ASR任务，并验证了少量数据下的有效性。
2024-03-27 cs.CL cs.SD eess.AS
CorrectSpeech: A Fully Automated System for Speech Correction and Accent Reduction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究提出一个全自动化的语音校正和口音减少系统。考虑录制的语音音频包含某些错误的应用场景，例如，不恰当的词语，错误的发音，这些都需要纠正该系统名为CorrectSpeech，分三个步骤执行纠正：识别录制的语音并将其转换为带有时间戳的符号序列，将识别的符号序列与目标文本对齐以确定所需编辑操作的位置和类型，并生成纠正后的语音。实验表明，校正后语音的质量和自然度取决于语音识别和对齐模块的性能，以及编辑操作的粒度级别。建议的系统进行评估两个语料库：手动扰动版本的VCTK和L2-ARCTIC。结果表明，我们的系统能够纠正发音错误，减少语音录音口音。音频样本可在线演示https://daxintan-cuhk.github.io/CorrectSpeech/。
2022-10-14 cs.CL cs.SD eess.AS
MT2KD: Towards A General-Purpose Encoder for Speech, Speaker, and Audio Events
University of Cambridge（剑桥大学）；Tsinghua University（清华大学）；Google DeepMind（谷歌DeepMind）
提出 MT2KD 两阶段多教师蒸馏与多任务微调框架，用 66M 参数构建兼顾 ASR、AT 和 SV 的通用语音音频编码器，并以较小性能损失超越从头多任务基线。
2025-02-20 cs.SD eess.AS
A Multi-Purpose Audio-Visual Corpus for Multi-Modal Persian Speech Recognition: the Arman-AV Dataset
Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
近年来，自动唇读研究取得了重大进展。但是这些方法需要大规模的数据集，而这些数据集对于许多低资源语言来说是不存在的。在本文中，我们提出了一个新的多用途的波斯语视听数据集。该数据集包含近220小时的视频，其中有1760个对应的发言者。除了唇读之外，该数据集还适用于自动语音识别、视听语音识别和说话人识别。它也是第一个大规模的波斯语唇读数据集。为每项提到的任务提供了一个基线方法。此外，我们提出了一种技术来检测视位（一个视觉相当于一个音素）在波斯语。通过这种方法获得的视位，提高了7%的唇读任务的准确性相比，以前提出的视位，这可以适用于其他语言以及。
2023-01-21 cs.CL cs.SD eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech（弗吉尼亚理工学院暨州立大学）
SpeechPy是一个开源Python包，包含语音预处理技术，语音功能和重要的后处理操作。它提供了最常用的语音特征，包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具，用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
KidSpeak: A General Multi-purpose LLM for Kids' Speech Recognition and Screening
Department of Computer Science and Engineering, State University of New York at Buffalo（计算机科学与工程系，纽约州立大学布法罗分校）
KidSpeak是首个为儿童语音识别与筛查设计的多用途大语言模型，结合语音增强技术与FASA对齐工具，实现87%的准确率，提升儿童语音数据质量13.6倍。
2025-12-01 cs.AI cs.CL cs.SD
Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Microsoft Research India（微软印度研究院）
语码转换为多语种自动语音识别带来了许多挑战和机遇。在本文中，我们专注于鲁棒性和公平的评价指标的问题。为此，我们开发了一个参考基准数据集的代码切换语音识别假设与人类的判断。我们为自动假设的最小编辑定义了明确的指导方针。我们使用4路注释器间协议来验证指南。我们评估了大量的指标与人类判断的相关性。我们考虑的指标在表示（正字法，语音，语义），直接性（内在与外在），粒度（例如单词，字符）和相似性计算方法方面有所不同。与人类判断的最高相关性是使用音译，然后是文本规范化。我们发布了第一个语料库的人类接受的代码切换语音识别结果在方言阿拉伯语/英语对话语音。
2022-11-22 cs.CL cs.SD eess.AS
Speech Enhancement with Multi-granularity Vector Quantization
University of Science and Technology of China (USTC)（中国科学技术大学（USTC））
随着深度学习的进步，基于神经网络的语音增强（SE）在过去十年中得到了快速发展。同时，自监督预训练模型和矢量量化（VQ）在许多语音相关的任务上取得了优异的性能，而它们在SE上的探索较少。正如我们之前的工作所示，利用VQ模块离散化带噪语音表示有利于语音去噪，因此在这项工作中，我们研究了在不同层使用不同数量的码本的VQ的影响。不同的VQ模块确实能够提取多粒度语音特征。遵循注意机制，由预训练模型提取的上下文特征与由编码器提取的局部特征融合，使得全局和局部信息都被保留以重建增强的语音。在Valentini数据集上的实验结果表明，该模型可以提高SE性能，其中也揭示了选择预训练模型的影响。
2023-02-16 cs.SD eess.AS
Comparing Self-Supervised Learning Models Pre-Trained on Human Speech and Animal Vocalizations for Bioacoustics Processing
Idiap Research Institute（Idiap研究所）；Ecole polytechnique fédérale de Lausanne（洛桑联邦理工学院）
本文比较了在人类语音和动物发声上预训练的自监督学习模型在生物声学任务中的表现，发现语音预训练模型已足够稳健，生物声学预训练仅带来边际改进，大量微调可能并非必要。
2025-01-19 cs.LG eess.AS
Phoneme-Based Persian Speech Recognition
智能语音识别无疑是计算机科学中最重要的问题之一。在这些系统中，计算机试图像人类一样检测和响应它们正在听的演讲。在这项研究中，提出了一个合适的方法，诊断波斯语音素的人工智能使用的信号处理和分类算法进行了尝试。为此，STFT算法已被用于处理音频信号，以及检测和分类由深度人工神经网络处理的信号。首先，教育样本被提供为两个波斯语的语音短语，然后对它们进行信号处理操作。然后将数据训练的结果提供给人工深度神经网络。在最后阶段，实验是在新的声音上进行的。
2019-01-15 cs.LG cs.SD eess.AS
CLAR: CIF-Localized Alignment for Retrieval-Augmented Speech LLM-Based Contextual ASR
BRVoice Team, Bairong, Inc., China（BRVoice团队，百融云创，中国）
CLAR通过CIF学习单调性token级对齐，提升语音识别中专有名词和长尾词的识别效果，减少表示稀释和注意力漂移，提高检索准确率。
2026-03-26 cs.SD
On granularity of prosodic representations in expressive text-to-speech
Amazon Text-to-Speech Research（亚马逊语音合成研究部）
在表达性语音合成中，广泛采用潜在韵律表示来处理训练过程中数据的变化。相同的文本可以对应于不同的声学实现，这被称为文本转语音中的一对多映射问题。在自动编码设置中从目标信号中提取话语、单词或音素级表示，以补充语音输入并简化该映射。本文比较了韵律嵌入在不同的粒度级别，并检查其预测文本。我们发现，话语级嵌入有不足的容量和音素级倾向于引入不稳定性时，从文本预测。词级表示在容量和可预测性之间施加平衡。因此，我们将LibriTTS数据集上的合成语音和录音之间的自然度差距缩小了90%，而不会牺牲清晰度。
2023-01-26 cs.SD eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Sandglasset: A Light Multi-Granularity Self-attentive Network For Time-Domain Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
领先的单通道语音分离（SS）模型之一是基于具有双路径分段技术的TasNet，其中每个段的大小在所有层中保持不变。相比之下，我们的主要发现是，多粒度的功能是必不可少的，以提高上下文建模和计算效率。我们引入了一种具有新颖沙漏形状的自我关注网络，即Sandglasset，它以显著较小的模型大小和计算成本提高了最先进的（SOTA）SS性能。沿着Sandglasset内部的每个块向前，特征的时间粒度逐渐变得更粗，直到达到网络块的一半，然后朝着原始信号水平逐渐变得更细。我们还揭示了具有相同粒度的特征之间的残余连接对于通过瓶颈层后保留信息是至关重要的。实验表明，我们的Sandglasset只有2.3M的参数已经取得了最好的结果在两个基准SS数据集-WSJ 0 - 2 mix和WSJ 0 - 3 mix，其中SI-SNRi分数已分别提高了绝对0.8 dB和2.4 dB，与以前的SOTA结果相比。
2021-03-08 cs.AI cs.LG cs.SD
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation（小米公司）；SpeechOcean Ltd.（海天瑞声科技股份有限公司）
本文介绍了一个名为“speechocean 762”的新开源语音语料库，旨在用于发音评估，由来自250名非母语人士的5000句英语话语组成，其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的，以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载，相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
Membership Inference Attacks Against Self-supervised Speech Models
National Taiwan University（国立台湾大学）
最近，将自监督学习（SSL）的思想应用于连续语音已经开始受到关注。在大量未标记音频上预训练的SSL模型可以生成通用表示，这些表示有利于各种语音处理任务。尽管它们无处不在的部署，但是，这些模型的潜在隐私风险还没有得到很好的研究。在本文中，我们提出了第一次的隐私分析的几个SSL语音模型使用成员推断攻击（MIA）下的黑盒访问。实验结果表明，这些预训练的模型在说话人和话语层的曲线下面积（AUC）都很大，容易受到MIA的影响，容易发生隶属度信息泄漏。此外，我们还进行了几项消融研究，以了解有助于MIA成功的因素。
2022-08-15 cs.CR cs.LG cs.SD
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
MF-Speech: Achieving Fine-Grained and Compositional Control in Speech Generation via Factor Disentanglement
针对语音生成中因子深度纠缠、控制粒度粗的问题，提出MF-Speech框架，通过双组件实现语音因子解耦与细粒度组合控制，性能超越现有最优方法，且学到的离散因子具备强迁移性。
2025-11-19 cs.AI cs.SD
Unsupervised Speech Representation Pooling Using Vector Quantization
Sogang University（西江大学）
针对语音表示长度可变的池化问题，提出一种无需额外训练的基于向量量化的无监督池化方法，通过压缩声学相似表示，在多个下游任务上优于平均池化。
2023-04-08 cs.AI cs.LG cs.SD
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯民族语言-普通话翻译团队）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息技术重点实验室）
在自动语音识别（ASR）中，辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略，电话掩蔽训练（PMT），阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进，仍然存在进一步的增益空间，由于PMT的掩蔽单元（音素）和建模单元（词片）之间的粒度不匹配。为了提高PMT的性能，我们提出了多建模单元训练（MMUT）架构融合PMT（PM-MMUT）。MMUT框架的思想是将编码器分成两部分，包括声学特征序列到音素级表示（AF-to-PLR）和音素级表示到词段级表示（PLR-to-WPLR）。它允许AF-到-PLR通过基于中间音素的CTC损失来优化，以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明，该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验，与最新的官方ESPnet 1预训练模型相比，在没有LM融合的情况下，所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
VOTE400(Voide Of The Elderly 400 Hours): A Speech Dataset to Study Voice Interface for Elderly-Care
Electronics and Telecommunications Research Institute（电子与电信研究所）；MINDs Lab Inc.（MINDs实验室公司）
本文介绍了一个大规模的韩国语音数据集，称为VOTE400，可用于分析和识别的老年人的声音。该数据集包括约300小时的连续对话语音和100小时的朗读语音，均由65岁或以上的老年人记录。初步实验表明，用VOTE 400训练的语音识别系统在老年人声音的语音识别方面优于传统系统。这项工作是由ETRI和MINDS Lab Inc.领导的多组织努力。以提高老年护理机器人的语音识别性能。
2021-01-20 cs.CL cs.SD eess.AS
Lhotse: a speech data representation library for the modern deep learning ecosystem
Johns Hopkins University（约翰斯·霍普金斯大学）；Xiaomi（小米）
众所周知，由于各种编解码器、录音长度和Meta数据格式，语音数据很难处理。我们介绍了Lhotse，一个语音数据表示库，它借鉴了Kaldi语音识别工具包的经验教训，并将其概念引入现代深度学习生态系统。Lhotse提供了一个通用的JSON描述格式，以及相应的Python类和数据准备食谱，用于30多个流行的语音语料库。不同的数据集可以很容易地组合在一起，并重新用于不同的任务。该库处理多通道录音，长时间录音，本地和云存储，懒惰和动态操作等功能。我们介绍了切割和CutSet的概念，简化了常见的音频数据处理任务，并有助于将语音话语的声学背景。最后，我们展示了Lhotse如何利用PyTorch数据API抽象并采用它们来处理语音数据以进行深度学习。
2021-10-25 cs.SD eess.AS
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.（Meta公司）
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法，通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应，并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
Cross-Lingual Multi-Granularity Framework for Interpretable Parkinson's Disease Diagnosis from Speech
本研究针对现有语音PD检测忽略细粒度语音元素的问题，提出跨语言多粒度框架，通过提取音素、音节、单词特征结合双向LSTM多头注意力，在多语言数据集上实现更优诊断性能，且特征与临床协议一致。
2025-10-04 cs.CL cs.SD eess.AS
Auditory-Based Data Augmentation for End-to-End Automatic Speech Recognition
University of Sheffield（谢菲尔德大学）
端到端模型在自动语音识别方面取得了显著的进步。提高这些模型性能的一种常用方法是通过数据扩充来扩展数据空间。与此同时，人类听觉启发的前端也证明了自动语音识别器的改进。在这项工作中，一个经过验证的基于听觉的模型，它可以模拟各种听力能力，研究的目的是数据增强端到端的语音识别。通过将听觉模型引入到数据增强过程中，鼓励端到端系统忽略无法听到的信号的变化，从而专注于语音识别的鲁棒特征。听觉模型中的两种机制，频谱拖尾和响度招募，研究了LibriSpeech数据集与基于transformer的端到端模型。实验结果表明，本文提出的增强方法可以显著提高SpecAugment算法的性能。
2022-04-08 cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg（奥尔登堡大学）
在日常生活中，人类听者的语音识别性能受到各种因素的影响，例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确，但它们已经可以执行并且需要可访问的表示。在这方面的贡献，语音识别性能的交互式表示提出，它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集，证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标，比较和验证不同的建模方法在生态相关的上下文中。最终，它可以作为一种工具，在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training
Seoul National University（首尔国立大学）
构音障碍是一种影响数百万人的运动性语言障碍。构音障碍者的言语比非构音障碍者的言语更难理解，从而导致显著的沟通困难。我们工作的目标是开发一个模型，构音障碍，以健康的语音转换使用周期一致的GAN。使用18，700个构音障碍和8，610个健康对照韩语话语，这些话语是为了在先前的研究中自动识别语音键盘而记录的，该生成器被训练成在谱域中将构音障碍转换为健康语音，然后将其转换回语音。客观评价使用自动语音识别的生成的话语上举行了测试集显示，识别性能得到改善，与原来的dysarthic语音进行对抗训练后，作为绝对WER已降低了33.4%。实验结果表明，所提出的基于GAN的转换方法对于改善构音障碍语音的可懂度是有用的。
2020-01-10 cs.CL cs.SD eess.AS
Omni-AVSR: Towards Unified Multimodal Speech Recognition with Large Language Models
Imperial College London, UK（伦敦帝国理工学院）；University of Surrey, UK（萨里大学）
Omni-AVSR通过统一多模态语音识别框架，结合高效多粒度训练与参数高效适应，实现跨任务协同，降低资源消耗并提升鲁棒性。
2026-01-26 cs.CV cs.SD eess.AS
Computing Optimal Location of Microphone for Improved Speech Recognition
IIT Jammu（印度理工学院查谟分校）；TCS Research（塔塔咨询服务公司研究部）；Tata Consultancy Services Limited（塔塔咨询服务有限公司）
在我们的早期工作中，麦克风位置的测量误差影响房间脉冲响应（RIR），这反过来又影响单通道近麦克风和多通道远麦克风语音识别。在本文中，作为一个扩展，我们系统地研究，以确定麦克风的最佳位置，给出了一个近似的，因此错误的麦克风在3D空间中的位置。其主要思想是使用Monte-Carlo技术在错误的麦克风位置周围产生大量的随机麦克风位置，并选择导致通用自动语音识别（gp-asr）的最佳性能的麦克风位置。我们用干净和嘈杂的语音进行实验，结果表明麦克风的最佳位置是唯一的，并且受到噪声的影响。
2022-03-24 cs.AI cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University（高丽大学）；MediaZen；The Catholic University of Korea（韩国天主教大学）；Dankook University（檀国大学）
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音，用于诊断韩语语音障碍，准确率约90%，可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
Finstreder: Simple and fast Spoken Language Understanding with Finite State Transducers using modern Speech-to-Text models
University of Augsburg（奥格斯堡大学）
在口语语言理解（SLU）中，任务是从音频命令中提取重要信息，例如用户希望系统做什么的意图以及位置或数字等特殊实体。本文提出了一种将意图和实体嵌入到有限状态转换器中的简单方法，并与预训练的通用语音到文本模型相结合，允许在没有任何额外训练的情况下构建SDU模型。构建这些模型非常快，只需要几秒钟。它也是完全独立的语言。在不同的基准测试比较表明，这种方法可以优于其他多个，更多的资源需求SLU方法。
2022-06-29 cs.CL cs.HC cs.SD
WESR: Scaling and Evaluating Word-level Event-Speech Recognition
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
WESR提出词级事件-语音识别的扩展与评估框架，通过细化分类和专家标注的评估集，实现对非语言事件的精确定位，提升语音识别与处理的准确性。
2026-01-08 cs.AI cs.CL cs.SD
MSF-SER: Enriching Acoustic Modeling with Multi-Granularity Semantics for Speech Emotion Recognition
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（杭州高等研究所，中国科学院大学）
MSF-SER通过多粒度语义融合提升语音情感识别的声学建模效果，解决传统方法在情感表达细节和高层解释性线索方面的不足。
2026-01-24 cs.SD
3M: An Effective Multi-view, Multi-granularity, and Multi-aspect Modeling Approach to English Pronunciation Assessment
National Taiwan Normal University（台湾师范大学）
作为计算机辅助发音训练（CAPT）中不可或缺的一部分，自动发音评估（APA）通过提供多方面、及时的反馈，对自主学习者起着至关重要的作用。然而，至少有两个潜在的障碍可能会阻碍其实际使用的性能。一方面，大多数的研究只集中在利用分段（语音）水平的功能，如良好的发音（GOP），然而，这可能会导致差异的特征粒度时，执行超分段（韵律）水平的发音评估。另一方面，语音自动评测仍然缺乏大规模的非母语者的标记语音数据，这不可避免地限制了语音评测的性能。在本文中，我们解决这些问题，通过整合多个韵律和音韵特征，提供一个多视图，多粒度，多方面（3 M）的发音建模。具体来说，我们增加GOP的韵律和自监督学习（SSL）功能，同时开发一个元音/辅音位置嵌入更多的音韵意识的自动发音评估。在公开的speechocean 762数据集上进行的一系列实验表明，与以往的工作相比，该方法在几个评估粒度上都有显著的改进，尤其是在口语流利度和语音韵律的评估上.
2022-09-12 cs.SD eess.AS eess.SP
Progressive Facial Granularity Aggregation with Bilateral Attribute-based Enhancement for Face-to-Speech Synthesis
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea（人工智能研究生院，POSTECH，韩国）；Department of Computer Science and Engineering, POSTECH, Republic of Korea（计算机科学与工程系，POSTECH，韩国）
本文提出渐进式面部粒度聚合与双边属性增强方法，通过细粒度面部建模和多视图训练提升人脸到语音合成的一致性与稳定性。
2025-11-10 cs.SD
Ripple sparse self-attention for monaural speech enhancement
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Agency for Science, Technology and Research（新加坡科技研究局）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对Transformer自注意力二次复杂度及忽略局部相关性的问题，提出涟漪注意力，通过局部频带与膨胀注意力分别建模局部和全局依赖，在语音增强中优于全自注意力等方法。
2023-05-15 cs.SD eess.AS
Masked Modeling Duo for Speech: Specializing General-Purpose Audio Representation to Speech using Denoising Distillation
NTT Corporation（日本电报电话公司）
本文提出去噪蒸馏任务与M2D-S模型，联合学习细粒度聚类特征与掩码预测，将通用音频表示M2D特化至语音领域，在SUPERB基准上达到或超越SOTA语音模型性能。
2023-08-03 cs.SD eess.AS
SpeechBrain: A General-Purpose Speech Toolkit
National Taiwan University（台湾大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；LIA - Avignon Université（阿维尼翁大学信息学实验室）；CaMLSys - University of Cambridge（剑桥大学CaMLSys实验室）；Ohio State University（俄亥俄州立大学）；Aalto University（阿尔托大学）；Università Politecnica delle Marche（马尔凯理工大学）；McGill University（麦吉尔大学）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；IRIT - Université Paul Sabatier（图卢兹第三大学计算机科学研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Academia Sinica, Taiwan（台湾中央研究院）；NVIDIA（英伟达）；Université de Sherbrooke（舍布鲁克大学）；Samsung-SAIT（三星综合技术院）；University of Edinburgh（爱丁堡大学）
SpeechBrain是一个开源的多功能语音工具包。它旨在通过简单，灵活，用户友好和有据可查来促进神经语音处理技术的研究和开发。本文描述了核心架构，旨在支持几个共同感兴趣的任务，让用户自然构思，比较和共享新的语音处理管道。SpeechBrain在广泛的语音基准测试中实现了具有竞争力或最先进的性能。它还为流行的语音数据集提供了训练配方，预训练模型和推理脚本，以及教程，允许任何具有基本Python熟练程度的人熟悉语音技术。
2021-06-08 cs.AI cs.LG cs.SD
SHEET: A Multi-purpose Open-source Speech Human Evaluation Estimation Toolkit
Nagoya University（名古屋大学）；Japan National Institute of Information and Communications Technology（日本信息通信技术研究所）；Graduate School of Informatics Information Technology Center（信息科学与技术中心研究生院）
本研究推出多用途开源语音主观质量评估工具包SHEET，提供训练评估脚本、多模型多数据集支持及预训练模型，并通过实验确定了性能超越原始SSL-MOS、媲美SOTA的最优语音SSL模型。
2025-05-21 cs.SD eess.AS
NEST: Self-supervised Fast Conformer as All-purpose Seasoning to Speech Processing Tasks
NVIDIA（英伟达）
提出NEST，一种基于FastConformer的高效自监督语音学习框架，采用固定随机投影和噪声增强，在多项语音任务上达到最先进性能。
2025-01-18 cs.SD eess.AS
Dereverberation using joint estimation of dry speech signal and acoustic system
Spotify, S.A.（Spotify公司）
语音去混响的目的是从信号中去除时不变脉冲响应滤波器的质量降低效应。在这份报告中，我们描述了一种方法，语音去混响，涉及联合估计的干语音信号和房间的脉冲响应。我们将探索分别应用于每个任务的深度学习模型，以及如何将这些模型组合到具有共享参数的联合模型中。
2020-07-24 cs.LG cs.SD eess.AS
Auden-Voice: General-Purpose Voice Encoder for Speech and Language Understanding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Tencent AI Lab, USA（腾讯AI实验室（美国））
针对大型音频语言模型编码器难以平衡语音身份与副语言线索的问题，本研究提出通用语音编码器Auden-Voice，通过多任务训练实现平衡表示，与LLMs集成表现优异，代码等将随Auden工具包发布。
2025-11-19 cs.SD eess.AS
Enhancing Multimodal Emotion Recognition through Multi-Granularity Cross-Modal Alignment
TMCC
本文提出多粒度跨模态对齐框架MGCMA，通过分布级、实例级和令牌级三层对齐提升语音与文本情感识别性能，并在IEMOCAP上超越现有最优方法。
2024-12-30 cs.CL cs.SD eess.AS
DST: Deformable Speech Transformer for Emotion Recognition
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；UBTECH Robotics Corp（优必选机器人公司）；iFLYTEK Research（讯飞研究院）
Transformer采用多头自注意机制，在语音情感识别方面取得了显著的效果。与原有的全注意力机制相比，基于窗口的注意力机制在学习细粒度特征时更有效，同时大大减少了模型冗余。然而，情感线索是以多粒度的方式存在的，使得预定义的固定窗口可以严重降低模型的灵活性。此外，很难手动获得最佳窗口设置。在本文中，我们提出了一个可变形的语音Transformer，命名为DST，SER任务。DST通过一个轻量级的决策网络来确定输入语音的窗口大小。同时，数据依赖的偏移量来自声学特征被用来调整注意窗口的位置，允许DST自适应地发现和注意到嵌入在语音中的有价值的信息。在IEMOCAP和MELD上的大量实验证明了DST的优越性。
2023-02-27 cs.SD eess.AS
Towards General-Purpose Text-Instruction-Guided Voice Conversion
National Taiwan University（台湾大学）；Google（谷歌）
本文提出一种由文本指令引导的端到端神经编解码语言模型，无需参考语音即可实现具有多样性和特异性的语音转换，实验验证了其指令理解与转换效果。
2024-01-16 cs.CL cs.LG cs.SD
Fine-Grained Quantitative Emotion Editing for Speech Generation
School of Data Science（数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Alibaba Group（阿里巴巴集团）
本文提出分层情感分布提取器 Hierarchical ED，结合 SVM 排序情感强度并集成到 FastSpeech2，实现音素、词、语句三级细粒度定量情感编辑，并通过主客观实验验证其有效性。
2024-09-29 cs.SD eess.AS
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research（联发科研究院）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
在口语语言理解（SLU）中，一种自然的解决方案是将预训练的语音模型（例如HuBERT）和预训练的语言模型（PLM，例如T5）连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而，输入设备的粒度影响语音模型输出和语言模型输入的对齐，并且具有基于字符的标记化的PLM未被充分探索。在这项工作中，我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务，包括口语问答（SQA）和语音翻译（ST）。我们进一步扩展了这个想法，创建了T5lephone（发音为电话），这是T5的一个变体，使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone，使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平，T5lephone型号超过了T5，在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University（北京大学）；Midea Group（美的集团）
本文提出情感神经转导器（ENT），通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别，在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
HyPASE: Hyperbolic Geometry for Parameter-Efficient Speech Emotion Fine-Tuning Framework for Large Audio-Language Models
Tongji University（同济大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peking University（北京大学）
本文提出HyPASE双曲PEFT框架，利用庞加莱球模型及HGA、EMCA组件，在MELD、IEMOCAP等数据集上优于欧氏PEFT基线，实现高效的大音频语言模型语音情感微调。
2026-08-06 cs.AI cs.SD
Towards LLM-Empowered Fine-Grained Speech Descriptors for Explainable Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；National Research Council Canada（加拿大国家研究理事会）；Institute of Software（软件研究所）
本文提出一种端到端基于LLM的可解释语音情感识别方法，通过交替微调从HuBERT中解耦细粒度语音情感描述符特征，在IEMOCAP和MELD上显著提升了准确率并增强了可解释性。
2025-05-29 cs.HC cs.SD eess.AS
Which Speech Representation Better Matches Text-Native Reasoning? A Study of Speech-Text Alignment on Frame Rate and Representation
Hong Kong University of Science and Technology, Hong Kong SAR（香港理工大学）；Tencent, China（腾讯）；University of Surrey, United Kingdom（Surrey大学）；Chinese University of Hong Kong, Hong Kong SAR（香港中文大学）；Hong Kong Baptist University, Hong Kong SAR（香港 Baptist大学）；Hong Kong Polytechnic University, Hong Kong SAR（香港理工大学）；Independent Researcher（独立研究者）
研究语音与文本模态差异中的时间粒度不匹配问题，提出因子化FSQ和轻量非自回归音频LM头以降低帧率，发现4.17Hz帧率结合中间层表示对齐在语音问答中表现最佳。
2026-06-11 cs.CL cs.SD eess.AS
CRAFT: A multifunction online platform for speech prosody visualisation
Universität Bielefeld（比勒费尔德大学）
语音节奏和语音旋律的声学语音学教学也有许多研究工具。但它们并不是为教与学的情况而设计的，有些学习曲线很陡。CRAFT（振幅和频率跟踪的创建和恢复）是定制设计的一种新颖灵活的在线工具，用于函数和变换的可视化和关键比较，实现了Reaper，RAPT，PyRapt，YAAPT，YIN和PySWIPE F0估计器，三种Praat配置和两种专用估计器PyAMDF，S0FT。包括振幅和频率包络频谱的可视化，节律区的频谱边缘检测，以及参数化频谱图。一个音频剪辑的选择，从音调和语调语言提供示范的目的。在线工具的主要优点是一致性（用户具有相同的版本和相同的数据选择），不同平台上的互操作性以及易于维护。代码可以在GitHub上找到。
2019-03-18 cs.CL cs.SD
Hiding speaker's sex in speech using zero-evidence speaker representation in an analysis/synthesis pipeline
National Institute of Informatics（国立信息学研究所）
在分析/合成管道中使用现代声码器使我们能够研究可用于隐私目的的高质量语音转换。在这里，我们建议变换扬声器嵌入和音高，以隐藏扬声器的性别。基于ECAPA-TDNN的说话人表示馈入HiFiGAN声码器使用神经判别分析方法进行保护，这与隐私的零证据概念一致。这种方法大大减少了语音中与说话者性别有关的信息，同时保留了语音内容和由此产生的受保护声音的一致性。
2023-03-24 cs.SD eess.AS
