A Persian ASR-based SER: Modification of Sharif Emotional Speech Database and Investigation of Persian Text Corpora
语音情感识别（SER）是人类理解环境和如何与他人交互的基本感知方法之一，因此，近年来，人们一直试图将情感识别能力添加到人机通信系统中。由于SER过程依赖于标记数据，数据库是必不可少的。不完整，低质量或有缺陷的数据可能会导致不准确的预测。在本文中，我们固定谢里夫情感语音数据库（ShEMO），作为一个波斯语数据库，通过使用自动语音识别（ASR）系统和调查的效果，波斯语语言模型获得可访问的波斯语文本语料库。我们还介绍了一个基于波斯语/波斯语ASR的SER系统，该系统使用ASR输出的语言特征和基于深度学习的模型。
2022-11-18 cs.AI cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)（信息技术大学（ITU））；University of Southern Queensland（南昆士兰大学）；Qatar University（卡塔尔大学）
尽管在深度学习方面取得了进展，但由于缺乏语音情感数据集，当前最先进的语音情感识别（SER）系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音（TTS）系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器，用于创建Mel频谱图的序列到序列文本生成器，以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明，所生成的情感语音的质量可以显着提高多个数据集上的SER性能，如与基线相比更高的平均意见得分（MOS）所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Speech Emotion Recognition Leveraging OpenAI's Whisper Representations and Attentive Pooling Methods
本文提出利用Whisper预训练模型和注意力池化方法提升语音情绪识别的性能，实验显示多头QKV架构在ShEMO数据集上取得显著改进。
2026-02-05 cs.AI cs.CL cs.LG
SECap: Speech Emotion Captioning with Large Language Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
针对语音情感分类不足以表达复杂情感的问题，提出SECap框架，利用HuBERT提取特征、Q-Former桥接、LLaMA生成自然语言情感描述，客观评估优于基线，主观评分与人类相当。
2023-12-23 cs.SD eess.AS
Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University（北京大学）；Midea Group（美的集团）
本文提出情感神经转导器（ENT），通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别，在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Osaka Prefecture University（大阪府立大学）
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统，用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上，并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上，该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
How Speech is Recognized to Be Emotional - A Study Based on Information Decomposition
Tsinghua University（清华大学）
人类将情感编码成语音信号的方式是复杂的。例如，一个生气的人可能会提高音调和语速，并使用不礼貌的词语。在本文中，我们提出了各种情绪因素的初步研究，并探讨他们如何影响现代情绪识别系统。我们研究的关键工具是最近提出的SpeechFlow模型，通过该模型，我们能够将语音信号分解为单独的信息因素（内容，音高，节奏）。在此分解的基础上，我们仔细研究了每个信息组件及其组合的性能。我们对三个不同的语音情感语料库进行了研究，并选择了基于注意力的卷积RNN作为情感分类器。我们的研究结果表明，节奏是情感表达的最重要的组成部分。此外，跨语料库的结果是非常糟糕的（甚至比猜测），表明目前的语音情感识别模型是相当薄弱的。有趣的是，通过删除一个或几个不重要的组件，跨语料库的结果可以得到改善。这表明了分解方法对一个可推广的情感识别的潜力。
2021-11-24 cs.SD eess.AS
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI；Queensland University of Technology (QUT)（昆士兰科技大学（QUT））；University of the West Scotland（西苏格兰大学）；National University of Computer and Emerging Sciences (NUCES)（国立计算机与新兴科学大学（NUCES））；Qatar University（卡塔尔大学）
针对现有研究多聚焦复杂架构语音情绪识别的现状，提出基于知识蒸馏的边缘计算非语音音频情绪识别框架，经公开数据集验证性能优异，为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research（TCS研究）
本文提出EDRL-MEA两步方法，通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间，显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad（伊斯兰堡科姆萨特大学）；University of Poonch Rawalakot（拉瓦拉科特蓬奇大学）
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略，提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集，并将主成分分析应用于子集。最后，特征被水平地融合。使用t-分布的邻居嵌入（t-SNE）的情感识别的特征的应用程序之前，得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集：情绪语音数据集（EMO-DB）和瑞尔森视听数据库的情绪语音和歌曲（RAVDESS）的两种语言，德语和英语，分别。与基线研究相比，我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益，对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition
New York University（纽约大学）；JP Morgan Chase（摩根大通）
本文构建涵盖八种语音表示模型、六种语言的 SER 基准，并通过探测实验发现单一最优层特征较使用全部层平均降低 32% 错误率，中间层最关键。
2023-08-17 cs.CL cs.SD eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK（爱丁堡大学）
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调，揭示了情感语音与音乐间的声学相似性及模型情感偏差，并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft（微软）
情绪存在于一个广泛的连续体上，将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别，以及如何使模型能够学习这些描述。在这项工作中，我们设计了一种方法来自动创建一个描述（或提示）为给定的音频计算声学特性，如音高，响度，语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后，我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联，从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究，
2022-11-14 cs.LG cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音情感识别（SER）面临着许多挑战，但主要挑战之一是每个框架没有统一的标准。在本文中，我们提出了SpeechEQ，一个框架，统一SER任务的基础上，一个多尺度的统一度量。该度量可以通过多任务学习（MTL）来训练，该多任务学习包括情绪状态类别（EIS）和情绪强度量表（EIS）两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此，我们建立了一个普通话SER数据集- SpeechEQ数据集（SEQD）。我们在CASIA和ESD中文数据集上进行了实验，结果表明，我们的方法比基线方法有较大的提高，准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验（即，愤怒、快乐、悲伤和中性）也表明所提出的方法实现了78.16%的加权准确度（WA）和77.47%的未加权准确度（UA）的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们调查的效果和有用性的自发性（即是否一个给定的语音是自发的或没有）在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关，并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置，利用自发性，以提高语音情感识别：一个层次模型，执行自发性检测之前执行情感识别，和一个多任务学习模型，共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库，我们表明，通过使用自发性检测作为一个额外的任务，可以实现显着的改善，情绪识别系统，不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率（4级，69.1%），优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
Learning Transferable Features for Speech Emotion Recognition
UFMG（米纳斯吉拉斯联邦大学）；Kunumi
从语音中识别情感是高级人机交互中实现情感智能的关键步骤之一。识别人类语音中的情感需要学习在不同领域中具有鲁棒性和区分性的特征，这些领域在语言，语音的自发性，记录条件和情感类型方面有所不同。这对应于一种学习场景，其中特征和标签的联合分布可能会在各个领域发生实质性变化。在本文中，我们提出了一种深度架构，该架构联合利用卷积网络来提取域共享特征，并利用长短期记忆网络来使用特定于域的特征对情绪进行分类。考虑到语音情感数据的稀疏性和目标域缺乏标记数据的事实，我们使用可转移特征来实现多个源域的模型自适应。一个全面的跨语料库的实验与不同的语音情感领域表明，可转移的功能提供增益从4.3%到18.4%的语音情感识别。我们评估了几种域自适应方法，我们进行了消融研究，以了解哪些源域添加最多的整体识别效率为一个给定的目标域。
2019-12-23 cs.LG cs.SD eess.AS
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）；University of New South Wales（新南威尔士大学）
以无监督的方式学习数据的潜在表示是一个非常有趣的过程，它提供了用于增强分类器性能的相关特征。对于语音情感识别任务，生成有效的特征是至关重要的。目前，人工特征大多用于语音情感识别，然而，使用深度学习自动学习的特征在许多问题上显示出强大的成功，特别是在图像处理中。特别是，深度生成模型，如变分自编码器（VAE），在生成自然图像的特征方面取得了巨大的成功。受此启发，我们提出了VAE用于导出语音信号的潜在表示，并使用此表示来分类情感。据我们所知，我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明，VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语音情感识别是一项具有挑战性的任务，也是实现更自然的人机交互的重要一步。我们表明，预先训练的语言模型可以进行微调，用于文本情感识别，在SemEval 2017的任务4A上实现了69.5%的准确率，比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合，当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时，达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中，我们创建了IADNet，这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后，我们讨论了使用情感分类器作为强化学习的奖励的想法，作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
ShEMO -- A Large-Scale Validated Database for Persian Speech Emotion Detection
Islamic Azad University of Bijar（比贾尔伊斯兰阿扎德大学）；Sharif University of Technology（谢里夫理工大学）
本文介绍了一个大规模的，验证数据库的波斯语谢里夫情感语音数据库（ShEMO）。该数据库包括3000个半自然的话语，相当于从在线广播剧中提取的3小时25分钟的语音数据。ShEMO涵盖了87位波斯语母语者的五种基本情绪的语音样本，包括愤怒，恐惧，快乐，悲伤和惊讶，以及中性状态。12个注释者标记话语的潜在情感状态，并使用多数投票来决定最终的标签。根据kappa测量，注释者间的一致性为64%，这被解释为“实质性一致”。我们还提出了基于语音情感检测任务中常见的分类方法的基准测试结果。实验结果表明，支持向量机对性别无关模型和性别相关模型的识别率分别为58.2%和59.4%、57.6%。ShEMO可免费用于学术目的，为进一步研究波斯语情感语言提供基线。
2019-06-11 cs.CL cs.SD eess.AS
A Multi Purpose and Large Scale Speech Corpus in Persian and English for Speaker and Speech Recognition: the DeepMine Database
Brno University of Technology（布尔诺理工大学）；Sharif DeepMine Ltd.（谢里夫DeepMine有限公司）
DeepMine是波斯语和英语的语音数据库，旨在构建和评估文本相关，文本提示和文本无关的说话人验证以及波斯语语音识别系统。它包含了超过1850个演讲者和54万个录音，超过480小时的演讲被转录。它是第一个公开的波斯语大规模说话人确认数据库，最大的英语文本相关和文本提示的说话人确认数据库，以及最大的文本无关说话人确认的公共评估数据集。它有一个很好的覆盖年龄，性别和口音。我们为数据库的每个部分提供了几个评估协议，以便对说话人验证的不同方面进行研究。我们还提供了几个实验的结果，这些实验可以被视为基线：基于HMM的i向量用于文本相关的说话人验证，以及基于HMM和最先进的基于深度神经网络的ASR。我们证明，该数据库可以用于训练强大的ASR模型。
2019-12-08 cs.CL cs.SD eess.AS
Phoneme-Based Persian Speech Recognition
智能语音识别无疑是计算机科学中最重要的问题之一。在这些系统中，计算机试图像人类一样检测和响应它们正在听的演讲。在这项研究中，提出了一个合适的方法，诊断波斯语音素的人工智能使用的信号处理和分类算法进行了尝试。为此，STFT算法已被用于处理音频信号，以及检测和分类由深度人工神经网络处理的信号。首先，教育样本被提供为两个波斯语的语音短语，然后对它们进行信号处理操作。然后将数据训练的结果提供给人工深度神经网络。在最后阶段，实验是在新的声音上进行的。
2019-01-15 cs.LG cs.SD eess.AS
ParsVoice: A Large-Scale Multi-Speaker Persian Speech Corpus for Text-to-Speech Synthesis
School of Electrical and Computer Engineering, University of Tehran（塔里哈大学电气与计算机工程学院）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））
提出ParsVoice，目前最大的公开波斯语语音-文本语料库，通过可扩展的流水线从长篇有声读物构建高质量数据，用于训练多说话人TTS系统，并验证了其在零样本多说话人TTS中的有效性。
2026-09-15 cs.AI cs.HC cs.LG
A Multi-Purpose Audio-Visual Corpus for Multi-Modal Persian Speech Recognition: the Arman-AV Dataset
Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
近年来，自动唇读研究取得了重大进展。但是这些方法需要大规模的数据集，而这些数据集对于许多低资源语言来说是不存在的。在本文中，我们提出了一个新的多用途的波斯语视听数据集。该数据集包含近220小时的视频，其中有1760个对应的发言者。除了唇读之外，该数据集还适用于自动语音识别、视听语音识别和说话人识别。它也是第一个大规模的波斯语唇读数据集。为每项提到的任务提供了一个基线方法。此外，我们提出了一种技术来检测视位（一个视觉相当于一个音素）在波斯语。通过这种方法获得的视位，提高了7%的唇读任务的准确性相比，以前提出的视位，这可以适用于其他语言以及。
2023-01-21 cs.CL cs.SD eess.AS
Persian Vowel recognition with MFCC and ANN on PCVC speech dataset
Vali-e-Asr University of Rafsanjan（拉夫桑詹瓦利埃阿斯尔大学）；University of Tabriz（大不里士大学）
本文提出了一种在新的波斯语语音数据集PCVC（Persian Consonant-Vowel Combination）上识别辅音-元音音素组合的新方法，并将其用于波斯语音素的识别。在PCVC数据集中，有来自10个说话人的20组音频样本，它们是波斯语的23个辅音和6个元音音素的组合。在每个样本中，有一个元音和一个辅音的组合。首先，辅音音素发音，紧接着元音音素发音。每个声音样本是一帧2秒的音频。在每2秒中，平均有0.5秒的讲话，其余的是沉默。在本文中，所提出的方法是MFCC（梅尔频率倒谱系数）的实现对每个分区的声音样本。然后，将MFCC矢量的每个训练样本送入多层感知器前馈神经网络（人工神经网络）进行训练。最后，对测试样本进行了音素识别的人工神经网络模型检验。经过训练和测试，给出了元音识别的结果。然后，计算元音音素的平均识别率。
2018-12-17 cs.CL cs.LG cs.SD
PSRB: A Comprehensive Benchmark for Evaluating Persian ASR Systems
Part AI Research Center（部分人工智能研究中心）
本文提出了波斯语语音识别综合基准PSRB，通过评估十个ASR模型并引入加权替换错误的新指标，揭示了系统在口音和儿童语音上的性能局限，为低资源语言ASR研究提供了重要资源。
2025-05-27 cs.AI cs.CL cs.SD
The Recognition Of Persian Phonemes Using PPNet
Vali-e-Asr University of Rafsanjan（拉夫桑贾尼瓦利-阿斯拉大学）；University of Tabriz（大不里士大学）
本文提出了一种新的方法来识别波斯语辅音元音组合（PCVC）语音数据集的波斯语音素。如今，深度神经网络在分类任务中发挥着至关重要的作用。然而，语音识别的最佳结果还没有人类识别率那么完美。深度学习技术在许多其他分类任务（例如图像分类、文档分类等）中表现出出色的性能。此外，性能有时甚至比人类更好。自动语音识别（ASR）系统不如人类语音识别系统合格的原因主要取决于馈送到深度神经网络的数据的特征。方法：首先对语音样本进行切割，在50 ms的样本中准确提取音素语音;然后，音素被分成30组，包括23个辅音，6个元音，和一个沉默的音素。结果如下：对它们进行短时傅里叶变换（STFT），并将结果提供给PPNet（一种新的深度卷积神经网络架构）分类器，总平均准确率达到75.87%，这是与分离波斯语音素的其他算法（如PCVC语音数据集）相比的最佳结果。结论：这种方法不仅可以用于识别单音素，而且可以作为语音转录中选择最佳单词的输入。
2020-03-22 cs.LG cs.SD eess.AS
Heterogeneous Reservoir Computing Models for Persian Speech Recognition
Meybod University（梅博德大学）；University Medical Center Hamburg-Eppendorf (UKE)（汉堡-埃彭多夫大学医学中心）
在过去的十年中，深度学习方法已逐渐融入传统的自动语音识别（ASR）框架，以创建声学、发音和语言模型。虽然它导致了ASR识别准确性的显著提高，但由于它们与硬件要求相关的硬约束（例如，计算能力和存储器使用），但不清楚这些方法是否是嵌入式ASR应用程序的计算效率和能量效率最高的选项。储备池计算（RC）模型（例如，另一方面，回声状态网络（ESN）和液态机（LSM））已经被证明训练便宜，具有少得多的参数，并且与新兴的硬件技术兼容。然而，它们在语音处理任务中的表现相对不如基于深度学习的模型。为了提高ASR应用中RC的准确性，我们提出了异构的单层和多层ESN来创建输入的非线性变换，以不同的尺度捕获时间上下文。为了测试我们的模型，我们在Farsdat波斯语数据集上执行了一个语音识别任务。由于据我们所知，标准RC尚未用于执行任何波斯语ASR任务，因此我们还训练了传统的单层和深层ESN，以提供比较基线。此外，我们将RC性能与标准的长短期记忆（LSTM）模型进行了比较。异构RC模型（1）表现出比标准RC模型更好的性能;（2）在识别准确性方面与LSTM不相上下，（3）大大减少了训练时间。
2022-05-25 cs.LG cs.SD eess.AS
Automatic Speech Recognition for Speech Assessment of Persian Preschool Children
University of Tehran（德黑兰大学）
针对现有ASR系统因预训练语音特性不适配儿童语音、无法用于波斯语学龄前儿童言语评估的问题，本研究为Wav2Vec 2.0新增随机频率音高训练目标，结合新数据集微调，在多项测试及零少样本场景下均取得更优表现。
2023-08-24 cs.CL cs.SD eess.AS
Neyshekar: An Open Persian Read-Speech Corpus for Automatic Speech Recognition
Shekar AI
Neyshekar 是一个开放波斯语朗读语音语料库，覆盖正式与非正式语言，含 99 小时验证录音，相比 Common Voice 显著降低 WER，并公开代码与数据。
2026-09-15 cs.CL cs.SD eess.AS
Accent-Invariant Automatic Speech Recognition via Saliency-Driven Spectrogram Masking
Department of Computer Engineering, Sharif University of Technology（谢里夫理工大学计算机工程系）；Department of Computer Engineering, University of Tehran（德黑兰大学计算机工程系）
本文提出一种口音不变的ASR框架，通过频谱图分类器捕获口音线索并掩码关键区域进行数据增强，显著降低了英语和波斯语的词错率。
2025-10-10 cs.CL cs.SD eess.AS
EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech
本文提出EmoSphere-TTS，利用球面情感向量控制情感风格与强度，通过伪标签和双条件对抗网络实现高质量可控情感语音合成。
2024-11-04 cs.AI cs.SD eess.AS
ManaTTS Persian: a recipe for creating TTS datasets for lower resource languages
Sharif University of Technology（谢里夫理工大学）
本研究推出大规模波斯语单说话人TTS语料库ManaTTS及配套低资源语言语音数据处理流水线，训练的Tacotron2模型MOS得分接近自然语音水平。
2024-09-11 cs.SD eess.AS
Fine-grained Emotional Control of Text-To-Speech: Learning To Rank Inter- And Intra-Class Emotion Intensities
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
最先进的文本到语音（TTS）模型能够产生高质量的语音。然而，生成的语音在情感表达上通常是中性的，而人们通常希望对单词或音素进行细粒度的情感控制。虽然仍然具有挑战性，但最近提出的第一个TTS模型能够通过手动分配情感强度来控制语音。不幸的是，由于忽略了类内距离，强度差异往往无法识别。在本文中，我们提出了一个细粒度可控的情感TTS，考虑类间和类内的距离，并能够合成语音识别强度差异。我们的主观和客观实验表明，我们的模型超过了两个国家的最先进的可控TTS模型的可控性，情感表达和自然。
2023-03-11 cs.AI cs.SD eess.AS
Emotional Text-To-Speech Based on Mutual-Information-Guided Emotion-Timbre Disentanglement
The University of Tokyo, Japan（东京大学）；Institute of Science Tokyo, Japan（东京科学研究所）
针对现有情感TTS方法无法捕捉参考语音细微声学细节的问题，提出一种基于互信息引导的情感-音色解耦方法，实现音素级细粒度情感嵌入预测，生成的语音自然度与情感丰富度优于基线系统。
2025-10-02 cs.AI cs.SD eess.AS
EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector
Korea University（高丽大学）
针对情感TTS在数据集、泛化性等方面的挑战，提出EmoSphere++零样本模型，通过情感自适应球面向量、多级风格编码器等技术，实现情感风格与强度可控的高质量语音合成，实验验证了有效性。
2025-04-17 cs.AI cs.SD eess.AS
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所（I2R）、科技研究局（A*STAR）、新加坡）
本文提出PUE方法，利用LLM-TTS架构和情感引导提示学习，在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
针对基于序列到序列的细粒度情感语音合成，提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节，往往导致平均的情感表达交付，并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成，我们引入音素级的情感强度表示，通过学习排名功能来描述本地的情感细节，并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符，我们可以通过其情感描述符（用于传输）或直接从音素级手动标签（用于控制）从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成，该模型也可以从文本中预测音素级的情感表达，不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
ED-TTS通过结合SER的话语级情感嵌入与SED的帧级情感嵌入，并利用跨域SED预测软标签，实现了多尺度情感语音合成，解决了细粒度情感标注数据稀缺的问题。
2024-01-16 cs.SD eess.AS
Leveraging Speech PTM, Text LLM, and Emotional TTS for Speech Emotion Recognition
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）；Alibaba Group（阿里巴巴集团）
本文结合 data2vec、GPT-4 与 Azure TTS 生成高质量情感语音，并通过多种增强策略提升 IEMOCAP 上的语音情感识别性能。
2023-09-19 cs.AI cs.CL cs.SD
Language Model-Based Emotion Prediction Methods for Emotional Speech Synthesis Systems
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）
本文提出了一种有效的情感文本到语音（TTS）系统，并采用基于预训练的语言模型（LM）的情感预测方法。与传统的系统，需要辅助输入，如手动定义的情感类，我们的系统直接估计情感相关的属性从输入文本。具体来说，我们利用生成预训练的Transformer（GPT）-3来联合预测情感类及其分别表示情感粗和细属性的强度。然后，这些属性被组合在情感嵌入空间中，并用作TTS模型的条件特征，用于生成输出语音信号。因此，所提出的系统可以产生情感的语音只有从文本没有任何辅助输入。此外，由于GPT-3能够捕获连续句子之间的情感上下文，所提出的方法可以有效地处理段落级情感语音的生成。
2022-07-01 cs.SD eess.AS
AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis
针对对话语音合成中情感表达不真实及多模态令牌干扰问题，提出AuEmoChat框架，通过AuEmoCodec学习情感令牌空间、AuEmoToMe合并冗余令牌，集成到模型并结合情感流匹配渲染语音，实验证明其性能优于现有基线。
2026-08-03 cs.AI cs.SD
Emotion-Aware Speech Generation with Character-Specific Voices for Comics
School of Electronic Engineering（电子工程学院）；Computer Science Queen Mary University of London（计算机科学女王玛丽大学）
本文提出一种端到端漫画语音生成流程，结合图像处理、大型语言模型和文本到语音技术，实现角色特定且情感感知的自动配音，推动沉浸式漫画阅读体验。
2025-09-18 cs.AI cs.MM cs.SD
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
针对情感语音数据集不平衡易致模型过拟合的问题，提出结合增强方法的Emotion Extractor，可提取有效泛化的情感表征，在SER任务上超越SOTA基线，还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
Emotion Profile Refinery for Speech Emotion Classification
The Chinese University of Hong Kong（香港中文大学）
人类的情感本质上是模糊和不纯的。在设计基于语音预测人类情感的系统时，必须考虑情感纯度的缺乏。然而，目前大多数用于语音情感分类的方法都依赖于共识，例如，一个单一的硬标签的话语。这种标记原则对考虑情感杂质的系统性能提出了挑战。在本文中，我们建议使用的情绪配置文件（EP），它提供了一个时间序列的段级软标签，以捕捉微妙的混合物的情绪线索存在于一个特定的语音话语。我们进一步提出了情感档案精炼（EPR），一个迭代的过程来更新EP。EPR方法在连续的细化阶段产生软的、动态生成的、多个概率类标签，这导致模型精度的显著提高。在三个著名的情感语料库上的实验表明，该方法具有明显的效果。
2020-08-12 cs.SD eess.AS
Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer
本文提出了一种无文本和非平行的语音到语音情感风格迁移框架，通过分析-合成流程实现情感属性转移，保留说话者身份和语音内容，并在情感迁移效果上优于现有方法。
2026-03-10 cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
