CASA-Based Speaker Identification Using Cascaded GMM-CNN Classifier in Noisy and Emotional Talking Conditions
University of Sharjah（沙迦大学）；The University of Tokyo（东京大学）
本文的工作旨在提高文本无关的说话人辨识在实际应用中的性能，如嘈杂和情绪化的谈话条件。这是通过合并两个不同的模块来实现的：用于降噪的基于计算听觉景物分析CASA的预处理模块和用于说话人辨识的级联高斯混合模型卷积神经网络GMM-CNN分类器，然后是情感识别。本研究提出并评估了一种新的算法，以提高说话人辨识的准确性，在情绪和高噪声敏感条件。实验表明，该模型产生有前途的结果与其他分类器相比，语音在模拟和实际压力SUSAS数据库，阿联酋语音数据库ESD，瑞尔森视听数据库的情感语音和歌曲RAVDESS数据库和流利的语音命令数据库在嘈杂的环境中使用。
2021-02-11 cs.AI cs.SD eess.AS
Novel Hybrid DNN Approaches for Speaker Verification in Emotional and Stressful Talking Environments
University of Sharjah（沙迦大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒-阿齐兹亲王大学）；Bolu Abant Izzet Baysal University（博卢阿邦特·伊士德·贝萨尔大学）
在这项工作中，我们进行了一个实证性的比较研究的文本无关的说话人确认的性能在情绪和压力的环境。这项工作将深层模型与浅层架构相结合，从而产生了新颖的混合分类器。利用四种不同的混合模型：深度神经网络-隐马尔可夫模型（DNN-HMM）、深度神经网络-高斯混合模型（DNN-GMM）、高斯混合模型-深度神经网络（GMM-DNN）和隐马尔可夫模型-深度神经网络（HMM-DNN）。所有模型都基于新的实现架构。这项比较研究使用了三个不同的语音数据集：一个私人阿拉伯语数据集和两个公共英语数据库，即模拟和实际压力下的语音（SUSAS）和瑞尔森情绪语音和歌曲视听数据库（RAVDESS）。上述混合模型的测试结果表明，所提出的HMM-DNN利用了情感和压力环境中的验证性能。结果还显示，HMM-DNN在等出错率（EER）和曲线下面积（AUC）评估指标方面优于所有其他混合模型。基于三个数据集的平均结果验证系统基于HMM-DNN、DNN-HMM、DNN-GMM和GMM-DNN分别产生了7.19%、16.85%、11.51%和11.90%的EER。此外，我们发现，DNN-GMM模型表现出最小的计算复杂性相比，所有其他混合模型在两个谈话环境。相反，HMM-DNN模型需要最多的训练时间。研究结果还表明，EER和AUC值依赖于数据库时，比较平均情绪和压力的表现。
2021-12-26 cs.LG cs.SD eess.AS
Talking Condition Recognition in Stressful and Emotional Talking Environments Based on CSPHMM2s
University of Sharjah（沙迦大学）
这项工作的目的是利用二阶循环超分段隐马尔可夫模型（CSPHMM2）作为分类器，以提高在紧张和情绪化的谈话环境（完全两个独立的环境）中的谈话条件识别。在这项工作中使用的压力谈话环境中使用的模拟和实际压力下的语音（SUSAS）数据库，而情绪谈话环境中使用的情绪韵律语音和成绩单（EPST）数据库。使用梅尔频率倒谱系数（MFCC）的这项工作所取得的结果表明，CSPHMM2优于每个隐马尔可夫模型（HMM），二阶循环隐马尔可夫模型（CHMM2），超分段隐马尔可夫模型（SPHMM）在提高说话条件识别的压力和情绪化的谈话环境。基于CSPHMM2的实验结果还表明，在紧张的谈话环境中，说话条件识别的性能比在情绪化的谈话环境中高出3.67%。我们的结果在主观评价中获得的人类法官落在2.14%和3.08%，分别在紧张和情绪化的谈话环境的基础上CSPHMM2s。
2017-06-29 cs.SD
Studying and Enhancing Talking Condition Recognition in Stressful and Emotional Talking Environments Based on HMMs, CHMM2s and SPHMMs
University of Sharjah（沙迦大学）
本研究的工作是致力于研究和提高在紧张和情绪化的谈话环境（完全两个独立的环境）的基础上，三个不同的和独立的分类器的谈话条件识别。这三个分类器是：隐马尔可夫模型（HHMM），二阶循环隐马尔可夫模型（CHMM 2）和超分段隐马尔可夫模型（SPHMM）。本研究中所使用的压力性谈话环境由中性、喊叫、缓慢、大声、柔和和快速的谈话条件组成，而情绪性谈话环境由中性、愤怒、悲伤、快乐、厌恶和恐惧情绪组成。在目前的工作中所取得的成果表明，SPHM导致每一个HHM和CHMM2在提高说话条件识别在紧张和情绪化的谈话环境。实验结果还表明，在紧张的谈话环境中的谈话条件识别比在情绪化的谈话环境中的分别提高了2.7%，1.8%和3.3%，基于Hacks，CHMM 2s和SPHacks。根据人类法官的主观评估，压力谈话条件下的识别性能领先于情绪条件下的识别性能5.2%。
2017-07-01 cs.SD
Efficient Emotional Adaptation for Audio-Driven Talking-Head Generation
Zhejiang university（浙江大学）
提出EAT方法，通过参数高效自适应将情感无关说话头模型转化为情感可控，实现精确情感控制，并在LRW和MEAD基准上达到最先进性能。
2023-10-12 cs.CV cs.GR cs.SD
CEM-Net: Cross-Emotion Memory Network for Emotional Talking Face Generation
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）
本文提出CEM-Net，通过音频情感增强模块和情感桥接记忆模块解决参考图像情感与音频情感冲突问题，实现情感准确、自然且唇形同步的说话人脸生成。
2025-08-17 cs.MM cs.SD
Uncertainty-Aware 3D Emotional Talking Face Synthesis with Emotion Prior Distillation
School of Artificial Intelligence, Tianjin University, Tianjin, China（人工智能学院，天津大学，天津，中国）
UA-3DTalk通过引入情绪先验蒸馏和不确定性感知模块，提升3D情感说话面孔合成的音频-视觉对齐和渲染质量。
2026-01-27 cs.AI cs.MM cs.SD
EmoTalker: Emotionally Editable Talking Face Generation via Diffusion Model
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出基于扩散模型的 EmoTalker，通过修改去噪过程保留身份，并引入 Emotion Intensity Block 解析细粒度情感，实现高质量、情感可编辑的说话人脸生成。
2024-01-16 cs.CV cs.SD eess.AS
Warm Chat: Diffuse Emotion-aware Interactive Talking Head Avatar with Tree-Structured Guidance
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；School of Computer Science, Peking University（北京大学计算机学院）
Warm Chat提出一种基于树状结构引导的情感感知对话头生成框架，利用大语言模型生成时序一致且情感丰富的虚拟形象，提升双向交互的自然度与情感适应性。
2025-11-24 cs.AI cs.SD eess.AS
EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；Psyche AI Inc.（赛琪人工智能公司）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）
针对语音驱动3D人脸动画中情感与内容难分离、情感表情不足的问题，提出含EDE的端到端网络，结合blendshapes监督与新数据集3D-ETF，生成可控且多样的情感3D人脸动画，效果优于现有最优方法。
2023-08-25 cs.CV cs.SD eess.AS
Learning Frame-Wise Emotion Intensity for Audio-Driven Talking-Head Generation
Stony Brook University（石溪大学）；EPFL（洛桑联邦理工学院）；Adobe Research（奥多比研究院）；Waymo（威摩公司）；Google（谷歌公司）
本文提出一种音频驱动说话头生成方法，通过学习连续情感潜在空间和音频到强度预测器，无需逐帧标注即可捕捉并生成动态情感强度波动，提升输出表现力与真实感。
2024-09-29 cs.AI cs.SD eess.AS
Does the Lombard Effect Improve Emotional Communication in Noise? - Analysis of Emotional Speech Acted in Noise -
在嘈杂的环境中，说话者通常会不由自主地调整自己的说话方式，以实现有效的沟通。这种适应被称为伦巴第效应。虽然伴随着隆巴德效应的语音可以提高说话者声音的可懂度，但由隆巴德效应引起的声学特征（例如基频、语音强度和频谱倾斜）的变化也可能影响听者对情感内容的判断。据我们所知，目前还没有关于隆巴德效应对情绪性言语影响的研究。因此，我们记录了平行的情绪语音波形发出的12个扬声器在安静和嘈杂的条件下，在一个专业的录音室，以探讨如何隆巴德效应与情绪语音相互作用。通过分析混淆矩阵和声学特征，我们的目标是回答以下问题：1）说话人是否能在不利条件下正确表达自己的情感？2)即使在有噪声的情况下，听者能否识别出语音信号中所包含的情感？3)在噪声环境中发出的情绪性语音与在安静环境中发出的情绪性语音在声学特性上有何不同？
2019-04-09 cs.SD eess.AS
Xemo-Talker: Unlock Emotions Explicitly for Audio-Driven Talking Portrait Synthesis
针对音频驱动说话人像的情感控制难题，提出Xemo-Talker模型，通过非主成分监督的情感分支与Tri-Loss损失，实现了情感分类精度、唇形同步及推理效率的良好平衡。
2026-08-18 cs.CV cs.SD
Speech2Video: Cross-Modal Distillation for Speech to Video Generation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文研究了一个新的任务，说话的脸视频生成完全从语音。语音到视频生成技术可以在娱乐，客户服务和人机交互行业中引发有趣的应用。事实上，语音中的音色、口音和语速都包含着与说话人外貌相关的丰富信息。挑战主要在于从音频信号中分离出不同的视觉属性。在这篇文章中，我们提出了一个轻量级的，跨模态蒸馏方法来提取未标记的视频输入解开情感和身份信息。提取的特征，然后集成到一个生成对抗网络说话的脸视频剪辑。通过精心制作的鉴别器，所提出的框架实现了逼真的生成结果。与观察到的个人的实验表明，所提出的框架捕捉的情感表达完全从讲话，并产生自发的面部运动的视频输出。与语音与说话者的静态图像相结合的基线方法相比，所提出的框架的结果几乎是不可区分的。用户研究也表明，所提出的方法优于现有的算法在生成的视频中的情感表达。
2021-07-10 cs.CV cs.SD eess.AS
