Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition
New York University（纽约大学）；JP Morgan Chase（摩根大通）
本文构建涵盖八种语音表示模型、六种语言的 SER 基准，并通过探测实验发现单一最优层特征较使用全部层平均降低 32% 错误率，中间层最关键。
2023-08-17 cs.CL cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)（信息技术大学（ITU））；University of Southern Queensland（南昆士兰大学）；Qatar University（卡塔尔大学）
尽管在深度学习方面取得了进展，但由于缺乏语音情感数据集，当前最先进的语音情感识别（SER）系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音（TTS）系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器，用于创建Mel频谱图的序列到序列文本生成器，以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明，所生成的情感语音的质量可以显着提高多个数据集上的SER性能，如与基线相比更高的平均意见得分（MOS）所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们调查的效果和有用性的自发性（即是否一个给定的语音是自发的或没有）在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关，并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置，利用自发性，以提高语音情感识别：一个层次模型，执行自发性检测之前执行情感识别，和一个多任务学习模型，共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库，我们表明，通过使用自发性检测作为一个额外的任务，可以实现显着的改善，情绪识别系统，不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率（4级，69.1%），优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
Improving Speech Emotion Recognition with Unsupervised Speaking Style Transfer
Zhejiang Lab（之江实验室）；Xinjiang University（新疆大学）；University of Hamburg（汉堡大学）
本文提出EmoAug无监督风格转换模型，通过分离语义与副语言编码并重建语音，增强情感表达并平衡数据，在IEMOCAP上超越现有方法并缓解过拟合。
2023-12-28 cs.AI cs.SD eess.AS
SECap: Speech Emotion Captioning with Large Language Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
针对语音情感分类不足以表达复杂情感的问题，提出SECap框架，利用HuBERT提取特征、Q-Former桥接、LLaMA生成自然语言情感描述，客观评估优于基线，主观评分与人类相当。
2023-12-23 cs.SD eess.AS
Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University（北京大学）；Midea Group（美的集团）
本文提出情感神经转导器（ENT），通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别，在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Osaka Prefecture University（大阪府立大学）
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统，用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上，并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上，该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
How Speech is Recognized to Be Emotional - A Study Based on Information Decomposition
Tsinghua University（清华大学）
人类将情感编码成语音信号的方式是复杂的。例如，一个生气的人可能会提高音调和语速，并使用不礼貌的词语。在本文中，我们提出了各种情绪因素的初步研究，并探讨他们如何影响现代情绪识别系统。我们研究的关键工具是最近提出的SpeechFlow模型，通过该模型，我们能够将语音信号分解为单独的信息因素（内容，音高，节奏）。在此分解的基础上，我们仔细研究了每个信息组件及其组合的性能。我们对三个不同的语音情感语料库进行了研究，并选择了基于注意力的卷积RNN作为情感分类器。我们的研究结果表明，节奏是情感表达的最重要的组成部分。此外，跨语料库的结果是非常糟糕的（甚至比猜测），表明目前的语音情感识别模型是相当薄弱的。有趣的是，通过删除一个或几个不重要的组件，跨语料库的结果可以得到改善。这表明了分解方法对一个可推广的情感识别的潜力。
2021-11-24 cs.SD eess.AS
Research on several key technologies in practical speech emotion recognition
本文研究了实用的语音情感识别技术，包括烦躁、自信和疲劳等与认知相关的情感类型。高质量的自然情感语音数据是本研究的基础。本研究采用认知任务、计算机游戏、噪声刺激、睡眠剥夺和电影片段等技术来诱导实用的情感言语。研究了一个基于高斯混合模型的语音情感识别系统。在小样本情况下，采用两类分类器集合来提高性能。考虑到连续情感语音中的上下文信息，提出了一种嵌入马尔可夫网络的高斯混合模型。进一步研究了系统鲁棒性分析。首先，将基于听觉掩蔽特性的降噪算法引入到语音情感识别中。其次，针对真实环境下复杂的未知情感类型，提出了一种具有拒识能力的情感识别方法，增强了系统对未知情感样本的兼容性。第三，针对大量未知说话人给情感特征归一化带来的困难，提出了一种基于说话人敏感特征聚类的情感特征归一化方法。第四，通过增加心电信号通道，首次提出了一种基于语音信号和心电信号的双模态情感识别系统。本文研究的语音情感识别方法可以扩展到跨语言语音情感识别和耳语音情感识别。
2017-09-27 cs.AI cs.SD eess.AS
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Color-based Emotion Representation for Speech Emotion Recognition
College of Information Science and Engineering（信息科学与工程学院）
本文提出利用颜色属性表示情绪，通过构建回归模型和多任务学习提升语音情绪识别的性能。
2026-02-18 cs.AI cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft（微软）
情绪存在于一个广泛的连续体上，将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别，以及如何使模型能够学习这些描述。在这项工作中，我们设计了一种方法来自动创建一个描述（或提示）为给定的音频计算声学特性，如音高，响度，语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后，我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联，从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究，
2022-11-14 cs.LG cs.SD eess.AS
Learning Transferable Features for Speech Emotion Recognition
UFMG（米纳斯吉拉斯联邦大学）；Kunumi
从语音中识别情感是高级人机交互中实现情感智能的关键步骤之一。识别人类语音中的情感需要学习在不同领域中具有鲁棒性和区分性的特征，这些领域在语言，语音的自发性，记录条件和情感类型方面有所不同。这对应于一种学习场景，其中特征和标签的联合分布可能会在各个领域发生实质性变化。在本文中，我们提出了一种深度架构，该架构联合利用卷积网络来提取域共享特征，并利用长短期记忆网络来使用特定于域的特征对情绪进行分类。考虑到语音情感数据的稀疏性和目标域缺乏标记数据的事实，我们使用可转移特征来实现多个源域的模型自适应。一个全面的跨语料库的实验与不同的语音情感领域表明，可转移的功能提供增益从4.3%到18.4%的语音情感识别。我们评估了几种域自适应方法，我们进行了消融研究，以了解哪些源域添加最多的整体识别效率为一个给定的目标域。
2019-12-23 cs.LG cs.SD eess.AS
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research（TCS研究）
本文提出EDRL-MEA两步方法，通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间，显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
S2S-Arena: Evaluating Paralinguistic Instruction Following in Speech-to-Speech Models
Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology（深圳先进技术研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanjing University（南京大学）；Shenzhen Loop Area Institute（深圳河套学院）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学CentraleSupélec分校）；National University of Singapore（新加坡国立大学）
S2S-Arena通过四级交互协议和双阶段数据构建流程，评估语音模型在语义理解和副语言表达上的能力，揭示了现有系统在复杂副语言需求下的性能差距。
2026-05-07 cs.CL cs.SD eess.AS
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad（伊斯兰堡科姆萨特大学）；University of Poonch Rawalakot（拉瓦拉科特蓬奇大学）
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略，提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集，并将主成分分析应用于子集。最后，特征被水平地融合。使用t-分布的邻居嵌入（t-SNE）的情感识别的特征的应用程序之前，得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集：情绪语音数据集（EMO-DB）和瑞尔森视听数据库的情绪语音和歌曲（RAVDESS）的两种语言，德语和英语，分别。与基线研究相比，我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益，对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech
Massachusetts Institute of Technology（麻省理工学院）；Meta
本研究提出带语音编码器的端到端系统，在完全冻结大语言模型权重的情况下使其感知语音副语言信息，在通用交互场景中实现了比基线更优质、更具共情的语音交互响应，是该方向的首次探索。
2025-05-19 cs.CL cs.SD eess.AS
Rethinking Cross-Corpus Speech Emotion Recognition Benchmarking: Are Paralinguistic Pre-Trained Representations Sufficient?
本文通过对比副语言、单语、多语及说话人识别预训练模型在跨语料库语音情感识别中的表现，证实副语言预训练模型TRILLsson最优，强调基准测试应纳入副语言预训练模型以提升可靠性。
2025-09-19 eess.AS
Explaining Speech Classification Models via Word-Level Audio Segments and Paralinguistic Features
Politecnico di Torino（都灵理工大学）；Bocconi University（博科尼大学）
提出一种通过词级音频片段和副语言特征输入扰动解释语音分类模型的方法，验证其忠实性与合理性，为语音模型可解释性研究提供新途径。
2023-09-14 cs.CL cs.SD eess.AS
SynParaSpeech: Automated Synthesis of Paralinguistic Datasets for Speech Generation and Understanding
School of Artificial Intelligence, Beijing University of Posts and Telecommunications, China（北京邮电大学人工智能学院）；Hello Group Inc., China（Hello集团有限公司）；Institute of Automation, Chinese Academy of Sciences, China（中国科学院自动化研究所）
本文提出自动化框架构建含6类、118.75小时精确标注自然会话语音的 SynParaSpeech 数据集，以促进副语言语音合成与事件检测。
2025-09-28 cs.CL eess.AS
Dual Information Speech Language Models for Emotional Conversations
Mashang Consumer Finance Co., Ltd.（玛莎消费金融有限公司）；The University of Sydney（悉尼大学）
针对语音语言模型在情感对话中难以捕捉副语言信息且上下文理解下降的问题，提出双异构适配器与弱监督训练策略，解耦语言与副语言信息，实现高效的上下文情感理解。
2025-08-11 cs.AI cs.CL cs.SD
Contextual Paralinguistic Data Creation for Multi-Modal Speech-LLM: Data Condensation and Spoken QA Generation
Agency for Science, Technology and Research (A ⋆ ⋆ \star ⋆ STAR)（科技研究局）；Institute for Infocomm Research (I 2 R)（信息通信研究所）
本文提出首个从自然场景语音中生成上下文副语言问答数据集的框架，通过伪副语言标签数据浓缩和LLM生成CPQA，验证了其有效性并揭示了现有语音LLM在共情推理上的不足。
2025-06-03 cs.AI cs.CL eess.AS
MIKU-PAL: An Automated and Standardized Multi-Modal Method for Speech Paralinguistic and Affect Labeling
Santa Clara, CA, USA（美国圣克拉拉）；Carnegie Mellon University（卡内基梅隆大学）；Huazhong University of Science and Technology（华中科技大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出自动化多模态流水线 MIKU-PAL，结合人脸检测跟踪与 MLLM 从未标注视频中提取高一致性情感语音，并发布 131.2 小时细粒度数据集 MIKU-EmoBench。
2025-05-21 cs.CL cs.SD eess.AS
Segmentation-Variant Codebooks for Preservation of Paralinguistic and Prosodic Information
University of Edinburgh（爱丁堡大学）；The Centre for Speech Technology Research（语音技术研究中心）
针对自监督语音模型量化易丢失韵律及副语言信息的问题，提出分段可变码本方法，在多语言单元层级量化分解语音，实验证明其在信息保留、风格还原及音质上均有提升。
2025-05-21 cs.CL cs.SD eess.AS
The ACM Multimedia 2023 Computational Paralinguistics Challenge: Emotion Share & Requests
Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；Hume AI（休谟人工智能公司）；Malakoff Humanis（马拉科夫·于马尼保险公司）；Sorbonne University（索邦大学）
本文介绍ACM Multimedia 2023计算副语言学挑战赛的两个全新子任务（语音情绪回归、请求与投诉检测），以及对应的基线特征提取方案与分类器设置。
2023-05-01 cs.LG cs.SD eess.AS
A Unit-based System and Dataset for Expressive Direct Speech-to-Speech Translation
Tsinghua University（清华大学）；ByteDance（字节跳动）
本文针对语音翻译忽略副语言信息的问题，构建了精确匹配的多语言电影数据集，并结合多种韵律迁移技术，提出一种直接语音到语音翻译系统，在保持准确性与自然度的同时有效保留了副语言细节。
2025-02-01 cs.CL cs.CV cs.MM
Incorporating Contextual Paralinguistic Understanding in Large Speech-Language Models
Institute for Infocomm Research (I 2 R), Agency for Science, Technology
针对Speech-LLMs共情推理受限于缺乏整合语境与副语言线索数据集的问题，提出显式与隐式两种结合语境副语言信息的训练方法，在人工标注QA基准上性能显著提升，并验证了LLM评判的可靠性。
2025-08-10 cs.AI cs.CL eess.AS
Towards robust paralinguistic assessment for real-world mobile health (mHealth) monitoring: an initial study of reverberation effects on speech
King’s College London（伦敦国王学院）；University of Sussex（萨塞克斯大学）；University College London（伦敦大学学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对移动健康监测中设备与环境差异影响语音副语言学特征可靠性的问题，本研究通过不同设备、混响环境下的语音实验分析特征变异性，为真实场景语音健康评估的鲁棒性研究指明方向。
2023-05-31 cs.SD eess.AS
TRILLsson: Distilled Universal Paralinguistic Speech Representations
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
自我监督的最新进展显着提高了语音表示的质量。然而，在设备上部署最先进的嵌入模型由于其有限的公共可用性和巨大的资源占用而受到限制。我们的工作通过公开发布一系列小型且接近最先进性能的非语言学语音模型来解决这些问题。我们的方法基于知识蒸馏，我们的模型仅基于公共数据。我们探索不同的架构，并在非语义语音（NOSS）基准上彻底评估我们的模型。我们最大的蒸馏模型的大小不到原始模型的15%（314MB vs 2.2GB），在7个任务中的6个任务上达到了96%以上的准确率，并在6.5%的数据上进行了训练。最小的模型大小为1%（22MB），在7个任务中的6个任务上达到了90%以上的准确率。我们的模型在7个任务中的6个任务上优于开源Wav2Vec 2.0模型，我们最小的模型在两个情感识别任务上都优于开源Wav2Vec 2.0，尽管大小只有开源Wav2Vec 2.0的7%。
2022-03-20 cs.CL cs.LG cs.SD
ParaBridge: Bridging Paralinguistic Perception and Dialogue Behavior in Speech Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent Hunyuan（腾讯混元）；Shenzhen Loop Area Institute（深圳河套学院）；Amphion Technology Co., Ltd.（Amphion科技有限公司）；Tsinghua University（清华大学）
提出ParaBridge，一种在线自我蒸馏方法，将推理阶段的副语言指令支架转化为稳定的模型行为，无需人工标注或外部奖励，显著提升语音语言模型对副语言线索的响应能力。
2026-09-15 cs.CL cs.SD eess.AS
Quantifying Cross-Lingual Transfer in Paralinguistic Speech Tasks
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
本文提出跨语言迁移矩阵（CLTM）以量化副语言语音任务中语言间的迁移效应，通过性别识别和说话人验证任务分析不同语言间的性能差异。
2026-10-07 cs.CL eess.AS
ParaPairAudioBench: Paralinguistic Pairwise Audio Benchmark for LALM-as-a-Judge
Hongik University（弘益大学）；Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）
提出ParaPairAudioBench，包含5,175对音频，覆盖风格、语速、重音、年龄和性别五个副语言维度，用于评估大型音频语言模型作为评判者的可靠性，发现其与人类判断差距大且校准失败严重。
2026-06-24 cs.CL cs.SD eess.AS
Modelling Paralinguistic Properties in Conversational Speech to Detect Bipolar Disorder and Borderline Personality Disorder
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Sheffield（谢菲尔德大学）；Queen Mary University of London（伦敦玛丽女王大学）
双相情感障碍（BD）和边缘型人格障碍（BPD）是两种慢性精神健康状况，临床医生发现基于临床访谈区分具有挑战性，因为它们的症状重叠。在这项工作中，我们调查这两个条件的自动检测建模语言和非语言线索在一组采访。我们提出了一种新的方法建模的短期功能的可行性签名变换，并将其与广泛使用的高级统计功能。我们证明了我们提出的基于签名的模型的优越性能。此外，我们展示了不同的功能集的作用，在表征BD和BPD。
2021-02-18 cs.CL cs.LG cs.SD
Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究院）；NAVER AI Lab（NAVER人工智能实验室）
针对基于LLM的口语对话建模策略缺失问题，提出统一口语对话模型USDM，无需显式ASR/TTS系统，通过融入韵律的语音-文本模型及通用预训练方案，在DailyTalk数据集上生成自然口语响应，性能优于基线。
2024-11-28 cs.CL cs.SD eess.AS
Universal Paralinguistic Speech Representations Using Self-Supervised Conformers
Verily Life Sciences（Verily生命科学公司）
许多语音应用需要理解所讲单词以外的方面，例如识别情感，检测说话者是否戴着面具，或区分真实语音和合成语音。在这项工作中，我们引入了一种新的最先进的语言表示，它来自于600 M+参数Conformer架构的大规模、完全自我监督的训练。我们对一组不同的语音任务进行了基准测试，并证明了在我们的时间平均表示之上训练的简单线性分类器的性能几乎优于所有以前的结果，在某些情况下，性能会大幅提高。我们对上下文窗口大小的分析表明，令人惊讶的是，2秒上下文窗口在9个任务中的7个任务上实现了使用完整长期上下文的Conformer的96%的性能。此外，虽然最佳的每任务表示是在网络内部提取的，但跨多个层的稳定性能允许单个通用表示在所有任务上达到接近最佳的性能。
2022-12-13 cs.LG cs.SD eess.AS
Crafting Adversarial Examples For Speech Paralinguistics Applications
University of Notre Dame（圣母大学）
计算语言学分析越来越多地用于广泛的网络应用，包括安全敏感的应用，如说话人验证，欺骗性语音检测和医疗诊断。虽然最先进的机器学习技术，如深度神经网络，可以提供强大而准确的语音分析，但它们容易受到对抗攻击的影响。在这项工作中，我们提出了一个端到端的方案，通过直接扰动音频记录的原始波形而不是特定的声学特征来生成用于计算语言学应用的对抗性示例。我们的实验表明，所提出的对抗性扰动可能会导致最先进的深度神经网络的性能显著下降，而对音频质量的影响微乎其微。
2019-01-11 cs.CR cs.LG cs.SD
The INTERSPEECH 2021 Computational Paralinguistics Challenge: COVID-19 Cough, COVID-19 Speech, Escalation & Primates
Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；University of Cambridge（剑桥大学）；Delft University of Technology（代尔夫特理工大学）；Utrecht University（乌得勒支大学）
INTERSPEECH 2021计算副语言学挑战赛首次在定义明确的条件下在研究竞赛中解决了四个不同的问题：在COVID-19咳嗽和COVID-19语音子挑战赛中，必须根据咳嗽声音和语音对COVID-19感染进行二元分类;在升级子挑战中，对对话中升级水平进行了三方面评估;在灵长类子挑战中，需要对四个物种与背景进行分类。我们描述了子挑战、基线特征提取和基于“通常”COMPARE和BoAW特征的分类器，以及使用AuDeep工具包进行的深度无监督表示学习，以及使用Deep Spectrum工具包从预训练的CNN中进行的深度特征提取;此外，我们还添加了深度端到端顺序建模和部分语言分析。
2021-02-24 cs.CL cs.LG cs.SD
Cross-lingual Alzheimer's Disease detection based on paralinguistic and pre-trained features
Tsinghua University（清华大学）
针对跨语言AD检测中训练集英语、测试集希腊语的数据集不匹配问题，本研究结合副语言、预训练声学及语言特征，在ICASSP-SPGC-2023 ADReSS-M挑战赛两项任务中取得有效结果，为多语言自动AD检测提供可行方案。
2023-03-14 cs.CL cs.SD eess.AS
Speech Paralinguistic Approach for Detecting Dementia Using Gated Convolutional Neural Network
Tokyo Institute of Technology（东京工业大学）；Keio University School of Medicine（庆应义塾大学医学部）
我们提出了一种非侵入性和成本效益的方法来自动检测痴呆症，仅利用语音音频数据。我们提取一个简短的语音片段的语言特征，并使用门控卷积神经网络（GCNN）将其分类为痴呆或健康。我们评估我们的方法上皮特语料库和我们自己的数据集，PROMPT数据库。我们的方法产生的准确性为73.1%的皮特语料库使用平均114秒的语音数据。在PROMPT数据库中，我们的方法使用4秒的语音数据产生74.7%的准确率，当我们使用所有患者的语音数据时，它提高到80.8%。此外，我们评估我们的方法上的三个类别的分类问题，其中我们包括轻度认知障碍（MCI）类，并实现了60.6%的准确率与40秒的语音数据。
2020-10-06 cs.LG cs.SD eess.AS
GOAT-SLM: A Spoken Language Model with Paralinguistic and Speaker Characteristic Awareness
Institute of Artificial Intelligence (TeleAI), China Telecom, China（人工智能研究所（TeleAI），中国电信，中国）
针对现有SLM忽视副语言与说话人特征的问题，本文提出GOAT-SLM双模态头模型及分阶段训练策略，在TELEVAL上实现语义与非语义任务的均衡优势。
2025-07-25 cs.AI cs.CL cs.SD
ParaLBench: A Large-Scale Benchmark for Computational Paralinguistics over Acoustic Foundation Models
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与电子工程学院）；Shenzhen Research Institute, Hunan University（湖南大学深圳研究院）；School of Information Science and Engineering, Hunan Normal University（湖南师范大学信息科学与工程学院）；UBTECH Robotics Corp（优必选机器人公司）
针对计算副语言学缺乏统一评估框架的问题，提出大规模基准测试ParaLBench，在14个声学基础模型上评估13项副语言任务，为公平比较提供参考并指出未来研究方向。
2024-11-14 cs.SD eess.AS
Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue
Amazon Alexa AI（亚马逊Alexa AI）
本文提出ParalinGPT，通过序列化多任务多模态框架融合文本、语音嵌入和副语言属性，在Switchboard-1上显著提升口语对话的情感预测与响应生成性能。
2024-01-17 cs.CL eess.AS
ParaMETA: Towards Learning Disentangled Paralinguistic Speaking Styles Representations from Speech
ParaMETA通过统一框架学习解耦的语音语义说话风格表示，实现多任务处理和生成任务中的细粒度风格控制。
2026-01-18 cs.LG cs.SD eess.AS
ParaStyleTTS: Toward Efficient and Robust Paralinguistic Style Control for Expressive Text-to-Speech Generation
University of New South Wales（新南威尔士大学）；CSIRO's Data61（澳大利亚CSIRO数据61）
本文提出轻量可解释的 ParaStyleTTS，通过两级风格适配架构仅用文本提示控制韵律与副语言风格，在质量可比 LLM 方案的同时显著提速、降参并节省显存。
2025-10-21 cs.SD eess.AS
ParaS2S: Benchmarking and Aligning Spoken Language Models for Paralinguistic-aware Speech-to-Speech Interaction
ByteDance Seed（字节跳动种子）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）
ParaS2S通过强化学习框架提升语音到语音交互中对语篇线索的处理能力，实现响应内容和风格的显著改进。
2026-03-05 eess.AS eess.SP
ParA-LLM: A Unified Approach to Paralinguistic and Acoustic Speech Understanding
Adobe Research（Adobe研究院）；University of Maryland, College Park（马里兰大学学院公园分校）；OpenAI
针对音频大模型忽视副语言信息的问题，提出ParA-LLM，通过两阶段课程训练和120万问答对，在ParA-Bench等基准上超越GPT-4o-Audio，显著提升说话人与声学特征理解。
2026-09-22 cs.AI cs.LG cs.SD
SoulX-Podcast: Towards Realistic Long-form Podcasts with Dialectal and Paralinguistic Diversity
Northwestern Polytechnical University（西北工业大学）；Soul AI Lab（Soul AI实验室）；X-LANCE Lab（X-LANCE实验室）
针对现有TTS系统多说话人对话生成能力不足的问题，提出集成副语言控制、支持多语言及方言的SoulX-Podcast系统，可生成90分钟以上稳定流畅的多轮对话，在独白与对话合成任务上均达SOTA。
2025-10-28 cs.SD eess.AS
Universal Speech Token Learning via Low-Bitrate Neural Codec and Pretrained Representations
School of Information and Communication Engineering, Communication University of China（信息与通信工程学院，中国传媒大学）；Microsoft Research Asia（微软亚洲研究院）；State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与通信国家重点实验室，中国传媒大学）
本文提出UniCodec，通过低比特率神经编解码器与自监督蒸馏，将语言和副语言信息统一为解耦令牌，提升语音语言模型的理解与生成质量。
2025-10-15 cs.AI cs.SD eess.AS
Beyond the Labels: Unveiling Text-Dependency in Paralinguistic Speech Recognition Datasets
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
本文通过分析CLSE和IEMOCAP数据集的词汇重叠并测试模型性能，揭示机器学习模型在副语言特征识别中存在文本依赖性，尤其是HuBERT等大型预训练模型可能关注词汇而非副语言特征，呼吁重新评估数据集可靠性。
2024-10-18 cs.LG eess.AS eess.SP
Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders
University of Cambridge（剑桥大学）
该研究结合TopK稀疏自编码器等方法，在SPEAR和WavLM编码器上实现语言与副语言信息的路由选择性分离，且该分离效果可跨语料库迁移，为语音表示解耦提供了有效方案。
2026-10-09 cs.CL eess.AS
