Integrating Emotional and Linguistic Models for Ethical Compliance in Large Language Models
Stanford University(斯坦福大学)
本研究提出对抗性框架DIKE,通过情感建模、语言行为分类、伦理护栏构建及对抗优化等方法,提升大语言模型的伦理合规性与文化适配性,推动负责任的AI交互。
2024-05-14 cs.AI cs.CL
Hybrid Emotion Recognition: Enhancing Customer Interactions Through Acoustic and Textual Analysis
School of Computing(计算机学院);Informatics Institute of Technology(信息技术学院);Swansea University(斯旺西大学)
本研究提出一种结合深度学习、NLP和大语言模型的混合情感识别系统,融合声学与文本分析,在联络中心实现精准情感检测,提升客户交互质量与运营效率。
2025-03-27 cs.CL
Annotation and Detection of Emotion in Text-based Dialogue Systems with CNN
Beijing Institute of Technology(北京理工大学)
了解用户的情绪状态有助于改善人机交互。本文提出了一种基于深度卷积神经网络的汉语日常对话情感检测器-为了保持原有的语言特征,如顺序,我们没有采用常用的方法,如分割和关键字提取,而是增加了CNN的深度,并试图让CNN学习内部的语言关系。我们的主要贡献是,我们提出了一个新的模型和一个新的管道,可以在多语言环境中使用,以解决情感问题。实验结果表明,该算法具有较强的情感学习能力,并取得了比现有检测器更好的效果。
2017-10-03 cs.CL
NepEMO: A Multi-Label Emotion and Sentiment Analysis on Nepali Reddit with Linguistic Insights and Temporal Trends
Department of Computer Science and Application(计算机科学与应用系);Mechi Multiple Campus, Tribhuvan University(特里布文大学梅奇多校园);School of Computer Science(计算机科学学院);Queensland University of Technology(昆士兰理工大学);Department of Electronics and Computer Engineering(电子与计算机工程系);Advanced College of Engineering and Management, Tribhuvan University(特里布文大学先进工程与管理学院);School of Engineering and Technology(工程与技术学院)
NepEMO数据集通过多标签情绪和情感分析,结合语言洞察与时间趋势,提升尼泊尔Reddit帖子的情感识别能力。
2025-12-28 cs.CL
Probing Speech Emotion Recognition Transformers for Linguistic Knowledge
University of Augsburg(奥格斯堡大学);audEERING GmbH(audEERING有限公司);Imperial College(帝国理工学院)
由自我注意层(Transformers)组成的大型预训练神经网络最近在几个语音情感识别(SER)数据集上取得了最先进的结果。这些模型通常以自我监督的方式进行预训练,目的是提高自动语音识别性能,从而理解语言信息。在这项工作中,我们调查在SER微调过程中,利用这些信息的程度。使用基于开源工具的可重复方法,我们合成韵律中立的语音话语,同时改变文本的情感。Transformer模型的配价预测对积极和消极的情感内容以及否定都非常敏感,但对强化词或还原词却不敏感,而这些语言特征都不影响唤醒或支配。这些研究结果表明,Transformers可以成功地利用语言信息,以提高他们的效价预测,语言分析应包括在他们的测试。
2022-07-26 cs.CL cs.LG
Modulated Fusion using Transformer for Linguistic-Acoustic Emotion Recognition
Stanford University(斯坦福大学);University of Mons(蒙斯大学)
本文旨在为情感识别和情感分析的任务带来一个新的轻量级但功能强大的解决方案。我们的动机是提出两个架构的基础上Transformers和调制,结合语言和声学输入从广泛的数据集的挑战,有时超越,国家的最先进的领域。为了证明我们的模型的效率,我们仔细评估了它们在IEMOCAP,MOSI,MOSEI和MELD数据集上的性能。实验可以直接复制,代码完全开放,供未来研究使用。
2020-10-05 cs.CL cs.HC cs.LG
Polite Emotional Dialogue Acts for Conversational Analysis in Daily Dialog Data
University of Hamburg(汉堡大学);Foviatech GmbH(Foviatech 有限公司)
会话分析中使用了许多社会语言线索,如情感、情绪和对话行为。礼貌是一种基本的社会线索,它在语言学上具有对会话分析有用的属性。这篇简短的文章介绍了礼貌的情感对话行为的一些简短的发现,在那里我们可以将这些社会语言学线索之间的关系联系起来。我们发现,情绪类别为愤怒和厌恶的话语更可能是不礼貌的,而快乐和悲伤的话语更可能是礼貌的。在对话行为中也存在类似的现象,Inform和Commissioner比Question和Directive含有更多的礼貌话语。最后,我们将对这些研究结果的未来工作进行总结。
2021-12-28 cs.CL cs.HC
Unsupervised Discovery of Linguistic Structure Including Two-level Acoustic Patterns Using Three Cascaded Stages of Iterative Optimization
National Taiwan University(台湾大学)
声学模式的无监督发现技术正变得越来越有吸引力,因为大量的语音数据变得可用,但手动注释仍然很难获得。在本文中,我们提出了一种方法,无监督发现的语言结构的目标口语给定的原始语音数据。该语言结构包括两级声学模式(类子词和类词)、基于类子词模式的类词模式词典和基于类词模式的N-gram语言模型。所有的模式,模型和参数可以从未标记的语音语料库中自动学习。这是通过一个初始化步骤,其次是三个级联阶段的声学,语言和词汇迭代优化。类词模式的词典定义了类子词模式的允许的连续的HALTH序列。在每一次迭代中,模型训练和解码产生更新的标签,词典和障碍可以进一步更新。通过这种方式,在每次迭代中分别优化模型参数和解码标签,并且逐步逐层学习关于语言结构的知识。在普通话广播新闻语料库上进行了初步实验,对所提出的方法进行了测试,其中包括使用以监督方式训练的模型进行并行测试的口语术语检测任务。结果表明,该系统不仅产生合理的性能本身,但也是现有的大词汇量ASR系统的补充。
2015-09-07 cs.CL
Speech Emotion Recognition with Distilled Prosodic and Linguistic Affect Representations
Queen's University(女王大学)
我们提出EmoDistill,一种通过跨模态知识蒸馏从语音中学习韵律和语言情感表征的语音情感识别框架,在IEMOCAP上以77.49%未加权和78.91%加权准确率取得最先进性能。
2024-03-14 cs.AI cs.CL cs.LG
Is Everything Fine, Grandma? Acoustic and Linguistic Modeling for Robust Elderly Speech Emotion Recognition
Utrecht University(乌得勒支大学);St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡信息学与自动化研究所);Ulm University(乌尔姆大学);ITMO University(圣彼得堡国立信息技术机械与光学大学)
老年人情感识别的声学和语言分析是一个研究不足且具有挑战性的研究方向,但对于为老年人创建数字助理以及为精神保健目的在住宅中对老年人进行非侵入式远程监控至关重要。本文介绍了我们对INTERSPEECH 2020计算副语言学挑战赛(ComparE)-老年人情感子挑战赛的贡献,该挑战赛由唤醒和效价识别的两个三元分类任务组成。我们提出了一个双模态框架,这些任务分别使用最先进的声学和语言特征进行建模。在这项研究中,我们证明了利用特定于任务的词典和资源可以提高语言模型的性能,当标记数据量很小时。观察各种模型的开发和测试集性能之间的高度不匹配,我们还提出了替代的训练和决策融合策略,以更好地估计和提高泛化性能。
2020-09-07 cs.CL cs.HC cs.LG
Do Audio LLMs Really LISTEN, or Just Transcribe? Measuring Lexical vs. Acoustic Emotion Cues Reliance
Department of Linguistics, The Ohio State University, USA(语言学系,俄亥俄州立大学);Department of Computer Science and Engineering, The Ohio State University, USA(计算机科学与工程系,俄亥俄州立大学);Department of Information Sciences and Technology, Penn State University, USA(信息科学与技术系,宾夕法尼亚州立大学);Amazon, USA(亚马逊公司)
本研究提出LISTEN基准,评估六个音频大语言模型,发现它们主要依赖词汇而非声学线索,在情感理解上表现为“转录”而非“倾听”,并提供了评估框架。
2025-10-17 cs.AI cs.CL
OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs
Stony Brook University(石溪大学);Institute for Advanced Computational Science(高级计算科学研究院)
本文提出OmniVox,首次系统评估四种全模态大语言模型在零样本情绪识别任务上的表现,并引入声学提示策略,在IEMOCAP和MELD基准上验证其优于或媲美微调音频模型。
2025-03-28 cs.CL
Reusing Neural Speech Representations for Auditory Emotion Recognition
University of Hamburg(汉堡大学)
声学情感识别的目的是对说话人的情感状态进行分类,对于机器学习模型来说仍然是一个困难的任务。困难来自于训练数据的稀缺性,情感感知中的普遍主观性导致低注释者一致性,以及关于哪些特征是最相关和最鲁棒的分类特征的不确定性。在本文中,我们将解决后一个问题。受最近成功的迁移学习方法的启发,我们提出了一套架构,利用大型语音数据库上的训练推断的声学情感识别任务的神经表示。我们在IEMOCAP数据集上的实验显示,与经过端到端情感识别训练的基线递归神经网络相比,准确度和F1得分相对提高了约10%。
2018-03-30 cs.CL
New Insights into Optimal Alignment of Acoustic and Linguistic Representations for Knowledge Transfer in ASR
National Institute of Information and Communications Technology, Japan(日本信息与通信技术研究所)
本文提出了一种基于不平衡最优传输的对齐模型,用于改进ASR中声学与语言表示的对齐,提升知识转移效果。
2026-03-05 cs.CL cs.LG
Is AI Catching Up to Human Expression? Exploring Emotion, Personality, Authorship, and Linguistic Style in English and Arabic with Six Large Language Models
College of Computer and Information Sciences, King Saud University(计算机与信息科学学院,沙特阿拉伯国王沙德大学)
本文研究六种大语言模型在英语和阿拉伯语中模仿情感和个性的能力,发现AI生成文本可被识别,但分类性能下降,揭示了LLM在情感信号编码上的差异。
2026-03-24 cs.CL cs.LG
VicSim: Enhancing Victim Simulation with Emotional and Linguistic Fidelity
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对公共服务情景训练中的受害者模拟问题,提出VicSim模型,融合GAN训练与关键信息提示,提升信息、情感和语言保真度,并在人类评估中拟人度超过GPT-4。
2025-01-06 cs.CL cs.HC
Human behaviour through a LENS: How Linguistic content triggers Emotions and Norms and determines Strategy choices
University of Milan-Bicocca(米兰比可卡大学)
本文提出 LENS 模型,指出决策问题的语言描述会触发情感反应与行为规范并相互作用,从而塑造个体的策略选择,并回顾了相关实验证据与未来研究方向。
2024-03-22 cs.CL cs.GT econ.GN
Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition
Sun Yat-sen University(中山大学);Dark Matter AI Research(暗物质人工智能研究院);Sea AI Lab(冬海人工智能实验室)
统一声学和语言表示学习对于将在丰富的高资源语言数据上学到的知识转移到低资源语音识别变得越来越重要。现有的方法简单地级联预训练的声学和语言模型来学习从语音到文本的转换。然而,如何解决语音和文本的表征差异还没有被探索,这阻碍了声学和语言信息的利用。此外,以前的工作简单地用声学特征替换预训练语言模型的嵌入层,这可能会导致灾难性遗忘问题。在这项工作中,我们介绍了Wav-BERT,一个合作的声学和语言表示学习方法融合和利用语音和文本的上下文信息。具体来说,我们将预先训练的声学模型(wav 2 vec 2.0)和语言模型(BERT)统一到端到端的可训练框架中。设计了一个表示聚合模块来聚合声学和语言表示,并引入了一个嵌入注意模块来将声学信息融入到BERT中,这可以有效地促进两个预训练模型的合作,从而促进表示学习。大量的实验表明,我们的Wav-BERT显着优于现有的方法,并达到国家的最先进的低资源语音识别的性能。
2021-10-09 cs.CL eess.AS
The Sound of Populism: Distinct Linguistic Features Across Populist Variants
Fudan Institute for Advanced Study in Social Sciences(复旦大学社会科学高级研究院);YK Pao School(YK Pao学院);College of Foreign Languages and Literatures(外国语言文学学院)
本研究结合 LIWC 特征与微调 RoBERTa,分析美国总统演说中四类民粹主义语言,揭示其共同语调及不同变体的情感差异。
2025-05-10 cs.CL
VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation
Meta Superintelligence Labs(Meta超智能实验室);Arizona State University(亚利桑那州立大学);Massachusetts Institute of Technology(麻省理工学院)
VowelPrompt通过元音层面的语调增强,提升LLM在语音情感识别中的表现并生成可解释的解释。
2026-02-06 cs.CL
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK(爱丁堡大学)
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调,揭示了情感语音与音乐间的声学相似性及模型情感偏差,并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
Conversational Analysis of Daily Dialog Data using Polite Emotional Dialogue Acts
Foviatech GmbH(Foviatech有限公司);University of Hamburg(汉堡大学)
许多社会语言学线索被用于会话分析,如情感、情绪和对话行为。礼貌是一个基本的线索,它在语言学上具有一些特性,如在会话分析中有用的社交礼仪。本文介绍了礼貌的情感对话行为协会的研究结果,在那里我们可以关联的社会语言线索之间的关系。我们证实了我们的假设,即话语的情绪类愤怒和厌恶更有可能是不礼貌的。同时,快乐和悲伤更有可能是礼貌的。一个不太令人期待的现象出现在对话行为Inform和Commissioner中,它们比Question和Directive包含更多的礼貌话语。最后,我们总结了这些研究结果的未来工作,以扩大使用礼貌的社会行为的学习。
2022-05-11 cs.AI cs.CL cs.HC
Towards More Accurate Prediction of Human Empathy and Emotion in Text and Multi-turn Conversations by Combining Advanced NLP, Transformers-based Networks, and Linguistic Methodologies
基于WASSA共享任务,本文结合前馈神经网络、多种嵌入模型、分层采样、词汇资源及模型集成,预测文本和二元对话中的共情与情感水平。
2024-07-26 cs.CL cs.LG
Analysis and Utilization of Entrainment on Acoustic and Emotion Features in User-agent Dialogue
诱导是会话者在会话中调整自己的说话风格以与对方保持一致的现象。它在声学、韵律、词汇和句法等不同的方面都有发现。在这项工作中,我们探索和利用夹带现象,以改善语音助手的口语对话系统。我们首先从声学特征的角度研究了人与人之间对话中夹带现象的存在,然后将分析扩展到情感特征。分析结果表明,强有力的证据夹带在声学和情感特征。基于这一发现,我们实施了两个夹带政策,并评估夹带原则到文本到语音(TTS)系统的集成,提高了合成性能和用户体验。结果发现,夹带原则到TTS系统的集成带来的性能改善时,考虑声学特征,而没有观察到明显的改善时,考虑情感特征。
2022-12-07 cs.CL cs.SD eess.AS
Linguistic Search Optimization for Deep Learning Based LVCSR
Shanghai Jiao Tong University(上海交通大学)
基于深度学习的大词汇量连续语音识别(LVCSR)的最新进展引起了对大规模语音转录的日益增长的需求。语音识别器的推理过程是找到一个标签序列,其相应的声学和语言模型最好地匹配输入特征[1]。主要计算包括两个阶段:声学模型(AM)推理和语言搜索(加权有限状态传感器,WFST)。这两个阶段的计算开销大,阻碍了LVCSR的广泛应用。受益于更强大的分类器,深度学习和更强大的计算设备,我们提出了解决这些基本问题的一般思路和一些初步尝试。
2018-08-02 cs.CL
Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models
Democracy Intelligence gGmbH(民主智能有限责任公司)
本文研究了语音情感识别模型是否能作为政治演讲分析中Pathos维度的代理,通过TRUST多智能体大语言模型(LLM)管道进行操作。使用德国议会全体会议中Felix Banaszak的演讲作为案例研究,比较了三种分析模式:(1) emotion2vec_plus_large,一个通过后验Russell Circumplex投影得到连续唤醒度和估值的语音情感识别(SER)模型;(2) Gemini 2.5 Flash,一个分析完整演讲音频及其转录文本的LLM,以开放和上下文感知的方式进行;(3) TRUST-Pathos分数,来自三个倡导者LLM监督集合。斯皮尔曼等级相关性显示,Gemini估值与TRUST-Pathos高度相关(rho = +0.664,p < 0.001),而emotion2vec估值不相关(rho = +0.097,p = 0.499)。我们进一步通过系统评估柏林情感语音数据库(EMO-DB)使用Gemini在开放注释范式下,证明标准SER基准语料库存在表演性演讲、文化偏见和类别不兼容性。我们的结果表明,基于LLM的多模态分析在捕捉语义定义的政治情感方面比单独的语音模型更有效,而语音特征仍对低层次唤醒度估计有帮助。未来的工作将扩展这种方法到视频分析中,结合面部表情和眼神。
2026-05-21 cs.AI cs.CL cs.HC
Leveraging Cross-Attention Transformer and Multi-Feature Fusion for Cross-Linguistic Speech Emotion Recognition
Shanghai Maritime University(上海海事大学);Carleton University(卡尔顿大学);The University of British Columbia(不列颠哥伦比亚大学);Stanford University(斯坦福大学);The University of North Carolina at Pembroke(北卡罗来纳大学彭布罗克分校)
本研究提出HuMP-CAT方法,融合HuBERT、MFCC和韵律特征,利用交叉注意力Transformer和迁移学习,在五种语言的七个数据集上实现78.75%的平均准确率,优于现有跨语言语音情感识别方法。
2025-01-06 cs.CL cs.SD eess.AS
LUCY: Linguistic Understanding and Control Yielding Early Stage of Her
University of YYY(YYY大学);Institute of WWW(WWW研究院);Tencent Youtu Lab(腾讯优图实验室);Peking University(北京大学);Nanjing University(南京大学)
提出LUCY端到端语音模型,通过感知情绪、自然响应和外部工具调用,实现优于同类模型的情感控制与实时问答能力。
2025-01-27 cs.CL cs.SD eess.AS
On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era
University of Augsburg(奥格斯堡大学);Huawei Technologies(华为技术有限公司);HSE University(俄罗斯国家研究型高等经济大学);ITMO University(圣彼得堡国立信息技术机械与光学大学);Imperial College London(伦敦帝国理工学院)
从那时起,来自自动语音识别(ASR)转录和音频表示的文本编码在语音情感识别(SER)中显示出了希望。然而,它是具有挑战性的解释的影响,每个信息流的SER系统。此外,需要更多的澄清,以分析ASR的单词出错率(WER)对语言情感识别本身的影响,并在融合的背景下与声学信息开发的时代,深ASR系统。为了解决上述问题,我们通过应用三个现代ASR系统从原始语音创建成绩单,包括用递归神经网络-换能器损失训练的端到端模型,连接主义时间分类损失模型,以及用于自监督学习的wav 2 vec框架。然后,我们使用预训练的文本模型从ASR输出和黄金标准中提取文本表示。对于声学语音特征的提取和学习,我们利用openSMILE,openXBoW,DeepSpectrum和auDeep。最后,我们进行决策级融合的两个信息流-声学和语言学。使用最佳的开发配置,我们实现了最先进的未加权平均召回值的$73.6\,\%$和$73.8\,\%$的说话人无关的发展和测试分区的IEMOCAP,分别。
2021-04-20 cs.CL cs.SD eess.AS
Acoustic and linguistic representations for speech continuous emotion recognition in call center conversations
LIUM(勒芒大学信息实验室);Le Mans Université(勒芒大学);LIA(阿维尼翁大学信息实验室);Avignon Université(阿维尼翁大学);Allomedia(Allomedia公司)
针对呼叫中心语音情感识别标注数据不足的问题,本研究探索预训练声学与语言表征的应用,发现语言内容(尤其是CamemBERT表征)对满意度预测贡献最大,融合方法对标注主观性更鲁棒,并分析了性能波动与语言模态高贡献的原因。
2023-10-06 cs.AI cs.CL cs.LG
EM2LDL: A Multilingual Speech Corpus for Mixed Emotion Recognition through Label Distribution Learning
Faculty of Data Science, City University of Macau(数据科学学院,澳门城市大学);Graduate School of Informatics, Nagoya University(信息科学研究生院,名古屋大学);Institute of Psychology, Chinese Academy of Sciences(心理学研究所,中国科学院);Information Technology Center, Nagoya University(信息科技中心,名古屋大学);Graduate School of Advanced Science and Technology, Japan Advanced Institute of Science and Technology(先进科学与技术研究生院,日本科学技术大学)
EM2LDL通过标签分布学习构建多语言语音语料库,旨在提升混合情绪识别能力,提供多语言环境下复杂情绪动态研究的测试平台。
2025-11-25 cs.CL
Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages
Nanyang Technological University(南洋理工大学);Southwest Jiaotong University(西南交通大学);Kash Institute of Electronics and Information Industry(Kash电子信息产业研究院);Southwest Petroleum University(西南石油大学)
本文提出结合对比学习与大语言模型的两阶段训练框架,实现跨语言零样本语音情绪识别,并构建大规模合成数据集M5SER,实验验证了其有效性。
2025-03-25 cs.AI cs.CL
Detecting Emotion Carriers by Combining Acoustic and Lexical Representations
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用科学大学);University of Trento(特伦托大学)
个人叙述(PN)-口头或书面-是对事实,人物,事件和思想的回忆,从自己的经验。情感识别和情感分析任务通常定义在话语或文档级别。然而,在这项工作中,我们专注于情感载体(EC)定义为片段(语音或文本),最好地解释叙述者的情感状态(“失去父亲”,“让我选择”)。一旦提取,这样的EC可以提供用户状态的更丰富的表示,以改善自然语言理解和对话建模。在之前的工作中,已经证明可以使用词汇特征来识别EC。然而,口语叙述应该提供更丰富的上下文和用户的情绪状态的描述。在本文中,我们利用基于单词的声学和文本嵌入以及早期和晚期融合技术来检测口语叙事中的EC。对于声学单词级表示,我们使用残差神经网络(ResNet)在单独的语音情感语料库上进行预训练,并进行微调以检测EC。不同的融合和系统组合策略的实验表明,后期融合导致这项任务的显着改善。
2021-12-13 cs.AI cs.CL cs.SD
Investigating the Impact of Word Informativeness on Speech Emotion Recognition
University of Helsinki(赫尔辛基大学)
本文提出利用预训练语言模型计算的词语信息量筛选语义重要语音片段,并仅在这些片段上提取声学特征,从而有效提升语音情感识别性能。
2025-06-02 cs.CL eess.AS
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
本文提出JAL-Turn框架,通过联合声学-语言建模实现高效实时轮流检测,利用交叉注意力模块整合预训练声学表示与语言特征,同时共享冻结的ASR编码器以并行处理,提升准确性和实时性。
2026-10-14 cs.AI cs.CL
Emotional Voice Conversion using Multitask Learning with Text-to-speech
KI for Artificial Intelligence, KAIST(韩国科学技术院人工智能研究所);Information and Electronics Research Institute, KAIST(韩国科学技术院信息与电子研究所)
语音转换(VC)是指在保留语言内容的前提下,将人的语音转换为不同的风格。以往VC的研究都是基于序列到序列(seq 2seq)模型,这可能会误导语言信息。有人试图通过使用文本监督来克服它,它需要显式对齐,这失去了使用seq 2seq模型的好处。提出了一种基于多任务学习的文本转语音语音转换器。基于seq 2seq的文语转换的嵌入空间具有丰富的文本信息。TTS解码器的作用是将嵌入空间转换为语音,这与VC相同。在所提出的模型中,整个网络的训练,以尽量减少损失的VC和TTS。VC有望通过多任务学习捕获更多的语言信息并保持训练稳定性。在男性韩语情感文本-语音数据集上进行了VC的实验,结果表明多任务学习有助于保持VC中的语言内容。
2019-11-27 cs.CL cs.SD eess.AS
Topic Classification on Spoken Documents Using Deep Acoustic and Linguistic Features
National Engineering Laboratory for Speech and Language Information Processing(语音及语言信息处理国家工程实验室);University of Science and Technology of China(中国科学技术大学)
口语文档的主题分类系统通常由两个模块组成:将语音转换为文本的自动语音识别(ASR)模块和从解码的文本预测主题类的文本主题分类(TTC)模块。在本文中,而不是使用的ASR成绩单,深层声学和语言特征的融合用于口语文档的主题分类。更具体地,首先训练使用音素作为输出单元的传统的基于CTC的声学模型(AM),并且将训练的AM中的线性音素分类器之前的层的输出用作口语文档的深度声学特征。此外,这些深层声学特征被馈送到音素到词(P2W)模块以获得深层语言特征。最后,提出了一个局部多头注意力模块,融合这两类深度特征进行主题分类。在Switchboard语料库中的一个子集上进行的实验表明,我们提出的框架优于传统的ASR + TTC系统,并在ACC上实现了3.13%的提高。
2021-06-16 cs.CL cs.SD eess.AS
Multimodal and Multi-view Models for Emotion Recognition
University of Houston(休斯顿大学)
对情感识别的研究表明,结合词汇和声学信息可以产生更鲁棒和准确的模型。大多数研究侧重于培训和评价中两种模式都可用的环境。然而,在实践中,情况并非总是如此;由于计算复杂性或与隐私相关的约束,获取ASR输出可能代表部署管道中的瓶颈。为了解决这一挑战,我们研究了在训练过程中有效地结合声学和词汇模态的问题,同时仍然提供了一个可部署的声学模型,不需要词汇输入。我们首先用多模态模型和两种注意力机制进行实验,以评估词汇信息可以提供的好处的程度。然后,我们框架的任务作为一个多视图学习问题,从一个多模态模型到我们的声学只有网络使用对比损失函数的语义信息。我们的多模态模型在词汇和声学信息上的表现优于USC-IEMOCAP数据集。此外,我们的多视图训练的声学网络大大超过了专门使用声学特征训练的模型。
2019-06-24 cs.CL cs.SD eess.AS
EmoRL: Continuous Acoustic Emotion Classification using Deep Reinforcement Learning
University of Hamburg(汉堡大学)
声音表达的情感可以使与机器人的交流更有效。检测愤怒等情绪可以为机器人提供指示不安全/不期望情况的线索。最近,已经提出了几种基于深度神经网络的模型,这些模型在情感状态评估中建立了新的最先进的结果。这些模型通常在每个话语结束时开始处理,这不仅需要检测话语结束的机制,而且还使得难以在实时通信场景中使用它们,例如人机交互。我们提出了一种新的情感分类模型,当它在听一个人说话时获得足够的信心时,它就会触发情感分类。因此,我们最大限度地减少了对音频信号进行分段以进行分类的需要,并在音频信号被增量处理时实现了较低的延迟。该方法是一个强大的基线模型的准确性竞争,同时允许更早的预测。
2018-04-03 cs.CL cs.HC cs.LG
An Approach to Mispronunciation Detection and Diagnosis with Acoustic, Phonetic and Linguistic (APL) Embeddings
Microsoft(微软)
许多发音错误检测和诊断(MD&D)的研究方法试图利用声学和语言特征作为输入。然而,性能的提高是有限的,部分原因是缺乏大量的注释训练数据在音素水平。从用大量单词级注释训练的ASR模型中提取的语音嵌入可以以噪声鲁棒性和说话者无关的方式作为输入语音内容的良好表示。这些嵌入作为隐含的语音补充信息,可以缓解显式音素标注的数据不足。我们建议利用声学,语音和语言(APL)的嵌入功能,共同建立一个更强大的MD&D系统。在L2-ARCTIC数据库上的实验结果表明,该方法在检测准确率、诊断出错率和F测度上分别比基线算法提高了9.93%、10.13%和6.17%.
2022-03-31 cs.CL cs.SD eess.AS
Alzheimers Dementia Detection using Acoustic & Linguistic features and Pre-Trained BERT
BITS Pilani, K.K. Birla Goa Campus(Birla技术与科学学院皮拉尼校区 K.K. Birla果阿校区);IEMN Université de Lille(里尔大学微电子与纳米技术研究所)
老年痴呆症是一种致命的进行性脑部疾病,随着时间的推移而消失。现在是我们拥有廉价和快速的临床诊断技术进行早期检测和护理的时候了。在以前的研究中,各种机器学习技术和预训练的深度学习模型已经与各种声学和语言特征的提取结合使用。我们的研究重点是ADReSS(通过自发语音识别阿尔茨海默氏症)2021年挑战赛中分类任务的三个模型。我们使用ADReSS Challenge提供的平衡数据集来训练和验证我们的模型。模型1使用eGeMAPs特征集中的各种声学特征,模型2使用我们从自动生成的成绩单中生成的各种语言特征,模型3使用自动生成的成绩单直接使用预训练的BERT和TF-IDF提取特征。这些模型在模型部分中有详细描述。
2021-09-24 cs.CL cs.LG cs.SD
CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR
Honda Research Institute Japan Co., Ltd.(本田研究院日本株式会社);Carnegie Mellon University(卡内基梅隆大学)
CALM通过端到端框架整合目标说话人条件和上下文偏差,降低多说话人语音识别的词错误率和字符错误率,验证了跨语言的联合语音-语言建模有效性。
2026-05-13 cs.CL cs.SD eess.AS
A Multi-layered Acoustic Tokenizing Deep Neural Network (MAT-DNN) for Unsupervised Discovery of Linguistic Units and Generation of High Quality Features
National Taiwan University(台湾大学)
本文总结了作者为Interspeech 2015技术计划中组织的零资源语音挑战所做的工作。挑战的目标是直接从未标记的语音数据中发现语言单位。在这项工作中提出的多层声学标记器(MAT)自动发现多组声学标记从给定的语料库。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带给定语料库的不同特征,因此可以相互加强背后的语言。然后,将多组标记标签用作在低级声学特征上训练的多目标DNN(MDNN)的目标。从MDNN中提取的瓶颈特征被用作MAT和MDNN本身的反馈。我们将该迭代系统称为多层声学标记化深度神经网络(MAT-DNN),其为挑战的轨道1生成高质量特征,并为挑战的轨道2生成声学标记。
2015-06-07 cs.CL cs.LG cs.NE
The False Resonance: A Critical Examination of Emotion Embedding Similarity for Speech Generation Evaluation
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan(国立台湾大学通讯工程研究所);Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California, USA(美国南加州大学明希电气与计算机工程系);Gilbert AI Lab, USA(美国Gilbert人工智能实验室);Graduate Institute of Electrical Engineering, National Taiwan University, Taiwan(国立台湾大学电气工程研究所);Artificial Intelligence Center of Research Excellence, National Taiwan University, Taiwan(国立台湾大学人工智能研究中心)
本文批判性地检验了情感嵌入相似性在语音生成评估中的有效性,指出其在零样本评估中存在代表性限制,导致语言和说话者干扰掩盖情感特征,从而与人类感知不一致。
2026-07-23 cs.CL eess.AS
VAW-GAN for Disentanglement and Recomposition of Emotional Elements in Speech
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
情感语音转换(EVC)的目的是将语音的情感从一种状态转换到另一种状态,同时保持语言内容和说话人身份。本文利用变分自编码Wasserstein生成对抗网络(VAW-GAN)研究语音中情感成分的分解和重组。我们提出了一种基于VAW-GAN的说话人相关EVC框架,该框架包括两个VAW-GAN管道,一个用于频谱转换,另一个用于韵律转换。我们训练一个频谱编码器,解开情感和韵律(F0)的信息从频谱特征,我们也训练韵律编码器,解开情感调制的韵律(情感韵律)从语言韵律。在运行时,频谱VAW-GAN的解码器以韵律VAW-GAN的输出为条件。声码器采用转换后的频谱和韵律特征来生成目标情感语音。实验验证了我们提出的方法在客观和主观评价的有效性。
2020-11-03 cs.CL cs.SD eess.AS
Pre-trained Model Representations and their Robustness against Noise for Speech Emotion Analysis
Apple(苹果公司)
预训练的模型表示在语音识别、自然语言处理和其他应用中表现出最先进的性能。诸如来自Transformers(BERT)和隐藏单元BERT(HuBERT)的双向编码器表示之类的语音模型已经使得能够生成词汇和声学表示以有益于语音识别应用。我们研究了使用预训练的模型表示来估计维度情绪,例如激活,效价和优势,从语音中。我们观察到,虽然效价可能在很大程度上依赖于词汇表征,激活和优势主要依赖于声学信息。在这项工作中,我们使用来自预训练模型的多模态融合表示来生成最先进的语音情感估计,与标准声学和词汇基线相比,我们在一致性相关系数(CCC)上显示出100%和30%的相对改善。最后,我们研究了预训练模型表示对噪声和混响退化的鲁棒性,并注意到词汇和声学表示受到不同的影响。我们发现,词汇表示是更强大的失真相比,声学表示,并证明了知识蒸馏从多模态模型有助于提高噪声鲁棒性的声学模型。
2023-03-03 cs.CL cs.LG cs.SD
Emotion Recognition under Consideration of the Emotion Component Process Model
University of Stuttgart(斯图加特大学)
文本中的情感分类通常使用神经网络模型来执行,该模型学习将语言单元与情感相关联。虽然这通常会导致良好的预测性能,但它只能在有限程度上帮助理解情绪如何在各个领域进行交流。Scherer(2005)的情感成分过程模型(CPM)是解释情感交流的一个有趣的方法。它指出,情绪是对事件作出反应的各种子成分的协调过程,即主观感受,认知评价,表达,生理身体反应和动机行为倾向。我们假设这些成分与语言实现有关:一种情感可以通过描述生理上的身体反应来表达(“他在发抖”),或者是(“她笑了”)等。我们用情感成分类对现有文献和Twitter情感语料库进行了注释,发现Twitter上的情感主要是通过事件描述或对感觉的主观报道来表达的,而在文献中,作者喜欢描述人物的行为,而把解释留给读者。我们进一步包括CPM的多任务学习模型,并发现这支持的情绪分类。注释的语料库可在https://www.ims.uni-stuttgart.de/data/emotion上获得。
2022-05-16 cs.AI cs.CL cs.HC
In-Context Learning in Speech Language Models: Analyzing the Role of Acoustic Features, Linguistic Structure, and Induction Heads
ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所);CSAI, Tilburg University(蒂尔堡大学认知科学与人工智能系)
研究探讨了语音模型中上下文学习中语音特征、语言结构和归纳头的影响,发现语速显著影响学习效果,而音高和强度影响较小,归纳头在语音上下文学习中起因果作用。
2026-04-07 cs.AI cs.CL
Audio-Linguistic Embeddings for Spoken Sentences
Stanford University(斯坦福大学)
我们提出了口语句子嵌入捕获声学和语言的内容。虽然现有的作品在字符,音素或单词级别上运行,但我们的方法通过在句子级别上对语音进行建模来学习长期依赖关系。作为一个音频语言多任务学习问题,我们的编码器-解码器模型同时从音频中重建声学和自然语言特征。我们的研究结果表明,口语句子嵌入优于音素和单词水平的基线语音识别和情感识别任务。消融研究表明,我们的嵌入可以更好地模拟高层次的声学概念,同时保留语言内容。总的来说,我们的工作说明了通用的,多模态的句子嵌入口语语言理解的可行性。
2019-02-20 cs.CL cs.SD eess.AS
Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study on Speech Emotion Recognition
University of Edinburgh(爱丁堡大学)
本研究通过逐层分析自监督声学词嵌入(AWEs)与词嵌入的相似性,并在IEMOCAP和ESD语料库上对比实验,证明恰当使用AWEs能有效提升语音情感识别(SER)的准确性。
2024-02-04 cs.CL cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Computational modeling of early language learning from acoustic speech and audiovisual input without linguistic priors
本文提出了一种从语音和视听输入中无语言先验进行早期语言学习的计算建模方法,展示了自监督和视觉基础模型在学习语音特征方面的有效性,并探讨了这些模型与婴儿语言发展实证发现的联系。
2026-03-11 cs.AI cs.CL eess.AS
Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
端到端模型在自动语音识别(ASR)任务上取得了令人印象深刻的结果。然而,对于低资源的ASR任务,标记数据很难满足端到端模型的需求。自监督声学预训练已经显示出惊人的ASR性能,而转录仍然不足以在端到端模型中进行语言建模。在这项工作中,我们将预先训练的声学编码器(wav2vec2.0)和预先训练的语言编码器(BERT)融合到端到端ASR模型中。融合模型只需要在有限的标记数据上进行微调时学习从语音到语言的转换。两种模态的长度由单调的注意力机制匹配,而不需要额外的参数。此外,一个全连接层被引入到模态之间的隐藏映射。我们进一步提出了一个预定的微调策略,以保留和利用预先训练的语言编码器的文本上下文建模能力。实验表明,我们有效地利用了预训练模块。我们的模型在CALLHOME语料库(15小时)上取得了比其他端到端模型更好的识别性能。
2021-01-24 cs.CL cs.SD eess.AS
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时,文本到语音(TTS)的最新进展已经提高了接近人类能力的质量和自然度。但是,要实现类似人类的交流,仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题,特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法,它利用语言信息,利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明,该方法提高了韵律和自然的复杂话语,以及在长形式阅读(LFR)。
2020-11-18 cs.CL cs.SD eess.AS