超越语音情感识别：利用基于LLM和语音情感模型的政治演讲多模态Pathos分析
Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models
AI总结：
本文研究了语音情感识别模型是否能作为政治演讲分析中Pathos维度的代理，通过TRUST多智能体大语言模型（LLM）管道进行操作。使用德国议会全体会议中Felix Banaszak的演讲作为案例研究，比较了三种分析模式：(1) emotion2vec_plus_large，一个通过后验Russell Circumplex投影得到连续唤醒度和估值的语音情感识别（SER）模型；(2) Gemini 2.5 Flash，一个分析完整演讲音频及其转录文本的LLM，以开放和上下文感知的方式进行；(3) TRUST-Pathos分数，来自三个倡导者LLM监督集合。斯皮尔曼等级相关性显示，Gemini估值与TRUST-Pathos高度相关（rho = +0.664，p < 0.001），而emotion2vec估值不相关（rho = +0.097，p = 0.499）。我们进一步通过系统评估柏林情感语音数据库（EMO-DB）使用Gemini在开放注释范式下，证明标准SER基准语料库存在表演性演讲、文化偏见和类别不兼容性。我们的结果表明，基于LLM的多模态分析在捕捉语义定义的政治情感方面比单独的语音模型更有效，而语音特征仍对低层次唤醒度估计有帮助。未来的工作将扩展这种方法到视频分析中，结合面部表情和眼神。
摘要：
我们研究语音情感识别模型是否能作为政治演讲分析中Pathos维度的代理，如由TRUST多智能体大语言模型（LLM）管道定义的那样。使用Felix Banaszak在德国议会全体会议中的演讲（51个片段，245秒）作为案例研究，我们比较了三种分析模式：(1) emotion2vec_plus_large，一个通过后验Russell Circumplex投影得到连续唤醒度和估值的语音情感识别（SER）模型；(2) Gemini 2.5 Flash，一个分析完整演讲音频及其转录文本的LLM，以开放和上下文感知的方式进行；(3) TRUST-Pathos分数，来自三个倡导者LLM监督集合。斯皮尔曼等级相关性显示，Gemini估值与TRUST-Pathos高度相关（rho = +0.664，p < 0.001），而emotion2vec估值不相关（rho = +0.097，p = 0.499）。我们进一步通过系统评估柏林情感语音数据库（EMO-DB）使用Gemini在开放注释范式下，证明标准SER基准语料库存在表演性演讲、文化偏见和类别不兼容性。我们的结果表明，基于LLM的多模态分析在捕捉语义定义的政治情感方面比单独的语音模型更有效，而语音特征仍对低层次唤醒度估计有帮助。未来的工作将扩展这种方法到视频分析中，结合面部表情和眼神。
英文摘要：
We investigate whether acoustic emotion recognition models can serve as proxies for the Pathos dimension in political speech analysis, as operationalised by the TRUST multi-agent large language model (LLM) pipeline. Using a Bundestag plenary speech by Felix Banaszak (51 segments, 245 s) as a case study, we compare three analysis modalities: (1) emotion2vec_plus_large, an acoustic speech emotion recognition (SER) model whose continuous Arousal and Valence values are derived via post-hoc Russell Circumplex projection; (2) Gemini 2.5 Flash, an LLM analysing the full speech audio together with its transcript in an open-ended, context-aware fashion; and (3) TRUST-Pathos scores from a three-advocate LLM supervisor ensemble. Spearman rank correlations reveal that Gemini Valence correlates strongly with TRUST-Pathos (rho = +0.664, p < 0.001), whereas emotion2vec Valence does not (rho = +0.097, p = 0.499). We further demonstrate, via a systematic quality evaluation of the Berlin Database of Emotional Speech (EMO-DB) using Gemini in an open-ended annotation paradigm, that standard SER benchmark corpora suffer from acted speech, cultural bias, and category incompatibility. Our results suggest that LLM-based multimodal analysis captures semantically defined political emotion substantially better than acoustic models alone, while acoustic features remain informative for low-level Arousal estimation. Future work will extend this approach to video-based analysis incorporating facial expression and gaze.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
