Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue
Amazon Alexa AI（亚马逊Alexa AI）
本文提出ParalinGPT，通过序列化多任务多模态框架融合文本、语音嵌入和副语言属性，在Switchboard-1上显著提升口语对话的情感预测与响应生成性能。
2024-01-17 cs.CL eess.AS
Multitask Learning for Low Resource Spoken Language Understanding
KU Leuven（鲁汶大学）
我们探讨了多任务学习提供语音处理的好处，因为我们训练模型的双目标自动语音识别和意图分类或情感分类。我们的模型虽然规模不大，但在意图分类方面比端到端训练的模型有所改进。我们比较不同的设置，以找到每个任务模块的最佳配置。最后，我们研究了模型在低资源情况下的性能，通过训练模型，每个类只有一个例子。我们表明，在这些场景中的多任务学习与在文本特征上训练的基线模型竞争，并且比管道模型表现得更好。在情感分类方面，我们将端到端模型的性能与十倍的参数相匹配。我们考虑4个任务和4个数据集在荷兰语和英语。
2022-11-24 cs.CL cs.LG cs.SD
Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts
University of Bucharest（布加勒斯特大学）；PPC Romania（罗马尼亚PPC）
研究语音情感分析难题，提出通过跨模态变压器集成音频与文本信息的多模态方案，经自动语音识别生成转录本并翻译为多语言文本，还进行知识蒸馏，实验证明该方法能提升多模态情感分类性能及增强单模态音频模型。
2026-07-09 cs.AI cs.CL cs.LG
Incorporating Talker Identity Aids With Improving Speech Recognition in Adversarial Environments
Harvard University（哈佛大学）
针对语音识别模型在噪声等分布外条件下性能脆弱的问题，提出融合Whisper语音嵌入与ECAPA-TDNN说话人嵌入的Transformer联合模型，在高噪声和强增强语音场景下鲁棒性优于Whisper，干净环境下性能相当。
2024-10-07 cs.AI cs.SD eess.AS
Incorporating VAD into ASR System by Multi-task Learning
Megatronix(Beijing) Technology Co., Ltd.（兆芯（北京）科技有限公司）
在端到端自动语音识别（E2 E-ASR）系统的实际应用中，通常需要一个语音活动检测（VAD）系统来提高系统的性能，并通过丢弃音频中的非语音部分来降低计算开销。通常，ASR和VAD系统彼此独立地训练和使用。在本文中，我们提出了一种新的多任务学习（MTL）框架，将VAD到ASR系统。该系统在训练阶段学习ASR和VAD。在VAD的帮助下，ASR性能得到改善，因为其连接主义时间分类（CTC）损失函数可以利用VAD对齐信息。在推理阶段，该系统以较低的计算成本去除非语音部分，并具有较高的鲁棒性识别语音部分。实验结果表明，通过利用VAD信息，该方法优于基线ASR系统在英语和汉语数据集上的分割语音数据。在未分段的语音数据上，我们发现该系统的性能优于构建额外的基于GMM或基于DNN的语音活动检测器的ASR系统。
2022-09-30 cs.CL cs.SD eess.AS
Incorporating POS Tagging into Language Modeling
语音识别的语言模型往往只集中在识别所说的单词上。在本文中，我们重新定义的语音识别问题，使其目标是找到最好的序列的话和他们的句法作用（部分的语音）的话语。这是加强语音识别和自然语言理解之间交互的必要的第一步。
1997-05-22 cmp-lg cs.CL
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
Speech Sentiment Analysis via Pre-trained Features from End-to-end ASR Models
Google（谷歌）
在本文中，我们建议使用来自端到端ASR模型的预训练特征来解决作为下游任务的语音情感分析。我们表明，端到端的ASR功能，它集成了语音的声学和文本信息，取得了可喜的成果。我们使用具有自我注意力的RNN作为情感分类器，它还通过注意力权重提供了一个简单的可视化，以帮助解释模型预测。我们使用良好的基准IEMOCAP数据集和一个新的大规模语音情感数据集SWBD-sentiment进行评估。我们的方法将IEMOCAP的最新准确率从66.6%提高到71.7%，并在超过49，500个话语的SWBD情感上实现了70.10%的准确率。
2020-03-05 cs.CL cs.LG eess.AS
Incorporating Contextual Paralinguistic Understanding in Large Speech-Language Models
Institute for Infocomm Research (I 2 R), Agency for Science, Technology
针对Speech-LLMs共情推理受限于缺乏整合语境与副语言线索数据集的问题，提出显式与隐式两种结合语境副语言信息的训练方法，在人工标注QA基准上性能显著提升，并验证了LLM评判的可靠性。
2025-08-10 cs.AI cs.CL eess.AS
Sentiment Analysis on Speaker Specific Speech Data
VIT University（VIT大学）
情感分析在过去的几十年里得到了发展，其中的大部分工作都围绕着文本情感分析和文本挖掘技术。但音频情感分析在研究界仍处于起步阶段。在这项研究中，我们进行情感分析的发言者区分的语音转录检测的情绪参与对话中的个人发言者。我们分析了不同的技术来执行说话人歧视和情感分析，以找到有效的算法来执行这项任务。
2018-02-17 cs.CL cs.SD eess.AS
Connecting Humanities and Social Sciences: Applying Language and Speech Technology to Online Panel Surveys
Radboud University（拉德堡德大学）；Netherlands Interdisciplinary Demographic Institute (NIDI)-KNAW/University of Groningen（荷兰跨学科人口研究所（NIDI）-KNAW/格罗宁根大学）
在本文中，我们探讨了应用语言和语音技术的开放式问题，在荷兰的小组调查。在一个实验波中，受访者可以选择通过语音或键盘回答开放性问题。自动语音识别（ASR）被用来处理口头响应。我们评估了这些输入方式的答案，以调查口语和打字答案之间的差异。我们报告了ASR系统产生的错误，并调查了这些错误对下游分析的影响。开放式问题给了回答者更多的自由，但需要进行大量的分析工作。我们评估了使用基于转换器的模型（例如BERT）对开放式问题的答案应用情感分析和主题建模的可行性。基于transformer的模型的一个很大的优点是，它们是在大量的语言材料上训练的，不一定需要在目标材料上训练。这对于不包含大量文本材料的调查数据尤其有利。我们通过将自动标记与三个人类评分员进行比较来测试自动情感分析的质量，并通过比较基于自动和手动转录的口语答案生成的模型来测试主题建模的鲁棒性。
2023-02-21 cs.CL
Use of Speech Impairment Severity for Dysarthric Speech Recognition
本文提出同时利用言语障碍严重程度和说话人身份的新方法，通过多任务训练、辅助特征自适应和结构化LHUC变换，在UASpeech上取得最低17.82%的WER。
2023-05-18 cs.AI cs.LG cs.SD
Probing the Information Encoded in Neural-based Acoustic Models of Automatic Speech Recognition Systems
Avignon University（阿维尼翁大学）；Nantes University（南特大学）
本文提出通过不同层中间表示在多类语音任务上评估ASR声学模型，以识别其编码信息的类型与位置，并揭示低层结构化、高层剔除无关信息的规律。
2024-02-29 cs.AI cs.SD eess.AS
Few-Shot Spoken Language Understanding via Joint Speech-Text Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；The University of Chicago（芝加哥大学）
本研究利用语音-文本联合预训练的共享表示解决少样本口语理解数据稀缺问题，仅1小时标注语音数据即可达到用10倍数据微调的纯语音预训练模型的性能，并分析了模型不同层的表示特性。
2023-10-09 cs.CL eess.AS
Optimizing Speech Language Models for Acoustic Consistency
本研究提出融合自监督初始化、轻量对齐损失及稀疏化辅助目标的语音语言模型训练方法，发现纯语音模型声学一致性更优，交错训练可提升语义对齐，证明模型侧设计可调控声学稳定性与语义接地的平衡。
2025-09-30 cs.CL cs.SD
Leveraging Pre-trained Language Model for Speech Sentiment Analysis
ASAPP；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们探索使用预先训练的语言模型来学习语音情感分析的书面文本的情感信息。首先，我们研究了预训练的语言模型在分别采用自动语音识别（ASR）和基于成绩单的情感分析的两步管道方法中的有用性。其次，我们提出了一种基于伪标签的半监督训练策略，使用端到端语音情感方法上的语言模型来利用大型但未标记的语音数据集进行训练。虽然口语和书面语具有不同的语言特点，但它们在理解情感方面可以相互补充。因此，所提出的系统不仅可以模型的声学特征承载特定的情感信息的语音信号，但学习潜在的信息，携带的文本表示的情感。在这些实验中，我们证明了所提出的方法提高F1分数一致相比，没有语言模型的系统。此外，我们还表明，所提出的框架可以通过利用大量的数据而无需人类情感注释来减少65%的人类监督，并在人类情感注释不足的低资源条件下提高性能。
2021-06-11 cs.CL eess.AS
USA: Universal Sentiment Analysis Model & Construction of Japanese Sentiment Text Classification and Part of Speech Dataset
Yokohama National University（横滨国立大学）；Pusan National University（釜山国立大学）
本文提出通用情感分析（USA）模型，利用单词与文本间的相互增强效应（MRE）并构建四个SCPOS数据集，在四项任务上超越gpt-3.5-turbo。
2023-09-14 cs.CL
SpeechSense: A Paralinguistic-Focused Dataset for Fine-Grained Speech Sentiment Analysis
The Chinese University of Hong Kong（香港中文大学）
本文针对现有语音情感分析研究的两大局限，构建了副语言聚焦的细粒度语音情感分析数据集SpeechSense，实验证实具备声学信息的模型性能优于纯文本基线，凸显了声学线索的重要性。
2026-08-19 cs.CL cs.MM cs.SD
Automated Sentiment and Hate Speech Analysis of Facebook Data by Employing Multilingual Transformer Models
University College Groningen, University of Groningen（格罗宁根大学学院，格罗宁根大学）；Foundation The London Story（伦敦故事基金会）
近年来，学术界和公共话语中有一个高度的共识，即社交媒体平台（SMP）放大了仇恨和负面情绪内容的传播。研究人员已经确定了仇恨内容，政治宣传和有针对性的信息如何导致现实世界的危害，包括反对民选政府的叛乱，种族灭绝以及由于对世界部分地区某些社区的负面言论加剧而导致的社会凝聚力崩溃。为了解决这些问题，SMP创建了半自动系统，可以帮助识别有毒言论。在本文中，我们分析了一个代表性的Facebook数据集（n= 604，703）中仇恨和负面情绪内容的统计分布，这些数据集通过648个公共Facebook页面被废弃，这些页面将自己确定为极右翼Hindutva演员的支持者（和追随者）。这些页面是通过在Facebook和CrowdTangle上使用关键字搜索手动识别的，并根据页面名称，页面描述和在这些页面上共享的话语被归类为极右翼Hindutva页面。我们采用最先进的开源XLM-T基于转换器的多语言模型，对这些页面上共享的文本内容进行情感和仇恨语音分析，为期5.5年。结果显示了预测情绪和仇恨言论标签的统计分布;顶级演员和顶级页面类别。我们进一步讨论了这些预训练的语言模型的基准性能和局限性。
2023-01-31 cs.CL cs.LG
Dialog speech sentiment classification for imbalanced datasets
Impactech LTD（Impactech有限公司）；Cyprus University of Technology（塞浦路斯理工大学）；Aalborg University（奥尔堡大学）
语音是人类表达情感的最常见方式，情感分析是使用自然语言处理和计算算法等工具来识别这些情感的极性。尽管该领域在过去二十年中取得了巨大的进步，但在不同类型的数据集中有效地检测代表性不足的情感仍然是一项具有挑战性的任务。在本文中，我们使用单模态和双模态分析的短对话语句，并获得洞察的主要因素，有助于情感检测，特别是在代表性不足的类，在数据集有和没有固有的情感成分。此外，我们提出了一个架构，它使用了一个学习率调度和不同的监测标准，并提供了最先进的结果，为不平衡的情绪数据集。
2021-09-15 cs.AI cs.CL
HierSentNet: Hierarchical Sentiment Analysis Framework for Hate Speech Detection Using Binary and Multiclass Classification
North South University（北南大学）
提出一种集成共享情感表示的多任务分层框架，结合Transformer模型与情感分析，显著提升跨数据集的仇恨言论检测性能并减少误报。
2026-11-03 cs.AI cs.CL
Sentiment recognition of Italian elderly through domain adaptation on cross-corpus speech dataset
University of Milano - Bicocca（米兰比可卡大学）
这项工作的目的是定义一个语音情感识别（SER）模型，能够识别积极的，中性的和消极的情绪，在自然对话的意大利老年人。在文献中有几个SER的数据集。然而，他们大多是在英语或汉语，已记录下来，而演员和女演员的发音短语，因此，不相关的自然会话。此外，在所有数据库中，只有少数发言与老年人有关。因此，在这项工作中，一个多语言和多年龄的语料库被认为是合并的数据集在英语中，其中也包括老年人，在意大利语的数据集。一个通用的模型，培训的年轻和成年的英国演员和女演员提出，XGBoost的基础上。然后提出了两种域适应策略，使模型既适用于老年人，也适用于意大利语使用者。结果表明，这种方法提高了分类性能，也强调了应该收集新的数据集。
2022-11-14 cs.CL eess.AS
Anti-Asian Hate Speech Detection via Data Augmented Semantic Relation Inference
Stevens Institute of Technology（史蒂文斯理工学院）
近年来，随着仇恨言论在社交媒体上的传播，仇恨言论的自动检测正在成为一项至关重要的任务，并引起了各界的关注。此任务旨在识别在线帖子（例如，tweets）that contains包含hateful仇恨information信息.社交媒体中语言的特点，如简短和糟糕的内容，导致难以学习语义和捕捉仇恨言论的区别特征。以前的研究利用了其他有用的资源，如情感标签，以提高仇恨言论检测的性能。主题标签被添加为输入特征，用作情感词典或额外的上下文信息。然而，我们的仔细调查表明，直接利用这些特征而不考虑它们的上下文可能会给分类器带来噪声。在本文中，我们提出了一种新的方法，利用情感标签，以提高仇恨语音检测在自然语言推理框架。我们设计了一个新颖的框架SRIC，它同时执行两项任务：（1）在线帖子和情感主题标签之间的语义关系推理，以及（2）对这些帖子的情感分类。语义关系推理旨在鼓励模型将情感指示信息编码为在线帖子的表示。我们在两个真实世界的数据集上进行了广泛的实验，并证明了我们提出的框架与最先进的表示学习模型相比的有效性。
2022-04-14 cs.CL
TeamHerald@CHIPSAL 2026: Hate Speech Detection and Sentiment Analysis of Nepali Memes using Transformer-based Architectures and Ensemble Learning
Herald College Kathmandu（加德满都赫尔德学院）
针对尼泊尔语模因中代码混合和资源匮乏问题，采用OCR提取文本并结合Transformer模型，发现硬/软投票集成策略在二分类和多分类任务中表现不同，软投票在多类情感任务中提升15.8%的Macro F1分数。
2026-06-07 cs.AI cs.CL cs.CV
Hate Speech and Sentiment of YouTube Video Comments From Public and Private Sources Covering the Israel-Palestine Conflict
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Universität Regensburg（雷根斯堡大学）；Universität Leipzig（莱比锡大学）
该研究标注 4983 条涉以巴冲突的 YouTube 评论并训练 AUROC 为 0.83–0.90 的 ML 模型，发现公共来源仇恨言论与立场分化均高于私营来源。
2025-03-03 cs.CL cs.CY cs.LG
MEGnifying Emotion: Sentiment Analysis from Annotated Brain Data
University of Oxford（牛津大学）；Bowdoin College（鲍登学院）
该研究利用预训练模型对MEG数据进行情感标注，并通过强制对齐提升脑到情感模型的性能，证明了从脑信号直接解码情感的可行性。
2026-01-26 cs.CL cs.HC cs.LG
Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；Meituan（美团）；Tianjin University（天津大学）
基于情感分析的情感分析（ABSA）预测给定句子中特定方面的情感极性。虽然预先训练的语言模型（如BERT）已经取得了巨大的成功，但将动态语义变化纳入ABSA仍然具有挑战性。为此，在本文中，我们提出了解决这个问题的动态重新加权BERT（DR-BERT），一种新的方法，旨在学习动态面向方面的语义ABSA。具体来说，我们首先将Stack-BERT层作为主要编码器，以掌握句子的整体语义，然后通过引入轻量级的动态重加权适配器（Dynamic Re-weighting Adapter，简写为RWQ）对其进行微调。请注意，在每一步中，用户可以密切关注句子的一个小区域，并重新权衡至关重要的单词，以便更好地理解方面感知的情感。最后，在三个基准数据集上的实验结果证明了我们提出的模型的有效性和合理性，并为未来的语义建模提供了良好的解释性见解。
2022-11-23 cs.AI cs.CL
Urdu Speech and Text Based Sentiment Analyzer
Khushal Khan Khattak University（胡沙尔·汗·哈塔克大学）；Norwegian University of Science and Technology（挪威科技大学）
了解别人的想法一直是我们信息收集策略的一个关键方面。由于在线评论网站和个人博客等意见丰富的资源越来越多，越来越受欢迎，人们现在可以积极利用信息技术来寻求和理解他人的想法。由于情感分析在理解人们的意见方面具有重要作用，因此它是一项至关重要的任务。另一方面，现有的研究主要集中在英语语言上，只有少量的研究致力于低资源语言。在情感分析方面，提出了一种基于用户评价的多类乌尔都语数据集。推特网站被用来获取乌尔都语数据集。我们提出的数据集包括10，000条评论，这些评论被人类专家仔细分为两类：正面和负面。本研究的主要目的是为乌尔都语情感分析构建一个人工标注的数据集，并建立基线结果。实验结果表明，基于规则和词典的五种分类算法，包括Naivebayes、Stanza、Textblob、Vader和Flair，Flair的分类准确率为70%，优于其他算法。
2022-07-19 cs.CL
Grammar Detection for Sentiment Analysis through Improved Viterbi Algorithm
语法检测，也称为原始文本的词性标记，被认为是各种自然语言处理流水线（如命名实体识别、问答和情感分析）的基础构建块。简而言之，对于一个句子，词性标注是用名词、动词、形容词、副词等来指定和标注句子中的每个单词的任务。情感分析很可能是一种习惯于确定给定句子的情感基调是中性的、积极的还是消极的程序。为了将极性分数分配给短语内的论文或实体，结合了文本内分析和分析、机器学习和自然语言处理等方法。这种使用词性标注器的情感分析有助于我们敦促更广泛的公众对特定主题进行总结。为此，我们使用维特比算法，隐马尔可夫模型，基于约束的维特比算法进行词性标注。通过比较准确率，我们选择模型的最高准确率的结果进行情感分析以确定句子的特征。
2022-12-05 cs.CL cs.LG
User-level sentiment analysis incorporating social networks
Cornell University（康奈尔大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Corporation（微软公司）
我们表明，社会关系的信息可以用来提高用户级的情感分析。我们的方法背后的主要动机是，以某种方式“连接”的用户可能更有可能持有类似的意见，因此，关系信息可以补充我们可以从他们的话语中提取的关于用户的观点。采用Twitter作为我们的实验数据的来源，并在一个半监督的框架内工作，我们提出的模型，诱导从Twitter的追随者/followee网络或从网络中的Twitter用户指的是彼此使用“@”提到。我们的转换学习结果表明，结合社交网络信息确实可以导致统计上显着的情感分类改进的性能的方法的基础上，支持向量机只能访问文本特征。
2011-09-27 cs.CL cs.IR physics.data-an
BengaliSent140: A Large-Scale Bengali Binary Sentiment Dataset for Hate and Non-Hate Speech Classification
Department of Computer Science and Engineering, University of Rajshahi（计算机科学与工程系，拉贾沙希大学）
BengaliSent140是一个大规模孟加拉语二元情感数据集，通过整合多个数据集构建，用于训练和评估深度学习模型。
2026-01-27 cs.AI cs.CL
Text Compression for Sentiment Analysis via Evolutionary Algorithms
University of Cape Town（开普敦大学）；African Institute for Mathematical Sciences（非洲数学科学研究院）；South African Astronomical Observatory（南非天文台）
文本数据可以被智能地压缩而不损失评估情感的准确性吗？在本研究中，我们提出了一种新型的进化压缩算法PARSEC（PARts-of-Speech for sEntiment Compression），该算法利用词性标签来压缩文本，在与情感分析算法结合使用时，牺牲了最小的分类准确性。对12个英语情感数据集的八种商业和非商业情感分析算法的PARSEC的分析揭示，使用LingPipe（最准确的情感算法）的PARSEC的数据压缩的（20%，50%，75%）情感分类准确度损失（0%，1.3%，3.3%）的精确压缩是可能的。其他情感分析算法受到压缩的影响更严重。我们的结论是，显着的压缩文本数据是可能的情感分析取决于特定的应用程序和特定的情感分析算法使用的准确性要求。
2017-09-20 cs.AI cs.CL cs.NE
Exploring the topics, sentiments and hate speech in the Spanish information environment
University of Murcia（穆尔西亚大学）
本研究分析西班牙五家媒体2021年1月33万余条评论与推文，用BERTopic提取81个话题，发现社会与政治话题主导，内容以负面为主，仇恨言论虽低但毒性高。
2024-09-19 cs.CL
Fine-grained Speech Sentiment Analysis in Chinese Psychological Support Hotlines Based on Large-scale Pre-trained Model
School of Software Engineering, Beijing University of Technology（北京工业大学软件学院）；Peking University Huilongguan Clinical Medical School（北京大学回龙湖临床医学院）；Sorbonne Université（索邦大学）；Institut du Cerveau – Paris Brain Institute - ICM（巴黎脑研究所）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；AP-HP（巴黎公共医疗援助医院）；Hôpital de la Pitié-Salpêtrière（皮蒂-萨尔佩特里埃医院）
本文基于中国最大自杀热线数据，利用大规模预训练模型构建负面情绪识别与细粒度多标签分类模型，负面情绪识别F1达76.96%，并分析了细粒度分类的局限与临床应用前景。
2024-05-07 cs.CL cs.SD eess.AS
Hindi/Bengali Sentiment Analysis Using Transfer Learning and Joint Dual Input Learning with Self Attention
情感分析通常是指使用自然语言处理、文本分析和计算语言学从文本数据中提取基于情感和情感的信息。我们的工作探索了如何在迁移学习和联合双输入学习设置中有效地使用深度神经网络，以有效地对印地语和孟加拉语数据中的情绪进行分类并检测仇恨言论。我们首先为印地语\textbf{HASOC dataset}和孟加拉语仇恨言论训练Word 2 Vec词嵌入，然后训练LSTM，随后通过重用和微调印地语分类器的训练权重，将基于参数共享的迁移学习应用于孟加拉语情感分类器，并将两个分类器用作我们研究中的基线。最后，我们在联合双输入学习设置中使用具有自注意力的BiLSTM，在该设置中，我们同时使用印地语和孟加拉语数据集的各自嵌入来训练单个神经网络。
2022-02-11 cs.CL
Multi-Task Learning with Sentiment, Emotion, and Target Detection to Recognize Hate Speech and Offensive Language
Universidad de Jaén（哈恩大学）；Mugla Sitki Kocman University（穆拉·西特基·科奇曼大学）；University of Stuttgart（斯图加特大学）
仇恨言论和攻击性语言（HOF）的识别通常被制定为一个分类任务，以确定文本是否包含HOF。我们研究了HOF检测是否可以通过考虑HOF和类似概念之间的关系来获利：（a）HOF与情感分析相关，因为仇恨言论通常是负面的陈述，表达负面的意见;（b）它与情绪分析有关，表达的仇恨指向作者经历了（或假装经历）愤怒，而收信人经历（或打算经历）恐惧。(c)最后，联邦法院的一个构成要素是提及目标个人或群体。在此基础上，我们假设HOF检测在多任务学习设置中与这些概念联合建模时显示出改进。我们的实验基于这些概念（情感，情绪，HOF目标）的现有数据集，并在HASOC FIRE 2021英语子任务1A中作为参与者（作为IMS-SINAI团队）评估我们的模型。基于模型选择实验，我们考虑了多个可用资源和对共享任务的提交，我们发现CrowdFlower情感语料库，SemEval 2016情感语料库和OffensEval 2019目标检测数据的组合导致基于BERT的多头多任务学习模型的F1 = 0.79，而普通BERT的F1 = 0.7895。在HASOC 2019年的测试数据上，这一结果更为实质性，F1增加了2 pp，召回率也有相当大的增加。在这两个数据集（2019年，2021年）中，HOF类的召回率特别增加（2019年数据为6pp，2021年数据为3 pp），这表明具有情感，情绪和目标识别的MTL是可能部署在社交媒…
2022-07-11 cs.CL
S$^2$GSL: Incorporating Segment to Syntactic Enhanced Graph Structure Learning for Aspect-based Sentiment Analysis
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；College of Science, Shantou University（汕头大学理学院）
本文提出S$^2$GSL框架，通过分段感知语义图学习与基于句法的潜在图学习分别去除不相关上下文和依赖，并利用自适应聚合网络融合两个分支，在四个基准上验证了其在方面级情感分析中的有效性。
2024-06-07 cs.CL
Code-mixed Sentiment and Hate-speech Prediction
针对代码混合文本的情感分析和仇恨言论检测任务，研究构建了支持非正式语言的英-印地语、英-斯洛文尼亚语双语预训练模型，并评估多类模型性能，发现微调双语及社交媒体专用多语模型表现最佳且在代码混合数据上性能略优。
2024-05-21 cs.CL
Mpox Narrative on Instagram: A Labeled Multilingual Dataset of Instagram Posts on Mpox for Sentiment, Hate Speech, and Anxiety Analysis
South Dakota School of Mines and Technology（南达科他矿业理工学院）
本文针对mpox疫情构建了包含52种语言、60,127条Instagram帖子的多语言数据集，并进行了情感、仇恨言论及焦虑检测分析，填补了社交媒体挖掘在该公共卫生事件上的研究空白。
2024-10-11 cs.AI cs.CL cs.CY
Empirical Study Incorporating Linguistic Knowledge on Filled Pauses for Personalized Spontaneous Speech Synthesis
The University of Tokyo（东京大学）
本文通过实证研究探讨个性化自发语音合成中的填充停顿问题，提出结合非个性化外部填充停顿预测器的合成方法，揭示填充停顿位置与词语分别影响自然度和个体性的关键规律。
2023-09-19 cs.CL cs.SD eess.AS
Classification Benchmarks for Under-resourced Bengali Language based on Multichannel Convolutional-LSTM Network
Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）；Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
社交媒体和微博网站的指数级增长不仅为增强表达自由和个人声音提供了平台，而且使人们能够表达反社会行为，如在线骚扰、网络欺凌和仇恨言论。已经提出了许多工作来利用这些数据进行社会和反社会行为分析，文档表征，和情感分析，主要是为高度资源丰富的语言，如英语预测的上下文。然而，有些语言资源不足，例如，南亚语言，如孟加拉语，泰米尔语，阿萨姆语，泰卢固语，缺乏NLP任务的计算资源。在本文中，我们提供了几个分类基准孟加拉语，资源不足的语言。我们准备了三个表达仇恨的数据集，常用的主题，和意见仇恨言论检测，文档分类，和情感分析，分别。我们基于2.5亿篇文章构建了迄今为止最大的孟加拉语词嵌入模型，我们称之为BengFastText。我们进行了三个不同的实验，包括文档分类，情感分析，仇恨言论检测。我们将词嵌入到多通道卷积LSTM（MCv-LSTM）网络中，用于预测不同类型的仇恨言论，文档分类和情感分析。实验结果表明，BengFastText能够准确地从上下文中提取出词语的语义。根据几个基线嵌入模型进行评估，例如，Word 2 Vec和GloVe在文档分类、情感分析和仇恨语音检测的情况下，在5倍交叉验证测试期间分别产生高达92.30%、82.25%和90.45%的F1分数。
2020-04-19 cs.CL cs.LG stat.ML
Twitter Sentiment Analysis System
Vishwakarma Institute of Technology（维什瓦卡玛理工学院）
社交媒体越来越多地被人们用来以短信的形式表达他们的感受和意见。检测文本中的情感具有广泛的应用，包括识别个人的焦虑或抑郁以及测量社区的幸福感或情绪。情绪可以通过许多方式表达，如面部表情和手势，语音和书面文字。文本文档中的情感分析本质上是一个基于内容的分类问题，涉及来自自然语言处理以及机器学习领域的概念。本文讨论了基于文本数据的情感识别和情感分析中使用的技术。
2018-07-20 cs.CL cs.LG stat.ML
Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors
Harbin Institute of Technology（哈尔滨工业大学）；AI Lab of China Merchants Bank（招商银行人工智能实验室）
多模态情感分析越来越受到人们的关注，并提出了许多模型。然而，最先进的模型的性能急剧下降，当他们部署在现实世界中。我们发现，主要原因是现实世界的应用程序只能访问的文本输出的自动语音识别（ASR）模型，这可能是错误的，因为模型容量的限制。通过对ASR输出的进一步分析，我们发现在某些情况下，文本模态中的关键情感元素--情感词被识别为其他词，这使得文本的情感发生了变化，直接影响了多模态情感模型的性能。为了解决这个问题，我们提出了情感词感知多模态细化模型（SWRM），它可以动态地细化错误的情感词，利用多模态情感线索。具体地说，我们首先使用情感词位置检测模块来获得情感词在文本中的最可能位置，然后利用多模态情感词细化模块来动态地细化情感词嵌入。细化后的嵌入作为多模态特征融合模块的文本输入来预测情感标签。我们在真实世界的数据集上进行了广泛的实验，包括MOSI-Speechbrain，MOSI-IBM和MOSI-iFlytek，结果证明了我们的模型的有效性，它超过了三个数据集上当前最先进的模型。此外，我们的方法可以很容易地适用于其他多模态特征融合模型。数据和代码可在www.example.com上获得。
2022-03-01 cs.CL
Cross-Dialect Text-To-Speech in Pitch-Accent Language Incorporating Multi-Dialect Phoneme-Level BERT
The University of Tokyo（东京大学）
针对音高重音语言的跨方言文本转语音任务，提出融合多方言音素级BERT、含重音潜变量预测模块的三模块TTS模型，实验证明其提升了合成语音的方言自然度。
2024-09-11 cs.CL cs.SD eess.AS
GRASS: Unified Generation Model for Speech-to-Semantic Tasks
Didi Chuxing（滴滴出行）
本文提出统一的端到端框架GRASS，通过指令微调技术处理语音到语义任务，利用TTS系统构建数据对模型进行预训练，在多个基准上取得SOTA结果，并在零样本及少样本场景下表现优异，同时开源了数据集和代码。
2023-09-11 cs.CL cs.SD eess.AS
Sentiment Analysis with R: Natural Language Processing for Semi-Automated Assessments of Qualitative Data
情感分析是自然语言处理和计算语言学领域的一个分支学科，可用于文本文档的自动或半自动分析。这些分析的目的之一是认识到表达的态度是积极或消极的，因为它可以包含在社交媒体平台或政治文件和演讲以及虚构和非虚构文本的评论中。关于社交媒体平台上的评论分析，这是对之前关于社交媒体网络数据半自动筛选的教程的扩展。关于社交媒体评论的纵向视角以及关于虚构和非虚构文本的横截面视角，例如整本书和图书馆，可以导致大量的文本文档。通过使用具有可接受的评分者间可靠性的情感分析，可以简化和加速他们的分析。因此，本教程介绍了使用R执行情感分析的基本功能，并解释了如何逐步分析文本文档-无论其底层格式如何。所有先决条件和步骤都有详细描述，相关代码可在GitHub上获得。两个政治演讲的比较说明了一个可能的用例。
2022-06-25 cs.CL cs.CV stat.AP
Leveraging Structural and Semantic Correspondence for Attribute-Oriented Aspect Sentiment Discovery
IBM Corporation（国际商业机器公司）；North Carolina State University（北卡罗来纳州立大学）
意见文本通常涉及诸如作者身份和位置等属性，这些属性会影响不同方面表达的情感。我们认为，结构和语义对应是普遍存在于固执己见的文本，特别是当与属性，并在准确揭示其潜在的方面和情感结构的关键。然而，现有的方法并没有认识到这一点。我们提出了Trait，这是一种无监督的概率模型，可以从文本中发现方面和情感，并将它们与不同的属性相关联。为此，Trait使用马尔可夫随机场推断并利用结构和语义对应。我们的经验表明，通过将属性明确Trait显着优于国家的最先进的基线生成的属性配置文件，符合我们的直觉，通过可视化显示，并产生更大的语义凝聚力的主题。
2019-08-28 cs.CL cs.LG
Fusing Audio, Textual and Visual Features for Sentiment Analysis of News Videos
Engineering and Technology Institute, University Center of Belo Horizonte (UNI-BH)（贝洛奥里藏特大学中心（UNI-BH）工程技术学院）；CEFET-MG（米纳斯吉拉斯联邦教育技术中心（CEFET-MG））；Federal University of Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学（UFMG））
本文提出了一种新的方法来执行情感分析的新闻视频，基于融合的音频，文本和视觉线索提取的内容。所提出的方法的目的是有助于符号话语的研究，关于这个媒体宇宙的民族精神（身份）的建设，这已成为现代生活的数百万人的核心部分。为了实现这一目标，我们应用最先进的计算方法（1）从面部表情中自动识别情感，（2）提取参与者语音中的调制，以及（3）从与感兴趣的视频相关的隐藏字幕中进行情感分析。更具体地说，我们计算的功能，如识别的情绪，字段大小的参与者，发声概率，声音响度，语音基频和情感分数（极性）从文本句子中的封闭式字幕的视觉强度。实验结果与数据集包含520注释的新闻视频从三个巴西和一个美国流行的电视新闻节目表明，我们的方法实现了高达84%的准确性的情绪（紧张程度）分类任务，从而证明了其高潜力的媒体分析师在几个应用程序中使用，特别是在新闻领域。
2016-04-09 cs.CL
Mono vs Multilingual BERT for Hate Speech Detection and Text Classification: A Case Study in Marathi
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Pune（浦那L3Cube）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
Transformers是用于各种自然语言处理任务的最杰出的体系结构。这些模型在大型文本语料库上进行了预训练，旨在为文本分类等任务提供最先进的结果。在这项工作中，我们进行了单语和多语BERT模型之间的比较研究。我们专注于马拉地语，并在马拉地语的仇恨言论检测，情感分析和简单文本分类的数据集上评估模型。我们使用标准的多语言模型，如mBERT，indicBERT和xlm-RoBERTa，并与MahaBERT，MahaALBERT和MahaRoBERTa，马拉地语的单语模型进行比较。我们进一步表明，马拉地语单语模型优于多语言的BERT变体在五个不同的下游微调实验。我们还通过冻结BERT编码器层来评估来自这些模型的句子嵌入。我们表明，单语MahaBERT为基础的模型提供了丰富的表示相比，多语言同行的句子嵌入。然而，我们观察到这些嵌入不够通用，并且在域外社交媒体数据集上不起作用。我们考虑两个马拉地仇恨言论数据集L3 Cube-MahaHate，HASOC-2021，马拉地情绪分类数据集L3 Cube-MahaSent和马拉地标题，文章分类数据集。
2022-04-19 cs.CL cs.LG
TI-ASU: Toward Robust Automatic Speech Understanding through Text-to-speech Imputation Against Missing Speech Modality
University of Southern California（南加州大学）；Amazon AGI（亚马逊AGI）
针对语音模态缺失场景下的自动语音理解（ASU）问题，提出TI-ASU方法，利用预训练文本转语音模型填补缺失语音。实验表明，在训练语音缺失比例高达95%时该方法仍能显著提升ASU性能，并自适应dropout训练增强推理鲁棒性。
2024-04-27 cs.CL cs.SD eess.AS
Meme Sentiment Analysis Enhanced with Multimodal Spatial Encoding and Facial Embedding
University of Galway（戈尔韦大学）；Technological University Dublin（都柏林理工大学）
互联网模因的特点是在视觉元素中穿插文字。国家的最先进的多模态模因分类器不占这些元素在两个模态的相对位置，尽管与文本和视觉元素放置的潜在意义。针对两个模因情感分类数据集，我们系统地展示了从模因中提取的视觉对象，人脸和文本聚类的空间位置所带来的性能增益。此外，我们还提出了面部嵌入作为一个有影响力的增强图像表示在多模态模因分类。最后，我们表明，结合这些空间信息，使我们的完全自动化的方法，以超越其相应的基线，依赖于额外的人力验证OCR提取的文本。
2023-03-03 cs.CL cs.CV
Boosting Accuracy and Interpretability in Multilingual Hate Speech Detection Through Layer Freezing and Explainable AI
Department of Computer Science（计算机科学系）；University of South Carolina（南卡罗来纳大学）；Department of Civil, Environmental, and Ocean Engineering（土木、环境与海洋工程系）；Stevens Institute of Technology（史蒂文斯理工学院）；School of Computing（计算学院）；University of Nebraska–Lincoln（内布拉斯加大学林肯分校）；Bowling Green State University（鲍灵格林州立大学）
本研究通过冻结变压器模型层和整合LIME框架，提升多语言情感分析和仇恨言论检测的准确性和可解释性。
2026-01-06 cs.CL
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University（上海外国语大学）
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验，揭示了标签平滑不仅能提升分类性能，还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
Dynamic Multimodal Sentiment Analysis: Leveraging Cross-Modal Attention for Enabled Classification
本研究针对多模态情感分类问题，在transformer架构下对比三种融合策略，基于CMU-MOSEI数据集验证早期融合效果更优，为多模态情感分析的特征融合方向提供参考。
2025-01-14 cs.CL cs.LG
