Covid-19 Discourse on Twitter: How the Topics, Sentiments, Subjectivity, and Figurative Frames Changed Over Time
University College Dublin（都柏林大学学院）
我们在社交媒体上谈论当前流行病危机时使用的词汇，可以让我们了解我们是如何对这一流行病进行概念化的，以及我们是如何对其发展作出反应的。本文提供了一个广泛的探索性分析，以了解Twitter上关于新冠肺炎的话语是如何随着时间的推移而变化的，重点是这场大流行的第一波。基于广泛的推文语料库（产生于2020年3月20日至7月1日之间），我们首先使用主题建模展示了与疫情发展相关的主题如何随时间变化。其次，我们展示了在推文中使用的语言的情感极性如何从第一次锁定期间相对积极的效价变化到与重新开放相对应的更消极的效价。第三，我们展示了推文的平均主观性是如何线性增加的，第四，当真正的骚乱和打斗进入话语时，WAR的流行和常用的比喻框架是如何变化的。
2021-03-16 cs.CL cs.SI
Language-Independent Sentiment Analysis Using Subjectivity and Positional Information
Sofia University “St Kliment Ohridski”（索非亚大学“圣克莱门特·奥赫里德斯基”）；National University of Singapore（新加坡国立大学）
我们描述了一种新的语言独立的方法来确定极性，积极或消极的，作者的意见在自然语言文本中的特定主题的任务。特别地，基于属性、单个单词或单词二元语法的位置和它们主观的可能性，将权重分配给属性、单个单词或单词二元语法。每个属性的主观性估计在两个步骤的过程中，首先是主观的概率计算包含属性的每个句子，然后这些概率被用来改变属性的极性分类的权重。在电影评论的标准数据集上的评估结果显示出89.85%的分类准确率，这与之前发表的最佳结果相媲美，该结果适用于不使用额外语言信息或外部资源的系统。
2019-11-28 cs.CL cs.IR cs.LG
Sentiment Analysis : A Literature Survey
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们的日常生活总是受到人们想法的影响。别人的想法和意见总是会影响我们自己的意见。Web 2.0的爆炸式增长导致了播客、博客、标签、RSS贡献、社会书签和社交网络的活动增加。因此，人们对挖掘这些庞大的数据资源以获得意见的兴趣爆发了。情感分析或意见挖掘是对文本的意见、情感和主观性的计算处理。在这份报告中，我们来看看情感分析的各种挑战和应用。我们将详细讨论各种方法来执行情感和意见的计算处理。各种监督或数据驱动的技术，如天真的Byes，最大熵，SVM和投票感知器SA将被讨论，他们的优点和缺点将被触及。我们还将看到认知心理学分析情感的新维度，主要是通过Janyce Wiebe的工作，在那里我们将看到如何检测主观性，叙事中的视角和理解话语结构。我们也会研究情感分析中的一些特定主题和这些领域的当代作品。
2013-04-16 cs.CL
Lexicon-Based Sentiment Analysis on Text Polarities with Evaluation of Classification Models
Mirpur University of Science and Technology（米尔布尔科技大学）
本文采用基于词典的方法（Text Blob和Vader）对160万条推文进行多类情感分析，并评估五种机器学习模型，随机森林以81%准确率最优，同时应用于人格判断案例。
2024-09-19 cs.CL
Multimodal Multi-loss Fusion Network for Sentiment Analysis
Columbia University（哥伦比亚大学）
本文提出多模态多损失融合网络，通过研究跨模态特征编码器的最优选择与融合，结合多损失训练和上下文整合，在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上实现了最先进的情感检测性能。
2024-06-02 cs.AI cs.CL cs.LG
UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
多模态情感分析（MSA）和会话中的情感识别（ERC）是计算机理解人类行为的关键研究课题。从心理学的角度来看，情绪是在短时间内表达情感或感受，而情绪则是在较长时间内形成和保持的。然而，大多数现有的作品分别研究情感和情绪，并没有充分利用两者背后的互补知识。在本文中，我们提出了一个多模态情感知识共享框架（UniMSE），统一MSA和ERC任务的功能，标签和模型。我们在句法和语义层面进行模态融合，并在模态和样本之间引入对比学习，以更好地捕捉情感和情绪之间的差异和一致性。在MOSI、MOSEI、MELD和IEMOCAP四个公共基准数据集上的实验结果表明，该方法与现有方法相比具有一致的性能改进.
2022-11-21 cs.CL
SubjQA: A Dataset for Subjectivity and Review Comprehension
University of Copenhagen（哥本哈根大学）；Aalborg University（奥尔堡大学）；Megagon Labs（美佳根实验室）
主观性是无法客观观察或验证的内部意见或信念的表达，并且已被证明对于情感分析和词义消歧很重要。此外，主观性是用户生成数据的一个重要方面。尽管如此，主观性还没有被调查的情况下，这样的数据是广泛的，如在问答（QA）。因此，我们调查主观性和QA之间的关系，同时开发一个新的数据集。我们比较和对比与以前的工作的分析，并验证有关主观性的发现仍然适用于使用最近开发的NLP架构。我们发现，主观性也是一个重要的功能，在QA的情况下，虽然主观性和QA性能之间的相互作用更复杂。例如，主观问题可以或可以不与主观答案相关联。我们发布了一个基于客户评论的英语QA数据集（SubjQA），其中包含6个不同领域的问题和答案的主观性注释。
2020-10-06 cs.AI cs.CL
TransModality: An End2End Fusion Method with Transformer for Multimodal Sentiment Analysis
Peking University（北京大学）
多模态情感分析是一个重要的研究领域，它通过从文本、视觉和听觉模态中提取特征来预测说话人的情感倾向。其核心挑战是多模态信息的融合方法。目前已经提出了多种融合方法，但很少有采用端到端的翻译模型来挖掘模态之间的细微相关性。受最近Transformer在机器翻译领域的成功启发，我们提出了一种新的融合方法TransModality，来解决多模态情感分析的任务。我们假设模态之间的翻译有助于更好地联合表示说话人的话语。使用Transformer，学习的特征体现了来自源模态和目标模态的信息。我们在多个多模态数据集上验证了我们的模型：CMU-MOSI，MELD，IEMOCAP。实验结果表明，我们提出的方法达到了国家的最先进的性能。
2020-09-28 cs.CL
Basic tasks of sentiment analysis
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
主观性检测是识别客观和主观句子的任务。客观句是那些不表现任何情感的句子。因此，期望情感分析引擎找到并分离目标句子以用于进一步分析，例如，极性检测在主观句中，观点通常可以表达一个或多个主题。方面提取是情感分析的子任务，其在于识别意见文本中的意见目标，即，在检测产品或服务的特定方面时，意见持有者是在赞扬还是在抱怨。
2017-10-18 cs.CL
Gated Mechanism for Attention Based Multimodal Sentiment Analysis
多模态情感分析最近越来越受欢迎，因为它与社交媒体帖子，客户服务电话和视频博客相关。在本文中，我们解决三个方面的多模态情感分析：1。跨模态交互学习，即多模态如何有助于情感，2。学习多模态交互中的长期依赖关系; 3.单模态和跨模态线索的融合。在这三个中，我们发现学习跨模态交互对这个问题是有益的。我们在两个基准数据集上进行了实验，CMU多模态意见水平情感强度（CMU-MOSI）和CMU多模态意见情感强度（CMU-MOSEI）语料库。我们在这两个任务上的方法分别产生了83.9%和81.1%的准确率，比当前最先进的方法分别提高了1.6%和1.34%。
2020-02-21 cs.CL cs.LG stat.ML
Cross-Modality Gated Attention Fusion for Multimodal Sentiment Analysis
Aalto University（阿尔托大学）
多模态情感分析是一个重要的研究课题，它是基于特定观点视频的不同模态数据来预测情感得分。以前的许多研究已经证明了在不同模式中利用共享和独特信息的重要性。然而，来自多模态数据的高阶组合信号也将有助于提取满意的表示。在本文中，我们提出了CMGA，跨通道门控注意力融合模型MSA，往往使充分的相互作用，在不同的通道对。CMGA还增加了一个遗忘门，以过滤在交互过程中引入的噪声和冗余信号。我们在MSA，MOSI和MOSEI的两个基准数据集上进行了实验，说明了CMGA在几个基线模型上的性能。我们还进行了消融研究，以证明CMGA内不同组件的功能。
2022-08-25 cs.AI cs.CL
CubeMLP: An MLP-based Model for Multimodal Sentiment Analysis and Depression Estimation
Zhejiang University（浙江大学）；Ritsumeikan University（立命馆大学）
多模态情感分析和抑郁估计是利用多模态数据预测人类心理状态的两个重要研究课题。以往的研究主要集中在开发有效的融合策略，以交换和整合来自不同模态的思维相关信息。一些基于MLP的技术最近在各种计算机视觉任务中取得了相当大的成功。受此启发，我们在这项研究中探索多模态方法与功能混合的角度。为此，我们引入CubeMLP，一个多模态特征处理框架完全基于MLP。CubeMLP由三个独立的MLP单元组成，每个单元都有两个仿射变换。CubeMLP接受所有相关的模态特征作为输入，并在三个轴上混合它们。在使用CubeMLP提取特征之后，混合多模态特征被平坦化以用于任务预测。我们的实验在情感分析数据集CMU-MOSI和CMU-MOSEI以及抑郁估计数据集AVEC 2019上进行。结果表明，CubeMLP可以实现最先进的性能与更低的计算成本。
2022-09-13 cs.CL cs.CV cs.MM
LLMs for Targeted Sentiment in News Headlines: Exploring the Descriptive-Prescriptive Dilemma
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算机学院）；TakeLab
本研究针对新闻标题目标情感分析任务，探究描述-规范标注范式的影响，对比了大语言模型与微调编码器在多语言数据集上的表现，分析了提示规范程度对性能的作用，并评估了大模型的不确定性量化能力。
2024-10-30 cs.CL
A Labelled Dataset for Sentiment Analysis of Videos on YouTube, TikTok, and Other Sources about the 2024 Outbreak of Measles
Emory University（埃默里大学）
该论文构建了一个包含4011个关于2024年麻疹暴发视频的标注数据集，利用VADER、TextBlob和DistilRoBERTa-base进行情感、主观性和细粒度情感分析，并提出了开放研究问题。
2024-07-18 cs.AI cs.CL cs.CY
Subjective Question Answering: Deciphering the inner workings of Transformers in the realm of subjectivity
UNIVERSITY OF COPENHAGEN（哥本哈根大学）；FACULTY OF SCIENCE（理学院）
理解主观性需要超出常识范围的推理技巧。它需要一个机器学习模型来处理情感和执行意见挖掘。在这项工作中，我利用了一个最近发布的数据集进行跨度选择问答，即SubjQA。SubjQA是第一个包含问题的QA数据集，这些问题要求与来自六个不同领域的评论段落相对应的主观意见。因此，为了回答这些主观问题，学习者必须针对各个领域提取意见和处理情感，并且另外，将从段落中提取的知识与相应问题中的自然语言话语对齐，这一起增加了QA任务的难度。本论文的主要目标是研究内部工作（即，潜在的表示），以帮助更好地理解这些尚未很好理解的“黑盒”模型。Transformer的隐藏表示，关于真正的答案跨度，更紧密地聚集在向量空间比那些表示对应于错误的预测。对于客观和主观问题，此观察结果在前三个Transformer层中均成立，并且通常作为层维度的函数而增加。此外，在关于真实答案跨度令牌的潜在空间中的隐藏表示之间实现高余弦相似性的概率对于正确答案跨度预测比不正确答案跨度预测显著更高。这些结果对下游应用具有决定性的影响，在下游应用中，关键是要知道神经网络为什么会出错，以及错误发生在空间和时间的哪个点（例如，自动预测答案跨度预测的正确性而不需要标记数据）。
2020-10-14 cs.CL
Nullpointer at CheckThat! 2024: Identifying Subjectivity from Multilingual Text Sequence
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；Northwestern University in Qatar（卡塔尔西北大学）
本研究针对多语言文本主客观二分类任务，通过词性标注等预处理、微调情感Transformer模型、自定义加权分类器及数据翻译等方法，在CheckThat! 2024的多语言及单语言评测中取得了优异排名。
2024-07-14 cs.CL
Towards Robust Multimodal Sentiment Analysis with Incomplete Data
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；University College London（伦敦大学学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
针对多模态情感分析中的数据不完整问题，提出以语言为主导模态的LNLN网络，通过DMC和DMML模块保障主导模态表征质量，在多数据集随机缺失场景下性能优于现有基线。
2024-11-01 cs.AI cs.CL cs.MM
Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis
CMU（卡内基梅隆大学）
多模态机器学习是跨越语言、视觉和听觉模态的核心研究领域。多模态学习的核心挑战涉及学习能够处理和关联来自多种模态的信息的表示。在本文中，我们提出了两种无监督学习的联合多模态表示使用序列到序列（Seq 2Seq）的方法：\textit{Seq2Seq Modality Translation Model}和\textit{Hierarchical Seq2Seq Modality Translation Model}。我们还探索了这些seq 2seq模型的多模态输入和输出的多种不同变化。我们使用CMU-MOSI数据集对多模态情感分析进行的实验表明，我们的方法学习了优于基线的信息多模态表示，并在多模态情感分析上实现了性能的提高，特别是在双峰的情况下，我们的模型能够将F1得分提高12个点。我们还讨论了多模式Seq 2Seq方法的未来方向。
2018-08-06 cs.CL cs.LG stat.ML
The Illusion of Balanced Multimodal Sentiment Analysis: Beyond the Limits of Optimization-Based Methods
Mines Paris-PSL University（巴黎高科矿业学院）；University of Bern（伯尔尼大学）；National Technical University of Athens（雅典国立技术大学）；Archimedes AI（阿基米德人工智能公司）；Synaptic Bloom PBC（Synaptic Bloom公益公司）
本文揭示多模态情感分析中基于优化的平衡方法失效，提出统一评估框架、理论诊断及留出判别性模态价值评估议程，实验表明现有策略均不稳定优于晚期拼接。
2026-09-11 cs.CL
Learning Language-guided Adaptive Hyper-modality Representation for Multimodal Sentiment Analysis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；China University of Geosciences, Wuhan（中国地质大学（武汉））；Nanyang Technological University（南洋理工大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
针对多模态情感分析中模态间无关与冲突信息阻碍性能提升的问题，提出自适应语言引导多模态Transformer，通过自适应超模态学习模块在语言引导下抑制无关冲突信息，在多个数据集上取得最优性能。
2023-12-14 cs.AI cs.CL cs.CV
ScaleVLAD: Improving Multimodal Sentiment Analysis via Multi-Scale Fusion of Locally Descriptors
Southwest Jiaotong University（西南交通大学）；Microsoft Research Asia（微软亚洲研究院）；Southwestern University of Finance and Economics（西南财经大学）；Ocean University of China（中国海洋大学）；Tencent（腾讯）
融合技术是多模态情感分析中的一个关键研究课题。最近的基于注意力的融合展示了简单的基于操作的融合的进步。然而，这些融合工作采用单尺度，即，标记级或话语级的单峰表示。这种单尺度融合是次优的，因为不同的模态应该与不同的粒度对齐。本文提出了一种融合模型ScaleVLAD，利用局部聚集描述符的共享向量从文本、视频和音频中收集多尺度表示，以改善非对齐的多模态情感分析。这些共享向量可以被视为共享主题，以对齐不同的模态。此外，我们提出了一个自我监督的移动聚类损失，以保持样本之间的融合特征的差异。骨干是对应于三种模态的三个Transformer编码器，并且从融合模块生成的聚合特征被馈送到Transformer加上完整连接以完成任务预测。三个流行的情感分析基准，IEMOCAP，MOSI和MOSEI的实验，表现出显着的收益超过基线。
2021-12-02 cs.AI cs.CL cs.LG
Semi-IIN: Semi-supervised Intra-inter modal Interaction Learning Network for Multimodal Sentiment Analysis
South China University of Technology（华南理工大学）
针对多模态情感分析中标注成本高、标签模糊及模态交互重要性随样本变化的问题，提出融合掩码注意力与门控机制、结合自训练的半监督网络Semi-IIN，在两个公开数据集上多项指标达SOTA。
2024-12-13 cs.AI cs.CL
TCAN: Text-oriented Cross Attention Network for Multimodal Sentiment Analysis
State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；Tencent（腾讯）；School of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）
本文提出面向文本的跨注意力网络TCAN，通过强调文本模态主导作用、门控控制及单模态联合学习，在多模态情感分析中超越现有方法。
2025-05-08 cs.CL cs.MM
MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
多模态情感分析是一个活跃的研究领域，它利用多模态信号对用户生成的视频进行情感理解。解决这一问题的主要方法是发展先进的核聚变技术。然而，信号的异质性造成了分布模式的差距，构成了重大挑战。在本文中，我们的目标是学习有效的模态表示，以帮助融合的过程。我们提出了一个新的框架，MISA，它的项目每一个模态到两个不同的子空间。第一个子空间是模态不变的，其中跨模态的表示学习它们的共性并减少模态间隙。第二子空间是模态特定的，其对于每个模态是私有的，并且捕获它们的特征。这些表示提供了多模态数据的整体视图，该视图用于导致任务预测的融合。我们在流行的情感分析基准测试MOSI和MOSEI上的实验表明，与最先进的模型相比，它有显著的优势。我们还考虑了多模态幽默检测的任务，并在最近提出的UR_FUNNY数据集上进行了实验。在这里，我们的模型也比强基线更好，建立MISA作为一个有用的多式联运框架。
2020-10-19 cs.CL cs.LG
SemMSA: Latent Semantic-Aided Robust Multimodal Sentiment Analysis with Incomplete Data
Shandong University（山东大学）；Shenzhen Loop Area Institute（深圳河套学院）
提出SemMSA框架，利用大语言模型构建潜在语义，通过跨模态语义精炼与谱对齐处理不完整多模态数据，在SIMS、MOSI和MOSEI基准上取得最先进性能。
2026-10-30 cs.CL cs.CV cs.MM
ThatiAR: Subjectivity Detection in Arabic News Sentences
Hamad bin Khalifa University（哈马德·本·哈利法大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Free University of Berlin（柏林自由大学）
本文提出了首个阿拉伯语新闻主观性检测数据集ThatiAR（约3.6K人工标注句子及GPT-4o解释），并通过基准实验表明上下文学习LLM性能更优。
2024-06-08 cs.AI cs.CL
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis
Tsinghua University（清华大学）
表示学习是多模态学习中一个重要而又具有挑战性的课题。有效的情态表征应包含两个方面的特征：一致性和差异性。由于统一的多模态标注，现有方法在获取差异化信息方面受到限制。然而，额外的单模态注释是高时间和劳动力成本的。本文设计了一个基于自监督学习策略的标签生成模块，以获得独立的单峰监督。然后，联合训练多模态和单模态任务，分别学习一致性和差异性。此外，在训练阶段，我们设计了一个权重调整策略，以平衡不同子任务之间的学习进度。即引导子任务将注意力集中在模态监督差异较大的样本上。最后，我们在三个公共的多模态基线数据集上进行了广泛的实验。实验结果验证了自动生成的单峰监督的可靠性和稳定性。在MOSI和MOSEI数据集上，我们的方法超越了当前最先进的方法。在SIMS数据集上，我们的方法实现了与人类注释的单峰标签相当的性能。完整代码可在https://github.com/thuiar/Self-MM上获得。
2021-02-09 cs.CL
Robust Incomplete Multimodal Sentiment Analysis via Iterative Proxy Correction
Renmin University of China（中国人民大学）；Anhui Polytechnic University（安徽工程大学）
针对不完整多模态情感分析中一次性代理初始化粗糙的问题，提出迭代代理修正框架，在MOSI等数据集上实现了优于基线的鲁棒情感预测。
2026-08-21 cs.CL
DLF: Disentangled-Language-Focused Multimodal Sentiment Analysis
University of Pittsburgh（匹兹堡大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出DLF框架，通过特征解耦、几何度量、语言聚焦吸引子与分层预测减少模态冗余和冲突，强化语言表示，在CMU-MOSI和CMU-MOSEI上显著提升多模态情感分析性能。
2025-04-09 cs.AI cs.CL cs.LG
Multi-level Conflict-Aware Network for Multi-modal Sentiment Analysis
Beijing Jiaotong University（北京交通大学）；North University of China（中北大学）
针对多模态情感分析中现有方法忽视双模态冲突且依赖不稳定生成标签的问题，提出多级冲突感知网络（MCAN），分离单/双模态的对齐与冲突成分并通过差异约束建模冲突，在CMU-MOSI和CMU-MOSEI数据集上验证了有效性。
2025-02-13 cs.AI cs.CL cs.LG
GSIFN: A Graph-Structured and Interlaced-Masked Multimodal Transformer-based Fusion Network for Multimodal Sentiment Analysis
针对多模态情感分析中融合效率低与表示计算开销高的问题，本文提出 GSIFN，通过图结构化交错掩码 Transformer 和自监督单模态标签生成提升性能并降低开销。
2024-12-03 cs.CL
Multimodal Sentiment Analysis with Word-Level Fusion and Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
随着YouTube和Facebook等视频分享网站的日益普及，多模态情感分析越来越受到科学界的关注。与以前的多模态情感分析的工作，专注于整体信息的语音段，如袋的话表示和平均面部表情强度，我们开发了一种新的深度架构多模态情感分析，执行模态融合在单词级别。在本文中，我们提出了具有时间注意力的门控多模态嵌入LSTM（GME-LSTM（A））模型，该模型由2个模块组成。门控多模态嵌入技术解决了多模态噪声情况下的融合问题。具有时间注意力的LSTM以输入模态之间更精细的融合分辨率执行单词级融合，并关注最重要的时间步长。因此，GME-LSTM（A）能够更好地对语音的多模态结构进行建模，并执行更好的情感理解。我们通过实现最先进的情感分类和回归结果，在公开的情感强度和主观性分析（CMU-MOSI）数据集上证明了这种方法的有效性。对我们的模型的定性分析强调了时间注意层在情感预测中的重要性，因为附加的声学和视觉模态是嘈杂的。我们还证明了门控多模态嵌入的有效性，有选择地过滤这些嘈杂的方式。我们的研究结果和分析开辟了人类交流中情感分析研究的新领域，并为多模态融合提供了新的模型。
2018-02-03 cs.AI cs.CL cs.LG
Opinion Mining on Offshore Wind Energy for Environmental Engineering
Montclair State University（蒙特克莱尔州立大学）
本文采用TextBlob、VADER和SentiWordNet三种机器学习模型对社交媒体数据进行情感分析，研究大众对海上风能的意见，并利用NLP技术与数据可视化工具展示结果，以支持智能治理与决策。
2024-09-22 cs.AI cs.CL cs.LG
Optimizing Small Transformer-Based Language Models for Multi-Label Sentiment Analysis in Short Texts
ScaDS.AI, TU Dresden, Germany（ScaDS.AI，图腾德斯大学，德国）；FIZ Karlsruhe, Germany（卡尔斯鲁厄研究所，德国）
针对短文本多标签情感分类的挑战，研究评估了领域预训练、生成式数据增强、分类头架构三类优化策略对小型Transformer模型的影响，明确了各策略的实际效果，为资源受限场景下的短文本情感分类优化提供指导。
2025-09-05 cs.CL cs.IR cs.LG
Should Missing Modalities Always Be Necessary to Repair for Multi-modal Sentiment Analysis?
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology, A*STAR（新加坡制造技术研究所，新加坡科技研究局）；Lingnan University（岭南大学）
研究多模态情感分析中缺失模态是否总需修复，提出SIEVE方法，通过比较直接预测与修复分支，从样本损失差距得经验充分性信号，经证据门路由输入，与修复无关，实验证明其能改进修复主干并接近最优值。
2026-07-21 cs.CL
PGF-Net: A Progressive Gated-Fusion Framework for Efficient Multimodal Sentiment Analysis
Universiti Sains Malaysia（马来西亚理科大学）
本文提出PGF-Net框架，通过渐进式层内融合、自适应门控仲裁和混合参数高效微调策略，在MOSI数据集上以仅3.09M可训练参数实现多模态情感分析的最优性能。
2025-08-20 cs.CL cs.LG
A Wide Evaluation of ChatGPT on Affective Computing Tasks
University of Augsburg（奥格斯堡大学）；SyncPilot GmbH（SyncPilot有限公司）；Nanyang Technological University（南洋理工大学）；Imperial College London（伦敦帝国学院）
本研究评估了GPT-3.5、GPT-4在13类情感计算任务上的能力，提出将回归类任务转化为成对排序分类的评估框架，发现其在多数情感相关任务上表现优异，但在隐含信号类任务上存在不足。
2023-08-26 cs.AI cs.CL
Semantic-Aligned Structural Abstraction for Multimodal Sentiment Analysis
Huazhong Agricultural University（华中农业大学）；Hubei University（湖北大学）
该研究针对现有多模态情感分析方法无法建模情感语义的局限，提出SentiLLM框架，通过双流显著性-上下文校准机制实现语义对齐结构抽象，在四个数据集上取得优异性能。
2026-07-31 cs.AI cs.CL
Evaluating Financial Sentiment Analysis with Annotators Instruction Assisted Prompting: Enhancing Contextual Interpretation and Stock Prediction Accuracy
New Jersey Institute of Technology（新泽西理工学院）
针对金融情感基准中标签主观性导致 LLM 评估不公的问题，本文提出 AIAP 提示，将人工标注指令纳入模型上下文，并在 WSBS 数据集上验证其最高提升 9.08，同时用置信度构建情感指数以增强股价预测。
2025-05-09 cs.AI cs.CL
CEA-LIST at CheckThat! 2025: Evaluating LLMs as Detectors of Bias and Opinion in Text
Université Paris-Saclay（巴黎-萨克雷大学）；CEA-List（法国原子能委员会-列表）
本文提出使用 LLMs 结合少样本提示进行多语言主观性检测，在 CheckThat! 2025 任务中表现优异，证明了其在数据稀缺或不一致时优于传统微调。
2025-07-10 cs.AI cs.CL
Improving Multimodal fusion via Mutual Dependency Maximisation
LTCI, Telecom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信巴黎分校LTCI）；IBM GBS France（IBM GBS法国）
多模态情感分析是当前情感分析领域的一个研究热点，而多模态融合多模态融合是其中最活跃的研究课题之一。承认人类通过各种渠道（即视觉，听觉，语言）进行交流，多模态系统旨在将不同的单峰表示集成为一个合成系统。到目前为止，已经做出了相应的努力，开发复杂的架构，允许这些模式的融合。然而，这样的系统主要通过最小化简单损失（例如$L_1$或交叉熵）来训练。在这项工作中，我们调查未开发的处罚，并提出了一套新的目标，衡量模式之间的依赖性。我们证明了我们的新惩罚在两个著名的情感分析数据集上的各种最先进的模型中得到了一致的改进（高达$4.3$的准确性）：\texttt{CMU-MOSI}和\texttt{CMU-MOSEI}。我们的方法不仅在两个数据集上实现了新的SOTA，而且还产生了对模态下降更鲁棒的表示。最后，我们的方法的一个副产品包括一个统计网络，可以用来解释模型学习的高维表示。
2021-09-09 cs.AI cs.CL cs.LG
Found in Translation: Learning Robust Joint Representations by Cyclic Translations Between Modalities
Carnegie Mellon University（卡内基梅隆大学）；Microsoft AI（微软人工智能（微软AI））
多模态情感分析是研究说话人情感的一个核心研究领域，它从语言、视觉和听觉三个方面来表达说话人情感。多模态学习的核心挑战涉及推断可以处理和关联来自这些模态的信息的联合表示。然而，现有的工作学习联合表示，需要所有的模态作为输入，因此，学习的表示可能是敏感的噪声或丢失的模态在测试时。随着序列到序列（Seq 2Seq）模型在机器翻译中的成功，有机会探索学习联合表示的新方法，这些方法在测试时可能不需要所有输入模态。在本文中，我们提出了一种方法来学习强大的联合表示之间的翻译模态。我们的方法基于以下关键见解：从源模态到目标模态的翻译提供了一种仅使用源模态作为输入来学习联合表示的方法。我们增加模态翻译与周期一致性损失，以确保我们的联合表示保留最大的信息，从所有的模态。一旦我们的翻译模型使用成对的多模态数据进行训练，我们只需要在测试时来自源模态的数据来进行最终的情感预测。这确保了我们的模型在其他模态的扰动或缺失信息中保持稳健。我们用耦合的预防-预测目标训练我们的模型，它在多模态情感分析数据集上取得了最新的结果：CMU-MOSI，ICT-MMMO和YouTube。额外的实验表明，我们的模型学习越来越多的歧视性的联合表示与更多的输入模态，同时保持鲁棒性丢失或扰动模态。
2020-02-28 cs.CL cs.CV cs.HC
VideoAdviser: Video Knowledge Distillation for Multimodal Transfer Learning
KDDI Research（KDDI研究院）；Keio University（庆应义塾大学）
本文提出 VideoAdviser，通过 CLIP 教师到 RoBERTa 学生的两步视频知识蒸馏，使纯文本模型获得多模态知识，并在情感分析和音视频检索上显著提升性能。
2023-09-27 cs.CL cs.CV
