The Emotions of the Crowd: Learning Image Sentiment from Tweets via Cross-modal Distillation
Università di Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);IIT-CNR(意大利国家研究委员会信息技术研究所)
针对社交媒体图像情感极性预测依赖人工标注训练集的问题,提出基于跨模态蒸馏的自动化方法,用文本教师模型指导视觉学生模型训练,构建约150万张的弱标注数据集,在五个基准上超越当前最优水平。
2023-04-28 cs.CV
When Saliency Meets Sentiment: Understanding How Image Content Invokes Emotion and Sentiment
University of Rochester(罗切斯特大学)
情感分析对于从社交媒体内容中提取社交信号至关重要。由于社交媒体中图像的盛行,近年来图像情感分析越来越受到关注。然而,大多数现有的系统是黑盒,其不提供关于图像内容如何引起观看者的情绪和情感的洞察。心理学研究已经证实,图像中的显著对象通常会引发情感。在这项工作中,我们调查更细粒度和更全面的视觉显着性和视觉情感之间的相互作用。特别是,我们划分图像在几个主要的场景类型的维度,包括:开放关闭,自然人工,室内室外,和面对noface。使用最先进的显着性检测算法和情感分类算法,我们研究了图像中显着区域的情感如何与图像的整体情感相关。在一个典型的图像情感数据集上的实验表明,在不同的场景类型中,显著性和情感之间存在有趣的相关性,从而揭示了视觉情感唤起的机制。
2016-11-14 cs.AI cs.CV
Smile, Be Happy :) Emoji Embedding for Visual Sentiment Analysis
Twitter(推特)
由于缺乏大规模的数据集,视觉情感分析的主流方法是利用在ImageNet等大型数据集中训练的对象分类模型。然而,对象是情感中性的,这阻碍了迁移学习对此类任务的预期增益。在这项工作中,我们建议通过学习一种新的情感对齐的图像嵌入,更适合于随后的视觉情感分析,以克服这个问题。我们的嵌入利用了来自社交媒体的大规模和现成数据中表情符号和图像之间的复杂关系。JavaScript是语言不可知的,一致的,并且携带明确的情感信号,这使它们成为学习情感对齐嵌入的优秀代理。因此,我们构建了一个新的数据集,其中包含从Twitter收集的400万张图像及其相关的表情符号。我们使用表情符号预测任务作为代理来训练一个用于图像嵌入的深度神经模型。我们的评估表明,建议的嵌入优于流行的基于对象的对应物在几个情感分析基准一致。此外,在没有花哨的情况下,我们紧凑、有效和简单的嵌入在这些公共基准测试中的表现优于更精细和定制的最先进的深度模型。此外,我们引入了一种新的表情符号表示的基础上,他们的视觉情感反应,支持更深入地了解表情符号的形式和他们在社交媒体上的使用。
2020-08-09 cs.CV
Group Visual Sentiment Analysis
在本文中,我们介绍了一个框架,根据高层次的情感分类图像。我们将任务细分为三个主要问题:面部情绪分类,人体姿势估计,以及3D估计和人群聚类。我们介绍了新的算法匹配身体部位的一个共同的个人和聚类的人在图像的基础上的物理位置和方向。我们的结果优于几种基线方法。
2017-01-07 cs.CV
Robust Image Sentiment Analysis Using Progressively Trained and Domain Transferred Deep Networks
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
在线用户生成的内容的情感分析对于许多社交媒体分析任务是重要的。研究人员在很大程度上依赖于文本情感分析来开发预测政治选举、衡量经济指标等的系统。最近,社交媒体用户越来越多地使用图像和视频来表达他们的观点并分享他们的经验。这种大规模视觉内容的情感分析可以帮助更好地提取用户对事件或主题(诸如图像推文中的事件或主题)的情感,使得从视觉内容预测情感与文本情感分析互补。由于需要利用大规模但有噪声的训练数据来解决极具挑战性的图像情感分析问题,我们采用卷积神经网络(CNN)。我们首先设计一个合适的CNN架构的图像情感分析。我们通过使用基线情感算法来标记Flickr图像,获得了50万个训练样本。为了利用这种嘈杂的机器标记数据,我们采用渐进策略来微调深度网络。此外,我们提高了Twitter图像的性能,诱导域转移与少量的手动标记的Twitter图像。我们对手动标记的Twitter图像进行了广泛的实验。实验结果表明,与同类算法相比,本文提出的CNN在图像情感分析中具有更好的性能。
2015-09-20 cs.CV cs.IR cs.LG
Transfer Learning with Joint Fine-Tuning for Multimodal Sentiment Analysis
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences (ICMC)(数学与计算机科学学院(ICMC))
大多数现有的方法集中在文本数据的情感分析。然而,最近在社交平台上大量使用图像和视频,从其他模式中激发了情感分析。目前的研究表明,探索其他模式(例如,图像)增加了情感分析性能。最先进的多模态模型,如CLIP和VisualBERT,是在文本与图像配对的数据集上进行预训练的。虽然这些模型获得的结果是有希望的,这些模型的预训练和情感分析微调任务是计算昂贵的。本文介绍了一种用于情感分析的联合微调的迁移学习方法。我们的提案使用更直接的替代微调策略取得了有竞争力的结果,该策略利用不同的预训练单峰模型,并将它们有效地结合在多模态空间中。此外,我们的建议允许在联合微调阶段合并任何预训练的文本和图像模型时具有灵活性,这对于低资源场景中的情感分类特别有趣。
2022-10-11 cs.CL cs.CV cs.LG
Sentiment Recognition in Egocentric Photostreams
University of Groningen(格罗宁根大学);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
生活日志是收集人们日常生活中丰富信息源的过程。在本文中,我们介绍的问题,情感分析在自我中心的事件集中的时刻,组成的图像回忆积极的,中性的或消极的感觉观察者。我们提出了一种基于卷积神经网络提取的全局和语义图像特征的自我中心图片情感分类方法。我们在一个以自我为中心的数据集上进行了实验,我们根据用户回忆的情感(积极,消极或中性)将其分为3类。
2017-03-29 cs.CV
Sentiment Analysis from Images of Natural Disasters
University of Trento(特伦托大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
社交媒体已被广泛用于检测和收集有关意见和事件的相关信息。然而,信息的相关性是非常主观的,取决于应用和最终用户。在这篇文章中,我们解决了社会媒体数据处理的一个特定方面,即通过考虑人们的意见,态度,感受和情绪对与灾害相关的图像进行情感分析。我们分析了视觉情感分析如何提高最终用户/受益者从社交媒体中挖掘信息的结果。我们还确定了挑战和相关的应用,这可能有助于定义一个基准,为未来的研究工作,在视觉情感分析。
2019-10-10 cs.CV cs.MM
SentiCap: Generating Image Descriptions with Sentiments
The Australian National University(澳大利亚国立大学);NICTA(澳大利亚国家信息与通信技术研究院)
图像识别和语言建模的最新进展使图像内容的自动描述成为现实。然而,目前的系统缺少书面说明的程式化、非事实方面。其中一种风格是带有情感的描述,这在日常交流中很常见,并影响决策和人际关系。我们设计了一个系统来描述一个图像的情感,并提出了一个模型,自动生成的标题与积极或消极的情绪。我们提出了一种新的具有单词级正则化的切换递归神经网络,它能够使用2000多个包含情感的训练句子来生成情感图像标题。我们用不同的自动和众包指标来评估字幕。我们的模型比较有利的共同质量指标的图像描述。在84.6%的情况下,生成的正面字幕被认为至少与事实字幕一样具有描述性。在这些积极的字幕中,88%被众包工作人员确认为具有适当的情绪。
2015-12-13 cs.CL cs.CV
Enhancing Visual Sentiment Analysis via Semiotic Isotopy-Guided Dataset Construction
University of Siena(锡耶纳大学);University of Milan (Statale)(米兰大学)
本研究提出一种基于语义等价性引导的数据集构建方法,通过扩展图像数据集的多样性以提升视觉情感分析模型的泛化能力。
2025-12-16 cs.CV
Sentiment Classification using Images and Label Embeddings
在这个项目中,我们分析了图像承载了多少语义信息,以及图像数据可以为与图像相关联的文本的情感分析增加多少价值。为了更好地理解来自图像的贡献,我们比较了仅使用图像数据的模型、仅使用文本数据的模型以及结合两种数据类型的模型。我们还分析了这种方法是否可以帮助情感分类器推广到未知的情感。
2017-12-03 cs.AI cs.CL cs.CV
Deep Models for Visual Sentiment Analysis of Disaster-related Multimedia Content
University of Engineering and Technology, Peshawar(白沙瓦工程技术大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文提出了MediaEval 2021任务的解决方案,即“视觉情感分析:一个自然灾害案例”。该任务旨在提取和分类观众感知的情感以及社交媒体上共享的自然灾害相关图像所传达的情感信息。该任务由三个子任务组成,包括一个单标签多类图像分类任务和两个多标签多类图像分类任务,具有不同的标签集合。在我们提出的解决方案中,我们主要依赖于两种不同的最先进的模型,即Inception-v3和VggNet-19,它们在ImageNet上进行了预训练,并使用不同的策略针对三个任务中的每一个进行了微调。这三项工作的总体成果令人鼓舞。在单标签分类任务(即任务1)中,我们分别获得了基于Inception-v3和VggNet-19的解决方案的加权平均F1分数为0.540和0.526。在多标签分类上,即,在任务2和任务3中,我们基于Inception-v3的解决方案的加权F1分数分别为0.572和0.516。同样,我们基于VggNet-19的解决方案在任务2和任务3上的加权F1得分分别为0.584和0.495。
2021-11-30 cs.CV
An AutoML-based Approach to Multimodal Image Sentiment Analysis
Universidade da Beira Interior(贝拉内陆大学);INESC TEC – Institute for Systems and Computer Engineering, Technology and Science(系统与计算机工程、技术与科学研究所)
情感分析是一个研究主题,专注于分析数据以提取与其引起的情感相关的信息。情感分析的应用范围很广,从推荐系统、市场营销到客户满意度。最近的方法使用在大型语料库上训练的机器学习技术来评估文本内容。然而,随着社交媒体的发展,其他数据类型大量涌现,比如图像。图像中的情感分析已被证明是文本数据的有价值的补充,因为它能够通过创建上下文和连接来推断潜在的消息极性。多模态情感分析方法旨在利用文本和图像内容的信息来执行评估。尽管最近取得了进展,但目前的解决方案仍然在结合图像和文本信息对社交媒体数据进行分类方面苦苦挣扎,这主要是由于主观性,类间同质性和融合数据差异。在本文中,我们提出了一种方法,结合文本和图像的个人情感分析到一个最终的融合分类AutoML的基础上,执行随机搜索,以找到最佳的模型。我们的方法在B-T4 SA数据集中达到了最先进的性能,准确率为95.19%。
2021-02-16 cs.AI cs.CV cs.LG
Resolving Sentiment Discrepancy for Multimodal Sentiment Detection via Semantics Completion and Decomposition
IIE, Chinese Academy of Sciences(中国科学院信息工程研究所);Nankai University(南开大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出CoDe网络,通过语义补全与分解解决多模态情感检测中的情感差异问题,提升分类性能。
2025-11-21 cs.CL cs.CV cs.MM
Mapping Images to Sentiment Adjective Noun Pairs with Factorized Neural Nets
Sony(索尼);ICSI(国际计算机科学研究所);DFKI(德国人工智能研究中心);UC Berkeley(加州大学伯克利分校);In-Q-Tel(In-Q-Tel公司)
我们认为视觉情感的任务映射图像到一个形容词名词对(ANP),如“可爱的宝贝”。为了捕获我们的ANP语义的双因素结构以及克服注释噪声和歧义,我们提出了一种新的因子分解的CNN模型,该模型学习形容词和名词的单独表示,但优化了其产品的分类性能。我们的实验上公开的SentiBank数据集表明,我们的模型显着优于不仅是独立的ANP分类器上看不见的ANP和检索图像的新的ANP,但也图像描述模型,捕捉词的语义从自然文本的共现;后者竟然是令人惊讶的穷人在捕捉纯视觉体验引起的情绪。也就是说,我们的因子化ANP CNN不仅可以更好地从嘈杂的标签中训练,更好地概括新图像,而且还可以自己扩展ANP词汇。
2015-11-21 cs.CL cs.CV
MOSABench: Multi-Object Sentiment Analysis Benchmark for Evaluating Multimodal Large Language Models Understanding of Complex Image
College of Computer, National University of Defense Technology(国防科技大学计算机学院);School of Computer and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);CCNU(中国地质大学)
针对现有多模态大语言模型缺乏多目标情感分析标准化评估基准的问题,构建含约千张多目标图像的MOSABench基准,实验揭示当前模型的相关性能局限,为该领域研究提供基础评测工具。
2025-11-14 cs.AI cs.CV
SentiFormer: Metadata Enhanced Transformer for Image Sentiment Analysis
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对图像情感分析中元数据未被充分利用的问题,提出SentiFormer模型,通过自适应相关性学习模块和跨模态融合模块融合图像与多种元数据,在三个公开数据集上验证了方法的优越性与合理性。
2025-02-21 cs.AI cs.CV
SeLiNet: Sentiment enriched Lightweight Network for Emotion Recognition in Images
Samsung R&D Institute(三星研究院)
本文提出轻量级网络 SeLiNet 及端到端设备端流水线,通过融合主体特征、美学特征与学习融合网络进行图像情境情感识别,在 EMOTIC 上以大幅降低模型规模取得接近基线的 AP 分数。
2023-07-06 cs.CV cs.HC
Visual Sentiment Analysis from Disaster Images in Social Media
University of Trento(特伦托大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);SimulaMet(SimulaMet研究所)
社交网络的日益普及以及用户在文本、视觉和音频内容中分享他们的感受、表达和观点的趋势,在情感分析中开辟了新的机遇和挑战。虽然文本流的情感分析已经在文献中被广泛探索,但是来自图像和视频的情感分析相对较新。本文主要研究社会媒体中的视觉情感分析,即社会媒体中的灾难分析。为此,我们提出了一个深度的视觉情感分析器的灾害相关的图像,涵盖不同方面的视觉情感分析开始从数据汇集,注释,模型选择,实施和评估。为进行数据注释和分析人们对自然灾害的看法以及社交媒体上的相关图像,开展了一项众包研究,有世界各地的大量参与者。众包研究产生了一个大规模的基准数据集,其中包含四组不同的注释,每组注释都针对一个单独的任务。所提出的分析和相关的数据集将为该领域的未来研究提供基线/基准。我们相信,拟议的系统可以通过帮助不同的利益相关者,如新闻广播公司,人道主义组织以及公众,为更宜居的社区做出贡献。
2020-09-04 cs.CV cs.IR cs.MM
Evaluating authenticity and quality of image captions via sentiment and semantic analyses
Northeastern University(东北大学);HHMI - Janelia Research Campus(HHMI珍妮亚研究园区);The Knowledge House(知识之家)
本研究针对众包图像字幕训练数据质量评估问题,提出结合情感与语义分析的方法,在COCO-MS数据集上验证了人工与模型生成字幕的情感、语义差异及与对象类别的关联。
2024-09-14 cs.AI cs.CV cs.LG
OutdoorSent: Sentiment Analysis of Urban Outdoor Images by Using Semantic and Deep Features
Universidade Tecnológica Federal do Paraná - UTFPR(巴拉那联邦技术大学);University of Toronto(多伦多大学)
在不同活动期间用户发布的户外图像中进行意见挖掘可以为更好地了解城市地区提供有价值的信息。在这方面,我们提出了一个框架来分类情感的户外图像共享用户在社交网络。我们比较了最先进的ConvNet架构和专门为情感分析设计的ConvNet架构的性能。我们还评估了深度特征和来自场景属性的语义信息的合并如何提高分类和跨数据集泛化性能。该评价探讨了一个新的数据集,即OutdoorSent和其他公开的数据集。我们观察到,语义属性知识的结合提高了所有研究的ConvNet架构的准确性。此外,我们发现,建议只探索与研究背景相关的图像,在我们的情况下是户外的,即,室内图像没有显著帮助。此外,我们证明了我们的结果在美国芝加哥市的适用性,表明它们可以帮助提高城市不同地区的主观特征的知识。例如,城市的特定区域往往会集中更多特定类别情绪的图像,这些图像也与收入中位数相关,从而在不同领域开辟了机会。
2020-02-27 cs.CV cs.SI
Visual Sentiment Prediction with Deep Convolutional Neural Networks
University of California, San Diego(加州大学圣地亚哥分校);Yahoo Labs(雅虎实验室)
图像已经成为用户在在线社交网络内传达他们的情感的最流行的媒体类型之一。虽然大量的研究致力于文本数据的情感分析,但是关注于分析图像数据的情感的工作非常有限。在这项工作中,我们提出了一种新的视觉情感预测框架,使用深度卷积神经网络(CNN)进行图像理解。具体来说,所提出的情感预测框架从具有数百万个参数的CNN执行迁移学习,该CNN是在用于对象识别的大规模数据上进行预训练的。在Twitter和Tumblr的两个真实数据集上进行的实验证明了所提出的视觉情感分析框架的有效性。
2014-11-21 cs.CV cs.NE stat.ML
A Dual-Module Denoising Approach with Curriculum Learning for Enhancing Multimodal Aspect-Based Sentiment Analysis
Faculty of Information Technology(信息技术学院);VNU University of Engineering and Technology(越南国家大学工程技术大学)
针对多模态方面级情感分析中存在的句子-图像和方面-图像两类噪声问题,提出包含混合课程去噪与方面增强去噪双模块的DualDe方法,经基准数据集实验验证可有效去噪提升性能。
2024-12-11 cs.CV cs.MM
Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach
The University of Sydney(悉尼大学);University of Technology Sydney(悉尼科技大学)
本文提出一种结合BERT文本特征与DINOv2图像特征的多模态情感分析架构,并设计三种融合模型,在三个数据集上验证了其可行性与实用性。
2025-03-11 cs.CL cs.CV
Exploiting BERT For Multimodal Target Sentiment Classification Through Input Space Translation
Northeastern University(东北大学)
多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。任务的目标是结合视觉和语言来理解句子中对目标实体的情感。Twitter是这项任务的理想环境,因为它本质上是多模态的,高度情绪化的,并影响现实世界的事件。然而,多模态推文很短,并伴随着复杂的,可能无关的图像。我们引入了一个双流模型,使用对象感知的Transformer,然后通过单通道非自回归文本生成方法,在输入空间中转换图像。然后,我们利用翻译来构建一个辅助句子,为语言模型提供多模态信息。我们的方法增加了语言模型可用的文本量,并提取了复杂图像中的对象级信息。我们在两个多模态Twitter数据集上实现了最先进的性能,而无需修改语言模型的内部结构以接受多模态数据,这证明了我们翻译的有效性。此外,我们解释了一个流行的方面情感分析的方法时,适用于推文的失败模式。我们的代码可在\textcolor{blue}{\url{https://github.com/codezakh/exploiting-BERT-thru-translation}}上获得。
2021-08-05 cs.CL cs.CV
Target-oriented Sentiment Classification with Sequential Cross-modal Semantic Graph
Zhejiang University(浙江大学);The University of Manchester(曼彻斯特大学);The University of Edinburgh(爱丁堡大学)
提出 SeqCSG,通过融合图像描述、场景图与文本 token 的序列跨模态语义图增强编码器-解码器框架,在两个标准 MABSC 数据集上取得最优性能。
2023-07-24 cs.AI cs.CV
Multimodal LLMs See Sentiment
Universidade Tecnológica Federal do Paraná(联邦技术大学帕拉纳州大学);University of Toronto(多伦多大学)
本文通过系统评估研究,探讨多模态大语言模型在图像情感分析中的三种方法,发现基于MLLM描述的两阶段流水线在微调后性能显著优于传统基线。
2026-05-27 cs.CV cs.SI
DeepSentiBank: Visual Sentiment Concept Classification with Deep Convolutional Neural Networks
Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校)
介绍了一种基于深度卷积神经网络(CNN)的视觉情感概念分类方法。视觉情感概念是从网络照片的标签中自动发现的形容词名词对(ANP),并且可以用作检测图像中描绘的情感的有效统计线索。下载了近一百万张带有这些ANP标记的Flickr图像,以训练概念的分类器。我们采用了流行的深度卷积神经网络模型,该模型最近在分类大规模基于Web的图像数据集(如ImageNet)方面表现出了很大的性能改进。我们的深度CNN模型是基于Caffe训练的,Caffe是一个新开发的深度学习框架。为了处理仅包含具有强烈情感的图像的有偏训练数据并防止过拟合,我们使用ImageNet训练的模型权重初始化模型。性能评估显示,新训练的深度CNN模型SentiBank 2.0(或称为DeepSentiBank)与主要使用二进制SVM分类模型的前辈相比,在注释准确性和检索性能方面都有显着提高。
2014-10-30 cs.CV cs.LG cs.MM
Holistic Visual-Textual Sentiment Analysis with Prior Models
University of Rochester(罗切斯特大学)
本文提出一种整体视觉-文本情感分析方法,通过融合视觉-文本分支、视觉专家编码器、CLIP分支和基于BERT的多模态融合网络,在三个数据集上取得了优于现有方法的情感分析性能。
2024-06-09 cs.CV cs.MM
Beyond Words: Enhancing Desire, Emotion, and Sentiment Recognition with Non-Verbal Cues
本文提出SyDES框架,通过双向细粒度模态对齐和非语言线索利用,提升多模态欲望、情感和情感识别性能,实验显示在MSED基准上取得新的SOTA成果。
2026-03-16 cs.CL cs.CV
deepsing: Generating Sentiment-aware Visual Stories using Cross-modal Music Translation
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);DataScouting(数据侦察公司)
在本文中,我们提出了一种深度学习方法,用于执行基于属性的音乐到图像的翻译。所提出的方法适用于合成视觉故事,根据歌曲所表达的情感。所生成的图像旨在向观看者诱导与原始歌曲相同的感觉,从而加强音乐的主要目的,即,交流感情音乐到图像的翻译过程带来了独特的挑战,主要是由于这个过程中涉及的不同模态之间的不稳定映射。在本文中,我们采用了一种可训练的跨模态翻译方法来克服这一限制,从而产生了第一种,据我们所知,用于生成感知情感的视觉故事的深度学习方法。所提出的方法的各个方面进行了广泛的评估和讨论,使用不同的歌曲。
2019-12-11 cs.AI cs.CV eess.AS
Deriving Emotions and Sentiments from Visual Content: A Disaster Analysis Use Case
hbku.edu.qa(哈马德·本·哈利法大学 (HBKU))
情感分析旨在提取和表达一个人对实体、对象、产品和服务的感知、意见和情感,使企业能够从消费者那里获得反馈。社交网络的日益普及以及用户在文本、视觉和音频内容中分享他们的感受、表达和观点的趋势已经在情感分析中开启了新的机遇和挑战。虽然文本流的情感分析已经在文献中被广泛探索,但是图像和视频的情感分析相对较新。本文介绍了视觉情感分析,并将其与文本情感分析进行了对比,重点介绍了这个新兴研究领域的机遇和挑战。我们还提出了一个深度视觉情感分析器的灾难相关的图像作为用例,涵盖了视觉情感分析的不同方面,从数据汇集,注释,模型选择,实施和评估。我们相信,这种严格的分析将为该领域的未来研究提供一个基线。
2020-02-03 cs.CV cs.IR cs.LG
Going Deeper for Multilingual Visual Sentiment Detection
Columbia University(哥伦比亚大学)
本技术报告详细介绍了对基于多语言视觉情感本体(MVSO)图像构建的视觉概念检测器库的几项改进。检测器库被训练用于检测来自六种主要语言的总共9,918个情感偏见的视觉概念:英语,西班牙语,意大利语,法语,德语和中文。在最初的MVSO版本中,通过DeepSentiBank的微调,使用AlexNet风格的架构为六种语言训练了形容词-名词对(ANP)检测器。在这里,通过一组更广泛的实验,参数调整和训练运行,我们详细介绍并发布了更高准确度的模型,用于从相同的图像池和设置中检测六种语言的ANP,与原始版本一样,使用更现代的架构GoogLeNet,以降低网络参数成本提供相当或更好的性能。此外,由于MVSO中的图像池可能会被来自社交互动的用户噪声破坏,因此我们基于对高保真度标签的标签限制查询划分出MVSO图像的子语料库。我们表明,由于这些更高保真的标签,更高性能的AlexNet风格的ANP检测器可以使用标签限制的图像子集相比,在完整的语料库中的模型进行训练。我们发布了所有这些新训练的模型用于公共研究,以及MVSO数据集中的标签限制图像列表。
2016-05-30 cs.CL cs.CV cs.MM
Multimodal Dual Emotion with Fusion of Visual Sentiment for Rumor Detection
近年来,谣言对社会产生了毁灭性的影响,使得谣言检测成为一项重大挑战。然而,谣言检测的研究忽略了谣言内容中图像的强烈情感。本文验证了图像情感提高了谣言检测的效率。提出了一种用于谣言检测的多模态双情感特征,该特征由视觉情感和文本情感组成。据我们所知,这是第一个将视觉情感用于谣言检测的研究。在真实数据集上的实验验证了所提出的特征优于最先进的情感特征,并且可以在谣言检测器中扩展,同时提高其性能。
2022-11-23 cs.CV cs.CY
Retrieving Users' Opinions on Social Media with Multimodal Aspect-Based Sentiment Analysis
Technical University of Munich(慕尼黑工业大学)
人们在社交媒体上发布他们的观点和经验,产生了丰富的最终用户情绪数据库。本文展示了机器学习在多大程度上可以分析和构建这些数据库。部署自动化数据分析管道,为其他领域的研究人员提供对用户生成内容的见解。首先,领域专家可以选择感兴趣的图像和术语。然后,该管道使用图像检索来找到显示相似内容的所有图像,并应用基于方面的情感分析来概述用户对所选术语的意见。作为建筑和计算机科学研究人员之间的跨学科项目的一部分,传达了汉堡易北爱乐乐团的实证研究。因此,我们从Flickr平台上选择了30万个带有标签\enquote{\texttt{hamburg}}的帖子。图像检索方法生成了一个子集,略多于1500张图像显示易北爱乐乐团。我们发现,这些帖子主要传达了一种中立或积极的情绪。通过这种管道,我们提出了一种新的语义计算方法,为最终用户的意见提供了新的见解,例如,为建筑领域专家。
2023-01-09 cs.AI cs.CL cs.CV
New Adversarial Image Detection Based on Sentiment Analysis
Beijing University of Posts and Telecommunications(北京邮电大学);Commonwealth Science and Industrial Research Organisation(联邦科学与工业研究组织)
针对深度神经网络易受对抗样本攻击且现有检测技术滞后的问题,提出基于情感分析的新型对抗样本检测器,通过模块化嵌入层转换隐层特征图进行检测,在多数据集和网络上性能优于现有最优方法,且参数量小、检测速度快。
2023-05-03 cs.AI cs.CR cs.CV
Spatio-Temporal Sentiment Hotspot Detection Using Geotagged Photos
University of California at Merced(加州大学默塞德分校)
我们使用带有地理标记的照片集对公众情绪进行时空分析。我们开发了一个基于深度学习的分类器,可以预测图像传达的情感。这使我们能够将情感与地点联系起来。我们进行空间热点检测,并表明不同的情绪有不同的空间分布,符合预期。我们还使用照片的捕获时间进行时间分析。我们的时空热点检测正确地识别了特定情绪的新兴集中,对选定位置的逐年分析表明,预测的情绪和已知事件之间存在很强的时间相关性。
2016-09-21 cs.CV cs.CY cs.MM