首页/论文/1601.00599

arXiv 1601.005992016-01-04cs.CVcs.IRcs.MM

社交媒体中事件的多模态分类

Multimodal Classification of Events in Social Media

St. Pölten University of Applied Sciences（圣珀尔滕应用科学大学）；Vienna University of Technology（维也纳工业大学）

Matthias Zeppelzauer, Daniel Schopfhauser

备注：: Preprint of accepted manuscript for the Elsevier Image and Vision Computing Journal (IMAVIS). The paper will be published by IMAVIS under DOI 10.1016/j.imavis.2015.12.004

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

Flickr和Instagram等平台上托管的大量社交媒体与社交活动有关。社会事件分类的任务是指区分事件和非事件相关内容以及事件类型（例如体育赛事，音乐会等）的分类。在本文中，我们提供了一个广泛的研究文本，视觉，以及多模态表示的社会事件分类。我们调查的优点和缺点的方式和研究之间的协同效应的方式。我们的多模态表示获得的实验结果优于最先进的方法，并为未来的研究提供了一个新的基线。

英文摘要：

A large amount of social media hosted on platforms like Flickr and Instagram is related to social events. The task of social event classification refers to the distinction of event and non-event-related content as well as the classification of event types (e.g. sports events, concerts, etc.). In this paper, we provide an extensive study of textual, visual, as well as multimodal representations for social event classification. We investigate strengths and weaknesses of the modalities and study synergy effects between the modalities. Experimental results obtained with our multimodal representation outperform state-of-the-art methods and provide a new baseline for future research.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

一种预测社交媒体流行度的多模态方法

A Multimodal Approach to Predict Social Media Popularity

Nirma Institute of Technology（尼玛理工学院）；Delhi Technological University（德里理工大学）；UALR（阿肯色大学小石城分校）；National University of Singapore（新加坡国立大学）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）

多个模态表示数据源传递信息的不同方面。现代社交媒体平台是多模态数据的主要来源之一，其中用户通过发布文本以及多媒体内容（例如图像和视频）来使用不同的表达模式以共享信息。这些帖子中包含的多模式信息可能有助于预测其受欢迎程度。据我们所知，不存在这样的多模态数据集来预测社交媒体照片。在这项工作中，我们提出了一个多模态数据集consistiting的内容，上下文和社会信息的流行预测。具体来说，我们在ACM Multimedia Grand Challenge 2017中使用图像内容，标题，描述和标签来增强SMPT 1数据集的社交媒体预测。接下来，在本文中，我们提出了一种利用视觉特征（即，内容信息），文本特征（即，上下文信息），以及社交特征（例如，平均视图和组计数）来预测社交媒体照片在视图计数方面的流行度。实验结果证实，尽管我们的多模态方法使用了来自SMP-T1的训练数据集的一半，但它实现了与最先进的方法相当的性能。

2018-07-16cs.CV

深度统一的多模态嵌入，用于理解社交媒体网络中的内容和用户

Deep Unified Multimodal Embeddings for Understanding both Content and Users in Social Media Networks

SRI International（SRI国际）；Cornell University（康奈尔大学）

在过去的几年里，社交媒体网络上产生的多模态内容激增，这需要对社交媒体内容和用户行为进行更深入的了解。我们提出了一种新的内容无关的内容用户反应模型的社会多媒体内容分析。与以前的工作，一般解决语义内容理解和用户行为建模隔离，我们提出了一个通用的解决方案，这些问题在一个统一的框架。我们嵌入用户，图像和文本从开放的社交媒体在一个共同的多模态几何空间，使用一种新的损失函数，旨在应付遥远的和不同的方式，从而实现无缝的三路检索。我们的模型不仅在跨模态检索任务上优于基于单峰嵌入的方法，而且在Twitter数据上联合解决这两个任务也显示出了改进。我们还表明，在我们的联合多模态嵌入模型中学习的用户嵌入比在Instagram数据上学习的单峰内容更好地预测用户兴趣。因此，我们的框架超越了以前的做法，使用显式的领导者，追随者的链接信息，以建立从属关系，通过提取隐式的内容为中心的从属关系，从孤立的用户。我们提供了定性的结果表明，从学习嵌入出现的用户集群具有一致的语义和我们的模型发现细粒度的语义从嘈杂和非结构化数据的能力。我们的工作表明，社会多模态内容本质上是多模态的，并具有一致的结构，因为在社交网络的意义是通过用户和内容之间的互动。

2019-06-11cs.CLcs.CVcs.IR

3MASSIV：多语言、多模式、多方面的社交媒体短视频数据集

3MASSIV: Multilingual, Multimodal and Multi-Aspect dataset of Social Media Short Videos

University of Maryland, College Park（马里兰大学帕克分校）；ShareChat

我们提出了3MASSIV，这是一个多语言，多模态和多方面的数据集，它包含了从短视频社交媒体平台Moj中提取的各种短视频。3MASSIV包含5万个短视频（平均时长20秒）和10万个11种不同语言的未标记视频，捕捉流行的短视频趋势，如恶作剧，失败，浪漫，喜剧，通过独特的视听格式表达，如自拍视频，反应视频，假唱，自唱歌曲，3MASSIV通过为这些独特的视频注释概念、情感状态、媒体类型和音频语言，为多模态和多语言语义理解提供了机会。我们对3MASSIV进行了全面的分析，并强调了我们数据集与其他具有强大基线的当代流行数据集相比的多样性和独特性。我们还展示了3MASSIV中的社交媒体内容在本质上是动态和时间的，可以用于语义理解任务和跨语言分析。

2022-03-28cs.AIcs.CVcs.MM

大语言模型能读取环境吗？一个多模态基准用于评估多当事人社交互动中的欺骗

Can MLLMs Read the Room? A Multimodal Benchmark for Assessing Deception in Multi-Party Social Interactions

The University of Tokyo（东京大学）

本文提出多模态互动欺骗评估任务，通过新颖数据集评估多种MLLMs的欺骗检测能力，揭示其在多模态社交线索处理上的不足，并提出SoCoT和DSEM模块提升性能。

2026-10-16cs.CLcs.CV

使用多模态深度学习分析社交媒体数据以应对灾害

Analysis of Social Media Data using Multimodal Deep Learning for Disaster Response

Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）

社交媒体平台中的多媒体内容在灾害事件期间提供了重要信息。共享的信息类型包括受伤或死亡人员、基础设施损坏以及失踪或找到人员等报告。虽然许多研究已经表明文本和图像内容对于灾害响应的目的都是有用的，但过去的研究大多集中在仅分析文本模态。在本文中，我们建议使用社交媒体数据的文本和图像模态，使用最先进的深度学习技术来学习联合表示。具体来说，我们利用卷积神经网络来定义一个具有模态不可知共享表示的多模态深度学习架构。对真实世界灾难数据集的广泛实验表明，所提出的多模态架构比使用单一模态训练的模型（例如，文本或图像）。

2020-04-14cs.CVcs.CYcs.LG

在多模态社交平台中检测讽刺

Detecting Sarcasm in Multimodal Social Platforms

University of Turin（都灵大学）；Yahoo（雅虎）

讽刺是一种特殊的情感表达形式，表面情感与隐含情感不同。社交媒体平台中的讽刺的检测在过去主要应用于文本话语，其中词汇指示符（诸如感叹词和加强词）、语言标记和上下文信息（诸如用户简档或过去的对话）被用于检测讽刺语气。然而，现代社交媒体平台允许创建多模态消息，其中视听内容与文本相结合，从而孤立地分析模式。在我们的工作中，我们首先研究了来自三个主要社交媒体平台的多模态帖子中文本和视觉方面之间的关系，即，Instagram，Tumblr和Twitter，我们运行一个众包任务来量化人类注释者认为图像是必要的程度。此外，我们提出了两种不同的计算框架来检测讽刺，整合的文本和视觉形式。第一种方法利用在外部数据集上训练的视觉语义，并将语义特征与最先进的文本特征连接起来。第二种方法是将一个在ImageNet上训练的参数初始化的视觉神经网络适应于多模态讽刺帖子。结果显示了跨平台和方法的讽刺检测的组合方式的积极影响。

2016-08-08cs.CLcs.CVcs.MM

更多相关论文收起更多论文

Social-BiGAT：使用Bicycle-GAN和图形注意力网络的多模式轨迹预测

Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

Stanford University（斯坦福大学）；Aibee Inc（Aibee公司）；University of Adelaide（阿德莱德大学）

预测场景中多个交互代理的未来轨迹已经成为许多不同应用的一个越来越重要的问题，从自动驾驶汽车和社交机器人的控制到安全和监控。这个问题由于人类之间的社会互动以及他们与场景的物理互动而变得更加复杂。虽然现有的文献已经探索了其中的一些线索，但它们主要忽略了每个人未来轨迹的多模态性质。在本文中，我们提出了Social-BiGAT，这是一个基于图的生成对抗网络，它通过更好地模拟场景中行人的社交互动来生成逼真的多模式轨迹预测。我们的方法是基于一个图形注意力网络（GAT），学习可靠的特征表示，编码场景中的人类之间的社会互动，和一个经常性的编码器-解码器架构，训练对抗预测，根据功能，人类的路径。我们通过在每个场景及其潜在噪声向量之间形成可逆变换来明确解释预测问题的多模态性质，如Bicycle-GAN中所述。我们表明，我们的框架实现了最先进的性能比较它的几个基线对现有的轨迹预测基准。

2019-07-17cs.CVcs.LG

建模多模态社会交互：密集对齐表示的新挑战与基线

Modeling Multimodal Social Interactions: New Challenges and Baselines with Densely Aligned Representations

University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）

本文针对多方交互建模的局限性，提出说话目标识别等三个新任务及数据标注，并构建利用密集对齐语言-视觉表示的多模态基线，有效建模细粒度社会交互。

2024-04-29cs.CLcs.CVcs.LG

Social-MAE：基于Transformer的人脸与语音多模态自编码器

Social-MAE: A Transformer-Based Multimodal Autoencoder for Face and Voice

Numediart Institute, ISIA Lab, University of Mons（Numediart研究院、ISIA实验室、蒙斯大学）；Institute for Creative Technologies, University of Southern California（创意技术研究所、南加州大学）

针对人类社交行为的多模态感知需求，本文提出Social-MAE——基于CAV-MAE扩展的预训练视听掩码自编码器，通过修改输入帧数量并在VoxCeleb2上自监督预训练，在多模态情感识别等下游任务上取得最先进或具竞争力的结果。

2025-08-24cs.CV

MM-Soc：社交媒体平台中多模态大语言模型的基准评测

MM-Soc: Benchmarking Multimodal Large Language Models in Social Media Platforms

Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research Asia（微软亚洲研究院）

本文提出MM-Soc基准，通过整合多模态社交媒体数据集和YouTube标注数据，系统评估多模态大语言模型在虚假信息检测、仇恨言论检测和社会语境生成等任务上的表现，揭示其社会理解能力的不足及微调带来的改进潜力。

2024-09-02cs.CLcs.CVcs.CY

一种用于识别社交网络中用户情绪的异质多模态图学习框架

A Heterogeneous Multimodal Graph Learning Framework for Recognizing User Emotions in Social Networks

College of Information Sciences and Technology（信息科学与技术学院）；The Pennsylvania State University（宾夕法尼亚州立大学）

针对社交网络用户情绪预测研究不足、缺乏深度学习方法的问题，提出异质多模态图学习框架HMG-Emo，含动态上下文融合模块，性能优于现有基线，是首个该领域多模态深度学习方法。

2025-01-13cs.CLcs.CVcs.SI

机器人通过多模态深度强化学习获得社会智能

Robot gains Social Intelligence through Multimodal Deep Reinforcement Learning

Osaka University（大阪大学）

机器人要想在我们这样的社会世界中与人类共存，关键是它们要拥有类似人类的社交技能。为机器人编程以使其具备这些技能是一项具有挑战性的任务。在本文中，我们提出了一种多模态深度Q网络（MDQN），使机器人能够通过试错法学习类似人类的交互技能。本文旨在开发一种机器人，它在与人类交互过程中收集数据，并使用端到端的强化学习从高维感知信息中学习人类的交互行为。本文证明了机器人能够成功地学习基本的互动技能，经过14天的与人互动。

2017-02-24cs.AIcs.CVcs.RO

MTT-Bench：通过多模态大语言模型预测小鼠的社会支配

MTT-Bench: Predicting Social Dominance in Mice via Multimodal Large Language Models

Department of Communication Systems, KTH Royal Institute of Technology（通信系统系，皇家理工学院）；CMVS, University of Oulu（奥卢大学CMVS）

本文提出MTT-Bench基准，利用多模态大语言模型分析小鼠行为视频，预测社会支配等级，无需显式标签进行零样本推理，展示了在乙学和社会行为分析中的应用潜力。

2026-04-24cs.CVeess.IV

MM-Claims：用于社交媒体中多模态声明检测的数据集

MM-Claims: A Dataset for Multimodal Claim Detection in Social Media

TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心（TIB））；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Jozef Stefan Institute（约瑟夫·斯特凡研究所）

近年来，网络上的错误信息问题在不同语言、国家和各种社交媒体平台上普遍存在。尽管在自动化虚假新闻检测方面已经做了很多工作，但图像的作用及其多样性还没有得到很好的探索。在本文中，我们研究了图像和文本在假新闻检测管道的早期阶段（称为索赔检测）中的作用。为此，我们引入了一个新的数据集，MM-Claims，它由三个主题的推文和相应的图像组成：COVID-19，气候变化和广泛的技术。该数据集包含大约86000条推文，其中3400条由多个注释器手动标记，用于多模态模型的训练和评估。我们详细描述了数据集，评估了强大的单峰和多峰基线，并分析了当前模型的潜力和缺点。

2022-05-04cs.AIcs.CLcs.CV

Social-DualCVAE：基于社会交互模式感知和双条件变分自动编码器的多模态轨迹预测

Social-DualCVAE: Multimodal Trajectory Forecasting Based on Social Interactions Pattern Aware and Dual Conditional Variational Auto-Encoder

Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）

行人轨迹预测是自动驾驶、自主机器人和监控系统等多个实用领域的基本任务。未来的轨迹预测是多模态的，受到与场景上下文的物理交互和行人之间复杂的社会交互的影响。现有的文献主要通过深度学习网络来学习社会交互的表示，而没有利用显式交互模式。不同的交互模式，如跟随或碰撞避免，将产生不同的趋势，下一个运动，因此，社会交互模式的意识是重要的轨迹预测。此外，社会互动模式是隐私关注或缺乏标签。为了共同解决上述问题，我们提出了一种用于多模态轨迹预测的社会对偶条件变分自动编码器（Social-DualCVAE），该编码器基于生成模型，不仅以过去的轨迹为条件，还以交互模式的无监督分类为条件。在生成未标记的社会交互模式的类别分布后，DualCVAE，以过去的轨迹和社会交互模式为条件，通过潜变量估计提出了多模态轨迹预测。在训练过程中，作为最小化目标的变分界。该模型被广泛使用的轨迹基准进行评估，并优于现有的最先进的方法。

2022-02-08cs.AIcs.CV

Werewolf Among Us：A Multimodal Dataset for Modeling Persuadication Behavior in Social Deduction Games（英语：Werewolf Among Us）

Werewolf Among Us: A Multimodal Dataset for Modeling Persuasion Behaviors in Social Deduction Games

Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）；Meta AI；University of Minnesota（明尼苏达大学）

说服力建模是会话代理的关键构建块。现有的这方面的工作仅限于分析语篇对话语料。我们认为，视觉信号也发挥了重要作用，在理解人类的说服行为。在本文中，我们介绍了第一个多模态数据集建模说服行为。我们的数据集包括199个在多人社交推理游戏设置中捕获的对话transanks和视频，26，647个说服策略的话语级别注释，以及推理游戏结果的游戏级别注释。我们提供了大量的实验来展示对话上下文和视觉信号如何有利于说服策略预测。我们还探讨了说服建模的语言模型的泛化能力和说服策略在预测社会推理游戏结果中的作用。我们的数据集、代码和模型可以在https://persuasion-deductiongame.socialai-data.org上找到。

2022-12-16cs.CLcs.CVcs.LG

NLP-CUET @ DravidianLangTech-EACL2021：调查视觉和文本特征以从多模态社交媒体模因中识别巨魔

NLP-CUET@DravidianLangTech-EACL2021: Investigating Visual and Textual Features to Identify Trolls from Multimodal Social Media Memes

Chittagong University of Engineering and Technology（吉大港工程技术大学）

在过去的几年里，模因已经成为互联网上一种新的传播方式。由于模因是带有嵌入文本的图像，它可以迅速传播仇恨，冒犯和暴力。模因的分类是非常具有挑战性的，因为它们的多模态性质和区域特定的解释。一个共享的任务是组织开发模型，可以识别巨魔从多模态社会媒体模因。这项工作提出了一个计算模型，我们已经开发的一部分，我们参与的任务。训练数据有两种形式：嵌入泰米尔语代码混合文本的图像和用英语给出的相关标题。我们使用CNN，VGG 16，Inception，Multilingual-BERT，XLM-Roberta，XLNet模型研究了视觉和文本特征。通过早期融合方法将图像（CNN、ResNet 50、Inception）和文本（长短期记忆网络）特征相结合来提取多模态特征。结果表明，XLNet的文本方法实现了$0.58$的最高加权$f_1$ -分数，这使得我们的模型能够在该任务中获得$3^{rd}$排名。

2021-02-28cs.CLcs.CV

利用多模态预训练模型进行社交机器人的人口统计学用户建模

Demographic User Modeling for Social Robotics with Multimodal Pre-trained Models

Sorbonne University（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能与机器人系统研究所）

本文面向社交机器人个性化交互，构建两个人口统计学图像数据集并评估 CLIP，发现微调可提升预测但细微属性泛化仍有限，进而提出掩码图像建模策略。

2025-02-15cs.AIcs.CV

艺术图像中引发的社会概念的自动建模作为多模态框架

Automatic Modeling of Social Concepts Evoked by Art Images as Multimodal Frames

Department of Computer Science and Engineering (DISI), University of Bologna, Italy（博洛尼亚大学计算机科学与工程系（DISI））；Department of Modern Languages, Literatures and Cultures (LILEC), University of Bologna, Italy（博洛尼亚大学现代语言、文学与文化系（LILEC））

本文提出将社会概念表示为多模态框架的方法，通过整合多感官数据提取和分析视觉艺术材料的多模态特征，以解决社会概念自动检测中的语义鸿沟问题。

2021-10-14cs.CLcs.CVcs.DL

MLLMs能察言观色吗？一个用于验证多方社交互动中真实性的多模态基准

Can MLLMs Read the Room? A Multimodal Benchmark for Verifying Truthfulness in Multi-Party Social Interactions

The University of Tokyo（东京大学）

本文提出了多方社交互动真实性评估任务MIVA及基于《狼人杀》的多模态数据集，评估发现GPT-4o等先进模型难以可靠辨别真伪，且在视觉线索对齐上存在不足。

2025-11-04cs.CLcs.CVcs.SI