Multimodal Detection of Information Disorder from Social Media
社交媒体伴随着越来越多的提供虚假信息或误导性内容的内容，即所谓的信息混乱。本文研究了大规模多模态数据集上的多模态假新闻检测问题。我们提出了一个多模式的网络架构，使不同层次和类型的信息融合。除了帖子的文本和视觉内容外，我们还利用次要信息，即用户评论和元数据。我们在多个层次上融合信息，以解释模态的特定内在结构。我们的研究结果表明，多模态分析是非常有效的任务和所有的方式作出积极贡献时，适当融合。
2021-05-31 cs.IR cs.SI
MASH: A Multiplatform and Multimodal Annotated Dataset for Societal Impact of Hurricane
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；M.Kh. Dulaty Taraz University（M.Kh. 杜拉提塔拉兹大学）；Loyola Marymount University（洛约拉马利蒙特大学）；Miami University（迈阿密大学）
MASH数据集通过多平台和多模态注释，全面覆盖飓风社会影响的多维度研究需求。
2026-01-17 cs.SI
MSM-BD: Multimodal Social Media Bot Detection Using Heterogeneous Information
George Mason University（乔治梅森大学）；Dartmouth College（达特茅斯学院）；New York University（纽约大学）
本文提出MSM-BD方法，通过异构信息融合技术提升社交媒体机器人检测精度，利用TwiBot-22数据集验证了模型有效性。
2026-03-19 cs.MM cs.SI
Evaluating Cognitive-Behavioral Fixation via Multimodal User Viewing Patterns on Social Media
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全国家重点实验室，计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对社交媒体中认知-行为固着的计算检测方法不足的问题，提出含多模态主题提取与固着量化模块的评估框架，经基准与新数据集实验验证有效，为可扩展的认知固着分析奠基，代码已开源。
2025-09-05 cs.CL cs.SI
Untangling the Furball: A Practice Mapping Approach to the Analysis of Multimodal Interactions in Social Networks
本文提出实践映射方法，利用向量嵌入整合多模态交互，克服传统网络分析局限，并以前Twitter数据为例展示其有效性。
2024-07-08 cs.SI
TriMod Fusion for Multimodal Named Entity Recognition in Social Media
针对社交媒体NER面临的语言非正式等难题，提出融合文本、视觉和话题标签特征的TriMod方法，用Transformer注意力做模态融合，在多模态数据集上的精确率、召回率和F1值均优于现有SOTA方法。
2025-01-14 cs.IR cs.SI
A Heterogeneous Multimodal Graph Learning Framework for Recognizing User Emotions in Social Networks
College of Information Sciences and Technology（信息科学与技术学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对社交网络用户情绪预测研究不足、缺乏深度学习方法的问题，提出异质多模态图学习框架HMG-Emo，含动态上下文融合模块，性能优于现有基线，是首个该领域多模态深度学习方法。
2025-01-13 cs.CL cs.CV cs.SI
Deep Unified Multimodal Embeddings for Understanding both Content and Users in Social Media Networks
SRI International（SRI国际）；Cornell University（康奈尔大学）
在过去的几年里，社交媒体网络上产生的多模态内容激增，这需要对社交媒体内容和用户行为进行更深入的了解。我们提出了一种新的内容无关的内容用户反应模型的社会多媒体内容分析。与以前的工作，一般解决语义内容理解和用户行为建模隔离，我们提出了一个通用的解决方案，这些问题在一个统一的框架。我们嵌入用户，图像和文本从开放的社交媒体在一个共同的多模态几何空间，使用一种新的损失函数，旨在应付遥远的和不同的方式，从而实现无缝的三路检索。我们的模型不仅在跨模态检索任务上优于基于单峰嵌入的方法，而且在Twitter数据上联合解决这两个任务也显示出了改进。我们还表明，在我们的联合多模态嵌入模型中学习的用户嵌入比在Instagram数据上学习的单峰内容更好地预测用户兴趣。因此，我们的框架超越了以前的做法，使用显式的领导者，追随者的链接信息，以建立从属关系，通过提取隐式的内容为中心的从属关系，从孤立的用户。我们提供了定性的结果表明，从学习嵌入出现的用户集群具有一致的语义和我们的模型发现细粒度的语义从嘈杂和非结构化数据的能力。我们的工作表明，社会多模态内容本质上是多模态的，并具有一致的结构，因为在社交网络的意义是通过用户和内容之间的互动。
2019-06-11 cs.CL cs.CV cs.IR
Multimodal Pipeline for Collection of Misinformation Data from Telegram
本文介绍了AI-COVID-19的成果，我们的项目旨在更好地了解社交媒体平台上关于COVID-19的错误信息流。本文报告的研究的具体重点是从Telegram团体收集数据，这些团体积极宣传与COVID相关的错误信息。到目前为止，我们收集的语料库包含大约2800万个单词，来自近100万条消息。鉴于社交媒体中的错误信息流的很大一部分是通过图像和视频等多模式手段传播的，我们还开发了一种机制，通过为视频生成自动转录和将图像自动分类为meme，帖子截图和其他类型的图像来利用这些渠道。图像分类流水线的准确率约为87%。
2022-04-27 cs.SI
DisImpact: Quantifying the Physi-Social Impact of Natural Disasters Through Social Media
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Loyola Marymount University（洛约拉马利蒙特大学）
本文提出DisImpact框架，利用多模态大语言模型系统量化自然灾害的生理和社会影响，通过社交媒体内容分类和构建灾害影响指数，实现对灾害影响的统一表示和分析。
2026-05-20 cs.SI
Improving Multimodal Classification of Social Media Posts by Leveraging Image-Text Auxiliary Tasks
University of Sheffield（谢菲尔德大学）；Bloomberg（彭博公司）
本研究提出在微调多模态模型时联合使用图像-文本对比和图像-文本匹配两个辅助损失，以改进社交媒体帖子的多模态分类，在五个数据集上实现高达2.6个F1分数点的提升。
2024-02-03 cs.CL cs.LG cs.SI
PoSSUM: A Protocol for Surveying Social-media Users with Multimodal LLMs
本文提出开源协议PoSSUM，利用多模态LLM和用户数字痕迹创建硅样本，结合MrP与结构化先验抵消平台选择偏差，在2024年美国大选中准确预测50州结果，验证了其作为传统调查自动化替代方案的潜力。
2025-03-07 cs.SI stat.AP
Multimodal Misinformation Detection Using Early Fusion of Linguistic, Visual, and Social Features
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本研究提出基于早期融合的多模态错误信息检测方法，整合文本、图像和社会特征，在1,529条推文上验证其性能较单模态和双模态模型分别提升15%和5%，并分析了错误信息传播模式。
2025-06-26 cs.CL cs.LG cs.SI
A multimodal deep learning approach for named entity recognition from social media
University of Tabriz（大不里士大学）
从社交媒体帖子中识别命名实体识别（NER）是一项具有挑战性的任务。用户生成的内容形成了社交媒体的本质，是嘈杂的，包含语法和语言错误。这种嘈杂的内容使得诸如命名实体识别之类的任务变得更加困难。我们提出了两种利用多模态深度学习和Transformers的新型深度学习方法。我们的两种方法都使用来自简短社交媒体帖子的图像特征，以在NER任务上提供更好的结果。在第一种方法中，我们使用InceptionV3提取图像特征，并使用融合来结合文本和图像特征。当用户提供与实体相关的图像时，这呈现了更可靠的名称实体识别。在第二种方法中，我们将图像特征与文本相结合，并将其馈送到Transformer等BERT中。实验结果，即，准确率，召回率和F1得分指标显示了我们的工作相比，其他国家的最先进的NER解决方案的优越性。
2020-07-12 cs.CL cs.LG cs.MM
Enhancing Social Media Personalization: Dynamic User Profile Embeddings and Multimodal Contextual Analysis Using Transformer Models
Indian Institute of Management, Indore（印度管理学院印多尔分校）
本研究针对社交媒体个性化需求，提出基于Transformer的动态用户画像嵌入方法，在超2000万数据点的数据集上验证其能更精准追踪用户偏好、提升推荐效果与用户参与度，为社交平台优化体验提供支撑。
2024-07-09 cs.AI cs.IR cs.SI
Social Hatred: Efficient Multimodal Detection of Hatemongers
Ben Gurion University（本古里安大学）；University of Michigan（密歇根大学）
本文提出一种结合文本、用户活动和用户网络的多模态聚合方法，用于在 X、Gab 和 Parler 数据集上高效检测仇恨散播者，显著优于传统文本和图方法。
2025-06-24 cs.CL cs.SI
Multimodal Classification for Analysing Social Media
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
社交媒体数据的分类是理解用户在Web上行为的重要方法。虽然社交媒体上的信息可以是不同的形式，如文本、图像、音频或视频，但传统的分类方法通常只利用一种突出的形式。能够利用多种模式的技术通常是复杂的，并且容易受到某些模式缺失的影响。在本文中，我们提出了一个简单的模型，结合不同形式的信息来分类社交媒体内容，并能够处理现有技术的上述问题。我们的模型使用池化层将来自不同模态的信息结合起来，并使用辅助学习任务来学习公共特征空间。我们证明了我们的模型的性能和他们的鲁棒性的情感分类域中的一些模态的缺失。我们的方法，虽然是简单的，不仅可以实现显着更高的精度比传统的融合方法，但也有可比的结果时，只有一个模态可用。
2017-08-07 cs.CL cs.IR cs.SI
Automatic Modeling of Social Concepts Evoked by Art Images as Multimodal Frames
Department of Computer Science and Engineering (DISI), University of Bologna, Italy（博洛尼亚大学计算机科学与工程系（DISI））；Department of Modern Languages, Literatures and Cultures (LILEC), University of Bologna, Italy（博洛尼亚大学现代语言、文学与文化系（LILEC））
本文提出将社会概念表示为多模态框架的方法，通过整合多感官数据提取和分析视觉艺术材料的多模态特征，以解决社会概念自动检测中的语义鸿沟问题。
2021-10-14 cs.CL cs.CV cs.DL
Can MLLMs Read the Room? A Multimodal Benchmark for Verifying Truthfulness in Multi-Party Social Interactions
The University of Tokyo（东京大学）
本文提出了多方社交互动真实性评估任务MIVA及基于《狼人杀》的多模态数据集，评估发现GPT-4o等先进模型难以可靠辨别真伪，且在视觉线索对齐上存在不足。
2025-11-04 cs.CL cs.CV cs.SI
Unifying Multimodal Source and Propagation Graph for Rumour Detection on Social Media with Missing Features
本文提出统一多模态图Transformer网络UMGTN，结合多模态源特征与传播图特征，并通过多任务学习处理图像或回复缺失问题，在多个真实数据集上取得最先进性能且保持鲁棒性。
2023-07-06 cs.MM cs.SI
MM-Claims: A Dataset for Multimodal Claim Detection in Social Media
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心（TIB））；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Jozef Stefan Institute（约瑟夫·斯特凡研究所）
近年来，网络上的错误信息问题在不同语言、国家和各种社交媒体平台上普遍存在。尽管在自动化虚假新闻检测方面已经做了很多工作，但图像的作用及其多样性还没有得到很好的探索。在本文中，我们研究了图像和文本在假新闻检测管道的早期阶段（称为索赔检测）中的作用。为此，我们引入了一个新的数据集，MM-Claims，它由三个主题的推文和相应的图像组成：COVID-19，气候变化和广泛的技术。该数据集包含大约86000条推文，其中3400条由多个注释器手动标记，用于多模态模型的训练和评估。我们详细描述了数据集，评估了强大的单峰和多峰基线，并分析了当前模型的潜力和缺点。
2022-05-04 cs.AI cs.CL cs.CV
On the Role of Images for Analyzing Claims in Social Media
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技与信息研究所）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
假新闻是社交媒体中的一个严重问题。在本文中，我们提出了一个实证研究的视觉，文本和多模态模型的索赔，索赔检查价值，阴谋检测的任务，所有这些都与假新闻检测。最近的研究表明，图像比文本更有影响力，并且经常与假文本一起出现。为此，近年来提出了几种多模态模型，这些模型使用图像和文本来检测Twitter等社交媒体网站上的假新闻。然而，图像的作用并没有很好地理解索赔检测，特别是使用基于transformer的文本和多模态模型。我们研究了两种语言的四种不同数据集的图像、文本（基于transformer）和多模态信息的最新模型，以了解图像在索赔和阴谋检测任务中的作用。
2021-03-17 cs.CL cs.CV cs.SI
Do We Trust What They Say or What They Do? A Multimodal User Embedding Provides Personalized Explanations
University of Washington（华盛顿大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出贡献感知多模态用户嵌入框架CAMUE，通过自动权衡文本与图结构信息，为社交网络用户提供个性化可解释预测，并验证图结构信息对多数用户更可信。
2024-09-04 cs.IR cs.LG cs.SI
ReINTEL: A Multimodal Data Challenge for Responsible Information Identification on Social Network Sites
University of Engineering and Technology, Vietnam National University（越南国家大学工程技术大学）；Umeå University（于默奥大学）；University of Sydney（悉尼大学）；ReML.AI - Reliable Machine Learning Lab, International（ReML.AI——国际可靠机器学习实验室）；Hanoi University of Science, Vietnam National University（越南国家大学河内科学大学）；University of Glasgow（格拉斯哥大学）
本文报告了ReINTEL在社交网站上负责信息识别的共享任务，该任务在第七届越南语言和语音处理年度研讨会（VLSP 2020）上举办。给定一条新闻，分别有文字、视觉内容和元数据，要求参与者对新闻是否"可靠"或"不可靠"进行分类。为了生成一个公平的基准，我们引入了一个新的人工注释数据集，其中包含从越南社交网络收集的10，000多条新闻。将根据AUC-ROC评分（分类的典型评价指标）对所有模型进行评价。比赛在Codalab平台上进行。在两个月内，这项挑战吸引了60多名参与者，并记录了近1，000份提交作品。
2020-12-16 cs.CY cs.LG cs.SI
MONITOR: A Multimodal Fusion Framework to Assess Message Veracity in Social Networks
Université de Lyon（里昂大学）
社交网络的用户倾向于几乎没有约束地发布和共享内容。因此，谣言和假新闻可以迅速大规模传播。这可能对社交媒体的可信度构成威胁，并可能在现实生活中造成严重后果。因此，谣言检测和验证的任务变得极为重要。评估社交媒体消息的真实性（例如，通过事实检查器）涉及分析消息的文本、其上下文和任何多媒体附件。这是一个非常耗时的任务，机器学习可以提供很大的帮助。在文献中，大多数消息准确性验证方法仅利用文本内容和元数据。很少有人同时考虑文本和视觉内容，特别是图像。在本文中，我们第二个假设是，利用社交媒体帖子的所有组件可以提高准确性检测的准确性。为了进一步发展最新技术，我们首先建议使用一组受图像质量评估领域启发的高级图像特征，这有效地有助于谣言检测。这些指标是检测虚假图像的良好指标，即使是那些由生成对抗网络（GANs）等先进技术生成的图像。然后，我们引入多模态融合框架来评估社交网络中的消息真实性（MONITOR），该框架利用了所有消息特征（即，文本、社会背景和图像特征）。这样的算法提供了决策的可解释性和可解释性，我们认为这在谣言验证的背景下特别重要。实验结果表明，MONITOR在MediaEval基准测试和FakeNewsNet数据集上的谣言检测准确率分别为96%和89%。这些结果明显优于最先进的机器学习基线。
2021-09-06 cs.AI cs.DB cs.SI
Few-shot Learning for Cross-Target Stance Detection by Aggregating Multimodal Embeddings
Queen Mary University of London（伦敦玛丽女王大学）
针对跨目标少样本立场检测任务，提出聚合文本与网络多模态嵌入的CT-TN模型，在六种目标对上实现11%至21%的性能提升，验证了社会特征的有效性。
2023-03-31 cs.CL cs.SI
A Multimodal Framework for Topic Propagation Classification in Social Networks
Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出一种社交网络话题传播预测模型，通过引入用户关系广度与权威性改进PageRank，结合Text-CNN、Bi-LSTM与Transformer融合多维特征，在F1-Score等指标上显著优于传统及单模态深度学习模型。
2025-03-05 cs.AI cs.NE cs.SI
WarCov -- Large multilabel and multimodal dataset from social platform
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
本文构建了包含318万余条波兰语社交媒体帖子的WarCov多标签多模态数据集，覆盖疫情与乌克兰战争主题，并展示了从数据获取到模式识别实验的完整整理流程。
2024-06-10 cs.CL cs.SI
VICSOM: VIsual Clues from SOcial Media for psychological assessment
Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Islamic Azad University, Science and Research Branch（伊斯兰阿扎德大学科学与研究分校）
在社交网站（SNS）中共享多模态信息（通常是图像，视频或文本）占据了我们时间的一部分。用户在社交网络中暴露自己的特定方式可以为推断人类行为提供有用的信息。本文提出使用从Instagram账户收集的多模态数据来预测Glasser选择理论中描述的感知原型需求。贡献是双重的：（i）我们从Instagram公共个人资料（超过30，000张图像和文本标题）中提供了一个大型多模式数据库，由专家心理学家根据Glasser的理论对每种感知行为进行注释，以及（ii）我们建议自动识别（无意识地）用户感知的需求。特别是，我们提出了一个基线使用三个不同的功能集：基于像素图像的视觉描述符（SURF和视觉袋的话），一个高层次的描述符的基础上使用卷积神经网络的自动场景描述，和一个基于文本的描述符（Word2vec）从处理用户提供的字幕。最后，我们提出了一个多模态融合这些描述符获得有希望的结果，在多标签分类问题。
2019-05-15 cs.CV cs.CY cs.SI
A Novel Site-Agnostic Multimodal Deep Learning Model to Identify Pro-Eating Disorder Content on Social Media
本研究构建了RoBERTa与MaxViT融合的多模态深度学习模型，可跨平台识别社交媒体上促进食障碍内容，准确率达95.9%，并通过时间序列分析揭示了相关内容的占比变化趋势。
2023-11-05 cs.AI cs.CL cs.LG
See and Read: Detecting Depression Symptoms in Higher Education Students Using Multimodal Social Media Data
Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）
抑郁症和焦虑症等精神障碍在世界人口中以惊人的速度增长。值得注意的是，重性抑郁症已成为高等教育学生中的一个常见问题，他们必须面对的学术压力加剧了，甚至可能使他们更加沮丧。虽然造成这种令人震惊的情况的原因尚不清楚（尽管已进行了广泛调查），但已经面临这一问题的学生必须接受治疗。首先，我们需要对症状进行筛查。传统的方法是依靠临床咨询或回答问卷。然而，如今，在社交媒体上共享的数据是一个无处不在的来源，即使学生无法负担或寻找专业护理，也可以用来检测抑郁症状。以前的研究已经依赖于社交媒体数据来检测普通人群的抑郁症，通常集中在发布的图像或文本或依赖元数据。在这项工作中，我们专注于检测高等教育学生抑郁症状的严重程度，通过比较深度学习和Instagram上发布的图片及其标题诱导的特征工程模型。实验结果表明，学生呈现BDI分数高于或等于20可以检测到的召回率和0.69的精度在最好的情况下，达到了融合模型。我们的研究结果显示了大规模抑郁症筛查的潜力，这可能会对处于风险中的学生有所帮助。
2020-03-29 cs.CL cs.SI
MuMiN: A Large-Scale Multilingual Multimodal Fact-Checked Misinformation Social Network Dataset
University of Bristol（布里斯托大学）
错误信息在社交媒体和新闻文章中越来越普遍。它已经变得如此普遍，以至于我们需要利用机器学习的算法辅助来检测此类内容。训练这些机器学习模型需要足够规模、多样性和质量的数据集。然而，自动错误信息检测领域的数据集主要是单语的，包括有限数量的模态，并且没有足够的规模和质量。针对这一点，我们开发了一个数据汇集和链接系统（MuMiN-trawl），构建一个公共错误信息图数据集（MuMiN），包含丰富的社交媒体数据（推文，回复，用户，图像，文章，标签）跨越属于2.6万个Twitter线程的2100万条推文，每条推文在语义上都与数十个主题，事件和领域的1.3万个事实检查声明相关联，用41种不同的语言，跨越了十多年。该数据集通过Python包（mumin）作为异构图提供。我们提供了与涉及社交媒体的索赔的准确性相关的两个节点分类任务的基线结果，并证明这些任务具有挑战性，这两个任务的最高宏观平均F1分数分别为62.55%和61.45%。MuMiN生态系统可在https：//mumin-martet.github.io/获得，包括数据，文档，教程和排行榜。
2022-03-08 cs.CL cs.CY cs.IR
Mobilizing Waldo: Evaluating Multimodal AI for Public Mobilization
研究利用“Where's Waldo?”图像作为替代，评估了GPT-4o等多模态LLM在公众动员场景中识别个体与制定策略的能力，发现模型虽能生成创意策略但识别准确性不足，为多模态AI社会能力测试提供了新框架。
2024-12-18 cs.CY cs.HC cs.SI
