Automatic Modeling of Social Concepts Evoked by Art Images as Multimodal Frames
Department of Computer Science and Engineering (DISI), University of Bologna, Italy(博洛尼亚大学计算机科学与工程系(DISI));Department of Modern Languages, Literatures and Cultures (LILEC), University of Bologna, Italy(博洛尼亚大学现代语言、文学与文化系(LILEC))
本文提出将社会概念表示为多模态框架的方法,通过整合多感官数据提取和分析视觉艺术材料的多模态特征,以解决社会概念自动检测中的语义鸿沟问题。
2021-10-14 cs.CL cs.CV cs.DL
MM-Claims: A Dataset for Multimodal Claim Detection in Social Media
TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心(TIB));L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);Jozef Stefan Institute(约瑟夫·斯特凡研究所)
近年来,网络上的错误信息问题在不同语言、国家和各种社交媒体平台上普遍存在。尽管在自动化虚假新闻检测方面已经做了很多工作,但图像的作用及其多样性还没有得到很好的探索。在本文中,我们研究了图像和文本在假新闻检测管道的早期阶段(称为索赔检测)中的作用。为此,我们引入了一个新的数据集,MM-Claims,它由三个主题的推文和相应的图像组成:COVID-19,气候变化和广泛的技术。该数据集包含大约86000条推文,其中3400条由多个注释器手动标记,用于多模态模型的训练和评估。我们详细描述了数据集,评估了强大的单峰和多峰基线,并分析了当前模型的潜力和缺点。
2022-05-04 cs.AI cs.CL cs.CV
Emotion Experience, Expression, and Perception: Emotion Analysis on Multimodal Social Media Posts
University of Bamberg(班贝格大学);University of Stuttgart(斯图加特大学)
本研究提出Mult2EMo数据集,探究社交媒体帖子中作者情感体验与读者感知的关系,发现重建情感表达具挑战性,理解触发事件至关重要。
2026-09-17 cs.CL
Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints
University of Virginia(弗吉尼亚大学);University of Washington(华盛顿大学)
语言越来越多地被用来定义丰富的视觉识别问题,支持来自网络的图像集合。在这些任务中使用结构化预测模型,以利用共现标签和视觉输入之间的相关性,但有可能无意中对网络语料库中发现的社会偏见进行编码。在这项工作中,我们研究的数据和模型与多标签对象分类和视觉语义角色标注。我们发现,(a)这些任务的数据集包含显著的性别偏见,(b)在这些数据集上训练的模型进一步放大了现有的偏见。例如,在训练集中,女性参与烹饪活动的可能性比男性高出33%以上,而经过训练的模型在测试时将差异进一步放大到68%。我们建议注入语料库级别的约束条件来校准现有的结构化预测模型,并设计了一个基于拉格朗日松弛的集体推理算法。我们的方法导致几乎没有性能损失的基本识别任务,但减少了47.5%和40.5%的多标签分类和视觉语义角色标注,分别偏置放大的幅度。
2017-07-29 cs.AI cs.CL cs.CV
Werewolf Among Us: A Multimodal Dataset for Modeling Persuasion Behaviors in Social Deduction Games
Georgia Institute of Technology(佐治亚理工学院);Shanghai Jiao Tong University(上海交通大学);Meta AI;University of Minnesota(明尼苏达大学)
说服力建模是会话代理的关键构建块。现有的这方面的工作仅限于分析语篇对话语料。我们认为,视觉信号也发挥了重要作用,在理解人类的说服行为。在本文中,我们介绍了第一个多模态数据集建模说服行为。我们的数据集包括199个在多人社交推理游戏设置中捕获的对话transanks和视频,26,647个说服策略的话语级别注释,以及推理游戏结果的游戏级别注释。我们提供了大量的实验来展示对话上下文和视觉信号如何有利于说服策略预测。我们还探讨了说服建模的语言模型的泛化能力和说服策略在预测社会推理游戏结果中的作用。我们的数据集、代码和模型可以在https://persuasion-deductiongame.socialai-data.org上找到。
2022-12-16 cs.CL cs.CV cs.LG
Towards Objective Evaluation of Socially-Situated Conversational Robots: Assessing Human-Likeness through Multimodal User Behaviors
Kyoto University(京都大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出一种基于多模态用户行为的客观评估方法,通过分析用户行为与类人性分数的相关性来评估社会情境对话机器人的类人性,从而提升评估的客观性与可复现性。
2023-09-25 cs.CL cs.HC cs.RO
Insta-VAX: A Multimodal Benchmark for Anti-Vaccine and Misinformation Posts Detection on Social Media
University of California, Davis(加州大学戴维斯分校);Columbia University(哥伦比亚大学)
在社交媒体上分享反对疫苗的帖子,包括错误信息帖子,已被证明会造成混乱,降低公众对疫苗的信心,导致疫苗犹豫和抵制。近年来,在线网络中以各种语言和视觉形式出现的此类反疫苗帖子迅速增加,对有效的内容审查和跟踪构成了巨大挑战。本文扩展了以前利用文本信息来理解疫苗信息的工作,介绍了Insta-VAX,这是一个新的多模态数据集,由64,957个与人类疫苗相关的Instagram帖子组成。我们对该数据集应用了由两名训练有素的专家评委验证的众包注释程序。然后,我们对几个最先进的NLP和计算机视觉分类器进行了基准测试,以检测帖子是否表现出反疫苗态度,以及它们是否包含错误信息。大量的实验和分析表明,多模态模型可以更准确地分类的职位比单模态模型,但仍然需要改进,特别是在视觉上下文理解和外部知识合作。该数据集和分类器有助于监测和跟踪疫苗讨论,以促进社会科学和公共卫生努力,解决疫苗错误信息问题。
2021-12-15 cs.CL cs.CV
A social context-aware graph-based multimodal attentive learning framework for disaster content classification during emergencies: a benchmark dataset and method
Indian Institute of Technology Indore(印度理工学院Indore分校);Institute of Engineering(工程院);Indian Institute of Information Technology Dharwad(印度信息技术学院Dharwad分校)
针对社交媒体灾害内容分类忽视社会情境与多模态关系的问题,提出融合图神经网络、社会情境特征和 IDEA 注意力的 CrisisSpot,并构建 TSEqD 数据集,性能显著优于现有方法。
2025-10-18 cs.CL cs.CY
ViClaim: A Multilingual Multilabel Dataset for Automatic Claim Detection in Videos
Zurich University of Applied Sciences(苏黎世应用科学大学);UNED NLP & IR Group(UNED自然语言处理与信息检索组)
针对视频内容错误信息检测缺失,构建多语言多标签数据集ViClaim,含1798个视频转录,标注三类声明,实验验证多语言模型性能并揭示泛化挑战。
2025-10-10 cs.CL
Gated Recurrent Neural Network Approach for Multilabel Emotion Detection in Microblogs
University of Moratuwa(莫拉图瓦大学);La Trobe University(乐卓博大学)
人们在社交媒体帖子和在线评论中自由表达自己的意见和情感,这些帖子和评论包含了对企业和政治活动等多个利益相关者的宝贵反馈。从大量这样的帖子中手动提取意见和情感是一项不可能完成的任务。因此,自动处理这些帖子以提取意见和情感是一个重要的研究问题。然而,人类情感检测是一项具有挑战性的任务,由于复杂性和细微差别的性质。为了克服这些障碍,研究人员广泛使用了深度学习、远程监督和迁移学习等技术。提出了一种基于金字塔注意力网络的微博情感检测模型。我们的方法的主要优点是,PAN具有从不同角度评估句子的能力,以捕获单个文本中存在的多种情感。在最近发布的数据集上对所提出的模型进行了评估,结果达到了最先进的58.9%的准确率。
2019-07-17 cs.CL cs.LG
Social Hatred: Efficient Multimodal Detection of Hatemongers
Ben Gurion University(本古里安大学);University of Michigan(密歇根大学)
本文提出一种结合文本、用户活动和用户网络的多模态聚合方法,用于在 X、Gab 和 Parler 数据集上高效检测仇恨散播者,显著优于传统文本和图方法。
2025-06-24 cs.CL cs.SI
A Heterogeneous Multimodal Graph Learning Framework for Recognizing User Emotions in Social Networks
College of Information Sciences and Technology(信息科学与技术学院);The Pennsylvania State University(宾夕法尼亚州立大学)
针对社交网络用户情绪预测研究不足、缺乏深度学习方法的问题,提出异质多模态图学习框架HMG-Emo,含动态上下文融合模块,性能优于现有基线,是首个该领域多模态深度学习方法。
2025-01-13 cs.CL cs.CV cs.SI
Leveraging Recurrent Neural Networks for Multimodal Recognition of Social Norm Violation in Dialog
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
社会规范是管理和促进社会互动的共同规则。通过戏弄和侮辱来违反这种社会规范可能有助于打破权力的不平衡,或者相反,加强谈话中的团结和融洽关系,这种融洽关系高度依赖于情境。在这项工作中,我们研究的任务,自动识别的社会规范违反的现象在话语。为了实现这一目标,我们利用了循环神经网络的力量和交互中存在的多模态信息,并提出了一个预测模型来识别违反社会规范的行为。使用长期的时间和上下文信息,我们的模型达到了0.705的F1分数。我们的工作,发展社会意识代理的影响进行了讨论。
2016-10-10 cs.CL
Social Caption: Evaluating Social Understanding in Multimodal Models
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
提出基于交互理论的SOCIAL CAPTION框架,从社会推理、整体社会分析和定向社会分析三个维度评估多模态大语言模型的社会理解能力,并分析影响性能的因素。
2026-09-01 cs.CL cs.LG
Improving Multimodal Classification of Social Media Posts by Leveraging Image-Text Auxiliary Tasks
University of Sheffield(谢菲尔德大学);Bloomberg(彭博公司)
本研究提出在微调多模态模型时联合使用图像-文本对比和图像-文本匹配两个辅助损失,以改进社交媒体帖子的多模态分类,在五个数据集上实现高达2.6个F1分数点的提升。
2024-02-03 cs.CL cs.LG cs.SI
SNS-Bench-VL: Benchmarking Multimodal Large Language Models in Social Networking Services
SNS-Bench-VL是一个用于评估多模态大语言模型在社交网络服务中性能的基准测试,涵盖8个多模态任务,包含4001个问题-答案对,评估25种先进模型,揭示多模态社交理解的挑战。
2025-12-15 cs.CL
Deep Unified Multimodal Embeddings for Understanding both Content and Users in Social Media Networks
SRI International(SRI国际);Cornell University(康奈尔大学)
在过去的几年里,社交媒体网络上产生的多模态内容激增,这需要对社交媒体内容和用户行为进行更深入的了解。我们提出了一种新的内容无关的内容用户反应模型的社会多媒体内容分析。与以前的工作,一般解决语义内容理解和用户行为建模隔离,我们提出了一个通用的解决方案,这些问题在一个统一的框架。我们嵌入用户,图像和文本从开放的社交媒体在一个共同的多模态几何空间,使用一种新的损失函数,旨在应付遥远的和不同的方式,从而实现无缝的三路检索。我们的模型不仅在跨模态检索任务上优于基于单峰嵌入的方法,而且在Twitter数据上联合解决这两个任务也显示出了改进。我们还表明,在我们的联合多模态嵌入模型中学习的用户嵌入比在Instagram数据上学习的单峰内容更好地预测用户兴趣。因此,我们的框架超越了以前的做法,使用显式的领导者,追随者的链接信息,以建立从属关系,通过提取隐式的内容为中心的从属关系,从孤立的用户。我们提供了定性的结果表明,从学习嵌入出现的用户集群具有一致的语义和我们的模型发现细粒度的语义从嘈杂和非结构化数据的能力。我们的工作表明,社会多模态内容本质上是多模态的,并具有一致的结构,因为在社交网络的意义是通过用户和内容之间的互动。
2019-06-11 cs.CL cs.CV cs.IR
Multimodal Misinformation Detection Using Early Fusion of Linguistic, Visual, and Social Features
University of Duisburg-Essen(杜伊斯堡-埃森大学)
本研究提出基于早期融合的多模态错误信息检测方法,整合文本、图像和社会特征,在1,529条推文上验证其性能较单模态和双模态模型分别提升15%和5%,并分析了错误信息传播模式。
2025-06-26 cs.CL cs.LG cs.SI
Few-shot Learning for Cross-Target Stance Detection by Aggregating Multimodal Embeddings
Queen Mary University of London(伦敦玛丽女王大学)
针对跨目标少样本立场检测任务,提出聚合文本与网络多模态嵌入的CT-TN模型,在六种目标对上实现11%至21%的性能提升,验证了社会特征的有效性。
2023-03-31 cs.CL cs.SI
Multimodal Classification for Analysing Social Media
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
社交媒体数据的分类是理解用户在Web上行为的重要方法。虽然社交媒体上的信息可以是不同的形式,如文本、图像、音频或视频,但传统的分类方法通常只利用一种突出的形式。能够利用多种模式的技术通常是复杂的,并且容易受到某些模式缺失的影响。在本文中,我们提出了一个简单的模型,结合不同形式的信息来分类社交媒体内容,并能够处理现有技术的上述问题。我们的模型使用池化层将来自不同模态的信息结合起来,并使用辅助学习任务来学习公共特征空间。我们证明了我们的模型的性能和他们的鲁棒性的情感分类域中的一些模态的缺失。我们的方法,虽然是简单的,不仅可以实现显着更高的精度比传统的融合方法,但也有可比的结果时,只有一个模态可用。
2017-08-07 cs.CL cs.IR cs.SI
Can MLLMs Read the Room? A Multimodal Benchmark for Verifying Truthfulness in Multi-Party Social Interactions
The University of Tokyo(东京大学)
本文提出了多方社交互动真实性评估任务MIVA及基于《狼人杀》的多模态数据集,评估发现GPT-4o等先进模型难以可靠辨别真伪,且在视觉线索对齐上存在不足。
2025-11-04 cs.CL cs.CV cs.SI
Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?
Carnegie Mellon University(卡内基梅隆大学);RMIT University(皇家墨尔本理工大学);Yale University(耶鲁大学)
本研究提出多智能体框架生成多模态假新闻,并基准测试16个MLLM的检测能力,发现多数模型远低于人类水平,尤其在图像真实性识别上失败,为防御假新闻奠定基础。
2026-09-30 cs.AI cs.CL
SentiMM: A Multimodal Multi-Agent Framework for Sentiment Analysis in Social Media
College of Information and Electrical Engineering, China Agricultural University(信息与电气工程学院,中国农业大学);College of Software, Jilin University(软件学院,吉林大学);College of Communication Engineering, Jilin University(通信工程学院,吉林大学)
针对社交媒体情感分析中异构数据处理与多标签情绪识别的挑战,提出多智能体框架SentiMM,通过专用智能体处理多模态输入、融合特征并结合外部知识,同时构建SentiMMD数据集,实验证明其性能优于现有基线。
2025-08-25 cs.CL
Multimodal Coreference Resolution for Chinese Social Media Dialogues: Dataset and Benchmark Approach
针对真实社交媒体对话多模态共指消解研究数据匮乏的问题,构建了首个中文社交媒体多模态共指数据集TikTalkCoref,提出聚焦名人领域的基准方法并给出实验结果,将开放数据集以推动相关研究。
2025-05-19 cs.CL
Can MLLMs Read the Room? A Multimodal Benchmark for Assessing Deception in Multi-Party Social Interactions
The University of Tokyo(东京大学)
本文提出多模态互动欺骗评估任务,通过新颖数据集评估多种MLLMs的欺骗检测能力,揭示其在多模态社交线索处理上的不足,并提出SoCoT和DSEM模块提升性能。
2026-10-16 cs.CL cs.CV
On the Role of Images for Analyzing Claims in Social Media
TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科技与信息研究所);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
假新闻是社交媒体中的一个严重问题。在本文中,我们提出了一个实证研究的视觉,文本和多模态模型的索赔,索赔检查价值,阴谋检测的任务,所有这些都与假新闻检测。最近的研究表明,图像比文本更有影响力,并且经常与假文本一起出现。为此,近年来提出了几种多模态模型,这些模型使用图像和文本来检测Twitter等社交媒体网站上的假新闻。然而,图像的作用并没有很好地理解索赔检测,特别是使用基于transformer的文本和多模态模型。我们研究了两种语言的四种不同数据集的图像、文本(基于transformer)和多模态信息的最新模型,以了解图像在索赔和阴谋检测任务中的作用。
2021-03-17 cs.CL cs.CV cs.SI
A multimodal deep learning approach for named entity recognition from social media
University of Tabriz(大不里士大学)
从社交媒体帖子中识别命名实体识别(NER)是一项具有挑战性的任务。用户生成的内容形成了社交媒体的本质,是嘈杂的,包含语法和语言错误。这种嘈杂的内容使得诸如命名实体识别之类的任务变得更加困难。我们提出了两种利用多模态深度学习和Transformers的新型深度学习方法。我们的两种方法都使用来自简短社交媒体帖子的图像特征,以在NER任务上提供更好的结果。在第一种方法中,我们使用InceptionV3提取图像特征,并使用融合来结合文本和图像特征。当用户提供与实体相关的图像时,这呈现了更可靠的名称实体识别。在第二种方法中,我们将图像特征与文本相结合,并将其馈送到Transformer等BERT中。实验结果,即,准确率,召回率和F1得分指标显示了我们的工作相比,其他国家的最先进的NER解决方案的优越性。
2020-07-12 cs.CL cs.LG cs.MM
MMDS-Bench: Benchmarking Multimodal Large Language Models on Dynamic Stance in Social Media Interactions
School of Cyber Science and Engineering, Wuhan University(武汉大学网络安全学院);Shanghai Innovation Institute(上海创新研究院)
本研究构建多模态动态立场分类基准MMDS-Bench,评估12个多模态大语言模型,发现其在关系推理类多模态动态立场理解上仍存在不足。
2026-09-01 cs.CL
CMNER: A Chinese Multimodal NER Dataset based on Social Media
School of Cyber Science and Engineering, Wuhan University(武汉大学网络科学与工程学院)
针对中文多模态命名实体识别数据不足的问题,本文构建含5,000条微博与18,326张图像的CMNER数据集,并通过基线与跨语言实验验证图像融合及中英数据互促的有效性。
2024-03-01 cs.CL
MARMOT: A Deep Learning Framework for Constructing Multimodal Representations for Vision-and-Language Tasks
University of Michigan(密歇根大学)
社交媒体上的政治活动提供了一个了解政治行为的数据丰富的窗口,但大量的数据意味着几乎所有的社交媒体内容分析都需要一个数据标签步骤。然而,大多数自动机器分类方法忽略了发布内容的多模态性,专注于文本或图像。最先进的视觉和语言模型不适用于大多数政治学研究:它们要求所有观察都具有图像和文本,并且需要计算昂贵的预训练。本文提出了一种新的视觉和语言框架称为多模态表示使用模态翻译(MARMOT)。MARMOT提出了两个方法上的贡献:它可以为缺少图像或文本的观察构建表示,并且它用模态翻译代替了计算昂贵的预训练。MARMOT在2016年美国大选期间报告选举事件的推文的多标签分类中,在20个类别中的19个类别中优于集成纯文本分类器。此外,MARMOT在Hateful Memes数据集上的基准多模态模型的结果中显示出显着的改进,将VisualBERT的最佳结果集的准确度从0.6473提高到0.6760,并将受试者工作特征曲线下面积(AUC)从0.7141提高到0.7530。
2021-09-23 cs.CL cs.CV cs.CY
A Multimodal Social Agent
针对大语言模型社交能力与计算机结合潜力待挖掘的问题,提出基于多模态大语言模型的社交智能体MuSA,采用多策略完成多类以人为中心的内容分析任务,实验表现显著优于基线。
2024-12-11 cs.AI cs.CL
Multimodal Named Entity Recognition for Short Social Media Posts
Carnegie Mellon University(卡内基梅隆大学);Snap Research(Snap研究院);Intuit(Intuit公司)
我们引入了一个名为多模态命名实体识别(MNER)的新任务,用于嘈杂的用户生成的数据,如推文或Snapchat标题,其中包括带有图像的短文本。这些社交媒体帖子经常出现不一致或不完整的语法和词汇符号,周围的文本上下文非常有限,给NER带来了重大挑战。为此,我们为MNER创建了一个名为SnapCaptions的新数据集(Snapchat图像-标题对提交给公共和众包故事,带有完全注释的命名实体)。然后,我们建立在最先进的Bi-LSTM基于词/字符的NER模型基础上,1)一个深度图像网络,它结合了相关的视觉上下文来增强文本信息,2)一个通用的模态注意力模块,它学习衰减不相关的模态,同时放大信息量最大的模态来提取上下文,适应每个样本和令牌。建议的MNER模型与模态注意力显着优于国家的最先进的纯文本NER模型,成功地利用提供的视觉环境,打开潜在的应用程序的MNER在无数的社交媒体平台。
2018-02-22 cs.CL
SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
Harbin Institute of Technology(哈尔滨工业大学)
提出SocialPersona基准,评估多模态大语言模型从社交媒体时间线推断用户偏好并用于对话的能力,实验表明模型在细粒度与近期偏好上表现不足。
2026-06-26 cs.CL cs.HC cs.IR
Modeling Multimodal Social Interactions: New Challenges and Baselines with Densely Aligned Representations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院)
本文针对多方交互建模的局限性,提出说话目标识别等三个新任务及数据标注,并构建利用密集对齐语言-视觉表示的多模态基线,有效建模细粒度社会交互。
2024-04-29 cs.CL cs.CV cs.LG
Towards Multimodal Social Conversations with Robots: Using Vision-Language Models
Ghent University–imec(根特大学–imec)
本文提出利用视觉-语言模型构建面向自主社交机器人的多模态社交对话系统,分析了系统整体需求、模型适配方法、剩余技术挑战及评估实践。
2025-08-18 cs.CL cs.HC cs.RO
MM-Soc: Benchmarking Multimodal Large Language Models in Social Media Platforms
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research Asia(微软亚洲研究院)
本文提出MM-Soc基准,通过整合多模态社交媒体数据集和YouTube标注数据,系统评估多模态大语言模型在虚假信息检测、仇恨言论检测和社会语境生成等任务上的表现,揭示其社会理解能力的不足及微调带来的改进潜力。
2024-09-02 cs.CL cs.CV cs.CY
Borrowing Human Senses: Comment-Aware Self-Training for Social Media Multimodal Classification
The Hong Kong Polytechnic University(香港理工大学)
社交媒体每天都在使用成对的图像和文本创建大量的多媒体内容,迫切需要自动化各种多模态分类任务的视觉和语言理解。与一般研究的视觉语言数据相比,社交媒体帖子往往表现出更多的隐含图像-文本关系。为了更好地粘合其中的跨模态语义,我们从用户评论中捕获暗示特征,这些特征通过联合利用视觉和语言相似性来检索。之后,分类任务的探索,通过自我训练的教师和学生的框架,通常有限的标记数据尺度在现有的基准的动机。大量的实验进行了四个多模态的社会媒体基准图像文本关系分类,讽刺检测,情感分类和仇恨言论检测。结果表明,我们的方法进一步提高了以前最先进的模型的性能,这些模型不采用评论建模或自训练。
2023-03-27 cs.AI cs.CL cs.IR
MIKO: Multimodal Intention Knowledge Distillation from Large Language Models for Social-Media Commonsense Discovery
Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程学系)
本文提出 MIKO 框架,协同 LLM 与 MLLM 从图文社交媒体帖子中蒸馏用户意图,构建大规模意图知识库并验证其可提升讽刺检测等下游任务。
2024-02-29 cs.CL
Multimodal Misinformation Detection in a South African Social Media Environment
University of Pretoria(比勒陀利亚大学)
本文提出融合BERT与ResNet的文本-视觉多模态虚假信息检测模型,并构建南非数据集,证明本地数据和多模态信息可提升情境迁移与检测性能。
2023-12-07 cs.CL
Cognitive Chain-of-Thought (CoCoT): Structured Multimodal Reasoning about Social Situations
Seoul National University(首尔国立大学);Human-Computer Interaction Institute, Carnegie Mellon University(人机交互研究所,卡内基梅隆大学);Language Technologies Institute, Carnegie Mellon University(语言技术研究所,卡内基梅隆大学)
本文提出CoCoT框架,通过感知、情境推断和规范应用三个阶段提升多模态社会推理能力,在多个任务中取得显著提升。
2026-08-31 cs.AI cs.CL cs.CY
From Individuals to Interactions: Benchmarking Gender Bias in Multimodal Large Language Models from the Lens of Social Relationship
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学)
本文提出Genres基准,通过双角色叙事生成任务从社会关系视角评估多模态大语言模型中的性别偏见,实验表明开源与闭源模型均存在单角色场景下无法显现的情境敏感偏见,为偏见诊断与缓解提供新思路。
2026-10-14 cs.AI cs.CL cs.CY
NLP-CUET@DravidianLangTech-EACL2021: Investigating Visual and Textual Features to Identify Trolls from Multimodal Social Media Memes
Chittagong University of Engineering and Technology(吉大港工程技术大学)
在过去的几年里,模因已经成为互联网上一种新的传播方式。由于模因是带有嵌入文本的图像,它可以迅速传播仇恨,冒犯和暴力。模因的分类是非常具有挑战性的,因为它们的多模态性质和区域特定的解释。一个共享的任务是组织开发模型,可以识别巨魔从多模态社会媒体模因。这项工作提出了一个计算模型,我们已经开发的一部分,我们参与的任务。训练数据有两种形式:嵌入泰米尔语代码混合文本的图像和用英语给出的相关标题。我们使用CNN,VGG 16,Inception,Multilingual-BERT,XLM-Roberta,XLNet模型研究了视觉和文本特征。通过早期融合方法将图像(CNN、ResNet 50、Inception)和文本(长短期记忆网络)特征相结合来提取多模态特征。结果表明,XLNet的文本方法实现了$0.58$的最高加权$f_1$ -分数,这使得我们的模型能够在该任务中获得$3^{rd}$排名。
2021-02-28 cs.CL cs.CV
Uddessho: An Extensive Benchmark Dataset for Multimodal Author Intent Classification in Low-Resource Bangla Language
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学)
针对低资源孟加拉语社交媒体帖子的作者意图分类难题,该研究提出多模态MABIC框架,构建含3048个样本的Uddessho基准数据集,多模态方法准确率达76.19%,较单模态提升11.66%,为该领域首项研究。
2024-09-14 cs.CL
A Novel Site-Agnostic Multimodal Deep Learning Model to Identify Pro-Eating Disorder Content on Social Media
本研究构建了RoBERTa与MaxViT融合的多模态深度学习模型,可跨平台识别社交媒体上促进食障碍内容,准确率达95.9%,并通过时间序列分析揭示了相关内容的占比变化趋势。
2023-11-05 cs.AI cs.CL cs.LG
Detecting Sarcasm in Multimodal Social Platforms
University of Turin(都灵大学);Yahoo(雅虎)
讽刺是一种特殊的情感表达形式,表面情感与隐含情感不同。社交媒体平台中的讽刺的检测在过去主要应用于文本话语,其中词汇指示符(诸如感叹词和加强词)、语言标记和上下文信息(诸如用户简档或过去的对话)被用于检测讽刺语气。然而,现代社交媒体平台允许创建多模态消息,其中视听内容与文本相结合,从而孤立地分析模式。在我们的工作中,我们首先研究了来自三个主要社交媒体平台的多模态帖子中文本和视觉方面之间的关系,即,Instagram,Tumblr和Twitter,我们运行一个众包任务来量化人类注释者认为图像是必要的程度。此外,我们提出了两种不同的计算框架来检测讽刺,整合的文本和视觉形式。第一种方法利用在外部数据集上训练的视觉语义,并将语义特征与最先进的文本特征连接起来。第二种方法是将一个在ImageNet上训练的参数初始化的视觉神经网络适应于多模态讽刺帖子。结果显示了跨平台和方法的讽刺检测的组合方式的积极影响。
2016-08-08 cs.CL cs.CV cs.MM
Integration of Large Language Models and Traditional Deep Learning for Social Determinants of Health Prediction
University of Illinois College of Medicine Peoria(伊利诺伊大学皮奥里亚医学院);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院);Carle Illinois College of Medicine, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校卡尔·伊利诺伊医学院)
本文融合传统深度学习与大语言模型,从临床文本中自动抽取健康社会决定因素,在提升分类精度的同时将执行时间缩短至1/12,并验证了补充合成数据后传统模型可优于LLM。
2025-05-06 cs.CL
MOMENTS: A Comprehensive Multimodal Benchmark for Theory of Mind
MBZUAI;University of Houston(德克萨斯大学休斯顿分校);McGill University(麦吉尔大学);University of Michigan(密歇根大学)
本文提出MoMentS基准,通过超2300道基于短片的多选题评估多模态大语言模型的心智理论能力,发现视觉和音频整合仍是主要瓶颈。
2025-09-21 cs.CL
Impact of Stickers on Multimodal Sentiment and Intent in Social Media: A New Task, Dataset and Baseline
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学);Institute for Infocomm Research, A*STAR(信息与通信研究院,A*STAR)
本文提出涉及贴纸的多模态聊天情感分析与意图识别任务 MSAIRS,构建中文社交媒体数据集,并提出带差分向量和级联注意力的 MMSAIR 基线,验证联合建模的有效性。
2025-07-23 cs.AI cs.CL
CliME: Evaluating Multimodal Climate Discourse on Social Media and the Climate Alignment Quotient (CAQ)
Manipal University Jaipur(斋浦尔马尼帕尔大学);Texas A&M University(德克萨斯农工大学)
本文提出首个多模态气候话语数据集CliME和五维评估指标CAQ,系统评估LLM在气候话语中的表现,发现模型在可行动性维度普遍不足,其中Claude 3.7 Sonnet综合表现最佳。
2025-04-04 cs.CL
Donate or Create? Comparing Data Collection Strategies for Emotion-labeled Multimodal Social Media Posts
Fundamentals of Natural Language Processing, University of Bamberg(自然语言处理基础,巴姆伯格大学);Department of Sociology, The Ohio State University(社会学系,俄亥俄州立大学);Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(机械语言处理研究所,斯图加特大学)
本研究比较了情感标注多模态社交媒体帖子的两种数据收集策略(捐赠与创作),发现创作数据在文本长度、模态依赖和事件类型上异于真实数据,但可用于训练泛化模型,真实数据仍为效果评估所需。
2026-09-17 cs.CL
MuMiN: A Large-Scale Multilingual Multimodal Fact-Checked Misinformation Social Network Dataset
University of Bristol(布里斯托大学)
错误信息在社交媒体和新闻文章中越来越普遍。它已经变得如此普遍,以至于我们需要利用机器学习的算法辅助来检测此类内容。训练这些机器学习模型需要足够规模、多样性和质量的数据集。然而,自动错误信息检测领域的数据集主要是单语的,包括有限数量的模态,并且没有足够的规模和质量。针对这一点,我们开发了一个数据汇集和链接系统(MuMiN-trawl),构建一个公共错误信息图数据集(MuMiN),包含丰富的社交媒体数据(推文,回复,用户,图像,文章,标签)跨越属于2.6万个Twitter线程的2100万条推文,每条推文在语义上都与数十个主题,事件和领域的1.3万个事实检查声明相关联,用41种不同的语言,跨越了十多年。该数据集通过Python包(mumin)作为异构图提供。我们提供了与涉及社交媒体的索赔的准确性相关的两个节点分类任务的基线结果,并证明这些任务具有挑战性,这两个任务的最高宏观平均F1分数分别为62.55%和61.45%。MuMiN生态系统可在https://mumin-martet.github.io/获得,包括数据,文档,教程和排行榜。
2022-03-08 cs.CL cs.CY cs.IR
MeetingToM: Evaluating Multimodal LLMs on Theory-of-Mind Reasoning in Multi-Party Meetings
College of AI, Tsinghua University(清华大学人工智能学院);Department of Biostatistics and Bioinformatics, Duke University(杜克大学生物统计学与生物信息学系)
研究多方会议中多模态大语言模型的心理理论推理,引入MeetingToM基准,分层评估不同粒度社会行为推理,提供评估协议并分析模型,揭示其在整合线索、推断态度及区分共识方面的局限,为推进多模态模型的会议心理理论推理提供试验台。
2026-07-22 cs.CL cs.CV
PIVOTSBench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models
Sun Yat-sen University(中山大学);University of Michigan(密歇根大学);Tsinghua University(清华大学)
提出PIVOTS基准,基于Social-IQ 2.0和YouTube数据,评估多模态大语言模型在心理学研究基础上预测双向人际关系维度的能力,并包含辅助任务分析关键视觉线索。
2026-09-03 cs.CL
Multimodal Safety Evaluation in Generative Agent Social Simulations
University of Cincinnati(辛辛那提大学);King Abdullah University of Science and Technology(国王阿卜杜勒·阿齐兹大学科学与技术)
本研究提出可复现的模拟框架,评估生成式智能体在多模态环境中的安全改进、不安全活动检测和社会动态,发现智能体在全局安全对齐上存在局限,且易过度信任误导性视觉。
2025-10-09 cs.AI cs.CL cs.CY