Generating Event-oriented Attribution for Movies via Two-Stage Prefix-Enhanced Multimodal LLM
University of Science and Technology of China(中国科学技术大学);School of Computer Science(计算机学院);Anhui Province Key Lab of Big Data Analysis and Application(安徽省大数据分析与应用重点实验室)
针对现有电影事件研究缺乏全片因果分析、多模态大模型受上下文长度限制的问题,提出两阶段前缀增强TSPE方法,通过局部分段总结与全局关联事件聚焦实现精准事件归因,性能优于SOTA方法。
2024-09-14 cs.CL
Multimodal Quantum Natural Language Processing: A Novel Framework for using Quantum Methods to Analyse Real Data
University College London(伦敦大学学院)
本论文提出多模态量子自然语言处理框架,利用Lambeq工具比较四种组合模型,发现基于语法的模型在图像-文本分类中表现更优,展示了量子方法在语言建模中的潜力。
2024-10-29 cs.CL cs.LG quant-ph
Visual Grounding Strategies for Text-Only Natural Language Processing
KU Leuven(鲁汶大学)
视觉基础是一条通往更强大和更准确的自然语言处理(NLP)模型的有前途的道路。BERT的许多多模态扩展(例如,VideoBERT、LXMERT、VL-BERT)允许文本和图像的联合建模,从而在多模态任务(如视觉问答)上产生最先进的结果。在这里,我们将多模态建模用于纯文本任务(语言建模和分类),期望多模态预训练提供可以提高文本处理准确性的基础。我们在这方面提出了可能的战略。被称为{ \it transmitted grounding}的第一种类型的策略包括使用占位符来替换图像输入,将多模态模型应用于纯文本任务。第二个,我们称之为{ \it关联接地},利用图像检索在预训练和纯文本下游任务期间将文本与相关图像进行匹配。我们对这两种策略进行了进一步的区分,然后根据它们对语言建模和常识相关下游任务的影响进行了比较,显示了对纯文本基线的改进。
2021-03-25 cs.CL
Zero-Shot Event Detection by Multimodal Distributional Semantic Embedding of Videos
Rutgers University(罗格斯大学);SRI International(SRI国际)
提出了一种基于视频多模态分布语义嵌入的zero-shot事件检测方法。我们的模型嵌入对象和动作的概念,以及其他可用的形式从视频到分布式语义空间。据我们所知,这是第一个建立在分布式语义之上的Zero-Shot事件检测模型,并在以下方向对其进行了扩展:(a)视频中多模态信息的语义嵌入(重点是视觉模态),(b)自动确定概念/属性与自由文本查询的相关性,这对于其他应用可能是有用的,以及(c)通过自由文本事件查询检索视频(例如,“更换车辆轮胎”)。我们将视频嵌入到分布式语义空间中,然后以自由文本的形式度量视频和事件查询之间的相似性。我们在大型TRECVID MED(多媒体事件检测)挑战中验证了我们的方法。仅使用事件标题作为查询,我们的方法优于使用大描述的最新技术,MAP度量从12.6%到13.5%,ROC-AUC度量从0.73到0.83。它也快了一个数量级。
2015-12-16 cs.CL cs.CV cs.LG
Grounding Partially-Defined Events in Multimodal Data
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
针对视觉数据难以建模部分可观测事件的问题,该研究提出部分定义事件的多模态建模方法与三阶段跨度抽取任务,构建了含多模态数据的基准MultiVENT-G,验证了LLM驱动方法的潜力与事件理解的挑战。
2024-10-07 cs.CL cs.CV
EM^2Mem: Event-Centric Multimodal Memory for Large Language Models
Zhejiang University(浙江大学);South China University of Technology(华南理工大学);Lenovo Group Limited(联想集团有限公司)
该研究提出以事件为中心的多模态记忆框架EM^2Mem,将异质证据绑定到事件锚点,在三个长视频问答基准上提升了准确率、召回率,降低了延迟和推理token用量。
2026-09-02 cs.AI cs.CL cs.LG
UR-FUNNY: A Multimodal Language Dataset for Understanding Humor
University of Rochester(罗切斯特大学);CMU(卡内基梅隆大学)
幽默是人们在社会交往中表现出来的一种独特的、创造性的交际行为。它是以多模态的方式产生的,通过使用单词(文本),手势(视觉)和韵律提示(声学)。从这三种模态中理解幽默属于多模态语言的范围;自然语言处理的一个最近的研究趋势是将自然语言建模为面对面的交流。虽然幽默检测是自然语言处理中的一个成熟的研究领域,但在多模态背景下,它还是一个未充分研究的领域。本文提出了一个多样化的多模态数据集,称为UR-FUNNY,打开大门,了解多模态语言用于表达幽默。数据集和相关研究为自然语言处理界提供了一个多模态幽默检测的框架。UR-FUNNY公开供研究使用。
2019-04-14 cs.CL cs.LG stat.ML
Multimodal Event Transformer for Image-guided Story Ending Generation
Australian AI Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
图像引导故事结局生成是根据给定的故事情节和结局图像生成故事结局。现有的方法侧重于跨模态特征融合,而忽略了推理和挖掘故事情节和结局图像中的隐含信息。为了解决这个问题,我们提出了一个多模态事件Transformer,一个基于事件的推理框架IgSEG。具体来说,我们从故事情节和结局图像构建视觉和语义事件图,并利用基于事件的推理推理和挖掘隐含的信息在一个单一的模态。接下来,我们连接视觉和语义事件图,并利用跨模态融合来集成不同的模态特征。此外,我们提出了一个多模态注入器,自适应地传递必要的信息到解码器。此外,我们提出了一个不连贯的检测,以提高理解的故事情节的背景和图建模的鲁棒性,我们的模型。实验结果表明,我们的方法实现了国家的最先进的性能图像引导的故事结局生成。
2023-01-26 cs.CL cs.CV
Multimodal Categorization of Crisis Events in Social Media
Dataminr Inc.(Dataminr公司);Rutgers University(罗格斯大学);University of California, Davis(加州大学戴维斯分校)
图像分类和自然语言处理的最新发展,加上社交媒体使用的快速增长,使实时检测世界各地突发事件的工作取得了根本性的进展。应急反应就是这样一个领域,它将从这些进展中获益。通过每分钟处理数十亿条文本和图像,可以自动检测事件,使应急响应工作人员能够更好地评估快速变化的情况,并相应地部署资源。迄今为止,该领域的大多数事件检测技术都集中在仅图像或仅文本的方法上,这限制了检测性能并影响了向危机响应团队提供的信息的质量。在本文中,我们提出了一种新的多模态融合方法,利用图像和文本作为输入。特别是,我们引入了一个交叉注意模块,可以过滤无信息和误导性的组件,从弱模态的样本样本的基础上。此外,我们采用了一种基于多模态图的方法,在训练过程中随机转换不同的多模态对的嵌入,以更好地规范学习过程,以及处理有限的训练数据,通过构建新的匹配对从不同的样本。我们表明,我们的方法优于单峰的方法和强大的多峰基线上的三个危机相关的任务的大幅度。
2020-04-10 cs.AI cs.CL cs.CV
ARC-NLP at Multimodal Hate Speech Event Detection 2023: Multimodal Methods Boosted by Ensemble Learning, Syntactical and Entity Features
Aselsan Research Center(阿瑟尔桑研究中心)
针对2023多模态仇恨言论事件检测,本文提出由集成学习、语法属性和命名实体特征增强的多模态深度学习方法,在仇恨言论与目标检测两个子任务中均取得第一名。
2023-07-25 cs.CL cs.SI
CLLMate: A Multimodal Benchmark for Weather and Climate Events Forecasting
Hong Kong University of Science and Technology(香港科技大学)
本文提出 WCEF 任务,并构建融合 ERA5 与新闻文本的多模态数据集 CLLMate,通过评测 23 个 MLLM 揭示其能力边界。
2025-02-16 cs.AI cs.CL cs.LG
Utilizing Large Language Models for Event Deconstruction to Enhance Multimodal Aspect-Based Sentiment Analysis
Xi’an Jiaotong University(西安交通大学)
本文提出MABSA-RL框架,利用大语言模型将文本分解为事件以降低多实体多情感分析复杂度,并通过强化学习优化参数,在两个基准数据集上取得优于现有方法的性能。
2024-10-18 cs.AI cs.CL
Research on Optimization of Natural Language Processing Model Based on Multimodal Deep Learning
Washington University in St. Louis(圣路易斯华盛顿大学);University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰霍普金斯大学);Marquette University(马凯特大学);New York University(纽约大学)
本文提出融合注意力机制、多模态数据、Word2Vec与卷积神经网络的NLP模型优化方法,可降低预处理复杂度并增强图像特征表示。
2024-06-13 cs.AI cs.CL cs.LG
CrisisKAN: Knowledge-infused and Explainable Multimodal Attention Network for Crisis Event Classification
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
本文提出CrisisKAN,一种融合Wikipedia外部知识、引导式交叉注意力与Grad-CAM可解释性的多模态危机事件分类网络,在CrisisMMD数据集上超越现有SOTA方法。
2024-01-11 cs.AI cs.CL cs.LG
Multimodal Cross-Document Event Coreference Resolution Using Linear Semantic Transfer and Mixed-Modality Ensembles
Colorado State University(科罗拉多州立大学);University of Colorado, Boulder(科罗拉多大学博尔德分校);Purdue University(普渡大学)
针对跨文档事件共指消解中语言歧义及多模态数据不足问题,提出三种融合图文的消解方法,在增强ECB+数据集上达91.9的CoNLL F1上限并建立AIDA Phase 1新基线。
2024-04-13 cs.CL
Discrete Multimodal Transformers with a Pretrained Large Language Model for Mixed-Supervision Speech Processing
Worcester Polytechnic Institute(伍斯特理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
提出仅解码器的离散多模态语言模型(DMLM),应用于ASR、T2S等跨模态任务,探索损失函数、权重初始化、混合监督和码本等关键方面,发现结合监督与无监督训练、用预训练LLM初始化及Whisper激活码本能显著提升性能。
2024-06-25 cs.CL cs.LG eess.AS
Lexical Squad@Multimodal Hate Speech Event Detection 2023: Multimodal Hate Speech Detection using Fused Ensemble Approach
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰亚大学)
本文提出一种融合InceptionV3、BERT和XLNet的集成学习方法,用于将嵌入文本的图像分类为仇恨言论或非仇恨言论,准确率达75.21%,F-1分数达74.96。
2023-09-23 cs.AI cs.CL cs.LG
PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding
National Information Processing Institute(国家信息处理研究所)
该研究针对英语外文化多模态评估不足的问题,提出波兰多模态基准PUMA,通过900项任务评估各类模型在波兰语境下的多模态能力,发现商用模型在视觉问答表现好但音频/文档理解弱,并开源评估框架推进本地化多模态AI研究。
2026-08-25 cs.CL
MasonPerplexity at Multimodal Hate Speech Event Detection 2024: Hate Speech and Target Detection Using Transformer Ensembles
George Mason University(乔治梅森大学)
本文提出MasonPerplexity系统,使用XLM-roBERTa-large及多模型集成方法处理多模态仇恨言论及目标检测任务,在CASE 2024两项子任务中均取得第3名。
2024-02-18 cs.CL
Multimodal Event Detection: Current Approaches and Defining the New Playground through LLMs and VLMs
George Mason University(乔治·马歇尔大学);Amazon(亚马逊公司)
针对社交媒体多模态事件检测难题,该研究对比单模态、多模态融合及生成式大模型的表现,明确多模态方法优势,同时指出大模型精度不足但擅长处理社交媒体特殊文本的特性。
2025-05-16 cs.CL cs.CV
Multimodal Intelligence: Representation Learning, Information Fusion, and Applications
JD AI Research(京东人工智能研究院);University of Cambridge(剑桥大学);Citadel LLC(城堡投资有限责任公司)
自2010年以来,深度学习方法已经彻底改变了语音识别,图像识别和自然语言处理。这些任务中的每一个都涉及其输入信号中的单个模态。然而,人工智能领域的许多应用涉及多种模态。因此,研究跨多模态建模和学习的更困难和更复杂的问题具有广泛的意义。在本文中,我们提供了一个多模态智能可用的模型和学习方法的技术审查。本文的主要重点是视觉和自然语言模态的结合,这已经成为计算机视觉和自然语言处理研究社区的一个重要课题。本文从学习多模态表示、在不同层次上融合多模态信号和多模态应用三个角度对多模态深度学习的最新研究成果进行了全面分析。关于多模态表示学习,我们回顾了嵌入的关键概念,它将多模态信号统一到一个单一的向量空间,从而实现跨模态信号处理。我们还回顾了为一般下游任务构建和学习的许多类型的嵌入的属性。关于多模态融合,这篇评论的重点是特殊的架构,为一体化的单峰信号的表示为一个特定的任务。关于应用程序,在当前的文献中广泛关注的选定领域,包括图像到文本的字幕生成,文本到图像的生成,和视觉问答。我们相信,这一审查将促进未来的研究在新兴领域的多模态智能相关社区。
2020-04-10 cs.AI cs.CL cs.CV
A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics
The University of Hong Kong(香港大学);West China Hospital, Sichuan University(四川大学华西医院);Deepwise Healthcare(深睿医疗);Zhuhai People’s Hospital and the First Affiliated Hospital of Faculty of Medicine, Macau University of Science and Technology and University Hospital(澳门科技大学医学院附属第一医院、珠海市人民医院及大学医院);Peking University(北京大学);Guangzhou Laboratory(广州实验室);Jinling Hospital, Nanjing University School of Medicine(南京大学医学院附属金陵医院)
本文提出一种基于 Transformer 的统一多模态表示学习模型,融合影像、主诉、病史及结构化临床信息,在肺病识别和 COVID-19 不良结局预测中显著优于仅图像及非统一多模态模型。
2023-06-01 cs.CL cs.CV cs.LG
Burn After Reading: Do Multimodal Large Language Models Truly Capture Order of Events in Image Sequences?
Utrecht University(乌特雷赫大学)
该研究提出聚焦图像序列时序推理的TempVS基准,含三类核心测试及配套定位测试,评估38个前沿多模态大语言模型后发现其表现远逊于人类,并给出细粒度研究方向。
2025-06-12 cs.CL cs.CV
End-to-End Referring Video Object Segmentation with Multimodal Transformers
Technion – Israel Institute of Technology(以色列理工学院)
参考视频对象分割任务(RVOS)涉及在给定视频的帧中分割文本参考对象实例。由于这种多模态任务的复杂性,它结合了文本推理,视频理解,实例分割和跟踪,现有的方法通常依赖于复杂的管道,以解决it. In本文中,我们提出了一个简单的基于transformer的方法RVOS。我们的框架,称为多模态跟踪Transformer(MTTR),模型的RVOS任务作为一个序列预测问题。随着计算机视觉和自然语言处理的最新进展,MTTR基于这样一种认识,即视频和文本可以通过单个多模式Transformer模型有效而优雅地处理在一起。MTTR是端到端可训练的,不含与文本相关的感应偏差组件,并且不需要额外的掩码优化后处理步骤。因此,与现有方法相比,它大大简化了RVOS管道。对标准基准的评估表明,MTTR在多个指标上明显优于以前的技术。特别是,MTTR在A2 D-Sentences和JHMDB-Sentences数据集上分别显示出令人印象深刻的+5.7和+5.0 mAP增益,同时每秒处理76帧。此外,我们报告了Refer-YouTube-VOS公共验证集的强有力结果,这是一个更具挑战性的RVOS数据集,尚未得到研究人员的关注。复制我们实验的代码可以在https://github.com/mttr2021/MTTR上找到。
2022-04-03 cs.CL cs.CV cs.LG
Beyond Text: Optimizing RAG with Multimodal Inputs for Industrial Applications
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Siemens AG(西门子公司)
针对工业领域RAG系统,研究通过对比两种图像处理策略和两种大模型,验证多模态输入可提升性能,且图像文本摘要方法比多模态嵌入更具潜力。
2024-10-29 cs.AI cs.CL
Charon: a FrameNet Annotation Tool for Multimodal Corpora
Federal University of Juiz de Fora(茹伊斯迪福拉联邦大学)
本文介绍了Charon,一个Web工具,用于标注多模态语料库与框架网类别。可以对包含静态图像和与文本序列配对或不配对的视频序列的语料库进行注释。管道功能,除了注释接口,语料库导入和预处理工具。
2022-05-24 cs.CL
How2: A Large-scale Dataset for Multimodal Language Understanding
Carnegie Mellon University(卡内基梅隆大学);Le Mans University(勒芒大学);University of Copenhagen(哥本哈根大学);University of Sheffield(谢菲尔德大学)
在本文中,我们介绍了How2,一个多模式的教学视频集合,带有英语字幕和众包葡萄牙语翻译。我们还提出了集成的序列到序列基线的机器翻译,自动语音识别,口语翻译和多模态摘要。通过为几个多模态自然语言任务提供数据和代码,我们希望激发对这些和类似挑战的更多研究,以更深入地了解语言处理中的多模态。
2018-12-07 cs.CL
Multimodal Forecasting of Sparse Intraoperative Hypotension Events Powered by Language Model
University of Science and Technology of China(中国科学技术大学);The First Affiliated Hospital of University of Science and Technology of China(中国科学技术大学第一附属医院)
本文提出多模态语言模型框架IOHFuseLM,通过扩散增强预训练、任务微调及token级临床文本与生理时序对齐,提升稀疏术中低血压事件的预测性能。
2025-07-22 cs.AI cs.CL
Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment
National Library of Medicine National Institutes of Health(国家医学图书馆国立卫生研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种检索增强的多模态对齐框架,通过结合文本和结构化EHR数据,提高临床时间线的精确度,提升时间一致性,同时保持事件匹配率。
2026-10-06 cs.AI cs.CL cs.LG
Where is the multimodal goal post? On the Ability of Foundation Models to Recognize Highlights in Videos
Institute for Logic, Language and Computation University of Amsterdam(逻辑、语言与计算研究所 阿姆斯特丹大学)
本文研究了多模态基础模型识别足球比赛中重要时刻的能力,发现现有模型在识别重要子事件时表现欠佳,需改进架构与训练方法以提升跨模态协同能力。
2026-10-14 cs.AI cs.CL cs.CV
Language and Multimodal Models in Sports: A Survey of Datasets and Applications
University of California, Irvine(加利福尼亚大学欧文分校);George Mason University(乔治梅森大学);Meta Platforms, Inc.(元平台公司);Stanford University(斯坦福大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Rice University(莱斯大学)
该综述梳理2020年后体育领域NLP与多模态模型相关的三类数据集及应用,分析其价值与开发挑战,为相关研究者和从业者提供基础参考。
2024-06-18 cs.CL
Cultural Bias Matters: A Cross-Cultural Benchmark Dataset and Sentiment-Enriched Model for Understanding Multimodal Metaphors
Dalian University of Technology(大连理工大学);RMIT University(皇家墨尔本理工大学);The University of Adelaide(阿德莱德大学)
针对多模态隐喻研究中的英语文化偏见,本文构建含8,461对图文广告的中英跨文化数据集MultiMM,并提出融合情感嵌入的SEMD基线模型。
2025-06-08 cs.CL
Enhancing Adverse Drug Event Detection with Multimodal Dataset: Corpus Creation and Model Development
Indian Institute of Technology Patna(印度理工学院巴特那分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本文针对传统ADE检测忽视视觉信息的问题,提出多模态药物不良事件检测数据集MMADE,并结合LLM与VLM生成医学图像描述以增强检测性能,为个性化医疗和患者安全提供新途径。
2024-05-27 cs.AI cs.CL cs.CV
DER-GCN: Dialogue and Event Relation-Aware Graph Convolutional Neural Network for Multimodal Dialogue Emotion Recognition
School of computer and Information Engineering, Central South University of Forestry and Technology(中南林业科技大学计算机与信息工程学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);State University of New York(纽约州立大学)
本文提出 DER-GCN 模型,通过构建加权多关系图并引入自监督掩码图自编码器、多信息 Transformer 和对比学习损失优化策略,有效融合对话关系与事件关系,在多模态对话情感识别任务上显著提升了准确率和 f1 值。
2024-08-31 cs.AI cs.CL
Understanding Multimodal Procedural Knowledge by Sequencing Multimodal Instructional Manuals
University of California, Los Angeles(加州大学洛杉矶分校);ISI, University of Southern California(南加州大学信息科学研究所);Sharif University of Technology(谢里夫理工大学)
本文通过构建多模态教学手册数据集,评估并揭示了现有模型在无序多模态指令排序上的不足,并提出顺序感知预训练技术,使性能提升超过5%。
2024-02-20 cs.CL cs.CV
BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data
ByteDance Inc.(字节跳动公司)
本文提出BabelBench基准,通过247个问题评估大语言模型在代码驱动下处理多模态多结构数据的能力,实验表明ChatGPT 4等前沿模型仍有较大提升空间。
2024-10-01 cs.AI cs.CL
Beyond Grounding: Extracting Fine-Grained Event Hierarchies Across Modalities
Columbia University(哥伦比亚大学);Virginia Tech(弗吉尼亚理工大学);Samsung Research America(三星美国研究院);HKUST(香港科技大学)
本文提出从多模态数据中提取事件层级结构的任务,构建MultiHiEve数据集,并设计弱监督模型以超越现有基线,揭示跨模态事件的层级关系。
2023-12-20 cs.CL cs.CV
Life-Bench: A Benchmark and Knowledge Graph Framework for Multimodal Personalization Beyond Concept Recognition
Google(谷歌);DeepMind(深Mind)
本文提出Life-Bench基准和LifeGraph框架,用于解决高级多模态个性化研究中的复杂任务挑战。
2026-10-01 cs.AI cs.CL cs.CV
Multimodal Document Analytics for Banking Process Automation
Humboldt University of Berlin(柏林洪堡大学)
本研究针对银行文档密集型流程效率问题,通过案例研究证实,引入布局信息的多模态模型 LayoutXLM 相比 BERT 和 GPT 等文本模型能大幅提升文档处理性能,且仅需 30% 训练数据即可达到 75% 以上的 F1 分数,为银行业多模态文档分析提供了实证依据与实践指导。
2023-11-26 cs.AI cs.CL cs.CV