Can Large Vision-Language Models Understand Multimodal Sarcasm?
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文评估大型视觉语言模型在多模态讽刺检测与解释中的表现，指出视觉理解不足等问题，并提出无需训练的框架，整合对象提取与外部知识，实验验证其有效性。
2025-08-05 cs.CL cs.CV
Abstraction Alignment: Comparing Model-Learned and Human-Encoded Conceptual Relationships
CSAIL\ Institute of Technology Cambridge Massachusetts USA；IBM Research AI Cambridge Massachusetts USA；CSAIL\ Institute of Technology；IBM Research AI
提出抽象对齐方法，通过构建抽象图比较模型行为与形式化人类知识，评估模型是否学习到与人类对齐的抽象，从而区分相似错误并改进现有指标与人类抽象。
2025-11-01 cs.AI cs.CL cs.HC
Towards Resource-Efficient Multimodal Intelligence: Learned Routing among Specialized Expert Models
PwC US（普华永道美国）
本文提出一个统一的多模态路由框架，通过学习式路由网络将文本、多模态和复杂查询分配给最合适的专家模型，并结合高效两阶段视觉流水线，在MMLU和VQA等基准上达到或超过单体高端LLM性能，同时将昂贵模型使用量降低超过67%。
2025-11-09 cs.CL cs.LG
When Modalities Remember: Continual Learning for Multimodal Knowledge Graphs
School of Computer Science, Peking University（北京大学计算机科学学院）；School of Computer Science, Zhejiang University（浙江大学计算机科学学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院）；School of Information Science and Technology, Tibet University（西藏大学信息科学与技术学院）
本文提出MRCKG模型，通过多模态-结构协同课程和跨模态知识保存机制，解决多模态知识图谱的持续学习问题，提升新知识学习能力。
2026-08-06 cs.CL
A Few Brief Notes on DeepImpact, COIL, and a Conceptual Framework for Information Retrieval Techniques
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
信息检索表征学习的最新发展可以组织在一个概念框架中，建立两对对比：稀疏与密集表示和无监督与学习表示。稀疏学习表示可以进一步分解为扩展和项加权组件。这个框架使我们能够理解最近提出的技术之间的关系，如DPR，ANCE，DeepCT，DeepImpact和COIL，此外，我们的分析揭示的差距指向尚未探索的技术方面的“低挂水果”。我们提出了一种新的技术称为“uniCOIL”，一个简单的扩展COIL，达到我们所知的流行MS MARCO通道排名数据集上的稀疏检索的当前最先进的。我们使用Anserini IR工具包的实现是建立在Lucene搜索库上的，因此与标准的倒排索引完全兼容。
2021-06-28 cs.CL cs.IR
Concept-Oriented Deep Learning with Large Language Models
IBM（国际商业机器公司）
本文探讨了大语言模型在概念导向深度学习中的应用，涵盖概念提取、概念图提取和概念学习，并对比了纯文本与多模态LLMs在表示人类概念与感知知识方面的能力差异。
2023-09-19 cs.CL cs.LG
Finding Structural Knowledge in Multimodal-BERT
KU Leuven（鲁汶大学）；University of Copenhagen（哥本哈根大学）；Uppsala University（乌普萨拉大学）
在这项工作中，我们研究了在多模态BERT模型的嵌入中学习到的知识。更具体地说，我们探讨他们的能力存储的语法结构的语言数据和结构学习对象的视觉数据。为了达到这一目标，我们首先通过描述图像的句子的依赖性解析和图像中对象区域之间的依赖性，分别使语言和视觉效果的固有结构明确。我们称这种显式的可视化结构为\textit{scene tree}，它基于语言描述的依赖关系树。广泛的探测实验表明，多模BERT模型不编码这些场景树。代码可在\url{https://github.com/VSJMilewski/multimodal-probes}。
2022-03-17 cs.CL cs.CV
Imagination improves Multimodal Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；Tilburg University（蒂尔堡大学）
我们将多模态翻译分解为两个子任务：学习翻译和学习视觉基础表示。在多任务学习框架中，在基于注意力的编码器-解码器中学习翻译，并通过图像表示预测学习接地表示。与Multi 30 K数据集上的最新技术相比，我们的方法提高了翻译性能。此外，如果我们在外部MS COCO数据集上训练图像预测任务，则同样有效，并且如果我们在外部新闻评论平行文本上训练翻译模型，则我们发现改进。
2017-07-07 cs.CL cs.CV
Clinical Concept Embeddings Learned from Massive Sources of Multimodal Medical Data
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Harvard Medical School（哈佛医学院）；University of North Carolina School of Medicine（北卡罗来纳大学医学院）
词嵌入是一种流行的无监督学习词关系的方法，广泛用于自然语言处理。在这篇文章中，我们提出了一套新的嵌入医学概念的学习使用一个非常大的集合的多模态医疗数据。依靠最近的理论见解，我们展示了如何将一个拥有6000万成员的保险索赔数据库，2000万临床笔记的集合和170万篇全文生物医学期刊文章结合起来，将概念嵌入到一个公共空间中，从而产生了有史以来最大的108，477个医学概念的嵌入集。为了评估我们的方法，我们提出了一个新的基准方法，专门设计用于测试嵌入的医学概念的统计功率的基础上。我们的方法称为cui2vec，在大多数情况下相对于以前的方法具有最先进的性能。最后，我们提供了一组可下载的预训练嵌入供其他研究人员使用，以及一个在线工具，用于交互式探索cui2vec嵌入
2019-08-20 cs.AI cs.CL stat.ML
Enhancing Multimodal Affective Analysis with Learned Live Comment Features
Columbia University（哥伦比亚大学）
本文构建LCAffect英汉弹幕数据集，并用对比学习训练视频编码器生成合成弹幕特征，在情感倾向、情绪识别和讽刺检测任务上显著超越现有方法。
2024-10-21 cs.AI cs.CL cs.MM
S3: A Simple Strong Sample-effective Multimodal Dialog System
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）
本文提出S3模型，一个基于预训练语言模型、模态编码器和可训练投影器的简单基线，在MMMU和AI Journey Contest 2023上取得接近最先进的结果，证明少量多模态数据即可高效训练多模态对话系统。
2024-06-26 cs.AI cs.CL
Learning Multimodal Word Representation via Dynamic Fusion Methods
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
多模态模型已经被证明在学习语义词表示方面优于基于文本的模型。几乎所有以前的多模态模型通常同等对待来自不同模态的表示。然而，很明显，来自不同模态的信息对单词意义的贡献是不同的。这促使我们建立一个多模态模型，可以动态地融合不同模态的语义表示，根据不同类型的词。为此，我们提出了三种新的动态融合方法，为每个模态分配重要性权重，其中权重是在词关联对的弱监督下学习的。大量的实验表明，所提出的方法优于强单峰基线和最先进的多峰模型。
2018-01-02 cs.CL
SENSE models: an open source solution for multilingual and multimodal semantic-based tasks
LIA, Avignon Université（阿维尼昂大学LIA）
SENSE模型通过教师-学生框架实现多语言和多模态语义任务的高效语义对齐，提供开源解决方案并取得竞争力表现。
2025-12-08 cs.CL
Multimodal Neurons in Pretrained Text-Only Transformers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT KFG（麻省理工学院知识未来小组）；Northeastern University（东北大学）
该研究针对纯文本预训练Transformer的跨模态泛化能力溯源问题，通过自监督视觉编码器加线性投影构建视觉增强的冻结文本Transformer，发现模态转换发生在网络深层，提出了多模态神经元识别方法，证实其对特定视觉概念起作用且对图像字幕生成有因果影响。
2023-10-01 cs.CL cs.CV
Modelling Semantic Categories using Conceptual Neighborhood
CRIL - U. Artois - CNRS（法国国家科学研究中心 阿尔图瓦大学 朗斯信息学研究院）；Cardiff University（卡迪夫大学）
虽然在自然语言处理领域中已经提出了许多用于学习向量空间嵌入的方法，但是这些方法通常不区分类别和个体。直觉上，如果个体被表示为向量，我们可以将类别视为嵌入空间中的（软）区域。不幸的是，有意义的区域可能很难估计，特别是因为我们通常很少有属于给定类别的个体的例子。为了解决这个问题，我们依赖于不同类别往往高度相互依存的事实。特别是，类别通常有概念邻居，它们与给定类别不相交但密切相关（例如\水果和蔬菜）。我们的假设是，更准确的类别表示可以学习依赖于这样的假设，即代表这些概念邻居的区域应该是相邻的嵌入空间。我们提出了一个简单的方法来确定概念的邻居，然后表明，将这些概念的邻居确实导致更准确的区域为基础的表示。
2019-12-03 cs.AI cs.CL
Cabbage Sweeter than Cake? Analysing the Potential of Large Language Models for Learning Conceptual Spaces
Cardiff University（卡迪夫大学）
本研究探究大语言模型学习概念空间的潜力，发现其可在一定程度上学习有效表征，且规模小得多的BERT微调模型性能可匹敌甚至超越最大的GPT-3模型。
2023-10-09 cs.AI cs.CL
Human-like object concept representations emerge naturally in multimodal large language models
State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与脑启发智能技术重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Neuroscience, State Key Laboratory of Brain Cognition and Brain-Inspired Intelligence Technology（神经科学研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Chinese Academy of Sciences（中国科学院）
本研究结合行为与神经影像分析，发现大语言模型及多模态大语言模型能从数据中发展出类人且可解释的物体概念表征，其与特定脑区神经活动高度对齐，为理解机器智能和类人认知系统开发提供依据。
2025-06-11 cs.AI cs.CL cs.CV
Deep Unified Multimodal Embeddings for Understanding both Content and Users in Social Media Networks
SRI International（SRI国际）；Cornell University（康奈尔大学）
在过去的几年里，社交媒体网络上产生的多模态内容激增，这需要对社交媒体内容和用户行为进行更深入的了解。我们提出了一种新的内容无关的内容用户反应模型的社会多媒体内容分析。与以前的工作，一般解决语义内容理解和用户行为建模隔离，我们提出了一个通用的解决方案，这些问题在一个统一的框架。我们嵌入用户，图像和文本从开放的社交媒体在一个共同的多模态几何空间，使用一种新的损失函数，旨在应付遥远的和不同的方式，从而实现无缝的三路检索。我们的模型不仅在跨模态检索任务上优于基于单峰嵌入的方法，而且在Twitter数据上联合解决这两个任务也显示出了改进。我们还表明，在我们的联合多模态嵌入模型中学习的用户嵌入比在Instagram数据上学习的单峰内容更好地预测用户兴趣。因此，我们的框架超越了以前的做法，使用显式的领导者，追随者的链接信息，以建立从属关系，通过提取隐式的内容为中心的从属关系，从孤立的用户。我们提供了定性的结果表明，从学习嵌入出现的用户集群具有一致的语义和我们的模型发现细粒度的语义从嘈杂和非结构化数据的能力。我们的工作表明，社会多模态内容本质上是多模态的，并具有一致的结构，因为在社交网络的意义是通过用户和内容之间的互动。
2019-06-11 cs.CL cs.CV cs.IR
Do Large Multimodal Models Solve Caption Generation for Scientific Figures? Lessons Learned from SciCap Challenge 2023
Pennsylvania State University（宾夕法尼亚州立大学）；National Tsing Hua University（国立清华大学）；AllSci（奥尔赛公司）；MetaMetrics Inc.（美塔麦特里克公司）；Adobe Research（奥多比研究院）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
本文总结首届 SciCap Challenge 中各类模型的科学图表标题生成表现，发现 GPT-4V 最受专业编辑青睐，并据此评估先进 LMM 是否已解决该任务。
2025-02-18 cs.AI cs.CL cs.CV
On the Importance of Contrastive Loss in Multimodal Learning
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文从理论角度分析了简单多模态对比学习模型的训练动态，揭示正对驱动表示对齐但增加条件数，负对则减小条件数以保持表示平衡，证明了对比对在多模态学习中的重要性。
2023-04-07 cs.CL cs.CV cs.LG
Multimodal Automated Fact-Checking: A Survey
University of Cambridge（剑桥大学）
本文提出多模态自动事实核查框架，系统综述文本、图像、音频和视频四类模态下的基准与模型，并指出当前局限与未来方向。
2023-10-25 cs.AI cs.CL cs.CV
Dissecting Training-Free Uncertainty Estimation in Multimodal Large Language Models
Toyota Motor Europe（丰田汽车欧洲公司）；University of Oxford（牛津大学）
本文系统研究多模态大语言模型的免训练不确定性估计，将方法分为令牌级、言语化和语义三类，并在多数据集基准测试中发现各方法在不同回答长度上各有优势。
2026-10-20 cs.CL cs.LG
MULE: Multimodal Universal Language Embedding
Boston University（波士顿大学）
现有的视觉语言方法通常一次最多支持两种语言。在本文中，我们提出了一个模块化的方法，可以很容易地纳入现有的视觉语言的方法，以支持多种语言。我们通过学习一个共享的多模态通用语言嵌入（MULE）来实现这一点，该嵌入在所有语言中都是视觉语义对齐的。然后，我们学习将MULE与视觉数据联系起来，就好像它是一种语言一样。我们的方法不是特定于架构的，不像以前的工作，通常学习每种语言的单独分支，使我们的方法能够轻松地适应许多视觉语言的方法和任务。由于MULE在多模态模型中学习单个语言分支，因此我们还可以扩展以支持多种语言，并且具有较少注释的语言可以利用从其他（更丰富）语言数据中学习的良好表示。我们证明了MULE在双向图像-句子检索任务上的有效性，在单个模型中支持多达四种语言。此外，我们还表明，机器翻译可用于多语言学习中的数据增强，与MULE相结合，与先前的工作相比，单语言的平均召回率提高了21.9%，其中最显着的收益是在注释相对较少的语言上。我们的代码是公开的。
2019-12-28 cs.CL cs.CV
Decoupling the Role of Data, Attention, and Losses in Multimodal Transformers
DeepMind（深度思维）
最近，多模态Transformer模型得到了普及，因为它们在语言和视觉任务上的表现表明它们学习了丰富的视觉语言表征。针对zero-shot图像检索任务，我们研究了影响学习表征质量的三个重要因素：预训练数据、注意力机制和损失函数。通过在六个数据集上对模型进行预训练，我们观察到数据集噪声和语言与下游任务的相似性是模型性能的重要指标。通过架构分析，我们了解到具有多模态注意力机制的模型可以优于具有模态特定注意力机制的更深模型。最后，我们表明，成功的对比损失中使用的自监督学习文献不产生类似的性能增益时，用于多模态Transformers
2021-01-31 cs.CL cs.CV
TCT: A Cross-supervised Learning Method for Multimodal Sequence Representation
Didi Chuxing（滴滴出行）
在大多数任务中，多模态提供了比单峰更有前途的性能。然而，有效地从多模态学习表示的语义是极具挑战性的。为了解决这个问题，我们提出了基于Transformer的跨模态翻译器（TCT）学习单峰序列表示通过从其他相关的多模态序列上的监督学习方法进行翻译。将TCT与多模态Transformer Network（MTN）相结合，在基于视频的多模态对话中对MTN-TCT进行了评估。所提出的方法报告了新的国家的最先进的性能视频接地的对话，这表明表示学习TCT更语义相比，直接使用单峰。
2019-10-23 cs.CL cs.CV cs.LG
VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs
Columbia University（哥伦比亚大学）；Facebook AI（脸书人工智能）；Georgia Tech（佐治亚理工学院）；Dartmouth（达特茅斯学院）
我们提出了\textsc{Vx2Text}，一个框架，从多模态输入的文本生成包括视频加文本，语音，或音频。为了利用Transformer网络，它已被证明是有效的建模语言，每个模态首先转换成一组语言嵌入的可学习的标记器。这使得我们的方法在语言空间中执行多模态融合，从而消除了对ad-hoc跨模态融合模块的需要。为了解决连续输入上标记化的不可微性（例如，视频或音频），我们利用能够进行端到端训练的松弛方案。此外，与以前的仅编码器模型不同，我们的网络包括一个自回归解码器，用于从语言编码器融合的多模态嵌入中生成开放式文本。这使得我们的方法完全生成，并使其直接适用于不同的“视频+ $x$到文本”的问题，而不需要为每个任务设计专门的网络头。该框架不仅概念简单，而且非常有效：实验表明，我们的方法基于一个单一的架构优于国家的最先进的三个基于视频的文本生成任务-字幕，问答和视听场景感知对话。
2021-01-29 cs.CL cs.CV
VL-BEiT: Generative Vision-Language Pretraining
Microsoft Research（微软研究院）
我们引入了一个视觉语言基础模型VL-BEiT，它是一个通过生成式预训练学习的双向多模态Transformer。我们的极简解决方案使用共享的Transformer对单峰和多峰数据进行掩蔽预测。具体来说，我们执行掩蔽视觉语言建模的图像-文本对，掩蔽语言建模的文本，和掩码图像建模的图像。VL-BEiT是从头开始学习的，具有一个统一的预训练任务，一个共享的骨干和一个阶段的训练。我们的方法是概念简单，经验有效。实验结果表明，VL-BEiT在视觉问答、视觉推理和图文检索等视觉语言测试中均取得了较好的效果。此外，我们的方法学习可转移的视觉特征，在图像分类和语义分割方面取得了有竞争力的性能。
2022-09-03 cs.CL cs.CV
Seeing What Tastes Good: Revisiting Multimodal Distributional Semantics in the Billion Parameter Era
politehnica Bucharest（布加勒斯特理工大学）；Pioneer Center for AI（先锋人工智能中心）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本文通过探测任务评估十亿参数级图像编码器、多模态模型和语言模型对物体语义特征规范的表征能力，发现图像编码器可与语言模型媲美，揭示了单模态学习潜力和模态互补性。
2025-06-04 cs.CL cs.CV
Grounding and Distinguishing Conceptual Vocabulary Through Similarity Learning in Embodied Simulations
Colorado State University（科罗拉多州立大学）
提出一种利用具身仿真中智能体经验，通过相似性学习和仿射变换将上下文化词向量对齐到对象表示的方法，揭示了不同Transformer模型嵌入空间属性并验证了对齐对象token向量比对齐动词和属性更有帮助。
2023-05-23 cs.CL cs.LG
Unsupervised Multimodal Representation Learning across Medical Images and Reports
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
医学成像模式和相关放射学报告之间的联合嵌入有可能为临床社区提供显著的益处，范围从跨域检索到报告的条件生成，再到多模态表示学习的更广泛目标。在这项工作中，我们建立了基线联合嵌入结果测量通过本地和全球检索方法即将发布的MIMIC-CXR数据集，包括胸部X射线图像和相关的放射学报告。我们研究了监督和无监督的方法在这个任务上，并表明，对于学习表示的文档检索任务，只需要有限的监督量产生的结果相比，完全监督的方法。
2018-11-21 cs.CL cs.LG
A Survey on Agentic Multimodal Large Language Models
Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Research Institute of Big Data, China（大数据研究 institute）；Sun Yat-sen University, China（中山大学）；City University of Hong Kong, China（香港城市大学）；Communication University of China, China（通信大学）
本文综述了智能体多模态大语言模型的新兴范式，提出包含内部智能、外部工具调用和环境交互三个维度的概念框架，并整理了开源框架、数据集及下游应用以加速该领域研究。
2025-10-13 cs.AI cs.CL cs.CV
Autoencoder-Based Domain Learning for Semantic Communication with Conceptual Spaces
Kansas State University（堪萨斯州立大学）
针对语义通信中概念空间依赖手工构建的问题，提出一种基于自编码器、利用带高层属性标签的原始数据学习概念空间领域的框架，并在 MNIST 和 CelebA 上验证其语义保持与可解释性。
2024-01-29 cs.AI cs.CL cs.LG
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo（滑铁卢大学）
由于多模态数据的异构性，来自多模态（诸如视频、语音和文本）的数据的有效融合是具有挑战性的。在本文中，我们提出了自适应融合技术，旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作，比如级联，而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络：1）自动融合，它学习压缩来自不同模态的信息，同时保留上下文，以及2）GAN-Fusion，它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明，我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文，其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
InSight-o3: Empowering Multimodal Foundation Models with Generalized Visual Search
Hong Kong University of Science and Technology（香港科技大学）；Huawei（华为）
InSight-o3通过通用视觉搜索任务提升多模态基础模型的推理能力，解决复杂视觉信息整合问题。
2025-12-21 cs.CL cs.CV cs.LG
A Metasemantic-Metapragmatic Framework for Taxonomizing Multimodal Communicative Alignment
The University of Chicago（芝加哥大学）
本文基于皮尔士的交际能力理论，提出元语义-元语用框架和“语境化方向性”原则，以弥补当前计算与工程方法过度偏重语义领域而忽视元语用指示性的不足，并探讨其对多模态人机对齐的广泛影响。
2025-01-02 cs.AI cs.CL cs.CY
