BERTGEN: Multi-task Generation through BERT
Imperial College London（帝国理工学院）；University of Sheffield（谢菲尔德大学）
我们提出了BERTGEN，一种新的生成，解码器的模型，扩展BERT通过融合多模态和多语言的预训练模型VL-BERT和M-BERT，分别。BERTGEN在多任务设置下针对语言生成任务（即图像描述、机器翻译和多模态机器翻译）进行自回归训练。通过一系列全面的评估，我们发现BERTGEN在探索的任务中表现优于许多强大的基线。我们还展示了BERTGEN的zero-shot语言生成的能力，它表现出有竞争力的性能，监督同行。最后，我们进行了消融研究，证明BERTGEN从多任务处理中受益匪浅，并有效地从预训练模型中转移了相关的归纳偏差。
2021-06-07 cs.CL
Multimodal Fusion with BERT and Attention Mechanism for Fake News Detection
Toyo University（东洋大学）；Aimesoft JSC（艾美软件股份公司）
假新闻检测是提高媒体信息可信度的一项重要任务，因为假新闻每天都在社交媒体上不断传播，这是我们社会中非常严重的问题。假新闻通常是通过操纵图像，文本和视频来创建的。在本文中，我们提出了一种新的方法来检测假新闻融合来自文本和视觉数据的多模态特征。具体来说，我们使用预训练的BERT模型来学习文本特征，并使用在ImageNet数据集上预训练的VGG-19模型来提取图像特征。我们提出了一个尺度点积注意力机制来捕捉文本特征和视觉特征之间的关系。实验结果表明，我们的方法在公共Twitter数据集上的准确率比当前最先进的方法高3.1%。
2021-04-27 cs.CL
RpBERT: A Text-image Relation Propagation-based BERT Model for Multimodal NER
Zhejiang University City College（浙江大学城市学院）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）
最近，多模态命名实体识别（MNER）利用图像来提高推特中NER的准确性。然而，大多数多模态方法使用注意力机制来提取视觉线索，而不管文本和图像是否相关。实际上，不相关的文本-图像对在推文中占很大比例。与文本无关的视觉线索会对多模态模型学习产生不确定甚至负面的影响。本文将文本-图像关系传播方法引入到多模态BERT模型中。我们集成了软或硬门来选择视觉线索，并提出了一个多任务算法训练的MNER数据集。在实验中，我们深入分析了使用文本-图像关系传播前后视觉注意的变化。我们的模型在MNER数据集上实现了最先进的性能。
2021-02-05 cs.CL cs.LG
Multimodal Sentiment Analysis Based on BERT and ResNet
School of Information and Engineering Zhongnan University of Economics and Law（中南财经政法大学信息与工程学院）
针对文本与图像特征难以有效融合的问题，提出结合 BERT 与 ResNet 并采用注意力机制融合的多模态情感分析框架，在 MAVA-single 上将最佳准确率提升至 74.5%。
2024-12-04 cs.CL
MMBERT: Scaled Mixture-of-Experts Multimodal BERT for Robust Chinese Hate Speech Detection under Cloaking Perturbations
针对中文社交网络仇恨言论隐匿检测难题，提出融合多模态的MMBERT框架，采用渐进式三阶段训练的MoE架构，在多个中文数据集上性能超越现有基线模型。
2025-08-01 cs.AI cs.CL
MMBERT: Multimodal BERT Pretraining for Improved Medical VQA
IIIT Hyderabad（海得拉巴国际信息技术学院）
医学领域的图像与一般领域的图像有着本质的不同。因此，它是不可行的，直接采用一般领域的视觉问答（VQA）模型的医疗领域。此外，医学图像注释是一个昂贵且耗时的过程。为了克服这些限制，我们提出了一个解决方案，灵感来自于对NLP，Vision和语言任务的Transformer风格架构的自我监督预训练。我们的方法涉及学习更丰富的医学图像和文本的语义表示使用掩码语言建模（MLM）与图像特征作为借口任务的大型医学图像+字幕数据集。该解决方案在两个放射学图像VQA数据集（VQA-Med 2019和VQA-RAD）上实现了新的最先进性能，甚至优于以前最佳解决方案的集成模型。此外，我们的解决方案提供了注意力地图，有助于模型的可解释性。代码可在https://github.com/VirajBagal/MMBERT上获得
2021-04-03 cs.CL cs.CV cs.LG
Jointly Fine-Tuning "BERT-like" Self Supervised Models to Improve Multimodal Speech Emotion Recognition
Auckland Bioengineering Institute（奥克兰生物工程研究所）；The University of Auckland（奥克兰大学）
针对多模态语音情感识别任务，提出使用模态特定的类BERT预训练自监督模型表征语音与文本模态，联合微调该架构在三个公开数据集上取得SOTA结果，且简单融合机制性能优于复杂方法。
2020-08-15 cs.AI cs.CL cs.SD
Integrating Multimodal Information in Large Pretrained Transformers
University of Rochester（罗切斯特大学）
最近基于transformer的上下文单词表示，包括BERT和XLNet，在NLP的多个学科中表现出最先进的性能。在特定于任务的数据集上微调经过训练的上下文模型是实现下游卓越性能的关键。虽然微调这些预先训练的模型对于词汇应用程序（只有语言模态的应用程序）来说很简单，但对于多模态语言（NLP中一个不断增长的领域，专注于对面对面交流进行建模）来说却不是小事。预先训练的模型没有必要的组件来接受视觉和声学的两种额外模式。在本文中，我们提出了一个附件BERT和XLNet称为多模式适配门（MAG）。MAG允许BERT和XLNet在微调期间接受多模态非语言数据。它通过生成到BERT和XLNet的内部表示的转变来实现;这种转变以视觉和声学模态为条件。在我们的实验中，我们研究了常用的CMU-MOSI和CMU-MOSEI数据集的多模态情感分析。微调MAG-BERT和MAG-XLNet显著提高了情感分析性能，超过了以前的基线，以及BERT和XLNet的仅语言微调。在CMU-MOSI数据集上，MAG-XLNet在NLP社区中首次实现了人类水平的多模态情感分析性能。
2020-11-21 cs.CL cs.LG stat.ML
Multi-level Fusion of Wav2vec 2.0 and BERT for Multimodal Emotion Recognition
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
近年来，多模态情感识别的研究和应用越来越受到重视。然而，多模态情感识别面临着数据不足的挑战。为了解决这个问题，我们建议使用迁移学习，它利用最先进的预训练模型，包括wav2vec 2.0和BERT来完成这项任务。多层次的融合方法，包括基于共注意力的早期融合和后期融合与两个嵌入训练的模型进行了探索。此外，提出了一种多粒度框架，该框架不仅提取帧级语音嵌入，而且提取包括音素、音节和单词级语音嵌入的段级嵌入，以进一步提高性能。通过将我们的基于共注意的早期融合模型和晚期融合模型与多粒度特征提取框架相结合，我们在IEMOCAP数据集上获得了比最佳基线方法高1.3%的未加权准确率（UA）的结果。
2022-07-12 cs.CL cs.SD eess.AS
Variants of BERT, Random Forests and SVM approach for Multimodal Emotion-Target Sub-challenge
Chonnam National University（全南国立大学）
近年来，情感识别已成为计算机视觉的一个主要问题，研究人员为克服这一难题做了大量的工作。在情感计算领域，情感识别有着广泛的应用，例如医疗保健、机器人、人机交互等。由于其对其他任务的实际重要性，许多技术和方法已被研究用于不同的问题和各种数据源。然而，如何将视听和语言两种形式全面融合，并从中获益，仍然是一个亟待解决的问题。在本文中，我们提出并讨论了我们的分类方法MuSe主题子挑战，以及数据和结果。对于主题分类，我们集成了两个语言模型ALBERT和RoBERTa来预测10类主题。此外，对于效价和唤醒的分类，SVM和随机森林与特征选择相结合，以提高性能。
2020-07-28 cs.CL cs.CV cs.LG
Multimodal Detection of Fake Reviews using BERT and ResNet-50
College of Business Administration Kansas State University Manhattan, USA（商学院学院 华盛顿州立大学 曼哈顿 美国）；Department of Computer Science Kansas State University Manhattan, USA（计算机科学系 华盛顿州立大学 曼哈顿 美国）
针对单模态检测无法捕捉跨模态语义不一致的问题，提出集成 BERT 文本与 ResNet-50 图像特征的多模态虚假评论检测框架，在 21,142 张图像数据集上 F1 达 0.934，有效识别图文不一致的虚假评论。
2025-10-24 cs.AI cs.CL cs.CV
Exploring Human-AI Complementarity in CPS Diagnosis Using Unimodal and Multimodal BERT Models
UCL Knowledge Lab, Institute of Education, University College London, UK（伦敦大学学院教育研究所知识实验室）；UCL Centre for Artificial Intelligence, Department of Computer Science, University College London, UK（伦敦大学学院人工智能中心计算机科学系）
本文通过对比单模态BERT与多模态AudiBERT在CPS诊断中的表现，发现AudiBERT在社会-认知维度有显著逐类改进，并提出了结合模型可解释性实现人机互补的结构化方法。
2025-07-19 cs.AI cs.CL
Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore（新加坡国立大学）
视觉关系检测旨在推理图像中显著对象之间的关系，近年来受到越来越多的关注。受人类推理机制的启发，人们认为外部视觉常识知识有利于图像中对象的视觉关系推理，但现有方法很少考虑这一点。在本文中，我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers（RVL-BERT），它执行关系推理与视觉和语言常识知识，通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外，我们的模型将目标检测从视觉关系识别中分离出来，直接采用对象名称，使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明，与转移的知识和新的模块，RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV
Expand BERT Representation with Visual Information via Grounded Language Learning with Multimodal Partial Alignment
Nanyang Technological University（南洋理工大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）；Ho Chi Minh City University of Technology (HCMUT), VNU-HCM（胡志明市理工大学（越南国立大学胡志明市分校））
提出GroundedBERT方法，通过视觉接地模块和最优传输部分变体实现多模态分数对齐，增强BERT表示，在GLUE和SQuAD任务上显著优于基线模型。
2024-01-09 cs.CL
CNM-BERT: A Drop-In Structural Embedding for Chinese Characters via Ideographic Description Sequences
Shanghai Starriver Bilingual School（上海星河湾双语学校）；LinkScape
本文提出 CNM-BERT，通过将表意文字描述序列的结构嵌入融合到 BERT 中，提升了模型对稀有字和未登录字的理解，在结构探测基准及多个下游任务上均取得性能提升。
2026-08-07 cs.CL
Is BERT Blind? Exploring the Effect of Vision-and-Language Pretraining on Visual Language Understanding
Tel Aviv University（特拉维夫大学）
该研究提出VLU任务集与Stroop零样本探测法，验证了视觉-语言预训练能让文本编码器获得视觉推理能力，在隐含视觉推理的纯文本任务中表现更优，为多模态学习中文本编码器的选择提供参考。
2023-11-02 cs.CL cs.CV cs.LG
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
基于转换器的模型广泛用于自然语言理解（NLU）任务，多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功，同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后，所提出的XDBERT（跨模态蒸馏BERT）在一般语言理解评估（GLUE），对抗生成（SWAG）基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能，以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
TableVista: Benchmarking Multimodal Table Reasoning under Visual and Structural Complexity
Tongji University（同济大学）；University of Bristol（布里斯托大学）；Tianjin University（天津大学）；Yale University（耶鲁大学）
TableVista包含3000个高质量表格推理问题，通过多风格渲染和转换流程生成30000个多模态样本，评估29种基础模型在不同复杂性下的表现，揭示结构复杂性和视觉整合对推理一致性的影响。
2026-05-07 cs.CL cs.CV
An Enhanced Dual Transformer Contrastive Network for Multimodal Sentiment Analysis
Ho Chi Minh City Open University, Ho Chi Minh, Vietnam Insight Centre for Data Analytics \& School of Computing, Dublin City University, Dublin, Ireland
针对多模态情感分析任务，本文提出基于早期融合的BERT-ViT-EF模型及扩展的DTCN模型，通过新增Transformer层优化文本上下文、结合对比学习对齐模态表征，在两个基准数据集上取得了优异性能。
2025-10-20 cs.AI cs.CL cs.LG
Visual Grounding Strategies for Text-Only Natural Language Processing
KU Leuven（鲁汶大学）
视觉基础是一条通往更强大和更准确的自然语言处理（NLP）模型的有前途的道路。BERT的许多多模态扩展（例如，VideoBERT、LXMERT、VL-BERT）允许文本和图像的联合建模，从而在多模态任务（如视觉问答）上产生最先进的结果。在这里，我们将多模态建模用于纯文本任务（语言建模和分类），期望多模态预训练提供可以提高文本处理准确性的基础。我们在这方面提出了可能的战略。被称为{ \it transmitted grounding}的第一种类型的策略包括使用占位符来替换图像输入，将多模态模型应用于纯文本任务。第二个，我们称之为{ \it关联接地}，利用图像检索在预训练和纯文本下游任务期间将文本与相关图像进行匹配。我们对这两种策略进行了进一步的区分，然后根据它们对语言建模和常识相关下游任务的影响进行了比较，显示了对纯文本基线的改进。
2021-03-25 cs.CL
CMSBERT-CLR: Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations
Dongguk University（东国大学）
随着对多模态在线内容的需求不断增长，多模态情感分析已经成为越来越受欢迎的研究领域。对于多模态情感分析，词语可以根据语言上下文和非语言信息而具有不同的含义，因此理解词语的含义是至关重要的。此外，词义的理解应在包含非言语信息的整个话语语境中进行。本文提出了一种基于对比学习的语境驱动的语言、视觉、听觉表征的模态转换BERT（CMSBERT-STABILITY）方法，该方法通过对比学习整合了整个语境中的非言语和言语信息，从而更有效地调整了模态。首先，我们介绍了一种语境驱动的情态转换（CMS），将非言语信息和言语信息整合到句子话语的整个语境中。然后，为了改善在一个共同的嵌入空间内的不同模态的对齐，我们应用对比学习。此外，我们使用指数移动平均参数和标签平滑作为优化策略，这可以使网络的收敛更稳定，增加对齐的灵活性。在我们的实验中，我们证明了我们的方法达到了最先进的结果。
2022-08-21 cs.CL cs.LG cs.SD
Can neural networks acquire a structural bias from raw linguistic data?
New York University（纽约大学）
我们评估是否BERT，一个广泛使用的神经网络的句子处理，通过对原始数据进行预训练，获得对形成结构概括的归纳偏见。我们进行了四个实验测试其偏好的结构与线性概括在不同的结构依赖的现象。我们发现，BERT使3的4个经验领域的结构概括-主辅倒置，自反约束，并在嵌入式子句的动词时态检测-但使线性概括时，测试NPI许可。我们认为，这些结果是迄今为止最有力的证据，从人工学习支持的命题，结构性偏差可以从原始数据中获得。如果这一结论是正确的，这是初步的证据，一些语言共性可以习得的学习者没有先天的偏见。然而，人类语言习得的确切含义尚不清楚，因为人类学习语言的数据明显少于BERT。
2020-09-23 cs.CL
MultiSChuBERT: Effective Multimodal Fusion for Scholarly Document Quality Prediction
University of Groningen（格罗宁根大学）；Open University（开放大学）
本文提出 MultiSChuBERT，通过融合 SChuBERT 文本表示与 Inception V3 视觉信息，并结合渐进式解冻和先进文本嵌入，提升学术文档质量预测性能。
2023-08-15 cs.CL cs.LG
NLP-CUET@DravidianLangTech-EACL2021: Investigating Visual and Textual Features to Identify Trolls from Multimodal Social Media Memes
Chittagong University of Engineering and Technology（吉大港工程技术大学）
在过去的几年里，模因已经成为互联网上一种新的传播方式。由于模因是带有嵌入文本的图像，它可以迅速传播仇恨，冒犯和暴力。模因的分类是非常具有挑战性的，因为它们的多模态性质和区域特定的解释。一个共享的任务是组织开发模型，可以识别巨魔从多模态社会媒体模因。这项工作提出了一个计算模型，我们已经开发的一部分，我们参与的任务。训练数据有两种形式：嵌入泰米尔语代码混合文本的图像和用英语给出的相关标题。我们使用CNN，VGG 16，Inception，Multilingual-BERT，XLM-Roberta，XLNet模型研究了视觉和文本特征。通过早期融合方法将图像（CNN、ResNet 50、Inception）和文本（长短期记忆网络）特征相结合来提取多模态特征。结果表明，XLNet的文本方法实现了$0.58$的最高加权$f_1$ -分数，这使得我们的模型能够在该任务中获得$3^{rd}$排名。
2021-02-28 cs.CL cs.CV
On Incorporating Structural Information to improve Dialogue Response Generation
University of Edinburgh（爱丁堡大学）；McGill University（麦吉尔大学）；Mila（米拉）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Centre for Data Science and Artificial Intelligence (RBC-DSAI), Indian Institute of Technology Madras（印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心（RBC-DSAI））
我们认为，从背景知识包括特定领域的资源生成对话响应的任务。具体而言，给定围绕电影的对话，任务是基于关于电影的背景知识（例如情节、评论、Reddit评论等）生成下一个响应。这需要从对话上下文和背景资源中捕获结构、顺序和语义信息。这是一项新的任务，还没有得到社会的广泛关注。我们提出了一个新的架构，使用BERT的能力，以捕捉深度的上下文表示结合显式的结构和序列信息。更具体地说，我们使用（i）图卷积网络（GCN）来捕获结构信息，（ii）LSTM来捕获序列信息，（iii）BERT用于捕获语义信息的深度上下文表示。我们广泛地分析了所提出的架构。为此，我们提出了一个即插即用的语义序列结构（SSS）框架，使我们能够有效地结合这样的语言信息。通过一系列的实验，我们得出了一些有趣的结论。首先，我们观察到GCN模型对NLP任务的流行适应，其中结构信息（GCN）被添加到序列信息（LSTM）之上，在我们的任务中表现不佳。这使我们探索有趣的方式结合语义和结构信息，以提高性能。其次，我们观察到，虽然BERT已经优于其他深度上下文表示，如ELMo，它仍然受益于使用GCN显式添加的额外结构信息。考虑到最近声称BERT已经捕获了结构信息，这有点令人惊讶。最后，拟议的SSS框架比基线提高了7.95%。
2020-05-28 cs.CL
On Commonsense Cues in BERT for Solving Commonsense Tasks
Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）；Westlake University（西湖大学）；Zhejiang University（浙江大学）
BERT已被用于解决常识性的任务，如CommonsenseQA。虽然先前的研究已经发现BERT在某种程度上确实包含常识信息，但已经有工作表明，预先训练的模型可以依赖于虚假的关联（例如，数据偏差）而不是解决情感分类和其他问题的关键线索。我们定量地研究了BERT在解决常识性任务时结构性常识线索的存在，以及这些线索对模型预测的重要性。使用两种不同的测量方法，我们发现BERT确实使用相关知识来解决任务，并且常识知识的存在与模型精度呈正相关。
2021-06-15 cs.CL
Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Language Models: An Empirical Study
Technical University of Munich, Germany（慕尼黑技术大学，德国）；Helmholtz Munich, Munich Center for Machine Learning, Germany（海德堡慕尼黑，慕尼黑机器学习中心，德国）；University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国）；University of Trento, Italy（特伦托大学，意大利）；Beijing University of Posts and Telecommunications, China（北京邮电大学，中国）
本文实证比较 MLLM 的逐层与宽度结构化剪枝及恢复训练，发现宽度剪枝更适合低资源场景，监督微调结合隐藏状态蒸馏可用 5% 数据恢复逾 95% 性能。
2025-07-28 cs.CL cs.CV
MER-Bench: Benchmarking Multimodal Emotional Reappraisal for Image-Text Memes
School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；College of Information Technology, United Arab Emirates University（阿拉伯联合酋长国大学信息学院）；Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院）
本文提出MER-Bench，一个用于多模态表情包再解释的综合基准，通过多模态大语言模型评估结构保持、语义一致性和情感转换，揭示现有系统在约束满足上的不足。
2026-10-30 cs.CL cs.CV
Open Sesame: Getting Inside BERT's Linguistic Knowledge
Yale University（耶鲁大学）
BERT如何以及在多大程度上编码语法敏感的层次信息或位置敏感的线性信息？最近的研究表明，像BERT这样的语境表征在需要对语言结构敏感的任务中表现良好。我们在这里提出了两项研究，旨在提供一个更好的理解的性质BERT的表示。其中第一个重点是使用诊断分类器的结构定义的元素的识别，而第二个探讨BERT的表示主语-动词协议和照应词-先行词的依赖关系，通过自我注意向量的定量评估。在这两种情况下，我们发现，BERT编码的位置信息的单词标记以及在其较低的层，但切换到一个面向层次的编码更高的层。我们的结论是，BERT的表征确实模型的层次结构的语言相关方面，虽然他们似乎并没有表现出尖锐的敏感性，层次结构中发现人类处理的反身回指。
2019-06-04 cs.CL
Probing Multilingual BERT for Genetic and Typological Signals
University of North Texas（北德克萨斯大学）；VU Amsterdam（阿姆斯特丹自由大学）；TU Darmstadt（达姆施塔特工业大学）
我们探测层的多语言BERT（mBERT）的系统发育和地理语言信号在100种语言和计算语言距离的基础上的mBERT表示。我们1）使用语言距离来推断和评估语言树，发现它们在四元组树距离方面接近参考家谱，2）进行距离矩阵回归分析，发现语言距离最能用系统发育解释，最不能用结构因素解释; 3）提出了一种新的测量历时意义稳定性的方法（基于跨语言表示可变性），其与基于语言方法的已发布排名列表显著相关。我们的研究结果有助于跨语言文本表征的类型学可解释性的新生领域。
2020-11-04 cs.CL
Ovis: Structural Embedding Alignment for Multimodal Large Language Model
AI Business, Alibaba Group（阿里巴巴集团AI业务部）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文提出 Ovis 架构，通过可学习视觉嵌入表和多次索引的概率组合，使视觉嵌入与文本嵌入结构化对齐，并在多基准上取得同规模领先表现。
2024-06-17 cs.AI cs.CL cs.CV
SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs
University of Science（科学大学）；Case Western Reserve University（凯斯西储大学）；National Cancer Institute（美国国家癌症研究所）
在本文中，我们提出了SPBERT，一个基于transformer的语言模型预训练的大量SPARQL查询日志。通过结合掩蔽语言建模目标和单词结构目标，SPBERT可以学习自然语言和SPARQL查询语言的通用表示。我们研究如何SPBERT和编码器-解码器架构可以适应基于知识的QA语料库。我们进行了详尽的实验上的两个额外的任务，包括SPARQL查询建设和回答动词化生成。实验结果表明，SPBERT可以获得令人满意的结果，在其中几个任务上获得了最先进的BLEU分数。
2021-06-30 cs.CL
Acquired TASTE: Multimodal Stance Detection with Textual and Structural Embeddings
Ben Gurion University（本古里安大学）
该研究提出多模态立场检测架构TASTE，融合基于Transformer的内容嵌入与无监督结构嵌入，通过GRN层结合社交嵌入，在通用基准上取得最优结果，验证了内容与结构结合的价值。
2024-12-11 cs.CL
SO-Bench: A Structural Output Evaluation of Multimodal LLMs
Apple（苹果公司）
本文提出SO-Bench基准，评估多模态大语言模型在视觉输入下的结构化输出能力，揭示模型在准确性和符合数据模式方面的不足，并通过训练实验提升其结构化输出能力。
2026-03-17 cs.AI cs.CL cs.CV
When Modalities Remember: Continual Learning for Multimodal Knowledge Graphs
School of Computer Science, Peking University（北京大学计算机科学学院）；School of Computer Science, Zhejiang University（浙江大学计算机科学学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院）；School of Information Science and Technology, Tibet University（西藏大学信息科学与技术学院）
本文提出MRCKG模型，通过多模态-结构协同课程和跨模态知识保存机制，解决多模态知识图谱的持续学习问题，提升新知识学习能力。
2026-08-06 cs.CL
KVL-BERT: Knowledge Enhanced Visual-and-Linguistic BERT for Visual Commonsense Reasoning
Beijing Institute of Technology（北京理工大学）
推理是实现完整视觉理解的关键能力。为了开发具有认知级视觉理解和推理能力的机器，引入了视觉常识推理（VCR）任务。在VCR中，给出一个关于图像的挑战性问题，机器必须正确回答，然后提供一个合理的理由来证明它的答案。采用功能强大的BERT模型作为学习图像内容和自然语言联合表示的骨干的方法在VCR上显示出有希望的改进。然而，现有的方法都没有利用常识知识的视觉常识推理，我们相信这将是非常有帮助的这项任务。在常识知识的支持下，即使图像中没有描述所需的信息，复杂的问题也可以通过认知推理来回答。因此，我们将常识知识融入到跨模态BERT中，提出了一种新的知识增强的视觉和语言BERT（Knowledge Enhanced Visual-and-Linguistic，简称KVL-BERT）模型。除了将视觉和语言内容作为输入外，还将从ConceptNet中提取的外部常识知识集成到多层Transformer中。为了保留原句子的结构信息和语义表征，本文提出利用相对位置嵌入和掩蔽自我注意来削弱注入的常识知识与输入序列中其他无关成分之间的影响。与其他特定于任务的模型和一般任务不可知的预训练模型相比，我们的KVL-BERT的性能大大优于它们。
2020-12-13 cs.AI cs.CL
Enhancing Food-Domain Question Answering with a Multimodal Knowledge Graph: Hybrid QA Generation and Diversity Analysis
提出融合多模态知识图谱与生成式AI的食品问答框架，通过混合检索生成策略提升可靠性与多样性，联合微调显著改善生成质量。
2025-07-09 cs.CL
Structurally Refined Graph Transformer for Multimodal Recommendation
School of Computer Science, Hubei University（湖北大学计算机学院）；Hubei Key Laboratory of Big Data Intelligent Analysis and Application, Hubei University（湖北大学大数据智能分析与应用重点实验室）；Key Laboratory of Intelligent Sensing System and Security (Hubei University), Ministry of Education（智能传感系统与安全重点实验室（湖北大学））；Institute of Vocational Education, Guangdong Industry Polytechnic University（广东职业技术学院教育学院）
针对多模态推荐中冗余数据区分不足及单一语义框架局限的问题，提出SRGFormer模型，通过改进Transformer与超图结构结合多模态信息，并应用自监督任务增强协同信号，在多个数据集上显著超越基准模型。
2025-11-01 cs.CL cs.IR
Multimodal Sentiment Analysis on CMU-MOSEI Dataset using Transformer-based Models
George Washington University（乔治·华盛顿大学）
本项目利用基于Transformer的模型和早期融合策略在CMU-MOSEI数据集上进行多模态情感分析，通过为各模态采用BERT编码器并拼接嵌入，在测试集上取得了97.87%的7类准确率和0.9682的F1分数，证明了该架构在多模态情感建模中的有效性和优越性。
2025-07-15 cs.AI cs.CL
Towards Human Cognition: Visual Context Guides Syntactic Priming in Fusion-Encoded Models
University of Florida（佛罗里达大学）
本文提出首个多模态结构启动数据集PRISMATIC及无参考评估指标SPI，发现融合编码模型在视觉相似性与句法启动间呈正相关，更接近人类认知模式。
2025-10-16 cs.CL
More than Memes: A Multimodal Topic Modeling Approach to Conspiracy Theories on Telegram
本研究提出基于BERTopic和CLIP的多模态主题建模方法，分析德语Telegram频道中的阴谋论，揭示跨模态主题结构，并构建分析文本与视觉话语策略的框架。
2025-08-03 cs.CL cs.CV cs.MM
Can We Use Probing to Better Understand Fine-tuning and Knowledge Distillation of the BERT NLU?
Samsung R&D Poland Institute（三星波兰研发研究院）；Warsaw University of Technology（华沙理工大学）
本文使用探针研究基于BERT的NLU模型在微调与知识蒸馏中的现象，发现现有探针范式未考虑信息可解码性，无法有效解答微调与蒸馏的实际问题，指出量化信息可解码性对探针实际应用至关重要。
2023-01-27 cs.CL cs.LG
Architecture-Agnostic Curriculum Learning for Document Understanding: Empirical Evidence from Text-Only and Multimodal
1 Synchromedia Laboratory, \' E cole de Technologie Sup\' e rieure (\' E TS), 1100 Notre-Dame St W, Montreal, QC H3C 1K3, Canada；2 Department of Computer Science, University of Bari Aldo Moro, Via Orabona 4, 70125 Bari, Italy
该研究通过实验证明，渐进式数据调度在文档理解任务中能有效提升效率，尤其在容量受限模型中表现显著，但多模态模型因具备充足归纳偏置而未获明显收益。
2026-02-02 cs.AI cs.CL cs.LG
Leverage Points in Modality Shifts: Comparing Language-only and Multimodal Word Representations
本文大规模比较CLIP等视觉-语言模型与FastText、BERT等纯文本模型的词嵌入，借助46个语义参数识别视觉落地影响语言表征的关键词汇属性。
2023-06-04 cs.CL
Semantic-Aligned Structural Abstraction for Multimodal Sentiment Analysis
Huazhong Agricultural University（华中农业大学）；Hubei University（湖北大学）
该研究针对现有多模态情感分析方法无法建模情感语义的局限，提出SentiLLM框架，通过双流显著性-上下文校准机制实现语义对齐结构抽象，在四个数据集上取得优异性能。
2026-07-31 cs.AI cs.CL
Natural Language Processing and Multimodal Stock Price Prediction
本文提出利用股票百分比变化作为训练数据，并结合专门的BERT NLP模型与多模态数据分析来预测股票价格趋势，证明了小型模型在准确预测整体股票趋势方面的能力及特定数据特征的有效性。
2024-01-03 cs.CL cs.LG
Hitting "Probe"rty with Non-Linearity, and More
University of Amsterdam（阿姆斯特丹大学）
本文引入并简化了非线性结构探针，结合可视化框架研究BERT各层编码的依存树结构，发现径向基函数探针比线性探针更有效。
2024-02-25 cs.AI cs.CL
Generating Knowledge Graphs from Large Language Models: A Comparative Study of GPT-4, LLaMA 2, and BERT
IITE Indus University（IITE因德大学）
该研究针对传统知识图谱构建的局限，提出利用GPT-4、LLaMA 2（13B）和BERT直接从非结构化数据生成知识图谱的方法，经多指标评估发现三类模型各有优势，为简化知识图谱创建、推进GraphRAG落地应用奠定基础。
2024-12-10 cs.AI cs.CL cs.DB
Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models
National University of Science and Technology（科学技术大学）
针对罗马尼亚语这种低资源语言，通过翻译并扩展Flickr30K数据集，采用参数高效的LoRA方法微调开源视觉语言模型来降低多模态NLP资源差距，模型在视觉问答等任务中能力提升且语法错误减少。
2026-07-07 cs.AI cs.CL cs.LG
