Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki(赫尔辛基大学)
本文提出了M3 L-Contrast-一种新的多模态多语言(M3 L)神经主题模型,用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练,并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型,它产生对齐的语言特定的主题和多模态模型,它推断图像中的语义概念的文本表示。我们证明,我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布,并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明,我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
Modular and Parameter-Efficient Multimodal Fusion with Prompting
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
最近的研究在大规模多模态预训练方面取得了令人印象深刻的进展。在模型规模快速增长的背景下,有必要寻求除微调之外的高效灵活的方法。在本文中,我们建议使用提示向量对齐模态。我们的方法在低资源环境中实现了与其他几种多模态融合方法相当的性能。我们进一步表明,我们的方法是模块化的和参数有效的处理任务,涉及两个或更多的数据模态。
2022-03-15 cs.CL
Multimodal Interactions Using Pretrained Unimodal Models for SIMMC 2.0
本文介绍了我们在对话状态跟踪挑战赛10上举行的情境交互式多模态对话2.0挑战赛上的工作。SIMMC 2.0包括4个子任务,我们介绍了我们的多模态方法的子任务\#1,\#2和子任务\#4的生成。SIMMC 2.0数据集是一个包含图像和文本信息的多模态数据集,这比仅基于文本的对话问题更具挑战性,因为它必须通过理解图像和文本之间的关系来解决。因此,由于仅解决文本模型(如BERT或GPT 2)存在局限性,因此我们提出了一种结合图像和文本的多模态模型。我们首先对多模态模型进行预训练,以理解图像和文本之间的关系,然后针对每个任务对模型进行微调。我们在子任务1、2中获得了第三好的性能,在子任务4的生成中获得了亚军。源代码可在https://github.com/rungjoo/simmc2.0上获得。
2021-12-18 cs.AI cs.CL
Visual Commonsense in Pretrained Unimodal and Multimodal Models
Johns Hopkins University(约翰斯·霍普金斯大学)
我们对物体的常识包括它们典型的视觉属性;我们知道香蕉通常是黄色或绿色的,而不是紫色的。文本和图像语料库受报道偏见的影响,在不同程度上忠实地代表了这种世界知识。在本文中,我们调查在何种程度上单峰(仅语言)和多模态(图像和语言)模型捕获了广泛的视觉显着属性。为此,我们创建了视觉常识测试(ViComTe)数据集,涵盖5种属性类型(颜色,形状,材料,大小和视觉共现),超过5000个主题。我们通过证明我们的接地颜色数据与Paik等人(2021)提供的众包颜色判断的相关性比非接地纯文本数据好得多来验证这个数据集。然后,我们使用我们的数据集来评估预训练的单峰模型和多峰模型。我们的研究结果表明,多模态模型更好地重建属性分布,但仍然受到报告偏差。此外,增加模型大小并不能提高性能,这表明视觉常识的关键在于数据。
2022-05-04 cs.CL cs.CV
Multimodal Machine Translation with Embedding Prediction
Tokyo Metropolitan University(东京都立大学)
多模态机器翻译是神经机器翻译的一个重要应用。它帮助计算机深入理解视觉对象及其与自然语言的关系。然而,多模态NMT系统遭受可用训练数据的短缺,导致翻译稀有词的性能差。在NMT中,预训练的词嵌入已被证明可以改善低资源域的NMT,并提出了一种基于搜索的方法来解决罕见词问题。在这项研究中,我们有效地结合这两种方法在多模态NMT的背景下,并探讨我们如何能够充分利用预训练的词嵌入,以更好地翻译罕见的话。我们报告了1.24 METEOR和2.49 BLEU的整体性能改进,并实现了7.67的罕见词翻译F分数的提高。
2019-04-01 cs.CL
Prompting through Prototype: A Prototype-based Prompt Learning on Pretrained Vision-Language Models
Baidu Research(百度研究院)
提示学习是一种新的学习范式,它通过利用文本提示将下游任务重构为预训练模型上的类似预训练任务。最近的工作表明,快速学习对于少样本学习特别有用,其中训练数据有限。根据提示的粒度,这些方法可以大致分为任务级提示和实例级提示。任务级提示方法为所有输入样本学习一个通用提示,这是有效的,但无法捕捉不同类之间的细微差异。实例级提示方法为每个输入学习特定的提示,虽然有效但效率低下。在这项工作中,我们开发了一种新的基于原型的提示学习方法,以克服上述限制。特别是,我们专注于预训练的视觉语言模型(PVLM)上的Few-Shot图像识别任务,并开发了一种通过原型(PTP)进行提示的方法,其中我们定义了$K$图像原型和$K$提示原型。在PTP中,图像原型表示潜空间中某个图像簇的质心,提示原型定义为连续空间中的软提示。查询图像和图像原型之间的相似性决定了这种预测在多大程度上依赖于相应的提示原型。因此,在PTP中,类似的图像将使用类似的提示方式。通过对七个真实世界的基准测试进行广泛的实验,我们表明PTP是一种有效的方法来利用潜在的知识和适应各种PVLM。此外,通过详细分析,我们讨论了在少样本学习背景下快速学习和参数高效微调的利弊。
2022-10-19 cs.CL cs.CV
Instance-wise Prompt Tuning for Pretrained Language Models
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
快速学习最近在弥合预训练任务和各种下游任务之间的差距方面获得了很大的普及。它冻结了预训练的语言模型(PLM),只为下游任务调整了一些与任务相关的参数(提示),大大降低了调整巨型模型的成本。实现这一点的关键是使用提示中包含的特定于任务的知识查询PLM的想法。本文揭示了现有方法的一个主要局限性,即对任务中所有输入数据的无差别提示忽略了来自输入数据的内在知识,导致次优性能。我们介绍实例明智的提示微调(IPT),第一提示学习范式,注入知识的输入数据实例的提示,从而提供更丰富和更具体的上下文信息的PLM。我们设计了一系列策略来生成实例提示,解决模型质量和成本效率等各种问题。在多个任务和资源设置中,IPT的性能明显优于基于任务的即时学习方法,并且仅用0.5% - 1.5%的调整参数就达到了与传统微调相当的性能。
2022-06-04 cs.AI cs.CL
Red Teaming Multimodal Language Models: Evaluating Harm Across Prompt Modalities and Models
Appen(澳鹏)
本研究通过红队测试评估多模态语言模型在不同提示模态下的安全性,发现Pixtral 12B的有害响应率最高,而Claude Sonnet 3.5最安全,凸显了建立多模态安全基准的必要性。
2025-11-21 cs.CL
Similarity-Aware Multimodal Prompt Learning for Fake News Detection
Qingdao University of Science and Technology(青岛科技大学);University of Sheffield(谢菲尔德大学)
本文提出相似性感知的多模态提示学习框架(SAMPLE),通过提示学习与相似性感知融合,减少噪声并高效检测虚假新闻,在两个基准数据集上超越现有方法。
2023-06-16 cs.CL
Multimodal Neurons in Pretrained Text-Only Transformers
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT KFG(麻省理工学院知识未来小组);Northeastern University(东北大学)
该研究针对纯文本预训练Transformer的跨模态泛化能力溯源问题,通过自监督视觉编码器加线性投影构建视觉增强的冻结文本Transformer,发现模态转换发生在网络深层,提出了多模态神经元识别方法,证实其对特定视觉概念起作用且对图像字幕生成有因果影响。
2023-10-01 cs.CL cs.CV
Using Pretrained Large Language Model with Prompt Engineering to Answer Biomedical Questions
Georgia Institute of Technology(佐治亚理工学院);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本研究针对生物医学问答需求,提出基于预训练大语言模型的两级检索问答系统,通过提示工程与后处理优化,在BioASQ 2024相关任务中取得了对应评测指标的性能结果。
2024-07-09 cs.CL
Dual Modality-Aware Gated Prompt Tuning for Few-Shot Multimodal Sarcasm Detection
IIT Guwahati(印度果阿瓦提理工学院)
本文提出DMDP框架,通过门控模态特定深度提示、跨层提示共享和跨模态对齐,提升少样本多模态讽刺检测性能,并在多个数据集上优于基线方法。
2025-07-06 cs.CL
Prompt-oriented Output of Culture-Specific Items in Translated African Poetry by Large Language Model: An Initial Multi-layered Tabular Review
University of Antwerp(安特卫普大学)
本文通过三个结构化提示考察ChatGPT Pro翻译非洲诗歌时文化专有项的输出,发现文化导向提示未能显著提升英译法中的文化专有项表现,并揭示了大型语言模型处理文化专有项的不一致性。
2025-02-04 cs.CL
Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models
GESIS - Leibniz Institute for the Social Sciences(GESIS - 莱布尼茨社会科学研究所);Heinrich Heine University(海因里希·海涅大学)
本文提出包含3400万提示的探针 CONPARE-LAMA,系统比较复述句法与语义信息对预训练语言模型知识检索的独立影响,发现从句句法在多项指标上优于同位语句法,且范围信息比领域信息更能提升检索性能。
2024-04-02 cs.CL
Discrete Multimodal Transformers with a Pretrained Large Language Model for Mixed-Supervision Speech Processing
Worcester Polytechnic Institute(伍斯特理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
提出仅解码器的离散多模态语言模型(DMLM),应用于ASR、T2S等跨模态任务,探索损失函数、权重初始化、混合监督和码本等关键方面,发现结合监督与无监督训练、用预训练LLM初始化及Whisper激活码本能显著提升性能。
2024-06-25 cs.CL cs.LG eess.AS
Improving the Sample Efficiency of Prompt Tuning with Domain Adaptation
Nanyang Technological University(南洋理工大学)
提示微调,或者用从数据中学习的软提示对冻结的预训练语言模型(PLM)进行调节,已经在广泛的NLP任务中表现出令人印象深刻的性能。然而,提示微调需要一个大的训练数据集才能有效,并且在数据稀缺的情况下,通过微调整个PLM来表现更好。先前的工作(Gu等人,2022,Vu等人,2022)提议将在源域上预训练的软提示转移到目标域。在本文中,我们探讨了领域自适应的提示微调,一个问题的设置,从目标域的未标记的数据在预训练。我们提出了一种基于领域自适应的动态快速提示微调(OPTIMA),它将决策边界规则化,使其在源数据和目标数据分布相似的区域周围变得平滑。大量的实验表明,与强基线相比,OPTIMA显著提高了提示微调的可移植性和采样效率。此外,在Few-Shot设置中,OPTIMA大大超过了全模型调整。
2022-10-21 cs.CL
Surprisingly Fragile: Assessing and Addressing Prompt Instability in Multimodal Foundation Models
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文针对多模态基础模型存在的提示不稳定性问题,提出基于相似度过滤的接地提示扰动数据增强重训练方法,可有效提升模型扰动场景下的准确率与稳定性,增强其通用推理能力。
2025-11-18 cs.CL
Evolutionary Prompt Optimization Discovers Emergent Multimodal Reasoning Strategies in Vision-Language Models
Harvard College(哈佛学院)
提出一种基于进化算法的视觉-语言模型提示优化框架,通过系统级XML标签引导模型自主发现工具调用等多模态推理策略,在多个数据集上实现高达50%的性能提升及更好的零样本泛化。
2025-03-30 cs.CL
SPRING: Situated Conversation Agent Pretrained with Multimodal Questions from Incremental Layout Graph
Beijing University of Posts and Telecommunications(北京邮电大学)
现有的多模态会话代理已经表现出令人印象深刻的能力,在简单的情况下,定位绝对位置或检索属性,但他们不能表现得很好,当涉及复杂的相对位置和信息对齐,这构成了响应质量的瓶颈。在本文中,我们提出了一个情景会话代理Petrained与多模态问题从增量布局图(SPRING)的推理能力,多跳空间关系,并将它们与视觉属性在拥挤的情景。具体来说,我们设计了两种类型的多模态问答(MQA)任务来预训练代理。在预训练期间使用的所有QA对都是从新颖的增量布局图(ILG)生成的。ILG自动注释的QA对难度标签用于促进基于MQA的课程学习。实验结果验证了SPRING的有效性,表明它在SIMMC 1.0和SIMMC 2.0数据集上的性能明显优于最先进的方法。
2023-01-05 cs.AI cs.CL cs.CV
Integrating Multimodal Information in Large Pretrained Transformers
University of Rochester(罗切斯特大学)
最近基于transformer的上下文单词表示,包括BERT和XLNet,在NLP的多个学科中表现出最先进的性能。在特定于任务的数据集上微调经过训练的上下文模型是实现下游卓越性能的关键。虽然微调这些预先训练的模型对于词汇应用程序(只有语言模态的应用程序)来说很简单,但对于多模态语言(NLP中一个不断增长的领域,专注于对面对面交流进行建模)来说却不是小事。预先训练的模型没有必要的组件来接受视觉和声学的两种额外模式。在本文中,我们提出了一个附件BERT和XLNet称为多模式适配门(MAG)。MAG允许BERT和XLNet在微调期间接受多模态非语言数据。它通过生成到BERT和XLNet的内部表示的转变来实现;这种转变以视觉和声学模态为条件。在我们的实验中,我们研究了常用的CMU-MOSI和CMU-MOSEI数据集的多模态情感分析。微调MAG-BERT和MAG-XLNet显著提高了情感分析性能,超过了以前的基线,以及BERT和XLNet的仅语言微调。在CMU-MOSI数据集上,MAG-XLNet在NLP社区中首次实现了人类水平的多模态情感分析性能。
2020-11-21 cs.CL cs.LG stat.ML
Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition
Zhejiang University(浙江大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对多模态情感分析与情绪识别中的模态缺失问题,提出含生成式、缺失信号和缺失类型三类提示的多模态 Transformer 提示学习框架,以更少可训练参数实现更优性能与鲁棒性。
2024-07-07 cs.CL cs.CV
BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs
Microsoft Research(微软研究院);Providence Genomics(普罗维登斯基因组学公司)
本文构建含1500万对图文的PMC-15M数据集,并据此预训练多模态生物医学基础模型BiomedCLIP,在检索、分类、VQA及放射学任务上达到最先进水平。
2025-01-08 cs.CL cs.CV
Making Pretrained Language Models Good Long-tailed Learners
Beijing Institute of Technology(北京理工大学);Meituan(美团)
由于其能够有效地利用预先训练的知识,预调优在Few-Shot分类中表现出了吸引人的性能。这促使我们检查的假设,即调优也是长尾分类的一个有前途的选择,因为尾部类直观上是Few-Shot的。为了实现这一目标,我们进行了实证研究,以检验假设。实验结果表明,预调优使得预训练的语言模型至少是好的长尾学习者。为了直观地了解为什么自动调优可以在长尾分类中实现良好的性能,我们通过逐步弥合自动调优和常用微调之间的差距来进行深入分析。总而言之,与不太重要的输入结构相比,分类器结构和参数化是制作好长尾学习器的关键。最后,我们验证了我们的发现适用于Few-Shot分类。好的长尾学习者可以缩写为Glee。
2022-10-10 cs.CL cs.LG
Context Variance Evaluation of Pretrained Language Models for Prompt-based Biomedical Knowledge Probing
College of Information and Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Department of Computer Science, University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校计算机科学系);Department of Medicine, University of Massachusetts Medical School(马萨诸塞大学医学院医学系);Center for Healthcare Organization and Implementation Research, Bedford Veterans Affairs Medical Center(贝德福德退伍军人事务医疗中心医疗保健组织与实施研究中心)
预训练的语言模型(PLM)激发了关于这些模型学习什么样的知识的研究。填空题(例如,完形填空)是测量这些知识的自然方法。BioLAMA生成生物医学事实知识三元组的提示,并使用Top-k准确度指标来评估不同PLM的知识。然而,现有的研究表明,这种基于知识的探测方法只能探测知识的下限。许多因素,如基于探针的探测偏差,使LAMA基准不可靠和不稳定。这个问题在BioLAMA中更为突出。词汇量的严重长尾分布和大N-M关系使得LAMA和BioLAMA之间的性能差距仍然显着。为了解决这些问题,我们引入上下文方差到提示生成,并提出了一个新的排名变化为基础的评价指标。与以往的已知-未知评价标准不同,本文首次提出了LAMA中的“误解”概念。通过在12个PLM上的实验,我们的上下文方差提示和理解-混淆-误解(UCM)度量使BioLAMA对大N-M关系和稀有关系更友好。我们还进行了一系列对照实验,以将“理解”从“阅读和复制”中分离出来。
2023-01-25 cs.AI cs.CL
Few-shot Multimodal Sentiment Analysis based on Multimodal Probabilistic Fusion Prompts
Northeastern University(东北大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对少样本多模态情感分析问题,提出MultiPoint方法,通过一致分布采样CDS、统一多模态提示和概率融合技术,在六个数据集上显著优于强基线。
2023-08-01 cs.CL cs.MM
Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs
KAIST(韩国科学技术院)
本文提出多模态提示优化问题,提出MPO框架,通过联合优化和贝叶斯策略提升多模态提示效果,验证其在图像、视频等多模态任务中的优越性。
2026-02-19 cs.AI cs.CL cs.LG
Multimodal Dialog Systems with Dual Knowledge-enhanced Generative Pretrained Language Model
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对多模态任务型对话中文本回复生成忽视生成式预训练与上下文知识的问题,提出DKMD模型,通过双重知识选择、知识增强上下文学习及改进BART解码器融合文本与视觉知识,实验证明其优于现有方法。
2024-05-11 cs.CL cs.HC cs.MM
Chain-of-Thought Prompt Distillation for Multimodal Named Entity Recognition and Multimodal Relation Extraction
Ant Group(蚂蚁集团);Nanjing University of Posts and Telecommunications(南京邮电大学)
本研究针对多模态命名实体识别与关系抽取的推理需求,提出条件提示蒸馏方法,将大语言模型的思维链推理能力蒸馏至紧凑学生模型,在纯文本场景下也能实现SOTA准确率,兼具可解释性等多项优势。
2023-08-23 cs.CL cs.CV
Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases
NVIDIA(英伟达);California Institute of Technology(加州理工学院)
检测文本中的社会偏见是具有挑战性的,因为细微差别,主观性,以及难以获得高质量的大规模标记数据集,特别是考虑到社会偏见和社会的演变性质。为了解决这些挑战,我们提出了一种基于Few-Shot的方法来提示预训练的语言模型(LM)。我们从一个小的支持库中选择了一些类平衡的样本,这些样本最接近嵌入空间中要标记的查询。然后,我们为LM提供指令,该指令由标记样本的子集、要分类的查询文本、偏差的定义组成,并提示LM做出决定。我们证明了在Few-Shot上下文中使用的大型LM可以检测不同类型的细粒度偏差,其精度与微调模型相似,有时甚至更高。我们观察到,与较小的模型相比,最大的530B参数模型在检测社会偏见方面明显更有效(与其他模型相比,AUC指标至少提高了13%)。当标记的储存库减少到$100$样品时,它也保持高AUC(下降小于2%)。因此,大型的预训练语言模型使得构建新的偏见检测器变得更容易和更快。
2022-04-15 cs.AI cs.CL
Conditional Prompt Tuning for Multimodal Fusion
The Hong Kong Polytechnic University(香港理工大学)
本文提出条件提示调优方法,利用一种模态表示引导另一冻结模态,并通过 MoPE 动态生成实例提示,在三个数据集上以仅 0.7% 参数达到或超过微调性能。
2023-11-28 cs.AI cs.CL
Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
i Intelligent Insights(4i智能洞察公司);Universidad de Sevilla(塞维利亚大学);Universidad Pablo de Olavide(巴勃罗·德奥拉维德大学);Honda Research Institute Japan(本田日本研究所)
研究社交机器人对话轮次转换,提出多模态语音活动投影框架,基于预训练视听主干并经低秩适应,结合说话人间注意力及语义一致性损失,实验表明该方法优于基线,适用于调解型人机交互。
2026-07-09 cs.AI cs.CL cs.RO
TriSPrompt: A Hierarchical Soft Prompt Model for Multimodal Rumor Detection with Incomplete Modalities
Center for Data Science, Zhejiang University(数据科学中心,浙江大学);School of Software Technology, Zhejiang University(软件技术学院,浙江大学)
针对多模态数据中模态缺失导致谣言检测困难的问题,提出分层软提示模型TriSPrompt,整合三类提示处理不完整模态,在三个基准上准确率提升超13%。
2025-09-18 cs.AI cs.CL
Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models
Xi’an Jiaotong University(西安交通大学);Microsoft Research Asia(微软亚洲研究院);Beihang University(北京航空航天大学);Microsoft Azure AI(微软Azure人工智能);Peking University(北京大学)
最近,自动调优范式引起了极大的关注。通过仅使用冻结的预训练语言模型(PLM)来调整连续提示,快速调整朝着部署共享的冻结PLM以服务于众多下游任务迈出了一步。尽管自调优在某些自然语言理解(NLU)任务上表现出良好的性能,但其在自然语言生成(NLG)任务上的有效性仍然未被充分探索。在本文中,我们认为,阻碍NLG任务的快速调整发展的因素之一是不熟悉的输入(即,输入在语言上不同于预训练语料库)。例如,我们的初步探索揭示了一个很大的性能差距时,不熟悉的输入经常出现在NLG任务的微调和微调。这促使我们提出输入调整,微调连续提示和输入表示,导致一个更有效的方式来适应不熟悉的输入冻结PLM。我们提出的输入调整是概念上简单,经验强大。七个NLG任务的实验结果表明,输入调谐是显着的,并始终优于单调谐。此外,在这些任务中的三个任务上,输入调整可以实现与微调相当甚至更好的性能。
2022-03-07 cs.AI cs.CL
LMFusion: Adapting Pretrained Language Models for Multimodal Generation
University of Washington(华盛顿大学);FAIR, Meta(Meta FAIR);Stanford University(斯坦福大学)
LMFusion 通过冻结 Llama-3 文本模块、仅训练新增并行图像扩散模块,以 50% FLOPs 实现图像理解提升 20%、生成提升 3.6%,同时保留语言能力。
2025-02-05 cs.AI cs.CL cs.CV
Calibrating MLLM-as-a-judge via Multimodal Bayesian Prompt Ensembles
Adobe(Adobe公司);Oregon State University(俄勒冈州立大学)
针对多模态大模型评判文生图时的偏差与过度自信问题,提出多模态贝叶斯提示集成(MMB),通过图像聚类动态分配提示权重,提升偏好判断准确性与校准能力,并在HPSv2和MJBench上超越基线。
2025-09-10 cs.CL cs.CV
MoPE: Mixture of Prompt Experts for Parameter-Efficient and Scalable Multimodal Fusion
Department of Computing, The Hong Kong Polytechnic University(计算系,香港理工大学);Research Institute of Multiple Agents and Embodied Intelligence, Pengcheng Laboratory(多智能体与具身智能研究院,鹏城实验室)
针对现有提示融合方法适应性、表达能力不足及扩展性瓶颈问题,提出MoPE提示专家混合框架,通过动态生成实例专属提示、结合正则化促进专家专业化,仅用0.8%可训练参数在6个多模态数据集上达到匹配或超越全微调的最优性能。
2025-11-14 cs.AI cs.CL cs.CV
m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt
State Key Lab of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);Department of Computer Science, University of British Columbia(不列颠哥伦比亚大学计算机科学系)
本文提出m3P框架,利用多模态提示引导多模态多语言神经机器翻译,通过引入视觉上下文作为语言无关表示,以图像为中心语言最小化不同语言表示距离,构建支持102种语言的InstrMulti102数据集,大幅超越基线方法。
2024-03-26 cs.AI cs.CL
Prompting for Multimodal Hateful Meme Classification
Singapore Management University(新加坡管理大学);Singapore University of Design and Technology(新加坡科技设计大学)
仇恨模因分类是一个具有挑战性的多模态任务,需要复杂的推理和上下文背景知识。理想情况下,我们可以利用明确的外部知识库来补充仇恨模因中的上下文和文化信息。然而,没有已知的明确的外部知识库,可以提供这样的仇恨言论上下文信息。为了解决这个问题,我们提出了一个简单而有效的基于语义的模型,提示预训练的语言模型(PLM)仇恨模因分类。具体来说,我们构造简单的提示,并提供了一些在上下文中的例子,利用预训练的Roberta语言模型仇恨模因分类的隐含知识。我们在两个公开的仇恨和攻击性模因数据集上进行了广泛的实验。我们的实验结果表明,AdvertHate能够达到90.96的高AUC,在仇恨模因分类任务上优于最先进的基线。我们还对各种提示设置进行了细粒度的分析和案例研究,并证明了提示对仇恨模因分类的有效性。
2023-02-08 cs.CL cs.IR cs.MM
LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
多模态机器翻译(MMT)致力于增强具有视觉特征的纯文本翻译,引起了自然语言处理和计算机视觉界的广泛关注。最近的进展仍然在努力为每个语言对训练单独的模型,这是昂贵的,当现实世界中语言的数量增加时是负担不起的。换句话说,尚未研究多语言多模态机器翻译(多语言MMT)任务,其旨在通过为多种语言提供共享语义空间来处理上述问题。此外,意象情态没有语言边界,这一点优于弥合语言之间的语义鸿沟。为此,我们首先提出了多语言MMT任务,建立两个新的多语言MMT基准数据集,涵盖七种语言。然后,提出了一个有效的基线LVP-M3使用视觉提示,以支持不同语言之间的翻译,它包括三个阶段(令牌编码,语言感知的视觉提示生成,和语言翻译)。在我们构建的基准数据集上的大量实验结果证明了LVP-M3方法对多语言MMT的有效性。
2022-11-28 cs.AI cs.CL
Dynamic Prompting: A Unified Framework for Prompt Tuning
University of California, Santa Barbara(加州大学圣巴巴拉分校);NEC Laboratories America(NEC美国实验室)
本文提出统一动态提示微调框架,通过理论分析证明提示位置包围输入可捕获额外语义,并利用轻量级网络动态确定提示因素,在NLP、视觉及视觉-语言任务中显著提升性能。
2023-05-27 cs.AI cs.CL
The Future of MLLM Prompting is Adaptive: A Comprehensive Experimental Evaluation of Prompt Engineering Methods for Robust Multimodal Performance
University College Dublin(都柏林大学);CeADAR: Ireland’s Centre for AI(爱尔兰人工智能与数据中心(CeADAR))
针对MLLMs提示工程优化问题,本文综合评估7种提示方法在13个开源MLLMs的24项任务上的表现,发现无单一最优方法,提出结合示例引导与选择性结构化推理的自适应策略可提升鲁棒性与准确性。
2025-04-14 cs.AI cs.CL cs.ET
Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification
Fudan University(复旦大学)
提出了一种新的基于语义的文本微调方法(称为DLM-SCS),该方法利用预训练的区分性语言模型ELECTRA来区分标记是原始的还是生成的,用于Few-Shot文本分类。其基本思想是,使用真标签实例化的提示应该比使用假标签的其他提示具有更高的语义一致性得分。由于提示通常由几个组件(或部分)组成,因此可以相应地分解其语义一致性。每个组件的语义一致性计算,然后利用预训练的ELECTRA模型,而不引入额外的参数。大量的实验表明,我们的模型优于几个国家的最先进的基于图像的Few-Shot方法。
2022-10-23 cs.AI cs.CL cs.LG
VP-MEL: Visual Prompts Guided Multimodal Entity Linking
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);College of Artificial Intelligence, Tianjin University of Science and Technology(天津科技大学人工智能学院)
针对现有多模态实体链接依赖提及词、无法有效利用图像信息的问题,提出VP-MEL任务及VPWiki数据集,设计IIER框架以视觉提示增强特征提取并结合Detective-VLM,实验证明其优于基线方法。
2025-02-15 cs.CL cs.CV
Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation
Chongqing University of Technology(重庆理工大学)
针对多模态对话情绪识别中跨模态融合噪声和少样本标签预测难题,提出融合混合对比学习的多模态提示Transformer,通过提示增强与分层融合及混合对比优化,在两个基准数据集上取得SOTA表现。
2023-10-04 cs.CL cs.SD eess.AS
TP-Eval: Tap Multimodal LLMs' Potential in Evaluation by Customizing Prompts
OpenGV Lab(OpenGV实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院)
本文提出TP-Eval评估框架,通过为不同多模态大语言模型定制提示来缓解提示敏感性和评估偏差,从而更准确地挖掘模型能力并改进MLLM基准测试。
2024-10-23 cs.AI cs.CL cs.CV
Multimodal Adaptive Distillation for Leveraging Unimodal Encoders for Vision-Language Tasks
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
视觉语言(VL)任务的跨模态编码器通常使用精心策划的视觉语言数据集进行预训练。虽然这些数据集达到了1000万个样本的数量级,但劳动力成本无法进一步扩大。相反,单峰编码器使用更简单的注释进行预训练,成本更低,实现了数亿到数十亿的规模。因此,单峰编码器在许多下游任务上实现了最先进的(SOTA)。然而,在应用于VL任务时仍然存在挑战。预训练数据对于跨模态架构不是最佳的,并且需要大量的计算资源。此外,单模态架构缺乏跨模态交互,这已经证明了VL任务的显着好处。因此,如何最好地利用预训练的单峰编码器进行VL任务仍然是一个活跃的研究领域。在这项工作中,我们提出了一种方法来利用单峰视觉和文本编码器的VL任务,增强现有的VL方法,同时保存计算复杂性。具体来说,我们提出了多模态自适应蒸馏(MAD),它自适应地从预训练的编码器中提取有用的知识到跨模态VL编码器。其次,为了更好地捕捉VL任务性能的细微差别的影响,我们引入了一个评估协议,包括视觉常识推理(VCR),视觉蕴涵(SNLI-VE),和视觉问答(VQA),在各种数据约束和条件的域转移。实验表明,MAD在VCR、SNLI-VE和VQA的低拍摄、域偏移和全监督条件下获得了一致的增益,与其他使用图像-文本数据预训练的单一模型相比,在VCR上实现了SOTA性能。最后,MAD使用CLIP的预训练视觉编码器优于并行工作。代码将提供。
2022-04-28 cs.AI cs.CL cs.CV
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis
National Technical University of Athens(雅典国立技术大学);Athena Research Center(雅典娜研究中心)
多模态学习管道受益于预训练语言模型的成功。然而,这是以增加模型参数为代价的。在这项工作中,我们提出了适应多模态BERT(AMB),BERT为基础的架构,多模态任务,使用适配器模块和中间融合层的组合。适配器为手头的任务调整预训练的语言模型,而融合层执行特定于任务的视听信息与文本BERT表示的逐层融合。在自适应过程期间,预训练的语言模型参数保持冻结,从而允许快速、参数高效的训练。在我们的消融中,我们看到这种方法导致了高效的模型,可以优于其微调的同行,并对输入噪声具有鲁棒性。我们的情感分析与CMU-MOSEI的实验表明,AMB优于目前最先进的跨指标,与3.4%的相对减少所产生的错误和2.1%的相对提高7类分类精度。
2022-12-01 cs.CL cs.CV cs.LG
Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reinforcement Post-Training
Alibaba Cloud Computing(阿里云计算);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
针对多模态强化后训练中提示信息量不均的问题,提出探索引导的提示脚手架框架,利用探索潜力分数动态调整提示分布,并通过教师模型重写低效用提示,在多个基准上显著提升性能。
2026-09-15 cs.AI cs.CL cs.LG
Magnifier Prompt: Tackling Multimodal Hallucination via Extremely Simple Instructions
针对多模态大语言模型的幻觉问题,提出无需训练的Magnifier Prompt方法,基于两项核心原则设计极简指令,适用于开源闭源模型,效果媲美甚至优于复杂方法,为相关研究提供见解。
2025-02-21 cs.AI cs.CL cs.CV
Promptception: How Sensitive Are Large Multimodal Models to Prompts?
Mohamed Bin Zayed University of Artificial Intelligence(莫罕默德·本·扎耶德人工智能大学);Swiss Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院);Australian National University(澳大利亚国立大学)
本研究针对大型多模态模型提示设计认知不足、评估因提示选择存在偏差的问题,提出含61类提示的Promptception框架,评估10款模型在3个MCQA基准上的提示敏感度,发现专有与开源模型的敏感度差异,并提出适配的提示原则以提升评估的稳健性与公平性。
2025-09-04 cs.AI cs.CL cs.CV
M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning
Rochester Institute of Technology(罗切斯特理工学院);U.S. Naval Research Laboratory(美国海军研究实验室);Harvard Medical School(哈佛医学院);ByteDance(字节跳动);Meta AI;Meituan(美团);University of Science and Technology of China(中国科学技术大学);Shanghai Academy of AI for Science(上海人工智能科学研究院);Fudan University(复旦大学);University of Missouri - Kansas City(密苏里大学堪萨斯城分校);University of California - Davis(加利福尼亚大学戴维斯分校)
针对现有参数高效微调方法多忽略多模态特性的问题,提出M$^2$PT多模态提示调优方法,分别向视觉编码器和语言处理器整合对应模态提示以促进跨模态特征提取与对齐,在多数据集上性能优于现有最优基线且经消融实验验证有效。
2024-10-30 cs.AI cs.CL cs.LG
Mordal: Automated Pretrained Model Selection for Vision Language Models
Department of Computer Science and Engineering(计算机科学与工程系)
提出Mordal框架,通过减少候选模型数量和评估时间,自动化搜索用户定义任务的最佳视觉语言模型,相比网格搜索降低GPU耗时8.9-11.6倍,加权Kendall's τ平均提升69%。
2026-06-17 cs.AI cs.CL cs.CV
Locally Differentially Private Document Generation Using Zero Shot Prompting
Cohere For AI;IBM Research(IBM研究院)
本文提出DP-Prompt机制,利用预训练大语言模型和零样本提示实现本地差分隐私文档生成,在IMDB等数据集上显著降低作者去匿名化攻击成功率,同时保持下游情感分析效用,并在多个开源大语言模型上验证了隐私-效用权衡。
2023-11-30 cs.CL cs.CR cs.LG
PromptMTopic: Unsupervised Multimodal Topic Modeling of Memes using Large Language Models
Singapore University of Technology and Design(新加坡科技设计大学);VinUniversity(Vin大学)
本文提出 PromptMTopic,一种借助 LLM、融合文本与视觉语义交互的无监督多模态梗图主题建模方法,并在三个真实数据集上验证其优于现有基线。
2023-12-11 cs.CL cs.CV cs.MM