Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models
AppliedML, Cerebras(应用机器学习,Cerebras)
本文研究多模态大语言模型过度依赖语言先验而忽视视觉输入的问题,提出增强视觉理解并引导语言生成的技术,在视觉依赖token预测和视觉挑战性任务上取得显著提升。
2025-07-02 cs.AI cs.CV
Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation
Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近的双流架构的大规模视觉语言预训练(VLP)(例如,CLIP)在大量的图像-文本对数据的情况下,在各种多模态对齐任务中显示出了其优越性。尽管取得了成功,但由于文本编码器较弱,所产生的模型无法执行多模态生成任务。为了解决这个问题,我们建议通过视觉语言知识蒸馏(VLKD)用文本预训练语言模型(PLM)来增强双流VLP模型,从而实现多模态生成的能力。与从头开始的预训练相比,VLKD的数据和计算效率非常高。实验结果表明,该模型在开放式视觉问答和图像描述等多模态生成任务上具有较强的zero-shot性能.例如,它在VQAv 2数据集上实现了44.5%的zero-shot精度,超过了之前最先进的zero-shot模型,$7\times$参数更少。此外,原始的文本语言理解和生成能力的PLM保持VLKD后,这使得我们的模型通用的多模态和单峰的任务。
2022-03-30 cs.AI cs.CL cs.CV
Inquire, Interact, and Integrate: A Proactive Agent Collaborative Framework for Zero-Shot Multimodal Medical Reasoning
The Ohio State University(俄亥俄州立大学);University of Oxford(牛津大学)
本文提出 MultiMedRes 主动智能体协作框架,通过询问、交互和整合三阶段获取专家知识,在零样本 X 射线差异视觉问答中达到并超越完全监督方法。
2024-05-19 cs.AI cs.CL cs.CV
Knowledge-Decoupled Synergetic Learning: An MLLM based Collaborative Approach to Few-shot Multimodal Dialogue Intention Recognition
University of Chinese Academy of Sciences(中国科学院大学);Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
针对少样本多模态对话意图识别中多任务学习引发的跷跷板效应与知识干扰问题,提出知识解耦协同学习(KDSL)框架,通过大小多模态大语言模型协同预测,在两个Taobao数据集上F1分数提升超6.28%。
2025-03-06 cs.AI cs.CL
Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning
Hacettepe University(哈杰泰佩大学);Aselsan Research(阿塞尔桑研究院);Koç University(科克大学);Amsterdam UMC, University of Amsterdam(阿姆斯特丹大学医学中心,阿姆斯特丹大学);Amsterdam Public Health(阿姆斯特丹公共卫生研究院)
本研究在VALSE基准上评估多模态大语言模型的语言能力,发现少样本上下文学习和思维链提示显著提升推理性能,且预训练数据组成影响模型表现。
2024-07-17 cs.CL cs.CV
Enhancing Zero-shot Personalized Image Aesthetics Assessment with Profile-aware Multimodal LLM
Mashang Consumer Finance Co., Ltd.(马莎消费金融有限公司);Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出P-MLLM,通过用户资料引导的多模态大语言模型实现零样本个性化图像审美评估,实验表明其在无历史数据情况下表现优异。
2026-04-19 cs.AI cs.CV
Few-shot Multimodal Multitask Multilingual Learning
Stanford University(斯坦福大学)
虽然少样本学习作为一种迁移学习范式在数据有限的情况下获得了显著的吸引力,但它主要是在构建单峰和单语模型的背景下进行探索的。此外,在Few-Shot多任务学习领域中的现有文献的重要部分执行上下文学习,其需要手动生成的提示作为输入,根据手动提示工程的水平产生不同的结果。此外,上下文学习遭受大量的计算、内存和存储成本,这最终导致高推理延迟,因为它涉及在每次进行预测时通过模型运行所有提示的示例。相比之下,基于经由微调范例的迁移学习的方法以基于每个任务的微调权重的一次性代价避免了上述问题。然而,这样的方法缺乏暴露于Few-Shot多模态多任务学习。在本文中,我们提出了多模态多任务多语言(FM 3)设置的少样本学习,通过使用特定于任务的超网络适应预训练的视觉和语言模型,并对比微调它们,以实现少样本学习。FM 3的架构结合了基于上下文和微调的学习的两个世界中的最佳部分,并由三个主要组件组成:(i)多模态对比微调,以实现少样本学习,(ii)超网络任务适应,以执行多任务学习,以及(iii)特定于任务的输出头,以满足过多的不同任务。FM 3学习视觉和语言领域中最突出的任务及其交叉点,即视觉蕴涵(VE),视觉问答(VQA)和自然语言理解(NLU)任务,如神经实体识别(NER)和GLUE基准,包括QNLI,MNLI,QQP和SST-2。
2023-02-19 cs.AI cs.CL cs.CV
LLaVA-Read: Enhancing Reading Ability of Multimodal Language Models
Adobe Research(奥多比研究院);University at Buffalo(布法罗大学)
针对多模态语言模型在图像密集文本理解上的局限,提出采用双视觉编码器与视觉文本编码器的LLaVA-Read模型,在文本丰富图像理解任务中超越现有方法,证明高效视觉文本编码器的重要性。
2024-07-27 cs.AI cs.CV
Few-Shot Joint Multimodal Entity-Relation Extraction via Knowledge-Enhanced Cross-modal Prompt Model
South China University of Technology(华南理工大学)
针对多模态实体关系抽取少样本场景标注数据不足的问题,提出知识增强跨模态提示模型KECPM,通过两阶段机制引入补充知识,在少样本数据集上的F₁表现优于强基线。
2025-03-23 cs.AI cs.CL
Zero-Shot Recommendations with Pre-Trained Large Language Models for Multimodal Nudging
Lirio, LLC(Lirio有限责任公司);Skoltech(斯科尔科沃科学技术研究院)
提出一种零样本多模态推荐方法,将各模态输入转为文本描述并用预训练LLM生成语义嵌入,通过相似度计算完成推荐,无需额外训练。
2023-10-01 cs.AI cs.CL cs.IR
Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study
Washington University in St. Louis(圣路易斯华盛顿大学);Virginia Tech(弗吉尼亚理工大学);UC Davis(加利福尼亚大学戴维斯分校);UC Berkeley(加利福尼亚大学伯克利分校)
本文通过涵盖自然与合成分布偏移及对抗攻击的大规模基准,初步评估了CLIP等零样本多模态模型的鲁棒性,发现其鲁棒性显著低于监督模型,并指出数据重叠是部分原因,凸显了全面评估与改进的必要性。
2024-03-15 cs.AI cs.CL cs.CV
Multimodal Few-Shot Learning with Frozen Language Models
DeepMind(深度思维);University College London(伦敦大学学院)
当在足够的规模上训练时,自回归语言模型表现出显著的能力,在仅用几个例子提示后学习新的语言任务。在这里,我们提出了一个简单而有效的方法,将这种少样本学习能力转移到多模态环境(视觉和语言)。使用对齐的图像和字幕数据,我们训练视觉编码器将每个图像表示为连续嵌入的序列,使得预先训练的冻结的语言模型用该前缀提示生成适当的字幕。由此产生的系统是一个多模态的Few-Shot学习者,具有令人惊讶的能力,学习各种新的任务时,条件的例子,表示为一系列的多个交错的图像和文本嵌入。我们证明了它可以快速学习新对象和新视觉类别的单词,仅用少数例子进行视觉问答,并利用外部知识,通过在各种已建立和新的基准上测量单个模型。
2021-07-03 cs.CL cs.CV cs.LG
Zoom-shot: Fast and Efficient Unsupervised Zero-Shot Transfer of CLIP to Vision Encoders with Multimodal Loss
Queensland University of Technology(昆士兰科技大学);Sentient Vision Systems(Sentient Vision Systems公司);La Trobe University(拉筹伯大学)
Zoom-shot 提出利用循环一致性损失和提示引导知识蒸馏损失,在单个 epoch 内以无监督非配对数据将 CLIP 零样本能力迁移到任意预训练视觉编码器,并在粗、细粒度分类上超越此前最优结果。
2024-01-22 cs.AI cs.CV
Zero-Shot Defense Against Toxic Images via Inherent Multimodal Alignment in LVLMs
Singapore Management University(新加坡管理大学)
本文提出SafeCLIP方法,利用LVLMs固有的多模态对齐,通过将CLIP的CLS token投射到文本空间与有毒描述符匹配,实现零样本有毒图像检测,在不改变架构的前提下以更低开销和误报率显著提升了防御成功率。
2025-02-25 cs.AI cs.CL cs.CV
Enhancing Alignment for Unified Multimodal Models via Semantically-Grounded Supervision
Ewha Womans University(成均馆大学);Soongsil University(顺天大学)
本文提出Semantically-Grounded Supervision方法,通过构建视觉接地图和语义引导的破坏输入,解决统一多模态模型中的粒度不匹配和监督冗余问题,提升生成质量和跨模态对齐。
2026-03-20 cs.AI cs.CV
Multimodality Helps Unimodality: Cross-Modal Few-Shot Learning with Multimodal Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出跨模态适应策略,将不同模态的示例作为额外少样本,利用多模态模型提升单模态少样本学习性能,构建首个视听少样本基准并取得SOTA结果。
2024-08-27 cs.AI cs.CV cs.LG
TV-SAM: Increasing Zero-Shot Segmentation Performance on Multimodal Medical Images Using GPT-4 Generated Descriptive Prompts Without Human Annotation
Sichuan University(四川大学);Case Western Reserve University(凯斯西储大学);Beijing University of Posts and Telecommunications(北京邮电大学);Urgench State University(乌尔根奇国立大学);Gansu Agricultural University(甘肃农业大学)
本研究提出无需人工标注的零样本分割算法TV-SAM,通过集成GPT-4、GLIP和SAM自主生成文本与视觉提示,在7个数据集8种模态上表现优异,突显基础模型在专业领域的应用价值。
2024-10-14 cs.AI cs.CV
Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners
Department of Computer Science and Engineering, University of Moratuwa, Sri Lanka(计算机科学与工程系,穆塔瓦大学,斯里兰卡)
本文研究了如何通过对比captioners适应少样本学习,探讨了参数高效微调策略及生成-对比基础模型的高效适应方法。
2025-12-14 cs.AI cs.CV
BEST-KAG: Enhancing Question Answering of Building Engineering Standards with Multimodal Knowledge Graph Modeling and Large Language Model
本研究提出BEST-KAG框架,通过多模态知识图谱建模与大语言模型,解决建筑工程标准问答的现有局限,在相关评估指标上优于主流大语言模型。
2026-08-13 cs.AI cs.CL
CHARM: A Multimodal Graph Foundation Model with Hierarchical Context Modeling for Zero-Shot Transfer
School of Computer Science and Technology, College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部计算机科学与技术学院);Data Science Program, Columbian College of Arts and Sciences, The George Washington University(乔治华盛顿大学文理学院哥伦比亚艺术与科学学院数据科学项目)
研究多模态图零样本迁移问题,提出CHARM模型,通过分层上下文建模,用图上下文替换原始节点,减少对目标域监督或适配的依赖,经实验验证该模型在零样本多模态图任务上有改进。
2026-07-29 cs.AI
TextMatch: Enhancing Image-Text Consistency Through Multimodal Optimization
本文提出TextMatch框架,利用大语言模型和视觉问答模型驱动的评分策略,结合多模态上下文学习与思维链推理迭代优化提示词,有效解决了文本到图像生成与编辑中的图文不一致问题。
2025-01-25 cs.AI cs.CV
SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM
Department of Computer Science, University at Albany - SUNY(University at Albany - SUNY 计算机科学系);School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);Nanjing University(南京大学);Xiamen University(厦门大学);Department of Mathematics and Statistics, University at Albany - SUNY(University at Albany - SUNY 数学与统计学系)
提出SMART框架,融合音频与视觉特征,利用镜头感知令牌压缩技术,在多模态大模型基础上实现视频时刻检索,在Charades-STA和QVHighlights上取得显著提升。
2026-06-08 cs.AI cs.CV
Context-Aware Multimodal Pretraining
Tübingen AI Center(蒂宾根人工智能中心);Munich Center for ML(慕尼黑机器学习中心);Helmholtz Munich(慕尼黑亥姆霍兹中心);TU Munich(慕尼黑工业大学);Google DeepMind(谷歌DeepMind)
本文提出一种上下文感知的多模态预训练扩展方法,使视觉-语言模型在保持零样本泛化性能的同时,在21个下游任务中实现平均超过5%的少样本适应增益,并凭借简单的免训练度量适应机制超越复杂的基于优化的方案。
2024-11-22 cs.CL cs.CV cs.LG
MAF: Multimodal Adaptive Few-shot Prompting for Sentiment Analysis with MLLMs
Nanjing University of Posts and Telecommunications(南京邮电大学)
提出MAF框架,通过动态检索与查询相关的多模态示例,利用轻量级系数生成网络实时融合多模态相似度,结合多数投票提升MLLM在情感分析中的性能。
2026-06-16 cs.AI cs.CV cs.LG
VTPerception-R1: Enhancing Multimodal Reasoning via Explicit Visual and Textual Perceptual Grounding
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Shenzhen University(深圳大学);University of Science and Technology of China(中国科学技术大学)
针对 MLLM 推理缺乏感知证据支撑的问题,本文提出两阶段框架 VTPerception-R1,通过感知增强微调及含视觉、文本与一致性奖励的强化学习,提升多模态推理的准确性与鲁棒性。
2025-09-29 cs.AI cs.CV
M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning
Rochester Institute of Technology(罗切斯特理工学院);U.S. Naval Research Laboratory(美国海军研究实验室);Harvard Medical School(哈佛医学院);ByteDance(字节跳动);Meta AI;Meituan(美团);University of Science and Technology of China(中国科学技术大学);Shanghai Academy of AI for Science(上海人工智能科学研究院);Fudan University(复旦大学);University of Missouri - Kansas City(密苏里大学堪萨斯城分校);University of California - Davis(加利福尼亚大学戴维斯分校)
针对现有参数高效微调方法多忽略多模态特性的问题,提出M$^2$PT多模态提示调优方法,分别向视觉编码器和语言处理器整合对应模态提示以促进跨模态特征提取与对齐,在多数据集上性能优于现有最优基线且经消融实验验证有效。
2024-10-30 cs.AI cs.CL cs.LG
Towards Perceiving Small Visual Details in Zero-shot Visual Question Answering with Multimodal LLMs
University of Southern California(南加州大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文探讨了多模态大语言模型在零样本视觉问答中对微小视觉细节感知的局限性,发现其准确率随视觉主体尺寸下降高达46%,并提出五种自动视觉裁剪方法显著提升了模型零样本性能。
2024-02-12 cs.CL cs.CV
Flex-Judge: Text-Only Reasoning Unleashes Zero-Shot Multimodal Evaluators
Microsoft(微软公司);KAIST AI(韩国科学技术院人工智能研究所)
本文提出 Flex-Judge,利用少量结构化文本推理数据训练多模态评判模型,实现跨图像、视频和分子等模态的零样本泛化,并以更低标注成本达到媲美商业 API 和专用评估器的性能。
2025-10-20 cs.AI cs.CL
Language Is Not All You Need: Aligning Perception with Language Models
Microsoft(微软)
语言、多模态感知、动作和世界建模的大融合是迈向通用人工智能的关键一步。在这项工作中,我们介绍了Kokorp-1,一个多模态大语言模型(MLLM),它可以感知一般模态,在上下文中学习(即,Few-Shot),并遵循说明(即,zero-shot)。具体来说,我们训练Kokorp-1从头开始在网络规模的多模态语料库,包括任意交错的文本和图像,图像标题对,和文本数据。我们评估了各种设置,包括zero-shot,Few-Shot和多模式的思维链提示,在没有任何梯度更新或微调的情况下,在广泛的任务。实验结果表明,Kokorp-1在(i)语言理解,生成,甚至OCR免费NLP(直接与文档图像馈送),(ii)感知语言任务,包括多模态对话,图像描述,视觉问答,以及(iii)视觉任务,如图像识别与描述(通过文本指令指定分类)方面取得了令人印象深刻的性能。我们还表明,MLLM可以受益于跨模态传输,即,将知识从语言转移到多模态,再从多模态转移到语言。此外,我们介绍了一个数据集的乌鸦智商测试,诊断非言语推理能力的MLLM。
2023-03-01 cs.CL cs.CV
Enhancing Text Annotation through Rationale-Driven Collaborative Few-Shot Prompting
Institute of Artificial Intelligence and Future Networks, Beijing Normal University(北京师范大学人工智能与未来网络研究院);Hong Kong Baptist University(香港浸会大学);BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院);College of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
针对传统文本标注成本高、易有偏差的问题,提出基于推理依据的协同少样本提示技术,经多数据集多模型验证该方法优于传统少样本等基线,为高效文本标注提供框架参考。
2024-09-15 cs.AI cs.CL
Med-Flamingo: a Multimodal Medical Few-shot Learner
Stanford University(斯坦福大学);Stanford Medicine(斯坦福医学院);Hospital Israelita Albert Einstein(以色列爱因斯坦医院);Harvard Medical School(哈佛医学院)
提出 Med-Flamingo,基于 OpenFlamingo-9B 在医学图文数据上预训练,解锁少样本生成式医学 VQA 能力,在临床医生评分上提升 20%,并首次实现多模态医学少样本适应。
2023-07-27 cs.AI cs.CV
POEM: Interactive Prompt Optimization for Enhancing Multimodal Reasoning of Large Language Models
本文提出可视化分析系统POEM,通过探索多模态交互模式并推荐示例与原则,帮助用户迭代优化提示,从而增强大语言模型的多模态推理能力。
2024-09-30 cs.AI cs.HC
AdaptAgent: Adapting Multimodal Web Agents with Few-Shot Learning from Human Demonstrations
Georgia Institute of Technology(佐治亚理工学院);J.P. Morgan AI Research(摩根大通人工智能研究院)
AdaptAgent框架利用最多2个人类演示,通过上下文演示或元适应演示使多模态网页智能体适应新网站和领域,在两个基准上将任务成功率相对提升21.03%至65.75%。
2024-11-20 cs.AI cs.CL cs.LG
Can LLMs Reason About Attention? Towards Zero-Shot Analysis of Multimodal Classroom Behavior
Virginia Tech(弗吉尼亚理工大学);University of Virginia(弗吉尼亚大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出一个隐私保护的分析流程,利用OpenPose和Gaze-LLE提取学生注意力信息,并通过QwQ-32B-Reasoning进行零样本分析,探讨LLMs在多模态行为理解中的潜力与局限。
2026-06-29 cs.AI cs.CV cs.HC
Brain-Adapter: Enhancing Neurological Disorder Analysis with Adapter-Tuning Multimodal Large Language Models
The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);The University of Georgia(佐治亚大学)
本文提出Brain-Adapter方法,通过引入轻量级瓶颈层和CLIP策略对齐多模态数据,在低计算成本下显著提升了3D医学图像的神经系统疾病诊断准确率。
2025-01-27 cs.AI cs.CV eess.IV
The Solution for the 5th GCAIAC Zero-shot Referring Expression Comprehension Challenge
Nanjing University of Science and Technology(南京理工大学)
针对零样本指代表达理解任务,结合视觉提示组合与文本提示影响,采用适配数据特征的联合预测方法,在第五届GCAIAC挑战赛A、B榜分别取得84.825、71.460的准确率,获得第一名。
2024-07-06 cs.CL cs.CV cs.LG
At First Sight: Zero-Shot Classification of Astronomical Images with Large Multimodal Models
University of Pennsylvania(宾夕法尼亚大学)
本研究探讨了 GPT-4o 和 LLaVA-NeXT 两种视觉-语言多模态模型在天文图像零样本分类中的应用,发现其无需额外训练即可达到 80% 以上的准确率,旨在激励天文学界将其作为研究与教学的强大工具。
2024-06-24 astro-ph.GA astro-ph.IM cs.AI
Eyeballing Combinatorial Problems: A Case Study of Using Multimodal Large Language Models to Solve Traveling Salesman Problems
Queensland University of Technology(昆士兰科技大学);Minia University(明亚大学);Al-Ahliyya Amman University(安曼阿赫利亚大学);Arab American University(阿拉伯美国大学);Columbia University(哥伦比亚大学)
本文研究MLLMs能否仅凭二维点分布图“目测”TSP路线,并通过零样本、少样本、自集成和自精炼评估验证其视觉推理潜力。
2024-06-11 cs.AI
Enhancing Multimodal Large Language Models with Multi-instance Visual Prompt Generator for Visual Representation Enrichment
The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Amazon(亚马逊公司)
本文指出Q-former适配器是忽略实例相关性的简化多实例学习方法,提出通用组件多实例视觉提示生成器(MIVPG),利用图像或补丁间的实例相关性增强视觉表示并引入LLMs,在三个公开VL数据集上提升了性能。
2024-06-05 cs.CV
Zero-shot Video Moment Retrieval via Off-the-shelf Multimodal Large Language Models
Nanjing University(南京大学);Dalian University of Technology(大连理工大学);Nanjing University of Information Science and Technology(南京信息工程大学)
针对现有零样本视频片段检索方法存在语言偏差、定位不准的问题,提出免调优的Moment-GPT流水线,通过查询修正、候选跨度生成与最优跨度选择,在多个公开数据集上性能超越现有最优模型。
2026-10-08 cs.CV cs.MM
Enhancing Illicit Activity Detection using XAI: A Multimodal Graph-LLM Framework
University College Dublin(都柏林大学学院)
针对金融网络犯罪检测中深度学习模型缺乏可解释性的问题,提出一种多模态Graph-LLM框架,结合交易序列、子图连通性与LLM叙述生成提取关键表示,显著简化分析师的调查过程。
2023-10-20 cs.AI cs.LG
Enhancing Remote Sensing Vision-Language Models for Zero-Shot Scene Classification
UCLouvain(鲁汶大学);UMons(蒙斯大学);ÉTS Montreal(蒙特利尔工程学院)
针对遥感视觉-语言模型分块独立预测导致上下文丢失的问题,本文提出无监督、低成本的RS-TransCLIP转导推理方法,融合文本提示预测与图像块亲和关系,在10个数据集上显著提升零样本场景分类准确率。
2025-01-07 cs.CV
From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model
Department of Artificial Intelligence(人工智能系)
本文提出一种高效框架,通过构建零样本判别嵌入模型,利用多模态大语言模型的固有能力,提升多模态表示空间的鲁棒性和零样本嵌入能力。
2026-08-05 cs.AI cs.IR cs.LG
Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding
针对传统文本分块在复杂文档结构上的不足,提出利用大型多模态模型进行视觉引导的文档分块方法,通过跨批次上下文保留准确处理多页表格等元素,显著提升了分块质量与下游RAG性能。
2025-07-13 cs.AI cs.IR cs.LG
From Black Boxes to Transparent Minds: Evaluating and Enhancing the Theory of Mind in Multimodal Large Language Models
School of Computer and Communication Engineering, University of Science and Technology Beijing(计算机与通信工程学院,科学技术大学)
本研究针对现有机器心智理论评估多聚焦单模态黑盒模型的问题,构建多模态ToM测试数据集GridToM,从注意力头内部机制验证多模态大模型的ToM能力,并提出轻量免训练方法增强该能力。
2025-06-17 cs.AI
MoMA: A Mixture-of-Multimodal-Agents Architecture for Enhancing Clinical Prediction Modelling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Northwestern University(西北大学)
本文提出多模态智能体混合(MoMA)架构,利用多个LLM智能体将非文本模态转为文本摘要并整合,以增强临床预测,在真实数据上优于现有方法。
2025-08-07 cs.AI cs.LG cs.MA
A Language-Guided Multimodal Foundation Model for Zero-Shot and Multi-Task Brain Signal Analysis
Peking University(北京大学);Chinese Institute for Brain Research (CIBR)(北京脑科学与类脑研究所)
本研究提出语言引导的多模态基础模型METIS,通过统一语言-信号对齐实现零样本多任务脑信号分析,在大型语料库预训练后,性能超越通用模型20.9%以上,并达到或超过监督模型。
2026-09-15 cs.AI cs.LG
Med-GRIM: Enhanced Zero-Shot Medical VQA using prompt-embedded Multimodal Graph RAG
Shiv Nadar University Chennai(施瓦斯纳大学钦奈)
针对医疗VQA精度不足问题,提出Med-GRIM模型,通过BIND密集编码优化联合嵌入空间,结合图检索与提示工程动态注入知识,采用模块化小模型工作流,以极低计算成本实现大模型性能,并发布DermaGraph数据集支持零样本研究。
2025-07-20 cs.CV cs.MA
Zero-shot Multimodal Document Retrieval via Cross-modal Question Generation
Yonsei University(延世大学);Seoul National University(首尔国立大学)
针对多模态文档检索中私有文档、未知领域/语言的挑战,提出PREMIR框架,利用MLLM生成跨模态预问题扩展匹配范围,在分布外基准上实现SOTA性能并经消融研究验证组件有效性。
2025-08-23 cs.AI cs.IR
Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of California, Berkeley(加州大学伯克利分校)
本文提出利用多模态任务向量(MTV)将大量上下文示例压缩为紧凑隐式表示,使大型多模态模型在不微调且不增加推理上下文长度的前提下,有效实现多样本多模态上下文学习并能泛化至域外任务。
2024-12-20 cs.AI cs.CL cs.CV
Enhancing Multimodal Understanding with CLIP-Based Image-to-Text Transformation
The George Washington University(乔治华盛顿大学);Trine University(特里尼大学);The University of Chicago(芝加哥大学)
本文针对图像到文本转换任务,提出一种基于CLIP模型的创新集成方法,以增强多模态理解能力。
2024-01-02 cs.AI cs.CV
Generalized Zero-Shot Learning using Multimodal Variational Auto-Encoder with Semantic Concepts
Secure Artificial Intelligent Laboratory(安全人工智能实验室)
随着数据量的不断增加,多模态学习的核心挑战涉及标记样本的限制。对于分类任务,元学习、零样本学习和少样本学习等技术展示了基于先验知识学习关于新类的信息的能力。最近的技术试图学习语义空间和图像空间之间的跨模态映射。然而,他们往往忽略了局部和全局的语义知识。为了克服这个问题,我们提出了一种多模态变分自动编码器(M-VAE),它可以学习图像特征的共享潜在空间和语义空间。在我们的方法中,我们将多模态数据连接到单个嵌入,然后将其传递给VAE以学习潜在空间。我们建议在通过解码器的特征嵌入的重建期间使用多模态损失。我们的方法能够关联模态,并利用局部和全局语义知识进行新的样本预测。我们使用MLP分类器在四个基准数据集上的实验结果表明,我们提出的模型优于目前最先进的广义零样本学习方法。
2021-06-26 cs.AI cs.CV
Multimodal Prototype-Enhanced Network for Few-Shot Action Recognition
Tsinghua University(清华大学);Ping An Insurance (Group) Company of China(中国平安保险(集团)股份有限公司)
针对少样本动作识别现有方法忽略多模态信息的问题,提出融合标签文本语义的多模态原型增强网络MORN,结合CLIP特征与原型质量评估指标PRIDE,在四个主流数据集上取得最优性能。
2024-05-21 cs.AI cs.CV
Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach
The University of Sydney(悉尼大学);University of Technology Sydney(悉尼科技大学)
本文提出一种结合BERT文本特征与DINOv2图像特征的多模态情感分析架构,并设计三种融合模型,在三个数据集上验证了其可行性与实用性。
2025-03-11 cs.CL cs.CV