Customized Visual Storytelling with Unified Multimodal LLMs
National Taiwan University（国立台湾大学）；NVIDIA（英伟达）
本文提出VstoryGen框架，整合文本描述与角色背景参考，实现定制化故事生成。通过参数高效提示微调电影数据，增强电影多样性。建立两个新基准测试，评估多模态叙事的连贯性、文本-视觉对齐和镜头类型控制。
2026-03-29 cs.CV
Let Storytelling Tell Vivid Stories: An Expressive and Fluent Multimodal Storyteller
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Fuxi AI Lab, NetEase Inc.（网易伏羲人工智能实验室）
针对现有多模态讲故事方法生成情节简单的问题，提出LLaMS流水线，结合序列数据自动增强、文本推理架构与SQ-Adapter模块，实现更具表现力和一致性的人类水平故事生成，性能超越现有SOTA方法。
2024-03-12 cs.CV
CoMM: A Coherent Interleaved Image-Text Dataset for Multimodal Understanding and Generation
The Hong Kong University of Science and Technology（香港科技大学）；Wuhan University（武汉大学）；AI Chip Center for Emerging Smart Systems（新兴智能系统人工智能芯片中心）；Kuaishou Technology（快手科技）
针对交错图文生成中数据质量差导致连贯性与一致性不足的问题，提出高质量数据集CoMM，通过多视角过滤策略提升数据质量，并设计四项新任务与评估框架，显著增强了多模态大语言模型的上下文学习与交错生成能力。
2025-04-02 cs.CV
V2PE: Improving Multimodal Long-Context Capability of Vision-Language Models with Variable Visual Position Encoding
University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
针对视觉语言模型长上下文能力不足的问题，提出可变视觉位置编码V2PE，结合增强长上下文数据集微调InternVL2，可处理最长1M token的多模态序列，在多类任务上表现优异。
2024-12-13 cs.CV
FairyTailor: A Multimodal Generative Framework for Storytelling
IBM Research（IBM研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
讲故事是一项开放式的任务，需要创造性思维，需要不断的想法。用于讲故事的自然语言生成（NLG）尤其具有挑战性，因为它要求生成的文本遵循整体主题，同时保持创造性和多样性以吸引读者。在这项工作中，我们介绍了一个系统和一个基于Web的演示，FairyTailor，人在循环的视觉故事共同创作。用户可以创建一个有凝聚力的儿童童话编织生成的文本和检索图像与他们的输入。FairyTailor增加了另一种模态，并修改了文本生成过程，以生成连贯和创造性的文本和图像序列。据我们所知，这是第一个动态的多模态故事生成工具，允许文本和图像的交互式共同形成。它允许用户对共同创建的故事提供反馈并分享他们的结果。
2021-07-13 cs.AI cs.CL cs.CV
Improving Visual Token Reduction via Rectifying Distortions for Efficient Multimodal LLM Inference
KAIST（韩国科学技术院）
提出RESTORE框架，通过校准位置和注意力失真来改进视觉令牌减少，在保持效率的同时提升多模态大语言模型性能。
2026-06-18 cs.CV
Corvid: Improving Multimodal Large Language Models Towards Chain-of-Thought Reasoning
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本文提出Corvid，一种具备增强链式思维推理能力的多模态大语言模型，通过混合视觉编码器、GateMixer连接器、高质量数据集MCoT-Instruct-287K及两阶段训练与推理时扩展策略，显著提升了复杂推理与问题解决性能。
2025-07-10 cs.CV
Re:Verse -- Can Your VLM Read a Manga?
University of Central Florida（中央佛罗里达大学）；Indian Institute of Technology, Jodhpur（印度理工学院，朱达浦尔）；Indian Institute of Technology, Varanasi（印度理工学院，瓦拉纳西）
本文通过分析漫画叙事理解，揭示现有VLM在时间因果和跨面板连贯性上的不足，提出新的评估框架，系统研究长篇叙事理解能力。
2025-08-18 cs.CL cs.CV
Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment
Shanghai AI Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）；Nanjing University（南京大学）；Shanghai Innovation Institute（上海创新研究院）
提出 Task Preference Optimization (TPO) 方法，通过引入可学习任务 token 连接多个任务头与多模态大语言模型，利用可微任务偏好进行多任务协同训练，显著提升了模型的细粒度视觉理解与多模态性能。
2025-06-30 cs.CV
Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training
School of Computer Science, National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence（计算机学院、多媒体软件国家工程研究中心、人工智能研究院）；Hubei Key Laboratory of Multimedia（湖北多媒体重点实验室）；Network Communication Engineering, Wuhan University, China（网络通信工程、武汉大学，中国）；The University of Sydney, Australia（悉尼大学，澳大利亚）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
本文提出VISTA框架，通过视觉感知的自我改进训练提升多模态推理能力，解决数据不平衡和语言先验偏差问题，实验显示在多种训练场景下提升性能。
2026-05-12 cs.CV
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）；Nanjing University（南京大学）；University of Glasgow（格拉斯哥大学）
针对多模态大语言模型细粒度视觉理解受限于稀疏文本监督的问题，本文提出UVU框架，在预训练阶段引入连续视觉编码与像素级码本，实现像素与文本标记统一自回归生成，显著提升多模态理解性能。
2026-09-24 cs.CV
Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition
The Chinese University of Hong Kong（香港中文大学）；Xi’an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Johns Hopkins University（约翰霍普金斯大学）
针对高质量人类数据不足导致预训练难以推进的问题，提出自提升认知框架SIcog，通过自生成数据的多模态预训练结合推理与训练后优化形成自提升闭环，显著提升多模态大模型的认知与推理能力。
2025-06-14 cs.CV
Multimodal Storytelling via Generative Adversarial Imitation Learning
Virginia Tech（弗吉尼亚理工大学）；U. S. Army Corps of Engineers（美国陆军工程兵团）；Google Inc.（谷歌公司）
推导事件故事情节是一种有效的摘要方法，可以简洁地组织广泛的信息，这可以显着减轻信息过载的痛苦。关键的挑战是缺乏广泛认可的故事情节度量定义。先前的研究已经开发了各种方法的基础上不同的假设用户的兴趣。这些工作可以提取有趣的模式，但他们的假设并不能保证派生的模式将匹配用户的偏好。另一方面，他们的单一通道源的排他性错过了跨通道的信息。本文提出了一种通过生成对抗网络（MIL-GAN）进行多模态模仿学习的方法，直接对各种数据所反映的用户兴趣进行建模。特别是，所提出的模型通过模仿用户演示的故事情节来解决关键挑战。我们提出的模型旨在学习用户提供的故事情节的奖励模式，然后将学习到的策略应用于看不见的数据。所提出的方法被证明是能够获得用户的隐式意图和性能优于竞争的方法与用户的研究大幅保证金。
2017-12-05 cs.AI cs.CL cs.CV
Thinking Before Looking: Improving Multimodal LLM Reasoning via Mitigating Visual Hallucination
Columbia University（哥伦比亚大学）；Lehigh University（理海大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出视觉推理链（VIC）框架，通过先基于纯文本构建推理链再引入视觉输入，缓解多模态大语言模型中由误导性图像引起的幻觉，并显著提升零样本视觉推理性能。
2024-11-15 cs.AI cs.CV
DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention
Peking University（北京大学）；Tencent（腾讯）
视觉和语言（V-L）任务要求系统理解视觉内容和自然语言，从而学习视觉和语言的细粒度联合表示（也称为“视觉和语言”）。V-L表示）是至关重要的。最近，各种预训练的V-L模型被提出来学习V-L表示，并在许多任务中取得了改进的结果。然而，主流模型处理视觉和语言输入具有相同的一组注意力矩阵。结果，生成的V-L表示纠缠在一个共同的潜在空间。为了解决这个问题，我们提出了DiMBERT（Disentangled Multimodal-Attention BERT的缩写），这是一个新的框架，它将视觉和语言的注意力空间分开，从而可以明确地解开多模态的表示。为了增强视觉和语言之间的关联，在解开空间，我们引入了视觉概念，以文本格式表示视觉信息的DiMBERT。通过这种方式，视觉概念有助于弥合这两种模式之间的差距。我们在两个任务上对大量的图像-句子对预训练DiMBERT：双向语言建模和序列到序列语言建模。预训练后，DiMBERT将进一步针对下游任务进行微调。实验表明，DiMBERT设置新的国家的最先进的性能在三个任务（超过四个数据集），包括生成任务（图像描述和视觉讲故事）和分类任务（参考表达式）。提出的DiM（Disentangled Multimodal-Attention的缩写）模块可以很容易地集成到现有的预训练V-L模型中，以提高它们的性能，在代表性任务上提高高达5%。最后，我们进行了系统的分析，并…
2022-10-28 cs.CL cs.CV
Improving Image-Based Nutrition Estimation Through Multimodal Food-Item Verification and Recovery
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
该研究针对单图像营养估计易遗漏食物或区域无法支持分量估计的问题，提出基于多模态大语言模型的框架，通过食物项验证与恢复提升营养估计精度，且无需任务特定微调。
2026-10-09 cs.AI cs.CV eess.IV
V-Zero: Self-Improving Multimodal Reasoning with Zero Annotation
State Key Laboratory of CAD&CG（计算机辅助设计与图形学国家重点实验室）；Zhejiang University（浙江大学）
V-Zero通过自改进机制在无需人工标注的情况下提升多模态模型的视觉数学推理和通用视觉能力。
2026-01-15 cs.AI cs.CV cs.LG
Visual Text Matters: Improving Text-KVQA with Visual Text Entity Knowledge-aware Large Multimodal Assistant
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
针对 Text-KVQA，本文提出 VisTEL 视觉文本实体链接模块与 KaLMA 知识增强多模态助手，在三个划分上较此前最佳方法绝对提升 23.3%。
2024-10-24 cs.AI cs.CL cs.CV
Caption Enriched Samples for Improving Hateful Memes Detection
Tel-Aviv University（特拉维夫大学）
最近引入的仇恨模因挑战表明了确定模因是否仇恨的困难。具体地说，单模态语言模型和多模态视觉语言模型都不能达到人类的表现水平。出于对图像内容和覆盖文本之间的对比度建模的需要，我们建议应用现成的图像描述工具来捕获第一个。我们证明，在微调过程中纳入这样的自动字幕，提高了各种单峰和多峰模型的结果。此外，在单峰的情况下，继续对增强的和原始的字幕对的语言模型的预训练，是非常有益的分类精度。
2021-09-22 cs.AI cs.CV
Multimodal ArXiv: A Dataset for Improving Scientific Comprehension of Large Vision-Language Models
The University of Hong Kong（香港大学）；Peking University（北京大学）
本文提出 Multimodal ArXiv 数据集（含 ArXivCap 和 ArXivQA），以提升大型视觉语言模型对科学图表的理解与数学推理能力，并揭示当前模型在学术图形语义理解上的不足。
2024-06-02 cs.CL cs.CV
Faithful GRPO: Improving Visual Spatial Reasoning in Multimodal Language Models via Constrained Policy Optimization
IIT Hyderabad（印度理工学院海得拉巴分校）；Microsoft Research（微软研究院）
本文提出Faithful GRPO，通过约束策略优化提升多模态模型的空间推理质量，减少推理不一致率并提升视觉 grounding 评分。
2026-04-09 cs.AI cs.CV
Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning
Utrecht University（乌得勒支大学）
针对图像序列故事生成中的上下文与视觉变化挑战，提出基于预训练基础模型的轻量视觉-语言映射框架，并结合上下文建模与多模态对比学习，提升故事连贯性、视觉相关性和信息量。
2024-08-12 cs.CL cs.CV
TaleForge: Interactive Multimodal System for Personalized Story Creation
1 University of Science, VNU-HCM, Ho Chi Minh City, Vietnam；2 Vietnam National University, Ho Chi Minh City, Vietnam；3 Department of Computer Science \ of Dayton Ohio, United States
提出交互式多模态系统TaleForge，结合LLMs与文本到图像扩散技术，将用户面部嵌入故事叙事与插图，实现个性化文本与图像对齐的沉浸式体验。
2025-06-27 cs.CV
SPD-Faith Bench: Diagnosing and Improving Faithfulness in Chain-of-Thought for Multimodal Large Language Models
Xidian University（西安电子科技大学）；National University of Singapore（新加坡国立大学）；Xi’an Jiaotong University（西安交通大学）
SPD-Faith Bench通过细粒度图像差异推理诊断并改进多模态大语言模型中的推理忠实性，揭示了感知盲区和感知-推理脱节的系统性失败模式，并提出SAGE框架提升视觉路由和推理与感知的一致性。
2026-02-08 cs.AI cs.CL cs.CV
UIT-Saviors at MEDVQA-GI 2023: Improving Multimodal Learning with Image Enhancement for Gastrointestinal Visual Question Answering
Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校）
针对胃肠道视觉问答任务，提出结合图像增强与多模态架构（BERT+视觉模型）的方法，实验证明基于Transformer的模型优于CNN，最佳方法在开发测试集上取得87.25%准确率和91.85% F1-Score。
2023-11-20 cs.CV cs.HC
Improving Multi-modal Large Language Model through Boosting Vision Capabilities
Nanjing University of Science and Technology（南京理工大学）；Baidu VIS（百度VIS）；Huazhong University of Science and Technology（华中科技大学）
本文提出多模态语言模型Arcana，通过解耦视觉与语言参数的MM-LoRA和聚合中间视觉特征的QLadder增强视觉理解，实验验证了其有效性与泛化能力。
2024-10-17 cs.CV cs.MM
Improving Multimodal Datasets with Image Captioning
University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）；Google Research（谷歌研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文研究利用图像描述模型生成合成描述以提升网络抓取多模态数据质量，通过混合原始与生成描述的策略在DataComp基准上超越最佳过滤方法，并分析了合成文本的效用与局限性。
2023-10-26 cs.CV cs.LG
MagicScroll: Nontypical Aspect-Ratio Image Generation for Visual Storytelling via Multi-Layered Semantic-Aware Denoising
HKUST(GZ)（香港科技大学（广州））；South China University of Technology（华南理工大学）；HKUST（香港科技大学）
针对视觉叙事中非典型宽高比图像生成的可控性与连贯性难题，提出多层语义感知去噪的扩散框架MagicScroll，构建首个相关基准，验证了其在文本对齐、视觉连贯等方面的优势。
2023-12-18 cs.CV
Seeing Through Conflicts: Improving Instruction Hierarchy Alignment in Vision-Language Models
The Ohio State University（俄亥俄州立大学）
本研究将多模态指令层级对齐视为推理问题，用基于规则的奖励强化学习训练VLM，发现混合模态监督最佳，能提升跨模态及智能体场景下的鲁棒性并泛化到真实任务。
2026-09-22 cs.CL cs.CV cs.LG
MaVEn: An Effective Multi-granularity Hybrid Visual Encoding Framework for Multimodal Large Language Model
National Engineering Research Center for Software Engineering, Peking University（北京大学国家软件工程研究中心）；Alibaba Group（阿里巴巴集团）
本文提出MaVEn多粒度视觉编码框架，结合离散视觉符号与连续表示序列并引入动态缩减机制，有效提升了多模态大语言模型在多图像及单图像场景下的推理与理解能力。
2024-08-26 cs.CL cs.CV cs.MM
ViSTA: Visual Storytelling using Multi-modal Adapters for Text-to-Image Diffusion Models
Department of Computer Science, Georgetown University（计算机科学系，乔治城大学）
ViSTA通过多模态历史适配器提升文本到图像扩散模型在视觉叙事中的生成一致性与文本对齐能力。
2026-01-15 cs.CV
MAViS: A Multi-Agent Framework for Long-Sequence Video Storytelling
Virginia Tech（弗吉尼亚理工大学）；Nanyang Technological University（南洋理工大学）；Eyeline Studios（Eyeline工作室）
MAViS通过多智能体协作框架提升长序列视频生成的辅助能力、视觉质量和表达性，支持多模态输出。
2026-01-24 cs.AI cs.CV cs.MA
Openstory++: A Large-scale Dataset and Benchmark for Instance-aware Open-domain Visual Storytelling
South China University of Technology（华南理工大学）；Westlake University（西湖大学）；Foundation Model Research Center, CASIA（中国科学院自动化研究所基础模型研究中心）；OPPO US Research Center（OPPO美国研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出 Openstory++ 大规模数据集与 Cohere-Bench 基准，通过实例级标注和实体中心训练方法，解决长上下文下多图像实例一致性问题，显著提升开放域视觉叙事生成能力。
2024-08-07 cs.CV
Aether Weaver: Multimodal Affective Narrative Co-Generation with Dynamic Scene Graphs
Aether Weaver提出集成式多模态协同生成框架，通过大型语言模型与动态场景图管理，同步生成文本、视觉与音景，显著提升叙事深度、视觉保真度和情感共鸣。
2025-08-05 cs.CV
Character-Centered Dialogue Generation from Scene-Level Prompts
University of Maryland at College Park, United States（马里兰大学学院市分校，美国）
本研究提出了一种模块化流程，将动作级提示转化为视觉和听觉上一致的对话，丰富了基于场景的故事叙述。通过预训练的视觉-语言编码器提取高级视觉语义，并结合结构化提示引导大型语言模型生成对话。引入递归叙述银行以保持跨场景的上下文和情感一致性，最终生成具有表现力的角色条件语音，产生完整的视听叙事。
2026-05-19 cs.CV
Improving Classification Rate of Schizophrenia Using a Multimodal Multi-Layer Perceptron Model with Structural and Functional MR
The University of New Mexico（新墨西哥大学）；The Mind Research Network（思维研究网络）
各种各样的脑成像技术使我们能够利用不同数据形式所固有的信息。多模态数据集的丰富性可以提高预测能力，并揭示潜在变量，否则将不会被发现。然而，多模态数据的分析通常是通过假设线性相互作用来进行的，这会影响结果的准确性。我们建议使用多模态多层感知器模型，以提高结构和功能磁共振成像（sMRI和fMRI）相结合的预测能力。我们还使用了一个合成数据生成器来预训练每个模态输入层，减轻了小样本量的影响，这通常是脑成像模态的情况。该模型将ROC曲线下面积的平均值和不确定性提高到0.850 ± 0.051，而单个模态的最佳结果为0.741 ± 0.075（sMRI）和0.833 ± 0.050（fMRI）。
2018-04-04 cs.CV
Synopses of Movie Narratives: a Video-Language Dataset for Story Understanding
Nanyang Technological University（南洋理工大学）；University of Virginia（弗吉尼亚大学）
针对故事理解研究不足的问题，作者构建并发布了包含5,193个视频摘要、总时长869小时的视频-语言数据集SyMoN，并建立视频-文本检索与零样本对齐基准，揭示了领域内数据与长期记忆的重要性。
2023-04-05 cs.CL cs.CV cs.LG
Storybooth: Training-free Multi-Subject Consistency for Improved Visual Storytelling
Meta GenAI；Australian National University（澳大利亚国立大学）
本文提出无需训练的StoryBooth方法，通过有界跨帧自注意力和token合并层解决多角色生成中的自注意力泄漏问题，提升多主体及细粒度一致性。
2025-04-08 cs.CV cs.LG cs.MM
M$^{2}$Chat: Empowering VLM for Multimodal LLM Interleaved Text-Image Generation
The Hong Kong University of Science and Technology（香港科学与技术大学）；Waseda University（早稻田大学）；Peking University（北京大学）
提出M$^{2}$Chat统一多模态LLM框架，通过M$^{3}$Adapter融合视觉与语义特征并采用门控策略及两阶段微调，实现高质量交错文本-图像生成，超越现有基准。
2025-08-07 cs.CV
Fuse after Align: Improving Face-Voice Association Learning via Multimodal Encoder
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯AI实验室）
针对现有语音-人脸关联学习方法信息利用不足的问题，提出无监督下的新型框架，在对比学习后用多模态编码器以二分类学习嵌入隐含信息，结合有效样本对选择方法，在匹配、验证、检索任务上均达当前最优水平。
2024-04-15 cs.CV
Improving Multimodal Learning via Imbalanced Learning
University of Electronic Science and Technology of China（电子科技大学）；National and Local Joint Engineering Research Center for Cloud Operating System（云计算操作系统国家级地方联合工程研究中心）
本文提出非对称表示学习（ARL）策略，通过基于单模态方差和偏差的不平衡优化重新加权各模态，在不增加参数且不依赖模型结构的情况下提升多模态学习性能。
2025-07-21 cs.CV
From Unimodal to Multimodal: improving sEMG-Based Pattern Recognition via deep generative models
School of Design Arts and Media, Nanjing University of Science and Technology（南京理工大学设计艺术与传媒学院）
本文提出利用深度生成模型从前臂sEMG信号生成虚拟IMU信号，并与sEMG信号共同输入多模态CNN进行手势识别，在六个数据库上验证其准确率显著优于单模态sEMG方法，且接近真实多模态性能，从而在不增加硬件成本的情况下弥合单模态与多模态HGR的差距。
2023-09-18 cs.CV
Point-RFT: Improving Multimodal Reasoning with Visually Grounded Reinforcement Finetuning
Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft（微软公司）
Point-RFT提出视觉接地思维链与两阶段微调，在ChartQA上准确率达90.04%，超越纯文本CoT，并展现出跨基准的强泛化能力。
2025-05-26 cs.CV
Improving Multimodal Sentiment Analysis via Modality Optimization and Dynamic Primary Modality Selection
本文提出MODS框架，通过动态主模态选择和模态优化提升多模态情感分析性能，有效平衡模态贡献并消除冗余噪声。
2026-04-01 cs.CV
Improving Generalizability and Undetectability for Targeted Adversarial Attacks on Multimodal Pre-trained Models
Southeast University（东南大学）；Johns Hopkins University（约翰霍普金斯大学）；Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）；University of Melbourne（墨尔本大学）
针对多模态预训练模型定向攻击泛化性和不可检测性不足的问题，提出代理定向攻击（PTA）方法，利用多模态代理优化对抗样本，兼顾高成功率与规避检测。
2026-09-09 cs.CV
Improving Multimodal Hateful Meme Detection Exploiting LMM-Generated Knowledge
CERTH-ITI
针对仇恨meme检测这一需理解图像与文本复杂交互的多模态任务，提出从提取任务知识构建meme表示、引入硬挖掘方法两方面利用LMM，在两个数据集上取得最先进性能，代码和模型已公开。
2025-04-14 cs.CV
Improving Multimodal Distillation for 3D Semantic Segmentation under Domain Shift
CNRS, IRISA, Univ. Bretagne Sud（CNRS、IRISA、布列塔尼大学）；LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM、巴黎理工学院、古斯塔夫·埃菲尔大学、CNRS）
本研究提出改进多模态蒸馏方法，通过冻结预训练主干网络并训练MLP头，提升激光雷达语义分割在域移位下的性能。
2025-11-21 cs.CV
Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出 VCoT 方法，通过视觉-语言 grounding 与思维链提示递归生成多模态填充内容，以弥合序列数据中的逻辑缺口，并在 Visual Storytelling 和 WikiHow 数据集上验证其优于思维链基线的数据增强效果。
2024-01-23 cs.CL cs.CV
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University（哥伦比亚大学）
最近，自监督学习在各种机器学习任务中出现了爆炸性增长和使用，因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献，并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成，跨模态预训练，循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
UniRL: Self-Improving Unified Multimodal Models via Supervised and Reinforcement Learning
Show Lab, National University of Singapore（1 显示实验室，新加坡国立大学）；ByteDance（2 字节跳动）
本文提出自我改进的后训练方法 UniRL，利用模型自生成的图像作为训练数据，结合 SFT 和 GRPO 优化统一多模态模型，无需外部数据即可同时提升生成与理解任务的性能并减少两者间的不平衡。
2025-05-29 cs.CV
Docopilot: Improving Multimodal Models for Document-Level Understanding
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Nanjing University（南京大学）；Nankai University（南开大学）；Fudan University（复旦大学）；Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
针对多页文档理解不足及RAG方法缺陷，本文提出Doc-750K数据集并开发原生多模态模型Docopilot，在不依赖检索的情况下实现更优的文档级理解性能。
2025-07-19 cs.CL cs.CV
Improving Multimodal Large Language Models Using Continual Learning
University of Rochester（罗切斯特大学）；Rochester Institute of Technology（罗切斯特理工学院）
本研究将视觉模型集成至LLM视为持续学习问题，评估五种方法缓解遗忘，提出在保持多模态准确率的同时将语言性能退化降低高达15%的技术。
2025-08-13 cs.CL cs.CV cs.LG
Evaluating and Improving Factuality in Multimodal Abstractive Summarization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
目前用于评估抽象文档摘要的真实性的度量已经与人类判断实现了高度相关性，但是它们不考虑视觉模态，因此不足以用于视觉和语言摘要。我们提出了CLIPBERTScore，CLIPScore和BERTScore的简单加权组合，分别利用图像摘要和文档摘要之间的鲁棒性和强真实性检测性能。接下来，由于缺乏元评估基准来评估多模态真实性指标的质量，我们收集了人类对文档和图像真实性的判断。我们表明，这种简单的组合中的两个指标的zero-shot设置实现了更高的相关性比现有的真实性指标的文档摘要，优于现有的多模态摘要指标，并执行竞争力强的多模态真实性指标专门微调的任务。我们的全面分析表明，CLIPBERTScore及其组件在四个真实性度量评估基准上具有鲁棒性和高度相关性。最后，我们展示了我们的CLIPBERTScore度量的两个实际下游应用：用于选择在训练过程中关注的重要图像，以及作为强化学习的奖励，以提高多模态摘要生成的真实性。我们的数据和代码可在https://github.com/meetdavidwan/faithful-multimodal-summ上公开获取
2022-11-04 cs.AI cs.CL cs.CV
Hierarchical Knowledge Graphs for Story Understanding in Visual Narratives
Yale University（耶鲁大学）
该研究提出分层知识图谱框架，通过面板、事件、宏观事件三层符号图建模视觉叙事内容，在Manga109子集上支持四项可解释推理任务，强调建模透明度，为叙事分析及相关应用奠定基础。
2025-11-15 cs.AI cs.CV cs.MM
