Progressive Multi-granular Alignments for Grounded Reasoning in Large Vision-Language Models
Posts and Telecommunications Institute of Technology(邮电技术学院);University of Arkansas(阿肯色大学)
本文提出渐进式多粒度视觉-语言对齐框架PromViL,通过构建从简单到复杂的多模态层次结构并逐步对齐文本与视觉区域,利用低层上下文指导高层推理,显著提升了大型视觉-语言模型在视觉基础和组合问答任务上的表现。
2024-12-19 cs.CL cs.CV cs.LG
Fine-Grained Alignment in Vision-and-Language Navigation through Bayesian Optimization
University of Liverpool(利物浦大学);South China University of Technology(华南理工大学);National Tsing Hua University(国立清华大学)
针对视觉-语言导航(VLN)任务中现有方法处理细粒度视觉负样本的不足,本文提出基于贝叶斯优化的对抗优化框架生成细粒度对比视觉样本,提升跨模态嵌入效果,在R2R和REVERIE基准上验证了其导航性能提升。
2024-11-30 cs.CL cs.CV cs.LG
Unraveling and Mitigating Safety Alignment Degradation of Vision-Language Models
University of California, Davis(加利福尼亚大学戴维斯分校);AWS AI Labs(亚马逊云科技人工智能实验室)
研究视觉语言模型因引入视觉模态导致的安全对齐退化问题,提出推理时干预方法CMRM,无需额外训练即可将LLaVA-7B不安全率从61.53%降至3.15%,同时保持模型功能。
2024-10-11 cs.AI cs.CL cs.LG
Cross-Modal Safety Mechanism Transfer in Large Vision-Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Inc.(华为公司)
针对LVLMs视觉-语言对齐未能迁移文本安全机制的问题,提出文本引导对齐方法TGA,通过检索相关文本引导视觉投影至隐藏状态空间,实现安全迁移且保持视觉任务性能。
2025-02-28 cs.AI cs.CL cs.CV
Feedback-Driven Vision-Language Alignment with Minimal Human Supervision
Amazon(亚马逊)
针对视觉-语言模型依赖大量高质量图文训练数据的问题,提出无需人工图文对和偏好标注的SVP框架,通过少量筛选图像、自动字幕和预训练grounding模型反馈增强对齐,在多任务上实现显著性能提升。
2025-05-19 cs.AI cs.CL cs.CV
Cross-modal Attention Congruence Regularization for Vision-Language Relation Alignment
Carnegie Mellon University(卡内基梅隆大学)
本文提出跨模态注意力一致性正则化(CACR),通过强制视觉与语言注意力矩阵在跨模态基变换下保持一致,实现关系级对齐,并在Winoground基准上超越现有方法。
2023-07-04 cs.CL cs.CV cs.LG
When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models
该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态,发现安全对齐未抑制感知接地,抑制拒绝相关表征可恢复接地回答,揭示了其一种新的失败模式。
2026-08-20 cs.CL cs.CV
VoT: Vision-of-Thought for Unified Multimodal Representation Alignment
ByteDance Seed(字节跳动Seed)
本文提出VoT框架,在视觉语言模型和扩散变换器间引入离散视觉思维层,通过闭环目标训练分词器,生成高层视觉计划标记,以改善文本到图像生成的语义对齐和可控性。
2026-09-09 cs.AI cs.CL cs.CV
Seeing Through Conflicts: Improving Instruction Hierarchy Alignment in Vision-Language Models
The Ohio State University(俄亥俄州立大学)
本研究将多模态指令层级对齐视为推理问题,用基于规则的奖励强化学习训练VLM,发现混合模态监督最佳,能提升跨模态及智能体场景下的鲁棒性并泛化到真实任务。
2026-09-22 cs.CL cs.CV cs.LG
Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts
ByteDance(字节跳动)
视觉语言预训练中的大多数现有方法依赖于通过目标检测提取的以对象为中心的特征,并在提取的特征和文本之间进行细粒度的对齐。这些方法学习多个对象之间的关系是具有挑战性的。为此,我们提出了一种称为X-VLM的新方法来执行多粒度视觉语言预训练。学习多粒度对齐的关键是在给定相关文本的情况下在图像中定位视觉概念,同时将文本与视觉概念对齐,其中对齐是多粒度的。实验结果表明,X-VLM有效地利用学习到的多粒度对齐到许多下游视觉语言任务,并始终优于最先进的方法。
2022-06-01 cs.CL cs.CV
SPA-VL: A Comprehensive Safety Preference Alignment Dataset for Vision Language Model
University of Science and Technology of China(中国科学技术大学);Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对视觉语言模型安全对齐研究不足、缺乏高质量大规模数据集的问题,提出覆盖多类有害场景、含十万余样本的自动化构建偏好数据集SPA-VL,可有效提升模型对齐后的无害性与有用性。
2025-05-21 cs.AI cs.CL cs.CV
ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Hefei University of Technology(合肥工业大学)
视觉和语言预训练(VLP)旨在从大量图像-文本对中学习通用的多模态表示。虽然已经提出了各种成功的尝试,学习图像-文本对之间的细粒度语义对齐在他们的方法中起着关键作用。然而,大多数现有的VLP方法没有充分利用图像-文本对中的固有知识,这限制了学习对齐的有效性,并进一步限制了其模型的性能。为此,我们引入了一种新的VLP方法称为ROSITA,它集成了跨模态和模态内的知识在一个统一的场景图,以提高语义对齐。具体来说,我们引入了一种新的结构知识掩蔽(SKM)策略,使用场景图结构作为先验进行掩蔽语言(区域)建模,通过消除模态内和跨模态的干扰信息来增强语义对齐。广泛的消融研究和综合分析验证了ROSITA在语义对齐中的有效性。ROSITA使用域内和域外数据集进行预训练,在六个基准数据集上,在三个典型的视觉和语言任务上显著优于现有的最先进的VLP方法。
2021-08-16 cs.CL cs.CV
Seeing Through Words, Speaking Through Pixels: Deep Representational Alignment Between Vision and Language Models
Department of Cognitive Science University of California, San Diego(认知科学系,加州大学圣地亚哥分校)
本研究系统探究视觉与语言单模态模型表征对齐的机制,发现对齐在中间层达峰、依赖语义而非外观,并能在多对多场景中反映人类偏好,且实例聚合可增强对齐。
2025-09-25 cs.AI cs.CL cs.CV
Distributionally Robust Alignment for Medical Federated Vision-Language Pre-training Under Data Heterogeneity
University of Michigan(密歇根大学)
针对医学联邦视觉-语言预训练中客户端数据异质性导致跨模态对齐有偏的问题,本文提出FedDRA框架,通过分布鲁棒优化、全局锚表示引导和两阶段训练实现鲁棒对齐,并在真实数据集上验证了其有效性。
2024-11-21 cs.CL cs.CV cs.LG
Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis
Information and Communication Technologies, Electronics and Applied Mathematics (ICTEAM)(信息、通信技术、电子与应用数学研究所(ICTEAM));UCLouvain(天主教鲁汶大学);Service de chirurgie orthopédique et traumatologie, cliniques universitaires Saint-Luc(圣卢克大学医院骨科与创伤外科);Institut de Recherche Expérimentale et Clinique (IREC)(实验与临床研究所(IREC))
本研究利用医院的骨骼X射线与法语报告配对数据,通过自监督视觉-语言对齐预训练深度模型,在骨关节炎量化等多类下游任务上取得了媲美高标注成本方法的性能,为医疗视觉模型部署提供支持。
2024-05-14 cs.AI cs.CL cs.CV
Layer-wise Alignment: Examining Safety Alignment Across Image Encoder Layers in Vision Language Models
本文发现视觉语言模型中图像编码器提前退出会加剧有害输出,并提出逐层PPO算法进行多模态RLHF,在三个数据集上有效降低有害性。
2025-06-19 cs.CL cs.CV
Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment
Meta AI;Columbia University(哥伦比亚大学)
近年来,视觉和语言(V+L)预训练模型在各种多模态基准测试中取得了巨大的成功。然而,大多数现有的模型需要在大量的并行图像-文本数据集上进行预训练,与仅图像或仅文本数据相比,这是昂贵的。在本文中,我们探索了无监督的视觉和语言预训练(UVLP),以从非并行图像和文本数据集中学习跨模态表示。我们发现了两个关键因素,可以在没有并行数据的情况下实现良好的无监督V+L预训练:(i)联合图像和文本输入(ii)整体图文对齐(即使是非并行数据)。因此,我们提出了一种新的无监督V+L预训练课程,用于非平行文本和图像。我们首先通过基于检索的方法构建一个弱对齐的图像-文本语料库,然后应用一组多粒度对齐预训练任务,包括区域到标签,区域到短语和图像到句子对齐,以弥合这两种模式之间的差距。全面的消融研究表明,每个粒度都有助于学习更强大的预训练模型。我们将预先训练的模型适应一组V+L下游任务,包括VQA、NLVR 2、Visual Entailment和RefCOCO+。我们的模型在无监督的环境下实现了所有这些任务的最先进的性能。
2022-03-01 cs.AI cs.CL cs.CV
DELAN: Dual-Level Alignment for Vision-and-Language Navigation by Cross-Modal Contrastive Learning
School of Data Science, Fudan University(复旦大学数据科学学院);Alibaba Group(阿里巴巴集团);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
DELAN框架通过跨模态对比学习在融合前对指令-历史与地标-观察进行双层对齐,增强跨模态交互与决策,并可无缝集成到现有模型中,在多个VLN基准上提升导航性能。
2024-04-02 cs.CL cs.CV cs.LG
Probing the Limits of Stylistic Alignment in Vision-Language Models
Imperial College London(伦敦帝国学院);Apta AI
本研究针对视觉-语言模型零样本风格对齐困难、偏好数据成本高的问题,探究小型模型对齐幽默与浪漫风格的数据效率,明确其性能极限与风格饱和所需最少数据量,基准测试模型的能力与局限。
2025-09-29 cs.AI cs.CL
Towards Clinically Faithful Medical Image Captioning via Enhanced Vision-Language Alignment
Chung-Ang University(中央大学)
本研究针对医学图像描述生成的临床可信性问题,提出分离训练与推理对齐的框架,结合多编码器、辅助学习及MedPAIR-SCST方法,通过选择与强化学习对齐提升临床一致性,在数据受限场景下改善医学图像描述的可信度。
2026-08-21 cs.CL cs.CV
Improving Cross-modal Alignment for Text-Guided Image Inpainting
Australian AI Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
文本引导的图像修补(TGII)旨在根据受损图像中给定的文本恢复丢失的区域。现有的方法是基于一个强大的视觉编码器和跨模态融合模型来整合跨模态特征。然而,这些方法将大部分计算分配给视觉编码,而在建模模态交互上的计算较少。此外,它们对深度特征进行了跨模态融合,忽略了文本和图像之间的细粒度对齐。最近,视觉语言预训练模型(VLPM)封装了丰富的跨模态对齐知识,在大多数多模态任务中取得了进展。在这项工作中,我们提出了一种新的模型TGII通过改进交叉模态对齐(CMA)。CMA模型由VLPM作为视觉语言编码器、图像生成器和全局-局部判别器组成。为了探索用于图像复原的跨模态对齐知识,我们引入了跨模态对齐蒸馏和样本内分布蒸馏。此外,我们采用对抗训练来增强模型,以有效地填充复杂结构中的缺失区域。实验在两个流行的视觉语言数据集上进行。结果表明,我们的模型实现了国家的最先进的性能相比,其他强大的竞争对手。
2023-01-26 cs.CL cs.CV
Large Vision-Language Model Alignment and Misalignment: A Survey Through the Lens of Explainability
Northwestern University(西北大学);New Jersey Institute of Technology(新泽西理工学院);University of Bristol(布里斯托大学);Cisco Research(思科研究);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文从可解释性视角系统综述了大型视觉-语言模型的对齐与失齐问题,分析对象、属性、关系三层失齐现象及其数据、模型、推理层面的成因,并梳理参数冻结与参数微调两类缓解策略,指出未来需建立标准化评估协议和深化可解释性研究。
2025-09-23 cs.CL cs.CV
Weak Supervision helps Emergence of Word-Object Alignment and improves Vision-Language Tasks
Université de Lyon(里昂大学);INSA-Lyon(里昂国立应用科学学院);Orange Labs(Orange实验室)
自注意(即Transformer模型)和BERT类训练原则的大量采用最近导致了大量视觉和语言问题(例如视觉问答(VQA),图像检索等)的高性能模型。在本文中,我们声称,这些国家的最先进的(SOTA)的方法执行合理的结构信息内的一个单一的模态,但尽管他们令人印象深刻的表现,他们往往难以识别细粒度的模态间的关系。事实上,这种关系经常被认为是在训练过程中从特定于应用的损失中隐式学习的,主要是分类的交叉熵。虽然最近的工作通过交叉注意模块为模态间关系提供了归纳偏差,但在这项工作中,我们证明了(1)后一个假设不成立,即模态对齐不一定会自动出现,以及(2)对视觉对象和单词之间的对齐添加弱监督可以提高学习模型在需要推理的任务上的质量。特别是,我们集成了SOTA视觉语言推理模型的对象词对齐损失,并评估它的两个任务VQA和图像驱动的比较。我们表明,建议细粒度的跨模态监督显着提高性能的两项任务。特别是,这个新的学习信号允许在GQA数据集(VQA任务)上获得SOTA级别的性能,而无需对任务进行微调,以及在NLVR 2数据集上获得新的SOTA(图像驱动的图像比较)。最后,我们还通过可视化注意力分布来说明贡献对模型推理的影响。
2019-12-06 cs.CL cs.CV cs.LG
Coarse-to-Fine Covid-19 Segmentation via Vision-Language Alignment
Xiamen University(厦门大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);BUPT(北京邮电大学);University of Hull(赫尔大学);CAS(中国科学院);Hong Kong COCHE(香港COCHE)
COVID-19病变的分割可以帮助医生更好地诊断和治疗COVID-19。然而,由于COVID-19数据集缺乏详细的信息和高质量的注释,相关研究很少。为了解决上述问题,我们提出了C2FVL,一个粗到精分割框架,通过视觉语言对齐合并包含病变数量和图像信息的特定位置的文本信息。文本信息的引入使网络能够在具有挑战性的数据集上实现更好的预测结果。我们在两个COVID-19数据集上进行了广泛的实验,包括胸部X射线和CT,结果表明,我们提出的方法优于其他最先进的分割方法。
2023-03-01 cs.CL cs.CV cs.IR
MSR-Align: Policy-Grounded Multimodal Alignment for Safety-Aware Reasoning in Vision-Language Models
Future Lab, Alibaba Group(阿里巴巴集团未来实验室)
针对现有VLM安全对齐方法及数据集的不足,本研究提出高质量多模态安全推理数据集MSR-Align,实验证明其微调可提升VLM抗越狱鲁棒性且保留推理性能。
2025-10-21 cs.CL cs.CV
PromptSync: Bridging Domain Gaps in Vision-Language Models through Class-Aware Prototype Alignment and Discrimination
Glance AI(格朗斯人工智能公司)
针对视觉-语言模型测试时提示调优忽略类别分布不平衡的问题,提出PromptSync方法,通过类别感知原型对齐与对比学习原型判别同步双分支提示,在领域泛化基准上取得更优性能。
2024-04-12 cs.CL cs.CV
CPLIP: Zero-Shot Learning for Histopathology with Comprehensive Vision-Language Alignment
Khalifa University of Science and Technology(哈利法科技大学);Information Technology University of the Punjab(旁遮普信息技术大学)
CPLIP通过构建病理学词典、生成图像文本描述并进行多对多对比学习,实现组织病理学图像与文本的无监督全面对齐,在零样本分类和分割任务中显著提升了可解释性与鲁棒性。
2024-06-07 cs.CL cs.CV cs.LG
AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models
Tsinghua University(清华大学);Zhipu AI(智谱AI);Peking University(北京大学)
本文提出首个面向中文视觉语境的多模态对齐基准AlignMMBench,包含13项任务和4978个问答对,并开发了超越GPT-4的评估器CritiqueVLM及对齐分数指标,系统评估了代表性VLM的对齐能力。
2025-06-04 cs.CL cs.CV
Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment
Aalto University(阿alto大学)
构建IKEA-Bench基准,评估19个视觉-语言模型在装配图与视频帧对齐任务上的表现,发现视觉编码是提升跨描绘鲁棒性的关键瓶颈。
2026-05-27 cs.CL cs.CV
ZALM3: Zero-Shot Enhancement of Vision-Language Alignment via In-Context Information in Multi-Turn Multimodal Medical Dialogue
PAII Inc.(PAII公司);Ping An Technology(平安科技);Ping An Healthcare and Technology Company Limited(平安医疗健康科技有限公司);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tianjin University(天津大学)
针对在线医疗咨询中患者手机拍摄图像质量差导致视觉-语言对齐下降的问题,提出ZALM3零样本策略,利用前文文本关键词和视觉定位提取感兴趣区域优化对齐,还设计了新评估指标,在三个临床科室实验中验证了有效性。
2024-10-29 cs.CL cs.CV
Exploring Alignment in Shared Cross-lingual Spaces
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所、哈马德·本·哈利法大学)
本研究通过聚类方法分析多语言模型潜在空间中的概念对齐与重叠,提出CA和CO指标,发现深层网络和微调增强跨语言对齐,并解释零样本能力来源。
2024-05-23 cs.AI cs.CL
Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects
International Digital Economy Academy(国际数字经济学院);Southern University of Science and Technology(南方科技大学);South China University of Technology(华南理工大学)
针对大视觉语言模型缺乏细粒度视觉对象检测易产生幻觉的问题,提出Lyrics多模态预训练与指令微调范式,通过语义感知视觉特征等方法提升细粒度对齐与理解能力,在多个数据集和基准上表现优异。
2024-04-12 cs.CL
Decoupled Proxy Alignment: Mitigating Language Prior Conflict for Multimodal Alignment in MLLM
Fudan University(复旦大学)
本文针对多模态大语言模型中的语言先验冲突问题,提出 Decoupled Proxy Alignment(DPA)方法,通过代理 LLM 解耦对齐过程并结合视觉相关性动态调整损失,显著提升了视觉-语言对齐性能与泛化能力。
2025-09-18 cs.CL
Computational Lesions in Multilingual Language Models Separate Shared and Language-specific Brain Alignment
The University of Manchester(曼彻斯特大学);City University of Hong Kong(香港城市大学);The Hong Kong Polytechnic University(香港理工大学);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Johns Hopkins University(约翰霍普金斯大学)
研究通过多语言大语言模型创建计算病变,揭示语言处理的共享与特定机制,发现共享核心减少整体脑编码相关性,而语言特定病变保持跨语言分离但削弱匹配母语的脑预测性。
2026-04-12 cs.AI cs.CE cs.CL
Overview of SHROOM-Visions 2026: A Shared Task on Hallucination Detection in Large Vision-Language Models
University of Helsinki(赫尔辛基大学);Politecnico di Torino(都灵理工大学);Université Bretagne Sud(南布列塔尼大学);University of Copenhagen(哥本哈根大学);University Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University of Lorraine(洛林大学)
本文介绍了2026年在EMNLP 2026同期举办的SHROOM-Visions共享任务,该任务针对大型视觉语言模型的幻觉检测,依托SHEEP数据集开展,吸引27支团队提交600余个系统,最优系统较基线提升30-40个百分点。
2026-08-31 cs.CL