多模态大模型

VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation

VAD：为多模态在线策略蒸馏中的目标重建归因视觉证据

Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xiaohongshu Inc.（小红书公司） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Southeast University（东南大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 该研究提出视觉归因蒸馏（VAD）算法，通过反事实目标重建分离教师校正中的视觉证据分量，在6个4B/9B规模的细粒度视觉基准上，性能优于现有蒸馏方法。

Comments The project is accessible at https://github.com/DeepExperience/VAD_Multimodal_OPD

Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment

停止思考，开始观察：通过无推理对齐实现多模态文档问答的高效训练后优化

Harikrishnan P M, Goutham Vignesh, Ganesh Parab, Saisubramaniam Gopalakrishnan, Vishal Vaddina, Varun V, Rohit Agrawal

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态文档问答中高效训练后优化问题，提出感知 - RFT 框架，用组相对策略优化绕过推理令牌直接对齐视觉与基础输出，通过构建变体评估推理必要性，发现启用推理模型有优势，还识别基础差异，表明早期转换可减少训练数据并保持精度。

Comments Accepted at ICML 2026, Workshop on Efficient Multimodal Question Answering (EMM-QA)

Do Understanding and Generation Fight? A Diagnostic Study of DPO for Unified Multimodal Models

理解与生成相冲突吗？统一多模态模型DPO的诊断研究

Abinav Rao, Sujan Rachuri

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 通过系统实验发现，在统一多模态模型上应用DPO时，生成质量难以对齐，主要原因是理解和生成梯度近乎正交且存在11-14倍的幅度不平衡，源于VQ token数量不对称。

Comments Experiments are inconclusive: The claim that architectures such as Chameleon or Emu would exhibit stronger gradient conflict is not supported by experiments or analysis, and all experiments are conducted on Janus-Pro without evaluation on other unified multimodal architectures

Modality-Agnostic Input Channels Enable Segmentation of Brain lesions in Multimodal MRI with Sequences Unavailable During Training

Anthony P. Addison, Felix Wagner, Wentian Xu, Natalie Voets, Konstantinos Kamnitsas

机构 * Department of Engineering Science, University of Oxford, Oxford, UK（工程科学系，牛津大学，牛津，英国） ； Nuffield Department of Clinical Neurosciences, University of Oxford, Oxford, UK（牛津大学临床神经科学系，牛津，英国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to MICCAI 2025, for the following workshop: ML-CDS 2025: Multimodal Learning and Fusion Across Scales for Clinical Decision Support

MQuant: Unleashing the Inference Potential of Multimodal Large Language Models via Full Static Quantization

JiangYong Yu, Sifan Zhou, Dawei Yang, Shuo Wang, Shuoyu Li, Xing Hu, Chen Xu, Zukang Xu, Changyong Shu, Zhihang Yuan

机构 * Southeast University（东南大学） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted by ACM MM 2025. First PTQ solution for Multimodal large language models applicable to 5 mainstream MLLMs

BioFusionNet: Deep Learning-Based Survival Risk Stratification in ER+ Breast Cancer Through Multifeature and Multimodal Data Fusion

Raktim Kumar Mondol, Ewan K. A. Millar, Arcot Sowmya, Erik Meijering

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Keywords: Multimodal Fusion, Breast Cancer, Whole Slide Images, Deep Neural Network, Survival Prediction

Journal ref JBHI, 24 June 2024

M2FNet: Multi-modal Fusion Network for Emotion Recognition in Conversation

Vishal Chudasama, Purbayan Kar, Ashish Gudmalwar, Nirmesh Shah, Pankaj Wasnik, Naoyuki Onoe

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、eess.AS；multimodal(comments)

Comments Accepted for publication in the 5th Multimodal Learning and Applications (MULA) Workshop at CVPR 2022

Deterministic Hallucination Detection in Medical VQA via Confidence-Evidence Bayesian Gain

医学VQA中通过置信度-证据贝叶斯增益实现确定性幻觉检测

Mohammad Asadi, Tahoura Nedaee, Jack W. O'Sullivan, Euan Ashley, Ehsan Adeli

机构 * Department of Electrical Engineering, Stanford University, CA, USA（电气工程系，斯坦福大学） ； Department of Biology, Stanford University, CA, USA（生物学系，斯坦福大学） ； Division of Cardiology, Department of Medicine, Stanford University, CA, USA（心脏病学部，医学系，斯坦福大学） ； Department of Biomedical Data Science, Stanford University, CA, USA（生物医学数据科学系，斯坦福大学） ； Department of Computer Science, Stanford University, CA, USA（计算机科学系，斯坦福大学） ； Department of Psychiatry and Behavioral Sciences, Stanford University, CA, USA（精神病学与行为科学系，斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出CEBaG方法，利用模型自身log概率中的不一致置信度和弱视觉证据敏感性，实现无需随机采样和外部模型的确定性幻觉检测，在医疗MLLM和VQA基准测试中取得最佳AUC表现。

Multilingual and Multimodal LLMs in the Wild: Building for Low-Resource Languages

多语言和多模态大语言模型在野：为低资源语言构建

Firoj Alam, Shammur Absar Chowdhury, Enamul Hoque Prince

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） ； HBKU（哈马德大学） ； York University（约克大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL；multimodal foundation model(comments)

AI总结 本文探讨了在有限数据和计算资源下构建多语言多模态大语言模型的方法，涵盖了低成本数据创建、三模态对齐适配器堆栈以及文化感知评估等核心技术和资源。

Comments Multimodal Foundation Models, Large Language Models, Native, Multilingual, Language Diversity, Low-resources-language

Escaping Plato's Cave: JAM for Aligning Independently Trained Vision and Language Models

走出洞穴：JAM用于对齐独立训练的视觉和语言模型

Lauren Hyoseo Yoon, Yisong Yue, Been Kim

机构 * Computation and Neural Systems（计算与神经系统） ； California Institute of Technology（加利福尼亚理工学院） ； Computation and Mathematical Sciences（计算与数学科学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract,abstract_cn)；cross-modal(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出JAM方法，通过联合训练模态特定的自编码器，优化视觉和语言模型的对齐，提升细粒度上下文区分能力。

Universal Adversarial Attacks against Closed-Source MLLMs via Target-View Routed Meta Optimization

针对闭源多模态大语言模型的通用对抗攻击：通过目标视角路由元优化

Hui Lu, Yi Yu, Yiming Yang, Chenyu Yi, Xueyi Ke, Qixing Zhang, Bingquan Shen, Alex Kot, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore（快速丰富目标搜索实验室，跨学科研究生项目，南洋理工大学，新加坡） ； School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（电气与电子工程学院，南洋理工大学，新加坡） ； College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） ； DSO National Laboratories, Singapore（新加坡国防科学实验室） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出MCRMO-Attack，通过多作物聚合与注意力引导裁剪稳定监督，通过对齐性门控令牌路由提升token级可靠性，并元学习跨目标扰动先验，从而在商业MLLM上提升未见图像攻击成功率。

Comments This work has been submitted to the IEEE for possible publication

Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment

Mingyang Zhou, Licheng Yu, Amanpreet Singh, Mengjiao Wang, Zhou Yu, Ning Zhang

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments First two authors contributed equally. 13 pages, 11 figures

GROUNDHOG: Grounding Large Language Models to Holistic Segmentation

Yichi Zhang, Ziqiao Ma, Xiaofeng Gao, Suhaila Shakiah, Qiaozi Gao, Joyce Chai

专题命中 多模态训练与对齐 ：MLLM(abstract,comments)；multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Accepted to CVPR 2024. Website: https://groundhog-mllm.github.io/

RIG-RoPE: Relation-Stratified Multimodal Attention with Instance-Local Rotary Geometry and Representation-Aware Traversal Coordinates

RIG-RoPE：具有时长感知时间坐标的关系与实例门控旋转位置编码

Donggen Li

机构 * Sichuan University（四川大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本研究针对多模态场景中静态多维位置分配的局限，提出RIG-RoPE机制，通过关系与实例门控及时长感知时间坐标优化位置编码，未增加可学习参数，确立了相关公式与验证路径。

Comments 26 pages, 2 figures, 4 tables. This revision adds matched, inference-only Qwen2-VL-2B native/RIG L1 mechanism evidence: exact text-only equivalence, exact RIG Gauge invariance, native Gauge sensitivity, and retained same-instance spatial effects. Task-level Qwen benchmarks, training gains, stable task improvement, universality, and empirical superiority remain unestablished

Deep Multimodal Fusion Detection through Spatial Mask and Channel Competition

基于空间掩码与通道融合的深度多模态融合检测

Guandi Wang, Ming Li, Yunsen Xing, Junle Liu

机构 * KTH Royal Institute of Technology（KTH皇家理工学院） ； University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文针对现有多模态融合检测的过拟合问题，提出Attention-Driven Complementarity Resampling框架，通过语义掩码交换与可学习通道竞争实现跨模态目标检测的性能提升，在多数据集上取得了有竞争力的结果。

Last But Not Least: Boundary Attention CalibratiON for Multimodal KV Cache Compression

最后但同样重要：用于多模态KV缓存压缩的边界注意力校准

Tianhao Chen, Yuheng Wu, Kelu Yao, Xiaogang Xu, Xiaobin Hu, Dongman Lee

机构 * KAIST（韩国科学技术院） ； Zhejiang Laboratory（之江实验室） ； The Chinese University of Hong Kong（香港中文大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对多模态大语言模型长视觉上下文中KV缓存压缩导致关键证据丢失的问题，提出BACON方法，通过校准观察窗口注意力与最后查询注意力，并利用层内一致性和层间持久性抑制噪声，在激进压缩下平均提升7.5%性能。

Comments EMNLP 2026 Main Conference

Mitigating Sample-Level Imbalance via Probabilistic Separation for Adaptive Multimodal Fusion

量化多模态不平衡：一种基于GMM的自适应损失用于音频-视觉学习

Zhiwen Yu, Zhaocheng Liu, Xiaoqing Liu, Huanqiang Zeng, C. L. Philip Chen

机构 * South China University of Technology（南方科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 本文提出基于GMM的自适应损失，用于量化和缓解多模态学习中的样本级不平衡问题，通过双阶段框架提升音频-视觉学习性能。

TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming

TLive-Omni：面向电商直播的全模态理解模型

Yibo Hu, Yu Qian, Mao Gu, Yingfan Tao, Yuhao Chen, Yongdong Luo, Zhuoqun Liu, Meiguang Jin, Junfeng Ma

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团） 纠错

专题命中 多模态训练与对齐 ：omni-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出专为电商直播设计的全模态理解模型TLive-Omni，通过引入Per-vGrid等技术，结合多阶段训练流程，在电商直播基准任务上表现强劲且泛化能力出色。

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting

运动即提示：通过运动引导的跨帧视觉提示增强多模态大语言模型的运动推理能力

Xikai Sun, Kebin Liu, Haotian Wang, Li Liu, Xu Wang, Yunhao Liu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对多模态大语言模型处理视频时丢失帧间关键运动信息的问题，提出Motion-as-Prompt框架，通过标记轨迹增强视觉提示，在CLEVRER等数据集上提升GPT-5.5的运动推理准确率且不影响非运动理解

Dual-Domain Cross-Modal Decoding for Clinical Text-Guided Medical Image Segmentation

用于临床文本引导的医学图像分割的双域跨模态解码

Md Maklachur Rahman, Tracy Hammond

机构 * Texas A&M University（德克萨斯农工大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对临床文本引导医学图像分割忽略频率内容的问题，提出双域跨模态解码（DD-CMD）方法，在两个公开数据集上均优于现有最强基线。

Comments Accepted at MICCAI 2026 (Main). Final version to appear in the MICCAI 2026 proceedings

UniMod: Enhancing Multi-Modal Medical Diagnosis through Cross-Modality and Within-Modality Alignment

UniMod：通过跨模态与模态内对齐增强多模态医学诊断

Zijian Gu, Weikai Lin, Shuang Zhou, Zihan Chen, Song Wang

机构 * University of Central Florida（中佛罗里达大学） ； University of Rochester（罗切斯特大学） ； Harvard Medical School（哈佛医学院） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 UniMod框架通过要求各模态独立预测诊断缓解多模态医学诊断的捷径学习，添加跨模态与模态内对齐，在两个数据集上优于基线方法，还可扩展至多标签5分类诊断。

Comments Accepted to ACM Multimedia 2026 (MM '26). 10 pages, 7 figures, 5 tables. Code: https://github.com/futurespyhi/UniMod

Covert Visual Prompt Injection against Commercial Multimodal Large Language Models

对抗性提示注入攻击多模态大语言模型

Meiwen Ding, Song Xia, Chenqi Kong, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院快速丰富目标搜索实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了针对强大闭源多模态大语言模型的不可察觉视觉提示注入攻击，通过界文本叠加嵌入恶意提示并优化视觉扰动，提升攻击性能。

UniSpace: Unified Visual Representation and Scalable Multimodal Modeling

UniSpace：统一视觉表示与可扩展多模态建模

Jinbo Yan, Limeng Qiao, Jie Qin, Junyan He, Feize Wu, Guanglu Wan

机构 * Meituan（美团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出 UniSpace，通过 Patch Reparameterization 改进语义 ViT，构建 80 亿参数的 Transformer 专家混合模型，实现同一视觉空间内的理解、生成与编辑，提升重建效果，支持文本到图像生成和指令式图像编辑。

TGIF: Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs

基于文本引导的层融合缓解多模态大语言模型中的幻觉

Chenchen Lin, Sanbao Su, Rachel Luo, Yuxiao Chen, Yan Wang, Marco Pavone, Fei Miao

机构 * University of Connecticut（康涅狄格大学） ； NVIDIA（NVIDIA公司） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 TGIF通过文本引导的层融合方法，有效缓解多模态大语言模型中的幻觉问题，提升视觉接地能力。

Comments Accepted at COLM 2026

Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes

迈向多模态预训练的物理学：知识流、模态协同、早期统一与方法指南

Junlin Han, Shengbang Tong, David Fan, Minghao Chen, Philip Torr, Filippos Kokkinos, Mike Lewis

机构 * FAIR, Meta（Meta FAIR研究院） ； Reality Labs, Meta（Meta Reality Labs） ； University of Oxford（牛津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 该研究探索多模态预训练的机制，得出知识流、模态协同等四个关键见解，推导高效预训练方法，为多模态预训练的理解与扩展提供基础。

Comments Project page: https://junlinhan.github.io/projects/physics_of_mm_pretrain/

OPLD: On-Policy Latent Distillation for Multimodal Reasoning

OPLD：用于多模态推理的在线策略隐层蒸馏

Shoutai Zhu, Tianyang Xu, Bin Sun, Mingyuan Xu, Yu Liu, Qinzhen Guo

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出OPLD框架，将多模态CoT的推理能力迁移至隐层表征，经多模态基准实验，其性能优于现有隐层推理方法，达到当前最优。

Multimodal fusion of visual and morphometric features for avian bone classification

用于鸟类骨骼分类的视觉与形态计量特征多模态融合

Nevio Dubbini, Lisa Yeomans, Marco Pavia, Ramazan Parmaksiz, Ayse Atas Hooglugt, Gabriele Gattiglia, Beatrice Demarchi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出结合卷积神经网络图像分析与骨计量测量的多模态框架，用于鸟类骨骼分类，在骨骼类型分类准确率达86%，科级分类Top-1准确率51%、Top-3准确率75%，为AI辅助动物考古识别建立了方法学基线。

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

解耦视觉处理：通过模态特定Transformer替换实现高效多模态适配

Mingkuan Feng, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型视觉指令微调成本高的问题，提出解耦视觉处理框架，替换预训练大语言模型上层解码器为轻量Transformer块，仅训练该块即可在多个基准上实现竞争力性能，降低了计算成本。

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

多模态分类中用于缺失任意模态的协同学习

Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

机构 * GFZ Helmholtz Center for Geosciences（德国波茨坦地学研究中心亥姆霍兹中心） ； INRAE, UMR TETIS, University of Montpellier（法国蒙彼利埃大学农业环境与生态研究院、蒙彼利埃大学TETIS联合研究单位） ； INRIA, EVERGREEN, University of Montpellier（法国蒙彼利埃大学信息与自动化研究所、EVERGREEN实验室） ； CIRAD, UMR TETIS, University of Montpellier（法国蒙彼利埃大学国际农业研究磋商组织、蒙彼利埃大学TETIS联合研究单位） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态分类中因操作约束导致训练和推理时模态可用性不一致、存在缺失任意模态的问题，提出多模态协同学习框架，引入特征和决策层面利用信息的两种方法，实验证明在不同缺失模态条件下有显著鲁棒性提升。

Comments Accepted at Discovery Science 2026