多模态大模型

Dynamic Pyramid Network for Efficient Multimodal Large Language Model

动态金字塔网络用于高效多模态大语言模型

Hao Ai, Kunyi Wang, Zezhou Wang, Hao Lu, Jin Tian, Yaxin Luo, Peng Xing, Jen-Yuan Huang, Huaxia Li, Gen luo

机构 * Beihang University（北航大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； KAUST（卡塔尔大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Technical University Of Denmark（丹麦技术大学） ； Nanjing University of Science and Technology（南京理工大学） ； Peking University（北京大学） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 动态金字塔网络通过分层结构和动态池化专家提升多模态大语言模型的效率与性能。

Open-Source Multimodal Moxin Models with Moxin-VLM and Moxin-VLA

开源多模态Moxin模型：Moxin-VLM和Moxin-VLA

Pu Zhao, Arash Akbari, Xuan Shen, Zhenglun Kong, Yixin Shen, Sung-En Chang, Timothy Rupprecht, Lei Lu, Enfu Nan, Changdi Yang, Yumei He, Weiyan Shi, Xingchen Xu, Yu Huang, Wei Jiang, Wei Wang, Yue Chen, Yong He, Yanzhi Wang

机构 * Northeastern University（东北大学） ； Harvard University（哈佛大学） ； Cornell University（康奈尔大学） ； Tulane University（路易斯安那州立大学） ； University of Washington（华盛顿大学） ； Futurewei（未来通信） ； AIBAO LLC 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 本文提出开源多模态Moxin模型，通过Moxin-VLM、Moxin-VLA和Moxin-Chinese三种变体，提升视觉-语言、视觉-语言-动作及中文任务的性能。

UniVRSE: Unified Vision-conditioned Response Semantic Entropy for Hallucination Detection in Medical Vision-Language Models

UniVRSE: 统一的视觉条件响应语义熵用于医学视觉语言模型中的幻觉检测

Zehui Liao, Shishuai Hu, Ke Zou, Mengyuan Jin, Yanning Zhang, Huazhu Fu, Liangli Zhen, Yong Xia

机构 * National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science and Engineering, Northwestern Polytechnical University（集成航空航天地面海洋大数据应用技术国家工程实验室，计算机科学与工程学院，西北工业大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 UniVRSE通过统一的视觉条件响应语义熵框架，有效检测医学视觉语言模型中的幻觉，提升临床应用的可靠性。

Comments Under Review. 12 pages, 2 figures

Fine-tuning Pre-trained Vision-Language Models in a Human-Annotation-Free Manner

无需人工标注的预训练视觉-语言模型微调

Qian-Wei Wang, Guanghao Meng, Ren Cai, Yaguang Song, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Institute of Perceptual Intelligence, Peng Cheng Laboratory（感知智能研究院，鹏城实验室） ； Peking University Shenzhen Graduate School, Peking University（北京大学深圳研究生院，北京大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 CoFT通过双模型跨模态协作机制和双提示学习策略，在无需人工标注的情况下提升预训练视觉-语言模型的下游任务适应能力。

Can Vision Replace Text in Working Memory? Evidence from Spatial n-Back in Vision-Language Models

视觉能否取代文本在工作记忆中的作用？来自视觉-语言模型中空间n-Back任务的证据

Sichu Liang, Hongyu Zhu, Wenwen Wang, Deyu Zhou

机构 * Southeast University（东南大学） ； Shanghai Jiao Tong University（上海交通大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 研究通过空间n-Back任务评估视觉-语言模型中视觉与文本对工作记忆的影响，发现文本条件下的表现优于视觉条件，揭示了视觉信息处理中的计算差异。

OCRVerse: Towards Holistic OCR in End-to-End Vision-Language Models

OCRVerse: 向端到端视觉语言模型中的整体OCR迈进

Yufeng Zhong, Lei Chen, Xuanle Zhao, Wenkang Han, Liming Zheng, Jing Huang, Deyang Jiang, Yilin Cao, Lin Ma, Zhixiong Zeng

机构 * Meituan（美团） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 OCRVerse是一种端到端的全面OCR方法，通过多领域训练实现文本和视觉导向OCR的统一，提升跨领域数据处理能力。

Image Corruption-Inspired Membership Inference Attacks against Large Vision-Language Models

基于图像退化启发的对抗大视觉-语言模型的成员推断攻击

Zongyu Wu, Minhua Lin, Zhiwei Zhang, Fali Wang, Xianren Zhang, Xiang Zhang, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出基于图像退化启发的成员推断攻击方法，用于检测目标图像是否被用于训练大视觉-语言模型，通过图像退化和文本嵌入相似性进行攻击。

Comments Accepted by EACL 2026

VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models

VEAttack: 面向大视觉语言模型的下游任务无关视觉编码器攻击

Hefei Mei, Zirui Wang, Shen You, Minjing Dong, Chang Xu

机构 * City University of Hong Kong（香港城市大学） ； University of Sydney（悉尼大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 VEAttack是一种针对大视觉语言模型视觉编码器的简单有效攻击方法，通过优化图像令牌降低计算开销，实现对多种下游任务的泛化攻击。

CONRep: Uncertainty-Aware Vision-Language Report Drafting Using Conformal Prediction

CONRep：基于置信预测的不确定性感知视觉-语言报告起草

Danial Elyassirad, Benyamin Gheiji, Mahsa Vatanparast, Amir Mahmoud Ahmadzadeh, Seyed Amir Asef Agah, Mana Moassefi, Meysam Tavakoli, Shahriar Faghani

专题命中 图文多模态 ：image-text(abstract)

AI总结 CONRep通过置信预测为视觉语言模型生成的放射学报告提供不确定性量化，提升自动化报告系统的透明性和临床实用性。

Comments 17 pages, 3 figures, 3 tables