视觉大模型 / VLM

Dynamic Pyramid Network for Efficient Multimodal Large Language Model

动态金字塔网络用于高效多模态大语言模型

Hao Ai, Kunyi Wang, Zezhou Wang, Hao Lu, Jin Tian, Yaxin Luo, Peng Xing, Jen-Yuan Huang, Huaxia Li, Gen luo

机构 * Beihang University（北航大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； KAUST（卡塔尔大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Technical University Of Denmark（丹麦技术大学） ； Nanjing University of Science and Technology（南京理工大学） ； Peking University（北京大学） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 动态金字塔网络通过分层结构和动态池化专家提升多模态大语言模型的效率与性能。

Understanding Degradation with Vision Language Model

理解视觉退化

Guanzhou Lan, Chenyi Liao, Yuqi Yang, Qianli Ma, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

机构 * School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院、光学与电子学（iOPEN）、西北工业大学） ； Honors College, Northwestern Polytechnical University（荣誉学院、西北工业大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； School of Artificial Intelligence, Shanghai Jiaotong University（人工智能学院、上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出DU-VLM模型，通过结构化奖励强化学习解决视觉退化理解问题，引入大规模数据集并实现高保真图像恢复。

Comments 17 pages

AppleVLM: End-to-end Autonomous Driving with Advanced Perception and Planning-Enhanced Vision-Language Models

AppleVLM: 端到端自主驾驶与高级感知和规划增强的视觉语言模型

Yuxuan Han, Kunyuan Wu, Qianyi Shao, Renxiang Xiao, Zilu Wang, Cansen Jiang, Yi Xiao, Liang Hu, Yunjiang Lou

机构 * Shenzhen Key Lab for Advanced Motion Control and Modern Automation Equipments（深圳先进运动控制系统与现代自动化装备重点实验室） ； Guangdong Provincial Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics（广东省智能变形机制与适应机器人省重点实验室） ； School of Intelligence Science and Engineering（智能科学与工程学院） ； Harbin Institute of Technology（哈尔滨工业大学） ； National Key Laboratory of Smart Farm Technologies and Systems（国家智能农业技术与系统重点实验室） ； Autonomous Driving Center（自动驾驶中心） ； Shanghai Utopilot Technology Co.Ltd.（上海驭目科技有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI

AI总结 AppleVLM通过引入先进的视觉和规划编码器，提升端到端自动驾驶的感知和决策能力，实现复杂环境下的稳健驾驶性能。

Same or Not? Enhancing Visual Perception in Vision-Language Models

相同还是不同？提升视觉语言模型的视觉感知能力

Damiano Marsili, Aditya Mehta, Ryan Y. Lin, Georgia Gkioxari

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 TWIN通过引入大规模图像对数据集提升视觉语言模型的细粒度视觉感知能力，显著提高在艺术、动物等未见领域识别性能。

Comments Project webpage: https://glab-caltech.github.io/twin/

VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models

VEAttack: 面向大视觉语言模型的下游任务无关视觉编码器攻击

Hefei Mei, Zirui Wang, Shen You, Minjing Dong, Chang Xu

机构 * City University of Hong Kong（香港城市大学） ； University of Sydney（悉尼大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 VEAttack是一种针对大视觉语言模型视觉编码器的简单有效攻击方法，通过优化图像令牌降低计算开销，实现对多种下游任务的泛化攻击。

Fine-tuning Pre-trained Vision-Language Models in a Human-Annotation-Free Manner

无需人工标注的预训练视觉-语言模型微调

Qian-Wei Wang, Guanghao Meng, Ren Cai, Yaguang Song, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Institute of Perceptual Intelligence, Peng Cheng Laboratory（感知智能研究院，鹏城实验室） ； Peking University Shenzhen Graduate School, Peking University（北京大学深圳研究生院，北京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 CoFT通过双模型跨模态协作机制和双提示学习策略，在无需人工标注的情况下提升预训练视觉-语言模型的下游任务适应能力。

Learning Domain Knowledge in Multimodal Large Language Models through Reinforcement Fine-Tuning

通过强化微调学习多模态大语言模型中的领域知识

Qinglong Cao, Yuntian Chen, Chao Ma, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Shanghai, China（人工智能大规模并行计算实验室，人工智能研究院，上海交通大学，上海） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文提出通过强化微调框架在优化层面整合领域知识，提升多模态大语言模型在专门领域任务中的性能。

Alignment Drift in Multimodal LLMs: A Two-Phase, Longitudinal Evaluation of Harm Across Eight Model Releases

多模态大语言模型中的对齐漂移：对八个模型版本的双阶段纵向评估

Casey Ford, Madison Van Doren, Emily Dix

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究通过双阶段评估揭示多模态大语言模型在不同模型版本中的安全性和对齐漂移问题，强调了持续多模态基准测试的重要性。

Comments under peer-review

RF-DETR: Neural Architecture Search for Real-Time Detection Transformers

RF-DETR：实时检测Transformer的神经架构搜索

Isaac Robinson, Peter Robicheaux, Matvei Popov, Deva Ramanan, Neehar Peri

机构 * Roboflow ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 RF-DETR通过轻量级检测Transformer和神经架构搜索，在实时检测中实现更高的精度和速度，超越现有方法。

Comments This work has been accepted to the International Conference on Learning Representations (ICLR) 2026. Project Page: https://rfdetr.roboflow.com/

LoVR: A Benchmark for Long Video Retrieval in Multimodal Contexts

LoVR：一种多模态背景下长视频检索的基准

Qifeng Cai, Hao Liang, Zhaoyang Han, Hejun Dong, Meiyi Qiang, Ruichuan An, Quanqing Xu, Bin Cui, Wentao Zhang

机构 * East China Normal University Shanghai China ； Peking University \& Zhongguancun Academy Beijing China ； Huazhong University of Science ； Beihang University Beijing China ； Peking University Beijing China ； East China Normal University ； Peking University \& Zhongguancun Academy ； Beihang University ； Peking University 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 LoVR是一个针对长视频检索的多模态基准，通过高质量标注和细粒度数据提升视频理解挑战。

LEAD: Layer-wise Expert-aligned Decoding for Faithful Radiology Report Generation

LEAD：逐层专家对齐解码以生成准确的放射学报告

Ruixiao Yang, Yuanhe Tian, Xu Yang, Huiqi Li, Yan Song

专题命中 VLM训练与架构 ：vision language model(abstract)

AI总结 LEAD通过逐层专家对齐解码方法，提升放射学报告生成的准确性并减少幻觉。