视觉大模型 / VLM

Branch, or Layer? Zeroth-Order Optimization for Continual Learning of Vision-Language Models

分支还是层？零阶优化用于视觉-语言模型的持续学习

Ziwei Liu, Borui Kang, Wei Li, Hangjie Yuan, Yanbing Yang, Wenbin Li, Yifan Zhu, Tao Feng, Jun Luo

专题命中 VLM训练与架构 ：vision-language model(title)；分类 cs.CV

AI总结 本文提出一种基于零阶优化的视觉-语言模型持续学习方法，通过模态感知策略提升模型逃避局部极小值的能力，实验表明在四个基准测试中取得最佳性能。

Comments Published in the Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2026)

Router-Suggest: Dynamic Routing for Multimodal Auto-Completion in Visually-Grounded Dialogs

Router-Suggest: 动态路由用于视觉 grounded 对话中的多模态自动补全

Sandeep Mishra, Devichand Budagam, Anubhab Mandal, Bishal Santra, Pawan Goyal, Manish Gupta

机构 * IIT Kharagpur（印度IIT卡拉格浦大学） ； Microsoft（微软公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 Router-Suggest 通过动态路由选择文本模型和 VLMs，提升多模态对话中的自动补全效率和用户满意度。

Comments Accepted to EACL 2026 Industry Track, 12 pages, 6 figures

e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings

e5-omni: 显式跨模态对齐用于多模态嵌入

Haonan Chen, Sicheng Gao, Radu Timofte, Tetsuya Sakai, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； University of Würzburg（乌尔姆大学） ； Waseda University（早稻田大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 e5-omni通过显式对齐方法改进多模态嵌入，解决相似性尺度不一致、负样本效果下降和跨模态统计不匹配问题。

Comments https://huggingface.co/Haon-Chen/e5-omni-7B

Multimodal Interpretation of Remote Sensing Images: Dynamic Resolution Input Strategy and Multi-scale Vision-Language Alignment Mechanism

遥感图像的多模态解释：动态分辨率输入策略与多尺度视觉-语言对齐机制

Siyu Zhang, Lianlei Shan, Runhe Qiu

机构 * Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出动态分辨率输入策略与多尺度视觉-语言对齐机制，提升遥感图像多模态解释的准确性和效率。

Video Generation Models Are Good Latent Reward Models

视频生成模型是良好的潜在奖励模型

Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Hunyuan（腾讯文元） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出PRFL框架，利用预训练视频生成模型在噪声潜在空间中进行奖励建模，实现高效去噪和降低训练成本。