视觉大模型 / VLM

Language Integration in Fine-Tuning Multimodal Large Language Models for Image-Based Regression

基于图像回归的多模态大语言模型微调中的语言整合

Roy H. Jennings, Genady Paikin, Roy Shaul, Evgeny Soloveichik

机构 * Samsung Israel R&D Center（三星以色列研发中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出RvTC方法，通过灵活的区间法替代传统词汇受限分类，提升多模态大语言模型在图像回归任务中的性能。

Comments WACV 2026

RMAdapter: Reconstruction-based Multi-Modal Adapter for Vision-Language Models

RMAdapter: 基于重建的多模态适配器用于视觉-语言模型

Xiang Lin, Weixin Li, Shu Guo, Lihong Wang, Di Huang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 RMAdapter通过双分支架构平衡通用与任务特定知识，提升视觉-语言模型在多模态迁移学习中的性能。

Comments Accepted by AAAI 2026(Oral)

Dropout Prompt Learning: Towards Robust and Adaptive Vision-Language Models

Dropout Prompt Learning: 向稳健和适应性强的视觉-语言模型迈进

Biao Chen, Lin Zuo, Mengmeng Jing, Kunbin He, Yuchen Wang

机构 * Biao Chen, Lin Zuo, Mengmeng Jing, Kunbin He, Yuchen Wang（作者） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 Dropout Prompt Learning通过在视觉-语言模型中应用Dropout技术，提升模型的鲁棒性和适应性，实验表明其在低样本学习、长尾分类和分布外泛化等任务中表现优异。

UniME-V2: MLLM-as-a-Judge for Universal Multimodal Embedding Learning

UniME-V2：基于大规模语言模型的通用多模态嵌入学习判别器

Tiancheng Gu, Kaicheng Yang, Kaichen Zhang, Xiang An, Ziyong Feng, Yueyi Zhang, Weidong Cai, Jiankang Deng, Lidong Bing

专题命中 VLM训练与架构 ：MLLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 UniME-V2利用大规模语言模型提升通用多模态嵌入学习的判别能力，通过引入MLLM-as-a-Judge机制和重排序模型实现更高效的负样本挖掘和语义匹配。

Comments AAAI2026 Oral, Webpage:https://garygutc.github.io/UniME-v2/

Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models

释放多模态大语言模型的内在视觉表示能力

Hengzhuang Li, Xinsong Zhang, Qiming Peng, Bin Luo, Han Hu, Dengyang Jiang, Han-Jia Ye, Teng Zhang, Hai Jin

机构 * HUST（华中科技大学） ； Tencent Hunyuan Research（腾讯混元研究） ； HKUST（香港科技大学） ； NJU（南京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LaVer框架，通过掩码图像建模提升多模态大语言模型的视觉表示能力，实验表明其在需要密集视觉能力的场景中表现优异。

uCLIP: Parameter-Efficient Multilingual Extension of Vision-Language Models with Unpaired Data

uCLIP: 无配对数据下多语言视觉语言模型的参数高效扩展

Dahyun Chung, Donghyun Shin, Yujin Sung, Seunggi Moon, Jinwoo Jeon, Byung-Jun Lee

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 uCLIP通过无需配对数据的轻量级框架，在低资源语言中实现高效多语言视觉语言对齐。

Comments Our project page can be found at https://dinyudin203.github.io/uCLIP-project/

UARE: A Unified Vision-Language Model for Image Quality Assessment, Restoration, and Enhancement

UARE：面向图像质量评估、修复和增强的统一视觉-语言模型

Weiqi Li, Xuanyu Zhang, Bin Chen, Jingfen Xie, Yan Wang, Kexin Zhang, Junlin Li, Li Zhang, Jian Zhang, Shijie Zhao

机构 * School of Electronic and Computer Engineering, Peking University, 2 ByteDance Inc（1 电子与计算机工程学院，北京大学，2 字节跳动公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 UARE是首个统一视觉-语言模型，通过统一训练框架提升图像质量评估、修复和增强性能。

Breaking the Modality Barrier: Universal Embedding Learning with Multimodal LLMs

突破模态壁垒：基于多模态大语言模型的通用嵌入学习

Tiancheng Gu, Kaicheng Yang, Ziyong Feng, Xingjun Wang, Yanzhao Zhang, Dingkun Long, Yingda Chen, Weidong Cai, Jiankang Deng

机构 * The University of Sydney（悉尼大学） ； DeepGlint ； Tongyi Lab, Alibaba Group（阿里云实验室） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 UniME通过两阶段框架提升多模态表示学习，利用知识蒸馏和硬负样本微调增强判别能力与指令遵循性能。

Comments 13 pages, 8 figures, Accepted by ACM MM2025, Project page: https://garygutc.github.io/UniME

Towards Stable Cross-Domain Depression Recognition under Missing Modalities

迈向稳定跨领域抑郁识别下的缺失模态

Jiuyi Chen, Mingkui Tan, Haifeng Lu, Qiuna Xu, Zhihua Wang, Runhao Zeng, Xiping Hu

机构 * School of Future Technology, South China University of Technology（未来技术学院，华南理工大学） ； PengCheng Laboratory（鹏城实验室） ； School of Software Engineering, South China University of Technology（软件工程学院，华南理工大学） ； Artificial Intelligence Research Institute, Shenzhen MSU-BIT University（人工智能研究院，深圳MSU-BIT大学） ； Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing（粤港澳大湾区情感智能与泛在计算联合实验室） ； School of Computer Science and Technology, Guangdong University of Technology（计算机科学与技术学院，广东工业大学） ； Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出SCD-MLLM框架，通过多源数据适配器和模态感知自适应融合模块，实现稳定跨领域抑郁症识别，提升多模态数据处理的鲁棒性和泛化能力。

Language-driven Fine-grained Retrieval

基于语言的细粒度检索

Shijie Wang, Xin Yu, Yadan Luo, Zijian Wang, Pengfei Zhang, Zi Huang

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 LaFG通过将类别名称转换为属性级监督，利用语言模型和视觉-语言模型生成属性描述并聚类属性词汇，以提升细粒度图像检索的性能和泛化能力。

Less Is More, but Where? Dynamic Token Compression via LLM-Guided Keyframe Prior

少即是多，但在哪里？通过LLM引导的关键帧先验实现动态令牌压缩

Yulin Li, Haokun Gui, Ziyang Fan, Junjie Wang, Bin Kang, Bin Chen, Zhuotao Tian

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出DyToK方法，通过LLM引导的关键帧先验实现动态令牌压缩，提升视频处理效率和准确性。

Comments Accepted by NeurIPS 2025

RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation

RVLF：一种无需 gloss 的视觉-语言框架用于手语翻译

Zhi Rao, Yucheng Zhou, Benjia Zhou, Yiqing Huang, Sergio Escalera, Jun Wan

机构 * Macau University of Science and Technology（澳门科学技术大学） ； SKL-IOTSC, CIS, University of Macau（澳门大学智能物联网与通信系统研究所） ； Beijing Institute of Technology, Zhuhai（珠海北京理工大学） ； University of Barcelona（巴塞罗那大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 RVLF提出了一种无需gloss的手语翻译框架，通过融合骨架运动与视觉特征并结合强化学习优化，提升了翻译质量与语义一致性。

Singing Timbre Popularity Assessment Based on Multimodal Large Foundation Model

基于多模态大基础模型的歌唱音色受欢迎程度评估

Zihao Wang, Ruibin Yuan, Ziqi Geng, Hengjia Li, Xingwei Qu, Xinyi Li, Songye Chen, Haoying Fu, Roger B. Dannenberg, Kejun Zhang

机构 * Zhejiang University（浙江大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Manchester（曼彻斯特大学） ； Innovation Center of Yangtze River Delta, Zhejiang University（长江三角洲创新中心，浙江大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出基于多模态大基础模型的歌唱音色受欢迎程度评估方法，通过引入Sing-MD数据集、VocalVerse架构和H-TPR基准，实现无参考、多维度的歌唱评估。

Comments Accepted to ACMMM 2025 oral

Journal ref Proceedings of the 33rd ACM International Conference on Multimedia (ACMMM 2025), Pages 12227-12236

Personalized Image Descriptions from Attention Sequences

基于注意力序列的个性化图像描述

Ruoyu Xue, Hieu Le, Jingyi Xu, Sounak Mondal, Abe Leite, Gregory Zelinsky, Minh Hoai, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； UNC-Charlotte（北卡罗来纳大学夏洛特分校） ； The University of Adelaide（阿德莱德大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 DEPER通过建模个性化注意力序列，实现了基于视觉-语言模型的个性化图像描述生成，提升了描述质量与人类对齐性。

Comments 10 pages, 4 figures

DreamFoley: Scalable VLMs for High-Fidelity Video-to-Audio Generation

DreamFoley: 用于高保真视频到音频生成的可扩展视觉-语言模型

Fu Li, Weichao Zhao, You Li, Zhichao Zhou, Dongliang He

机构 * Bytedance Intelligent Creation Lab（字节跳动智能创作实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 DreamFoley通过结合视觉-语言模型，提出了一种可扩展的视频到音频生成方法，实现了高保真音频生成并优化了训练效率与质量的平衡。

Comments 10 pages; Bytedance