视觉大模型 / VLM

RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation

RVLF：一种无需 gloss 的视觉-语言框架用于手语翻译

Zhi Rao, Yucheng Zhou, Benjia Zhou, Yiqing Huang, Sergio Escalera, Jun Wan

机构 * Macau University of Science and Technology（澳门科学技术大学） ； SKL-IOTSC, CIS, University of Macau（澳门大学智能物联网与通信系统研究所） ； Beijing Institute of Technology, Zhuhai（珠海北京理工大学） ； University of Barcelona（巴塞罗那大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 RVLF提出了一种无需gloss的手语翻译框架，通过融合骨架运动与视觉特征并结合强化学习优化，提升了翻译质量与语义一致性。

Singing Timbre Popularity Assessment Based on Multimodal Large Foundation Model

基于多模态大基础模型的歌唱音色受欢迎程度评估

Zihao Wang, Ruibin Yuan, Ziqi Geng, Hengjia Li, Xingwei Qu, Xinyi Li, Songye Chen, Haoying Fu, Roger B. Dannenberg, Kejun Zhang

机构 * Zhejiang University（浙江大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Manchester（曼彻斯特大学） ； Innovation Center of Yangtze River Delta, Zhejiang University（长江三角洲创新中心，浙江大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出基于多模态大基础模型的歌唱音色受欢迎程度评估方法，通过引入Sing-MD数据集、VocalVerse架构和H-TPR基准，实现无参考、多维度的歌唱评估。

Comments Accepted to ACMMM 2025 oral

Journal ref Proceedings of the 33rd ACM International Conference on Multimedia (ACMMM 2025), Pages 12227-12236

Personalized Image Descriptions from Attention Sequences

基于注意力序列的个性化图像描述

Ruoyu Xue, Hieu Le, Jingyi Xu, Sounak Mondal, Abe Leite, Gregory Zelinsky, Minh Hoai, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； UNC-Charlotte（北卡罗来纳大学夏洛特分校） ； The University of Adelaide（阿德莱德大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 DEPER通过建模个性化注意力序列，实现了基于视觉-语言模型的个性化图像描述生成，提升了描述质量与人类对齐性。

Comments 10 pages, 4 figures

DreamFoley: Scalable VLMs for High-Fidelity Video-to-Audio Generation

DreamFoley: 用于高保真视频到音频生成的可扩展视觉-语言模型

Fu Li, Weichao Zhao, You Li, Zhichao Zhou, Dongliang He

机构 * Bytedance Intelligent Creation Lab（字节跳动智能创作实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 DreamFoley通过结合视觉-语言模型，提出了一种可扩展的视频到音频生成方法，实现了高保真音频生成并优化了训练效率与质量的平衡。

Comments 10 pages; Bytedance

When Privacy Meets Recovery: The Overlooked Half of Surrogate-Driven Privacy Preservation for MLLM Editing

当隐私与恢复相遇： surrogate驱动的隐私保护在MLLM编辑中的被忽视的一半

Siyuan Xu, Yibing Liu, Peilin Chen, Yung-Hui Li, Shiqi Wang, Sam Kwong

专题命中 其他VLM ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出SPPE数据集和统一方法，通过引导生成任务实现隐私恢复，平衡隐私保护与MLLM可用性。

Comments 9 pages,7figures

Surveying the MLLM Landscape: A Meta-Review of Current Surveys

测绘MLLM景观：当前调研的元综述

Ming Li, Keyu Chen, Ziqian Bi, Ming Liu, Xinyuan Song, Zekun Jiang, Tianyang Wang, Benji Peng, Qian Niu, Junyu Liu, Jinlang Wang, Sen Zhang, Xuanhe Pan, Jiawei Xu, Pohsun Feng

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Indiana University（印第安纳大学） ； Purdue University（普渡大学） ； Emory University（埃默里大学） ； Sichuan University（四川大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； AppCubic ； Kyoto University（京都大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Rutgers University（罗格斯大学） ； National Taiwan Normal University（台湾师范大学） 纠错

专题命中 其他VLM ：MLLM(title,abstract)；multimodal large language model(abstract,comments)

AI总结 本文通过系统回顾现有调研，全面分析MLLMs的评估方法、挑战与趋势，为研究者提供当前评估现状的深入理解。

Comments The article consists of 22 pages, including 2 figures and 108 references. The paper provides a meta-review of surveys on Multimodal Large Language Models (MLLMs), categorizing findings into key areas such as evaluation, applications, security, and future directions

NeuroABench: A Multimodal Evaluation Benchmark for Neurosurgical Anatomy Identification

NeuroABench: 一种多模态评估基准，用于神经外科解剖识别

Ziyang Song, Zelin Zang, Xiaofan Ye, Boqiang Xu, Long Bai, Jinlin Wu, Hongliang Ren, Hongbin Liu, Jiebo Luo, Zhen Lei

机构 * Hong Kong Institute of Science and Innovation（香港科学与创新研究院） ； The University of Hong Kong-Shenzhen Hospital（香港大学深圳医院） ； Department of Electronic Engineering, The Chinese University of Hong Kong（香港中文大学电子工程系） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 NeuroABench是首个用于评估神经外科领域解剖理解的多模态基准，通过实验揭示了MLLMs在解剖识别任务中的局限性，并展示了人类表现与模型之间的差距。

Comments Accepted by IEEE ICIA 2025

MMDuet2: Enhancing Proactive Interaction of Video MLLMs with Multi-Turn Reinforcement Learning

MMDuet2：通过多轮强化学习增强视频MLLMs的主动交互

Yueqian Wang, Songxiang Liu, Disong Wang, Nuo Xu, Guanglu Wan, Huishuai Zhang, Dongyan Zhao

机构 * Wangxuan Institute of Computer Technology, Peking University（王宣计算机技术研究所，北京大学） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 MMDuet2通过多轮强化学习方法，实现了视频MLLMs在多轮对话中的主动交互，提升了回复时机和质量，达到ProactiveVideoQA基准的最优性能。