视觉大模型 / VLM

HiRes-LLaVA: Restoring Fragmentation Input in High-Resolution Large Vision-Language Models

HiRes-LLaVA: 高分辨率大视觉-语言模型中碎片化输入的恢复

Runhui Huang, Xinpeng Ding, Chunwei Wang, Jianhua Han, Yulong Liu, Hengshuang Zhao, Hang Xu, Lu Hou, Wei Zhang, Xiaodan Liang

机构 * Shenzhen campus of Sun Yat-sen University（中山大学深圳校区） ； Huawei（华为） ； The Hong Kong University of Science and Technology（香港科技大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(title,abstract)；分类 cs.CV

AI总结 HiRes-LLaVA通过引入SliceRestore适配器和Self-Mining Sampler，有效恢复高分辨率输入的碎片化问题，提升模型在文档相关任务中的性能。

Scaffolding Dexterous Manipulation with Vision-Language Models

利用视觉-语言模型实现灵巧操作的支架

Vincent de Bakker, Joey Hejna, Tyler Ga Wei Lum, Onur Celik, Aleksandar Taranovic, Denis Blessing, Gerhard Neumann, Jeannette Bohg, Dorsa Sadigh

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 利用视觉-语言模型生成任务相关轨迹，训练低层RL策略实现灵巧操作，无需人工演示或奖励。

Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model?

单模语言代理能否为调整多模态视觉-语言模型提供偏好？

Sazia Tabasum Mim, Jack Morris, Manish Dhakal, Yanming Xiu, Maria Gorlatova, Yi Ding

机构 * Georgia State University（佐治亚州立大学） ； Duke University（杜克大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 本文提出通过单模语言代理提供偏好反馈，提升多模态视觉-语言模型的描述能力，实验显示在准确率上提升13%，且人类偏好匹配率达64.6%。

Comments Accepted to IJCNLP-AACL 2025 Findings

COVR:Collaborative Optimization of VLMs and RL Agent for Visual-Based Control

COVR：视觉控制中视觉语言模型与强化学习代理的协同优化

Canming Xia, Peixi Peng, Guang Tan, Zhan Su, Haoran Xu, Zhenxian Liu, Luntong Li

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 COVR通过协同优化视觉语言模型与强化学习代理，利用RL生成数据提升VLM语义推理能力，并通过动作先验引导策略学习，实现视觉控制任务中的高效优化。

Comments The paper was accepted by the Fortieth AAAI Conference on Artificial Intelligence (AAAI-26)

Seeing Right but Saying Wrong: Inter- and Intra-Layer Refinement in MLLMs without Training

看到正确却说错：在MLLMs中无需训练的跨层和内层细化

Shezheng Song, Shasha Li, Jie Yu

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 DualPD通过双视角解码细化策略，无需额外训练提升多模态大语言模型的视觉理解准确性。

RPO: Fine-Tuning Visual Generative Models via Rich Vision-Language Preferences

RPO：通过丰富的视觉-语言偏好进行视觉生成模型微调

Hanyang Zhao, Haoxian Chen, Yucheng Guo, Genta Indra Winata, Tingting Ou, Ziyu Huang, David D. Yao, Wenpin Tang

机构 * Columbia University（哥伦比亚大学） ； Amazon（亚马逊） ； Princeton University（普林斯顿大学） ； Capital One 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.AI、cs.LG

AI总结 RPO通过利用视觉语言模型的丰富反馈信号，改进偏好对的编纂，从而提升视觉生成模型的微调效果。

Towards Trustworthy Dermatology MLLMs: A Benchmark and Multimodal Evaluator for Diagnostic Narratives

迈向可信的皮肤科多模态大语言模型：一种基准和多模态评估器用于诊断叙述

Yuhao Shen, Jiahe Qian, Shuping Zhang, Zhangtianyi Chen, Tao Lu, Juexiao Zhou

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳）） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Department of Dermatology, The First Affiliated Hospital, Shantou University Medical College（皮肤科，汕头大学医学院第一附属医院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出DermBench和DermEval用于评估皮肤科多模态大语言模型的诊断叙述，通过结合基准和自动评估器，实现临床意义的可重复评估，验证模型性能与专家评分的一致性。

EZBlender: Efficient 3D Editing with Plan-and-ReAct Agent

EZBlender：基于计划与反应代理的高效3D编辑

Hao Wang, Wenhui Zhu, Shao Tang, Zhipeng Wang, Xuanzhao Dong, Xin Li, Xiwen Chen, Ashish Bastola, Xinhao Huang, Yalin Wang, Abolfazl Razi

专题命中 VLM训练与架构 ：VLM(abstract)

AI总结 EZBlender通过结合计划与反应机制，实现高效且语义忠实的3D编辑，提升Human AI协作效率与经济性。

Cap2Sum: Learning to Summarize Videos by Generating Captions

Cap2Sum: 通过生成描述来学习视频摘要

Cairong Zhao, Chutian Wang, Zifan Song, Guosheng Hu, Haonan Chen, Xiaofan Zhai

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 Cap2Sum通过生成视频描述来学习视频摘要，利用密集视频描述注释提升模型性能和泛化能力。

Comments 13 pages, 4 figures

Unleashing the Native Recommendation Potential: LLM-Based Generative Recommendation via Structured Term Identifiers

释放原生推荐潜力：基于结构化术语标识符的LLM生成推荐

Zhiyang Zhang, Junda She, Kuo Cai, Bo Chen, Shiyao Wang, Xinchen Luo, Qiang Luo, Ruiming Tang, Han Li, Kun Gai, Guorui Zhou

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文提出GRLM框架，通过结构化术语标识符提升生成推荐系统的性能和通用性。