视觉大模型 / VLM

LookBack: Where and How to Score LVLM Responses via Visual Reference Usage

LookBack：通过视觉参考使用情况对LVLM响应进行评分的位置与方法

Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对LVLM响应存在的图像相关幻觉问题，提出无需训练的LookBack评分方法，结合视觉回溯评分增强token似然，在四个基准和三个模型上提升了Best-of-$N$选择性能且开销极小。

Comments 19 pages, 10 figures. Code: https://github.com/bscho333/LookBack

Low-Interaction-Rank Learning: Unifying Multiplicative Dual-Encoder Heads

低交互秩学习：统一乘法双编码器头

Zijian Zhao, Sen Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出低交互秩学习框架，统一乘法双编码器头架构，解决其设计决策、可识别性等问题，经实验验证该框架可解释对比维度不可解释性并恢复真实模式。

When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use

当API“说错”语言：重新审视多语言工具使用的后训练

Siddharth Chauhan, Thomas Butler, Abhishek Singhania, Pankaj Porwal, Honey Gupta

机构 * Amazon（亚马逊） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 针对多语言API调用中存在的参数语言不匹配问题，研究发现监督微调可实现接近或优于复杂强化学习方法的性能，强化学习仅能提供渐进式改进。

XBridge: Entity-Grounded Latent Bridge for Heterogeneous LLM Communication

XBridge：面向异构大语言模型通信的实体锚定隐空间桥接器

Wooseong Yang, Wei-Chieh Huang, Weizhi Zhang, Yu Wang, Philip S. Yu, Junhyun Lee

机构 * Hankuk University of Foreign Studies（韩国外国语大学） ； Noah’s Farm（诺亚农场） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Capital One AI Foundations（Capital One AI 基金会） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 XBridge是免解码的异构大语言模型通信协议，通过词汇锚定映射和隐空间丰富桥接器解决跨架构通信的实体身份丢失问题，在多模型、多基准测试中表现优于现有方法，参数开销低。

Comments 18 pages, 4 figures

VLMs Win a Systematic Evaluation of Underwater Image Reconstruction

视觉语言模型（VLMs）在水下图像重建的系统评估中胜出

Sara Aghajanzadeh, Yingxue Wang, Ieva Bagdonaviciute, David Forsyth

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出水下图像重建的系统评估流程，评估发现未经过明确物理模型训练的视觉语言模型（VLMs）显著优于基于物理的模型，真实场景图像结果验证了该评估。