视觉大模型 / VLM

Probing Perceptual Constancy in Large Vision-Language Models

探测大型视觉-语言模型中的知觉恒常性

Haoran Sun, Bingyang Wang, Suyang Yu, Yijiang Li, Qingying Gao, Haiyun Lyu, Lianyu Huang, Zelong Hong, Jiahui Ge, Qianli Ma, Hang He, Yifan Zhou, Lingzi Guo, Lantao Mei, Maijunxian Wang, Dezhi Luo, Hokin Deng

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Emory University（埃默里大学） ； University of Washington（华盛顿大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Southern California（南加州大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） ； Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Michigan（密歇根大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了大型视觉-语言模型在颜色、大小和形状恒常性任务中的表现，发现模型在不同任务上的性能存在显著差异。

Comments Under Review

FloorplanVLM: A Vision-Language Model for Floorplan Vectorization

FloorplanVLM：一种用于平面图向量化的视觉-语言模型

Yuanqing Liu, Ziming Yang, Yulong Li, Yue Yang

机构 * Beike（贝克） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；grounding(abstract)；分类 cs.CV

AI总结 FloorplanVLM通过像素到序列的范式，实现复杂平面图向量化的高精度与高鲁棒性，其统一框架和渐进训练策略在工程级向量化任务中表现出色。

An item is worth one token in Multimodal Large Language Models-based Sequential Recommendation

在基于多模态大语言模型的序列推荐中，一个项目相当于一个标记

Qiyong Zhong, Jiajie Su, Ming Yang, Yunshan Ma, Xiaolin Zheng, Chaochao Chen

机构 * Zhejiang University（浙江大学） ； Singapore Management University（新加坡国立管理学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)；MLLM(abstract)；分类 cs.AI

AI总结 Speeder通过多模态表示压缩、模态感知渐进优化和序列位置感知增强，提升多模态大语言模型在序列推荐中的效率与效果。

An Evaluation of Hybrid Annotation Workflows on High-Ambiguity Spatiotemporal Video Footage

对高歧义时空视频 footage 的混合标注流程的评估

Juan Gutiérrez, Victor Gutiérrez, Ángel Mora, Silvia Rodriguez, José Luis Blanco

机构 * IPTC（信息处理与电信中心） ； Telecommunications Center, Escuela Técnica Superior de Ingenieros de Telecomunicación, Av. Complutense 30, 28040 Madrid, Spain（电信中心，电信工程师高级学院，Complutense大道30号，28040马德里，西班牙） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文评估了混合标注流程在高歧义时空视频中的有效性，通过实验表明其能显著减少标注时间并提供更严谨的AI辅助工作流程评估框架。

PhenoLIP: Integrating Phenotype Ontology Knowledge into Medical Vision-Language Pretraining

PhenoLIP：将表型本体知识整合到医学视觉-语言预训练中

Cheng Liang, Chaoyi Wu, Weike Zhao, Ya Zhang, Yanfeng Wang, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 PhenoLIP通过整合表型本体知识提升医学视觉-语言模型的表型识别与跨模态检索性能。