视觉大模型 / VLM

Adapting Vision-Language Models for Evaluating World Models

为世界模型评估适应视觉-语言模型

Mariya Hendriksen, Tabish Rashid, David Bignell, Raluca Georgescu, Abdelhak Lemkhenter, Katja Hofmann, Sam Devlin, Sarah Parisot

机构 * University of Oxford（牛津大学） ； Microsoft Research（微软研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出UNIVERSE，一种基于视觉-语言模型的视频世界模型评估器，通过适应不同任务格式和数据约束，实现了细粒度、时间敏感的评估，与任务特定检查点性能相当，并在多种环境中验证了其与人类判断的一致性。

Comments NeurIPS LAW 2025 (Oral)

KEPT: Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models

KEPT: 基于视觉-语言模型的连续驾驶帧轨迹预测增强方法

Yujin Wang, Tianyi Wang, Quanfeng Liu, Wenxian Fan, Junfeng Jiao, Christian Claudel, Yunbing Yan, Bingzhao Gao, Jianqiang Wang, Hong Chen

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 KEPT 通过知识增强的视觉-语言模型，利用时间频率-空间融合编码器和检索增强生成流水线，提升自动驾驶中轨迹预测的准确性和可靠性。

CNS-Obsidian: A Neurosurgical Vision-Language Model Built From Scientific Publications

CNS-Obsidian：基于科学出版物构建的神经外科视觉-语言模型

Anton Alyakin, Jaden Stryker, Daniel Alexander Alber, Jin Vivian Lee, Karl L. Sangwon, Brandon Duderstadt, Akshay Save, David Kurland, Spencer Frome, Shrutika Singh, Jeff Zhang, Eunice Yang, Ki Yun Park, Cordelia Orillac, Aly A. Valliani, Sean Neifert, Albert Liu, Aneek Patel, Christopher Livia, Darryl Lau, Ilya Laufer, Peter A. Rozman, Eveline Teresa Hidalgo, Howard Riina, Rui Feng, Todd Hollon, Yindalon Aphinyanaphongs, John G. Golfinos, Laura Snyder, Eric Leuthardt, Douglas Kondziolka, Eric Karl Oermann

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract)；LLaVA(abstract)；分类 cs.AI

AI总结 CNS-Obsidian是一款基于科学文献训练的神经外科视觉-语言模型，通过对比实验展示了其在诊断准确性与用户评分上的表现。

Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition

释放视觉-语言模型在长尾多标签视觉识别中的潜力

Wei Tang, Zuo-Zheng Wang, Kun Zhang, Tong Wei, Min-Ling Zhang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration (Southeast University)（计算机网络与信息集成重点实验室） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出CAPNET框架，通过显式建模标签相关性，结合图卷积网络和可学习软提示，解决长尾多标签视觉识别中的类别不平衡问题，提升模型性能。

Bootstrapping Physics-Grounded Video Generation through VLM-Guided Iterative Self-Refinement

通过VLM引导的迭代自优化提升物理导向的视频生成

Yang Liu, Xilin Zhao, Peisong Wen, Siran Dai, Qingming Huang

机构 * School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种通过VLM引导的迭代自优化方法，提升视频生成的物理一致性，实验显示在PhyIQ基准上得分提升明显。

Comments ICCV 2025 Physics-IQ Challenge Third Place Solution

AutoFocus-IL: VLM-based Saliency Maps for Data-Efficient Visual Imitation Learning without Extra Human Annotations

AutoFocus-IL：基于视觉语言模型的数据高效视觉模仿学习中的显著性图

Litian Gong, Fatemeh Bahrani, Yutai Zhou, Amin Banayeeanzade, Jiachen Li, Erdem Bıyık

机构 * Department of Electrical and Computer Engineering, University of California, Riverside, USA（电气与计算机工程系，加州大学河滨分校） ； Thomas Lord Department of Computer Science, University of Southern California, USA（汤姆斯·劳德计算机科学系，南加州大学） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 AutoFocus-IL通过视觉语言模型自动生成显著性图，提升视觉模仿学习的数据效率和泛化能力，无需额外人类标注。

Comments 8 pages, 6 figures. Code and datasets available at http://autofocus-il.github.io/

Text-guided Controllable Diffusion for Realistic Camouflage Images Generation

基于文本引导的可控扩散生成逼真伪装图像

Yuhang Qian, Haiyan Chen, Wentong Li, Ningzhong Liu, Jie Qin

专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV

AI总结 本文提出CT-CIG方法，通过文本引导和可控扩散生成逼真且逻辑合理的伪装图像，利用VLM和FIRM模块提升伪装图像质量。

Comments Accepted by AAAI 2026

Robot-Powered Data Flywheels: Deploying Robots in the Wild for Continual Data Collection and Foundation Model Adaptation

机器人驱动的数据飞轮：在真实世界中部署机器人以实现持续的数据收集和基础模型适应

Jennifer Grannen, Michelle Pan, Kenneth Llontop, Cherie Ho, Mark Zolotas, Jeannette Bohg, Dorsa Sadigh

机构 * Stanford University（斯坦福大学） ； Toyota Research Institute（丰田研究机构） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 机器人驱动的数据飞轮通过部署机器人收集真实世界数据，提升基础模型在复杂环境中的适应能力，减少人工干预并提高多语言OCR性能。

Concept-Aware Batch Sampling Improves Language-Image Pretraining

概念感知的批量采样提升语言-图像预训练

Adhiraj Ghosh, Vishaal Udandarao, Thao Nguyen, Matteo Farina, Mehdi Cherti, Jenia Jitsev, Sewoong Oh, Elisa Ricci, Ludwig Schmidt, Matthias Bethge

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Trento（特伦托大学） ； LAION ； Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究提出CABS方法，通过概念感知的批量采样提升语言-图像预训练效果，提供灵活的任务适应性数据整理方案。

Comments Tech Report

The Consistency Critic: Correcting Inconsistencies in Generated Images via Reference-Guided Attentive Alignment

一致性批评者：通过参考引导的注意对齐纠正生成图像中的不一致

Ziheng Ouyang, Yiren Song, Yaoli Liu, Shihao Zhu, Qibin Hou, Ming-Ming Cheng, Mike Zheng Shou

机构 * VCIP, Nankai University ； Show Lab, National University of Singapore ； State Key Laboratory of CAD\&CG, Zhejiang University 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出ImageCritic，通过参考引导的注意力对齐方法纠正生成图像中的不一致问题，提升细粒度细节的一致性。

Comments Project page: https://ouyangziheng.github.io/ImageCritic-Page/

NVIDIA Nemotron Parse 1.1

NVIDIA推出Nemotron Parse 1.1：轻量级OCR模型提升文档解析与OCR性能

Kateryna Chumachenko, Amala Sanjay Deshmukh, Jarno Seppanen, Ilia Karmanov, Chia-Chih Chen, Lukas Voegtle, Philipp Fischer, Marek Wawrzos, Saeid Motiian, Roman Ageev, Kedi Wu, Alexandre Milesi, Maryam Moosaei, Krzysztof Pawelec, Padmavathy Subramanian, Mehrzad Samadi, Xin Yu, Celina Dear, Sarah Stoddard, Jenna Diamond, Jesse Oliver, Leanna Chraghchian, Patrick Skelly, Tom Balough, Yao Xu, Jane Polak Scowcroft, Daniel Korzekwa, Darragh Hanley, Sandip Bhaskar, Timo Roman, Karan Sapra, Andrew Tao, Bryan Catanzaro

机构 * NVIDIA 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.LG

AI总结 NVIDIA推出Nemotron Parse 1.1，一种轻量级OCR模型，提升文档解析和OCR性能，支持更长输出序列，实现高准确率和高效处理。

4DWorldBench: A Comprehensive Evaluation Framework for 3D/4D World Generation Models

4DWorldBench: 一种用于3D/4D世界生成模型的综合评估框架

Yiting Lu, Wei Luo, Peiyan Tu, Haoran Li, Hanxin Zhu, Zihao Yu, Xingrui Wang, Xinyi Chen, Xinge Peng, Xin Li, Zhibo Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； Beijing Zhongguancun Academy（北京中关村学院） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

AI总结 4DWorldBench提出了一种用于评估3D/4D世界生成模型的综合框架，通过四个维度评估模型的感知质量、条件对齐、物理真实性和一致性，支持多模态输入并整合多种评估方法。

X-ReID: Multi-granularity Information Interaction for Video-Based Visible-Infrared Person Re-Identification

X-ReID：基于视频的可见-红外人重识别中的多粒度信息交互

Chenyang Yu, Xuehu Liu, Pingping Zhang, Huchuan Lu

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 X-ReID通过多粒度信息交互和跨模态特征学习，提升视频中可见-红外人重识别的性能。

Comments Accepted by AAAI2026. More modifications may be performed

CLIP-IT: CLIP-based Pairing for Histology Images Classification

CLIP-IT: 基于CLIP的病理图像分类配对

Banafsheh Karimian, Giulia Avanzato, Soufian Belharbi, Alexis Guichemerre, Luke McCaffrey, Mohammadhadi Shateri, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA、ILLs、系统工程系、蒙特利尔大学ETSMontreal加拿大） ； Dept. of Computer Engineering, University of Cagliari, Italy（计算机工程系、卡利亚里大学意大利） ； Goodman Cancer Research, Centre, Dept. of Oncology, McGill University, Canada（Goodman癌症研究中心、肿瘤学系、麦吉尔大学加拿大） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 CLIP-IT通过利用未配对的病理报告提升病理图像分类性能，无需配对数据或复杂推理。