视觉大模型 / VLM

FAGER: Factually Grounded Evaluation and Refinement of Text-to-Image Models

FAGER：基于事实的文本到图像模型评估与改进

Youngsun Lim, Cusuh Ham, Pin-Yu Chen, Deepti Ghadiyaram

机构 * Boston University（波士顿大学） ； Adobe（Adobe公司） ； IBM Research（IBM研究院） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FAGER框架，用于评估和改进文本到图像模型的事实准确性，通过结合LLM生成事实和参考引导的视觉事实提取与验证，构建结构化事实评估标准，并通过VLM进行评估，验证FAGER在事实性测试中优于现有方法，并能无训练改进T2I输出。

Comments It was accepted for an oral presentation at the 2nd Workshop on the Evaluation of Generative Foundation Models (EVGENFM2026) at CVPR 2026. Total 8 pages (1 page for references). 5 figures

DiRotQ: Rotation-Aware Quantization for 4-bit Diffusion Transformers

DiRotQ：面向4位扩散变换器的旋转感知量化

Sayeh Sharify, Mahsa Salmani, Hesham Mostafa

机构 * d-Matrix 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出DiRotQ，一种W4A4量化框架，通过旋转感知激活量化缓解扩散变换器在4位精度下的性能下降问题，同时引入VLM-as-a-Judge评估协议和Triton定制内核提升压缩下的效率与质量。

Do We Really Need External Tools to Mitigate Hallucinations? SIRA: Shared-Prefix Internal Reconstruction of Attribution

我们真的需要外部工具来缓解幻觉吗？SIRA：共享前缀内部重构归因

Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

机构 * Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） ； Stanford University（斯坦福大学） ； Baichuan AI（百川AI） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 SIRA通过内部构建对比参考减少视觉语言模型的幻觉，无需外部工具或额外计算，保持描述覆盖并降低开销。

COHERENCE: Benchmarking Fine-Grained Image-Text Alignment in Interleaved Multimodal Contexts

COHERENCE：在交错多模态上下文中细粒度图像-文本对齐的基准测试

Bingli Wang, Huanze Tang, Haijun Lv, Zhishan Lin, Lixin Gu, Lei Feng, Qipeng Guo, Kai Chen

机构 * Southeast University Shanghai AI Laboratory（上海大学上海人工智能实验室） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 COHERENCE旨在评估MLLM在交错多模态上下文中恢复细粒度图像-文本对应关系的能力，涵盖四个领域，包含6161个高质量问题，并进行六类错误分析以识别当前MLLM的不足。

Built Environment Reasoning from Remote Sensing Imagery Using Large Vision--Language Models

利用大视觉-语言模型从遥感图像中推导建成环境

Dongdong Wang, Deepak Balakrishnan, Ravi Srinivasan, Shenhao Wang

机构 * Department of Urban and Regional Planning, University of Florida（佛罗里达大学城市与区域规划系） 纠错

专题命中 VLM训练与架构 ：InternVL(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了大语言模型在智慧城市中的应用，通过多尺度遥感图像输入多模态语言模型，评估其对建成环境推理的影响，并比较了InternVL和Qwen等先进模型在生成建成环境建议中的准确性和可靠性。

Comments Published in the International Conference on Industrialized Construction 2026

From Scene to Object: Text-Guided Dual-Gaze Prediction

从场景到物体：文本引导的双目预测

Zehong Ke, Yanbo Jiang, Jinhao Li, Zhiyuan Liu, Yiqian Tu, Qingwen Meng, Heye Huang, Jianqiang Wang

机构 * School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院） ； Cho Chun Shik Graduate School of Mobility, Korea Advanced Institute of Science and Technology（Cho Chun Shik 移动研究生院，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出双分支 gaze 预测框架，通过构建物体级数据集和改进模型架构，实现精准物体级注意力预测，提升语义推理能力。

Manager: Aggregating Insights from Unimodal Experts in Two-Tower VLMs and MLLMs

Xiao Xu, Libo Qin, Wanxiang Che, Min-Yen Kan

机构 * Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology（社会计算与信息检索研究中心，哈尔滨工业大学） ； School of Computer Science and Engineering, Central South University（计算机科学与工程学院，中南大学） ； School of Computing, National University of Singapore（计算学院，新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)

Comments Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT). June 2025. DOI: https://doi.org/10.1109/TCSVT.2025.3578266

Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment

Utkarsh Mall, Cheng Perng Phoo, Meilin Kelsey Liu, Carl Vondrick, Bharath Hariharan, Kavita Bala

专题命中 VLM训练与架构 ：vision-language model(abstract)；vision language model(abstract)；VLM(abstract)；visual question answering(abstract)

Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants

Tianyu Yu, Jinyi Hu, Yuan Yao, Haoye Zhang, Yue Zhao, Chongyi Wang, Shan Wang, Yinxv Pan, Jiao Xue, Dahai Li, Zhiyuan Liu, Hai-Tao Zheng, Maosong Sun

专题命中 VLM训练与架构 ：vision-language model(abstract)；vision language model(abstract)；LLaVA(abstract)；multimodal large language model(abstract)

Ortho2CAD: 3D CAD generation from orthographic drawings using vision language models

Ortho2CAD：使用视觉语言模型从正投影图生成3D CAD

Aditya Joglekar, Amit Regmi, Kenji Shimada, Levent Burak Kara

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)

AI总结 研究旨在解决工程设计中从正投影图到3D CAD模型转换的问题，核心方法是利用视觉语言模型Ortho2CAD，通过监督微调与强化学习训练，借助绘图生成器实现大规模学习，主要贡献是代码有效率高且3D CAD精度超基线。

ReToken: One Token to Improve Vision-Language Models for Visual Retrieval

ReToken：用一个标记改进用于视觉检索的视觉-语言模型

Yao Xiao, Reuben Tan, Zhen Zhu, Yuqun Wu, Jianfeng Gao, Derek Hoiem

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 该研究提出轻量级ReToken，通过选择视觉键值缓存中与查询相关的稀疏标记解决长视觉上下文的视觉检索难题，在多基准测试中提升Qwen3VL-8B等模型性能，且可在单H100运行。

Comments Code: https://github.com/avaxiao/ReToken

AutoNeural: Co-Designing Vision-Language Models for NPU Inference

AutoNeural：为 NPU 推理协同设计视觉语言模型

Wei Chen, Liangmin Wu, Yunhai Hu, Zhiyuan Li, Zhiyuan Cheng, Yicheng Qian, Lingyue Zhu, Zhipeng Hu, Luoyi Liang, Qiang Tang, Zhen Liu, Han Yang

机构 * Nexa AI ； Geely Auto 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)

AI总结 研究针对 NPU 推理的视觉语言模型硬件与模型不匹配问题，提出 AutoNeural 架构，用深度可分离卷积骨干替换 ViT 编码器，结合状态空间模型与 Transformer 层，提升效率，降低量化误差与延迟，验证了在实际应用中的实时性能。

CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning

CoRe: 结合视觉语言模型反馈的复合奖励用于偏好对齐强化学习

Hexian Ni, Tao Lu, Yinghao Cai

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)

AI总结 提出CoRe框架，将奖励分解为基于任务知识的正式奖励和从观察中学习的残差奖励，利用视觉语言模型迭代优化奖励，实现无需人工的偏好对齐，在机器人操作任务中优于现有方法。

Comments ICML 2026

OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models

OpenMedQ：面向医学视觉语言模型的广泛开放预训练

Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

机构 * Stanford University（斯坦福大学） ； Stanford University School of Medicine（斯坦福大学医学院） ； Ghent University（根特大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出OpenMedQ，在14个数据集（约335万样本）上预训练医学视觉语言模型，在PathVQA上BLEU-1达75.9，超越562B参数的Med-PaLM M，并在8个未见医学分类任务上取得最高平均macro-F1（0.757）。

Comments Medical Imaging with Deep Learning (MIDL) 2026, Short Paper Track

Vision-Language Model Ensembles Achieve Human-Expert Accuracy for Galaxy Merger Classification

视觉-语言模型集成达到人类专家精度的星系合并分类

Marco Chiaberge, Elias Stengel-Eskin, Massimo Stiavelli, Colin Norman

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)

AI总结 本研究通过贝叶斯统计框架集成15种视觉-语言模型配置，在星系合并形态分类中达到与训练有素的人类专家相当的准确率（83.3%），并恢复了合并分数。

Comments This work used LLMs as research assistants for code development, statistical analysis, and drafting under close human supervision; the workflow is described in Appendix A. Submitted to the Astronomical Journal

Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery

真实图像，更差判断：评估视觉-语言模型在具体性和意象性上的表现

Yifan Jiang, Ruoxi Ning, Sheng Yao, Freda Shi

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)

AI总结 本文通过具体性和意象性评分任务，发现真实图像上下文不仅未提升视觉-语言模型与人类判断的一致性，反而在视觉证据相关性低时加剧偏差，并表明推理时聚焦文本指令可缓解退化。

To See is Not to Learn: Protecting Multimodal Data from Unauthorized Fine-Tuning of Large Vision-Language Model

看清并非学习：保护多模态数据免受大视觉语言模型的未经授权微调

Chengshuai Zhao, Zhen Tan, Dawei Li, Zhiyuan Yu, Huan Liu

机构 * School of Computing ； Augmented Intelligence, Arizona State University, Tempe, AZ, USA ； Department of Computer Science ； Engineering, Texas A\&M University, College Station, TX, USA 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出MMGuard，通过注入不可察觉扰动主动利用LVLM学习动态，生成不可学习示例，从而保护多模态数据免受未经授权的微调。通过最小化训练损失，扰动创建优化捷径，导致模型在推理时因噪声过拟合而性能下降。

Skip-It? Theoretical Conditions for Layer Skipping in Vision-Language Models

跳过层？视觉-语言模型中层跳过的理论条件

Max Hartman, Vidhata Jayaraman, Moulik Choraria, Akhil Bhimaraju, Lav R. Varshney

机构 * Department of Electrical and Computer Engineering, The University of Illinois, Champaign, IL, United States（电气与计算机工程系，伊利诺伊大学香槟分校） ； Department of Mathematics, The University of Illinois, Champaign, IL, United States（数学系，伊利诺伊大学香槟分校） ； AI Innovation Institute, Stony Brook University, Stony Brook, NY, United States（人工智能创新研究所，石溪大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出统一框架，通过可验证的冗余概念，理论分析视觉-语言模型中层跳过的条件，验证早期和晚期视觉token的冗余性，并统一现代层跳技术的理论基础。

DARK: Diagonal-Anchored Repulsive Knowledge Distillation for Vision-Language Models under Extreme Compression

DARK：针对极端压缩下视觉-语言模型的对角锚定排斥知识蒸馏

Numan Saeed, Asif Hanif, Fadillah Adamsyah Maani, Hussain Alasmawi, Mohammad Yaqub

机构 * Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出DARK，一种对比知识蒸馏框架，通过分解损失函数为对角项和非对角项，使学生模型在极端压缩下更高效地排斥教师模型的非目标相似结构，实验证明其在零样本基准上表现优异。

Comments Project website: www.numansaeed.com/mobilefetalclip

Fast-dVLM: Efficient Block-Diffusion VLM via Direct Conversion from Autoregressive VLM

Fast-dVLM: 通过直接转换自回归VLM实现高效的块扩散VLM

Chengyue Wu, Shiyi Lan, Yonggan Fu, Sensen Gao, Jin Wang, Jincheng Yu, Jose M. Alvarez, Pavlo Molchanov, Ping Luo, Song Han, Ligeng Zhu, Enze Xie

机构 * The University of Hong Kong（香港大学） ； NVIDIA（英伟达） ； MIT（麻省理工学院） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 本文提出Fast-dVLM，通过直接转换自回归VLM实现高效的块扩散VLM，采用KV-cache兼容并行解码和推测块解码，提升推理效率。实验表明其生成质量与自回归模型相当，且通过SGLang和FP8量化实现6倍以上的推理加速。

CVA: Context-aware Video-text Alignment for Video Temporal Grounding

CVA: 基于上下文的视频-文本对齐用于视频时间定位

Sungho Moon, Seunghun Lee, Jiwan Seo, Sunghoon Im

机构 * Daegu Gyeongbuk Institute of Science and Technology (DGIST), Republic of Korea（韩国大邱庆北科学技术院（DGIST）） 纠错

专题命中 VLM训练与架构 ：grounding(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出CVA框架，通过查询感知上下文多样化、上下文不变边界判别损失和上下文增强Transformer编码器，提升视频时间定位的鲁棒性和准确性，显著提高Recall@1分数。

Comments Accepted to CVPR 2026

Modality Inflation: Energy Characterization and Optimization Opportunities for MLLM Inference

模态膨胀：MLLM推理的能量特性与优化机会

Mona Moghadampanah, Adib Rezaei Shahmirzadi, Farhana Amin, Dimitrios S. Nikolopoulos

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)

AI总结 本文研究了多模态大语言模型推理中的能量特性与优化机会，发现模态膨胀导致额外能耗，并提出阶段级DVFS优化方法以提升能效。

Unified Vision-Language Modeling via Concept Space Alignment

通过概念空间对齐实现统一的视觉-语言建模

Yifu Qiu, Paul-Ambroise Duquenne, Holger Schwenk

机构 * University of Edinburgh（爱丁堡大学） ； FAIR at Meta（Meta公司FAIR团队） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 通过概念空间对齐实现统一的视觉-语言建模，V-SONAR在多语言和多模态任务中超越现有模型。

Comments ICLR 2026

AuditoryHuM: Auditory Scene Label Generation and Clustering using Human-MLLM Collaboration

AuditoryHuM: 利用人机协同生成和聚类听觉场景标签

Henry Zhong, Jörg M. Buchholz, Julian Maclaren, Simon Carlile, Richard F. Lyon

机构 * Australian Hearing Hub, Macquarie University, Sydney, Australia（澳大利亚听力中心、麦觉里大学、悉尼、澳大利亚） ； Google Research Australia, Sydney, Australia（谷歌澳大利亚研究、悉尼、澳大利亚） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)

AI总结 AuditoryHuM通过人机协同方法实现听觉场景标签的自动生成与聚类，提供了一种高效且低成本的标准化分类解决方案，适用于边缘设备部署。

Scaling Audio-Text Retrieval with Multimodal Large Language Models

通过多模态大语言模型扩展音频-文本检索

Jilan Xu, Carl Thomé, Danijela Horak, Weidi Xie, Andrew Zisserman

机构 * Visual Geometry Group, University of Oxford（牛津大学视觉几何组） ； Epidemic Sound ； School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)

AI总结 AuroLA通过多模态大语言模型实现音频-文本检索的扩展，利用可扩展的数据管道和混合NCE损失提升检索性能。

Comments Technical Report

Fine-Tuning a Large Vision-Language Model for Artwork's Scoring and Critique

对大型视觉-语言模型进行微调以用于艺术品的评分与批评

Zhehan Zhang, Meihua Qian, Li Luo, Siyu Huang, Chaoyi Zhou, Ripon Saha, Xinxin Song

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出通过微调Qwen2-VL-7B模型，结合多任务学习实现对人类绘画的自动化创造力评估，通过生成与评分标准一致的反馈，提高评分准确性和反馈质量。

GrndCtrl: Grounding World Models via Self-Supervised Reward Alignment

GrndCtrl: 通过自监督奖励对齐实现世界模型的 grounding

Haoyang He, Jay Patrikar, Dong-Ki Kim, Max Smith, Daniel McGann, Ali-akbar Agha-mohammadi, Shayegan Omidshafiei, Sebastian Scherer

专题命中 VLM训练与架构 ：grounding(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 GrndCtrl通过自监督奖励对齐提升世界模型的几何 grounding，实现更稳定的空间一致性与导航性能。

Embodied Learning of Reward for Musculoskeletal Control with Vision Language Models

具身学习奖励以实现肌肉骨骼控制与视觉语言模型

Saraswati Soedarmadji, Yunyue Wei, Chen Zhang, Yisong Yue, Yanan Sui

机构 * Tsinghua University（清华大学） ； California Institute of Technology（加州理工学院） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)

AI总结 本文提出MoVLR框架，利用视觉语言模型实现高维肌肉骨骼系统的具身学习，通过迭代交互发现和改进奖励函数。

Comments 18 pages, 8 figures

Vision-Language Models Align with Human Neural Representations in Concept Processing

视觉-语言模型在概念处理中与人类神经表征对齐

Anna Bavaresco, Marianne de Heer Kloots, Sandro Pezzelle, Raquel Fernández

机构 * Institute for Logic, Language and Computation University of Amsterdam（逻辑、语言与计算研究所 阿姆斯特丹大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 本研究发现视觉-语言模型在概念处理中能与人类神经表征对齐，揭示了不同架构在脑部响应中的差异。

Comments Accepted to EACL 2026 main

Transferable Model-agnostic Vision-Language Model Adaptation for Efficient Weak-to-Strong Generalization

可迁移的模型无关视觉-语言模型适应方法用于高效的弱到强泛化

Jihwan Park, Taehoon Song, Sanghyeok Lee, Miso Choi, Hyunwoo J. Kim

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 TransMiter是一种轻量级适配器，通过无监督方式提升视觉-语言模型的泛化能力，实现高效的知识迁移。

Comments AAAI2026 Oral (camera ready version)