视觉大模型 / VLM

Messages, Not Tokens: Grounded Coresets for Faithful VLM Compression

消息而非令牌：用于忠实VLM压缩的基础核心集

Long Qian, Jiaqi Wei, Bingke Zhu, Yingying Chen, Jinqiao Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Wuhan AI Research（武汉人工智能研究院） ； Cardiff University（卡迪夫大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.CV

AI总结 该研究针对VLM视觉令牌压缩的现有缺陷，提出无需训练的GMC方法，通过联合分配多维度证据支持并传输被丢弃状态，在大幅减少视觉令牌的同时保持VLM性能，经多基准实验验证有效。

Comments 32 pages, 6 figures, 18 tables, including appendix

TALSC: Timeliness-Aware Large-Small VLM Collaboration for Infrastructure-Assisted Autonomous Driving

TALSC：面向基础设施辅助自动驾驶的时效性感知大小视觉语言模型协作

Mengmeng Zhu, Yuxuan Sun, Wei Chen, Bo Ai

专题命中 VLM训练与架构 ：VLM(title,summary_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 针对基础设施辅助自动驾驶中VLM协作的时效性问题，提出TALSC框架，通过李雅普诺夫漂移加估计惩罚算法优化调度，在nuScenes仿真中较最优基线实现Micro-F1最高12.6%的归一化提升。

Comments This paper has been accepted by IEEE GLOBECOM 2026

What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs

从文本到视觉的可迁移性：视觉语言模型（VLM）的能力缩放定律与迁移动态

Ziran Li, Qiang Wang, Zhengyu Chen, Shanglin Lei, Borun Chen, Jingang Wang, Xunliang Cai

机构 * Meituan（美团） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出首个跨家族的能力驱动多模态缩放定律，可通过LLM文本能力预测VLM性能，将主干选择从经验搜索转为定量决策，还揭示了LLM作为VLM主干的相关见解。

Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search

利用视觉语言模型推进Web规模搜索的相关性测量

Han Wang, Alex Whitworth, Pak Ming Cheung, Zhenjie Zhang, Krishna Kamath, Xi Chen, Roberto Konow, Kurchi Subhra Hazra

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title)；分类 cs.LG

AI总结 本研究提出基于VLM的自动化相关性评估流水线，部署于Pinterest搜索A/B实验，验证其与人工标注一致性，提升评估效率，降低MDEs，助力优化搜索体验。

Comments RecSys'26 Industry track

Linguistic Context Recodes Visual Representations in Vision-Language Models

语言上下文对视觉语言模型中的视觉表示进行重编码

Brian Song, Michael A. Lepori, Ellie Pavlick

机构 * Brown University（布朗大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本研究揭示视觉语言模型中语言上下文会重编码视觉表示，通过对比引导向量和属性调制两种机制，为跨模态动态处理提供了因果证据。

Intersectional Fairness in Vision-Language Models for Medical Image Disease Classification

视觉-语言模型在医学影像疾病分类中的交叉公平性

Yupeng Zhang, Adam G. Dunn, Usman Naseem, Jinman Kim

机构 * Biomedical Data Analysis and Visualisation (BDAV) Lab, School of Computer Science（生物医学数据分析与可视化实验室，计算机科学学院） ； Sydney School of Public Health（悉尼公共卫生学院） ； School of Computing（计算学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出CMAC-MMD框架，通过标准化交叉亚组的诊断确定性，减少医学影像疾病分类中的交叉偏见，提升诊断准确性和公平性。

DiffPrune: differentiable information throttling for token pruning in vision-language models

DiffPrune：用于视觉-语言模型中 token 剪枝的可微信息节流方法

Landi He, Mingde Yao, Shawn Young, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳先进技术大学） ； CUHK MMLab, CPII under InnoHK（香港中文大学MMLab，InnoHK下属CPII） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 DiffPrune 是一种用于视觉-语言模型的可微 token 剪枝方法，通过信息节流器避免松弛选择的不稳定性，在保留 96.5% 准确率的同时实现 2.85 倍 LLM 预填充加速，推理开销仅 0.69 毫秒。

OSMDA: OpenStreetMap-based Domain Adaptation for Remote Sensing VLMs

基于OpenStreetMap的领域自适应方法：为遥感VLMs的领域适应

Stefan Maria Ailuro, Mario Markov, Mohammad Mahdi, Delyan Boychev, Luc Van Gool, Danda Pani Paudel

机构 * INSAIT, Sofia University ``St. Kliment Ohridski''（INSAIT，索菲亚大学『圣克莱门特·奥赫里德斯』） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出OSMDA方法，利用OpenStreetMap数据生成自标注数据，无需人工标注或强外部模型，通过细调基础VLM实现遥感领域适应，经10个基准测试显示其在文本生成任务中达到SOTA，且训练成本更低。

MIEScore: Human-Aligned Evaluation for Multi-Source Image Editing

MIEScore：面向多源图像编辑的人类对齐评估方法

Zitong Xu, Huiyu Duan, Xinyun Zhang, Weifei Xiong, Tianyi Zheng, Xiongkuo Min, Qiang Hu, Zhengxue Cheng, Bo Li, Guangtao Zhai

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多源图像编辑（MIE）缺乏人类对齐评估基准的问题，研究构建了首个MIE基准MIE-Bench，并提出基于MLLM的评估模型MIEScore，其对齐人类偏好性能最优且泛化性良好。

DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion Vision-Language Models

DAVET：面向扩散视觉-语言模型的降噪感知视觉证据轨迹分配

Yongkang Zhou, Xiang Xia, Cheng Yan, Fan Xu, Wuyang Zhang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 DAVET 是一种无需训练的框架，通过根据扩散视觉-语言模型的生成状态自适应分配视觉证据，实现平均 1.55 倍加速且仅 1.86% 的平均性能下降，降低了视觉条件成本。

CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models

CRAFT：面向视觉语言模型的基于视频令牌递归自适应融合的压缩方法

Yu Chen, Xiaohong Li, Xiaole Wang, Jianjin Zhang, Jun Sun, Yafeng Deng

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉语言模型视频令牌压缩效率与适应性的权衡问题，提出CRAFT方法，通过解耦令牌选择与融合实现高效压缩，在8倍压缩时保留97%主干准确率且性能优于现有方法。

Comments 11 pages, 5 figures

Element-Aware Group Learning for E-Commerce Image Generation

面向电商图像生成的元素感知组学习

Jingtong Chen, Jiahui Wang, Xue Zhao, ShaoGuo Liu, Minghao Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 针对电商图像生成中GRPO仅在完整提示层面分配信用的缺陷，提出EAGLE-GRPO，通过分解奖励并推导闭式解实现元素级信用分配，提升提示质量与生成图像性能。

HarMoE: Multi-Source Chest Radiograph Pretraining with Dataset-Disentangled Experts

HarMoE：基于数据集解耦专家的多源胸部X射线预训练

Haozhe Luo, Ziyu Zhou, Shelley Zixin Shu, Mauricio Reyes

机构 * University of Bern（伯尔尼大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出HarMoE框架，通过解耦数据集专家从异构胸部X射线数据集学习，提升了放射学视觉-语言模型的零样本分类、分布外迁移等性能，相关代码与87.3万份数据集将公开。

PosterMELD: Multi-Agent Paper-to-Poster Generation for Controllable Design Diversity with Editable Print-Ready Outputs

PosterMELD：面向可编辑打印就绪输出的可控设计多样性多智能体论文转海报生成

Haojie Hu, Chenhao Dang, Yaojia Liu, Hengrui Kang, Conghui He, Weijia Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 PosterMELD是模板条件化多智能体海报生成流水线，可导出可编辑PPTX和PNG，在621篇论文实验中PRR达81.3%，成本仅为Codex+Skill的3.5%，性能优于P2P、PosterGen等方法。

Comments 9 pages, 5 figures, and 4 tables. Code and resources are available at https://github.com/Shannon4Science/PosterMELD

Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

通过空间-光谱视觉锚学习缓解多模态大语言模型（MLLMs）中的视觉退化

Qianlong Yang, Bowen Ye, Xianda Guo, Yanlun Peng, Wenke Huang, Hongyuan Zhang, Yulei Jia

机构 * China University of Petroleum (East China)（中国石油大学（华东）） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Great Wall Motor（长城汽车） ； Nanyang Technological University（南洋理工大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对MLLMs推理时的视觉表示退化问题，提出SSVAL方法，通过VAPI及辅助对齐损失实现稳定视觉锚，性能优于现有方法。

Comments This paper has been accepted by ACM MM 2026

PRISM: Privileged Probabilistic Latent Supervision for End-to-End Autonomous Driving Motion Planning

PRISM：面向端到端自动驾驶运动规划的特权概率潜在监督

Volodymyr Havrylov, Faris Janjoš, Andreas Look, Jürgen Mathes, Andreas Geiger

机构 * University of Tübingen（蒂宾根大学） ； Bosch Center for Artificial Intelligence（博世人工智能中心） ； Coburg University（科堡大学） ； Tübingen AI Center（蒂宾根人工智能中心） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对端到端自动驾驶模型梯度微弱问题，提出基于真实值的概率潜在监督框架，在 nuScenes 数据集上实现规划 L2 误差降 8%、碰撞率降 3%，且计算开销可忽略。

UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval

UniCVR：从对齐到重排序的统一零样本复合视觉检索

Haokun Wen, Xuemeng Song, Haoyu Zhang, Weili Guan, Xiangyu Zhao, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； City University of Hong Kong（香港城市大学） ； Southern University of Science and Technology（南方科技大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 UniCVR提出首个统一零样本复合视觉检索框架，结合多模态大语言模型与视觉语言预训练模型，通过两阶段方法实现多任务联合优化，实验表明其在五个基准测试中表现优异。

MMPhysVideo: Physically Plausible Video Generation Through Joint RGB-Perception Modeling

MMPhysVideo: 通过联合多模态建模提升视频生成的物理合理性

Shubo Lin, Xuanyang Zhang, Wei Cheng, Weiming Hu, Gang Yu, Jin Gao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； StepFun（阶跃星辰） ； Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information（多模态信息超级智能安全北京市重点实验室） ； School of Information Science and Technology, Shanghai Tech University（上海科技大学信息科学与技术学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 MMPhysVideo通过联合多模态建模提升视频生成的物理合理性，将感知线索统一为伪RGB格式，提出双向控制教师架构以减少跨模态干扰，并通过MMPhysPipe构建物理丰富的多模态数据集，提升物理合理性和视觉质量。

Comments Project Page: https://shubolin028.github.io/MMPhysVideo-Page

SynopticBench: Evaluating Vision-Language Models on Generating Weather Forecast Discussions of the Future

SynopticBench：在生成未来天气预报讨论上评估视觉-语言模型

Timothy B. Higgins, Antonios Mamalakis, Chirag Agarwal

机构 * Department of Environmental Sciences（环境科学系） ； School of Data Science（数据科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；分类 cs.CV、cs.LG

AI总结 本文提出SynopticBench数据集和SPACE评估框架，用于评估视觉-语言模型在生成天气现象描述中的性能，揭示现有评估指标的局限性。

Comments Accepted for presentation at Climate Informatics 2026

Inverting the Hidden: Unveiling Multimodal Privacy Leakage in Collaborative LVLM Inference

反转隐藏内容：揭示协作式大型视觉语言模型（LVLM）推理中的多模态隐私泄露

Shuaifan Jin, Zhibo Wang, Qiyuan Wang, Yiting Han, Yajie Zhou, Yuanfan Zhang, Jiahui Hu, Xiaoyi Pang

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)

AI总结 该研究针对协作式LVLM推理的隐私风险，提出RASR多模态重建攻击，可从深层LVLM隐藏状态恢复隐私信息，图像重建MSE降约50%、文本恢复token准确率达99%。

FusionRS: A Large-Scale RGB-Infrared-Style Remote Sensing Dataset for Cross-Modal Vision-Language Learning

FusionRS: 用于双模态视觉-语言基础模型的大规模RGB-红外遥感数据集

Jiaju Han, Ben Zhang, Xuemeng Sun, Qike Zhang, Yuxian Dong, Dingyi Lu, Chengyin Hu, Luwei Yang, Fengyu Zhang, Yiwei Wei, Jiujiang Guo

机构 * China University of Petroleum-Beijing at Karamay（中国石油大学（北京）克拉玛依校区） ； University of Electronic Science and Technology of China（电子科技大学） ； Tianjin University（天津大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对遥感视觉-语言模型缺乏红外数据的问题，提出首个大规模RGB-红外-文本数据集FusionRS，通过翻译RGB图像为红外风格并配以红外感知描述，训练双模态基础模型，提升RGB-红外对齐和双模态字幕生成性能。

CultureVidBench: Benchmarking Cultural Understanding in Text-to-Video Generation

CultureVidBench：文本到视频生成中的文化理解基准测试

Xianjing Han, Yuhan Su, Yang Deng, Dong Ma, Wee Peng Tay, Bin Zhu

机构 * Nanyang Technological University（南洋理工大学） ； Centrale Supélec（中央高等电力学院） ； Singapore Management University（新加坡管理大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本研究推出CultureVidBench基准，评估7款T2V模型的文化理解能力，发现现有模型难捕捉细粒度文化细节，尤其针对代表性不足的文化区域与线索。

Comments Project page:https://hanxjing.github.io/CultureVidBench/

Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

学习关注何处与如何判断：具备质量感知显著性的分辨率无关图像质量评估

Hakan Emre Gedik, Shashank Gupta, Alan Bovik

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出基于CLIP的多尺度补丁驱动模型ReLIQS，解决无参考图像质量评估的分辨率适配、计算效率等问题，在多类基准上泛化能力优于主流基线且成本相当或更低。

Comments Accepted to the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

GISAgentBench: A Practitioner-Sourced Benchmark for Evaluating LLM Agents on GIS Tasks

GISAgentBench：面向GIS任务的、由从业者提供的用于评估大语言模型智能体的基准测试

Abhinav Pothuri, Zhe Jiang, Zelin Xu, Di Yang

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对现有GIS智能体基准缺乏真实输出等问题，推出由从业者提供的GISAgentBench基准，含349项多步骤GIS任务，评估显示最佳智能体仅完成32.7%的任务，凸显真实GIS工作流的挑战性。

Models as Tools: An Agentic Coordination Framework for Unified Multimodal Visual Tracking

模型作为工具：用于统一多模态视觉跟踪的智能体协调框架

Wenrui Cai, Yuzhe Li, Qingjie Liu, Yunhong Wang

机构 * Beihang University（北京航空航天大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对现有视觉跟踪方法的瓶颈，提出ACTrack智能体协调框架，整合异构模型工具的互补优势，仅用30%可训练参数便在多类基准上实现性能超越。

Comments 21 pages, 15 Tables, 7 Figures

SpatialAfford: Teaching Compact VLMs Where to Look and Where to Ground for Affordance

SpatialAfford：教紧凑视觉语言模型（VLMs）关注何处与定位何处以实现 affordance

Yufei Zhang, Chenlu Zhan, Donghui Sun, Xiaoxin Chen, Hongwei Wang

机构 * Zhejiang University（浙江大学） ； Vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 SpatialAfford 是一个两阶段框架，通过空间注意力对齐和空间感知 GRPO，使紧凑 4B VLMs 在多个基准上的 affordance 定位性能优于更强的 7B+ 基线模型。

PatchAlign3D: Local Feature Alignment for Dense 3D Shape Understanding

PatchAlign3D: 本地特征对齐用于密集3D形状理解

Souhail Hadgi, Bingchen Gong, Ramana Sundararaman, Emery Pierson, Lei Li, Peter Wonka, Maks Ovsjanikov

机构 * École polytechnique（巴黎政治学院） ； University of Virginia（弗吉尼亚大学） ； KAUST（王国立阿联酋科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 PatchAlign3D通过点云直接生成语言对齐的片段特征，实现高效零样本3D部分分割，优于传统渲染方法。

Comments CVPR 2026. Project website: https://souhail-hadgi.github.io/patchalign3dsite/

LLM Agents Can See Code Repositories

LLM智能体能够查看代码仓库

Dongjian Ma, Silin Chen, Yufei Yang, Yuling Shi, Yanfu Yan, Xiaodong Gu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 研究多模态大语言模型在仓库级问题解决中利用视觉表示的效果，发现纯视觉方案降低精度，而结合视觉结构图可减少26%输入token并保持或提升精度。

Comments Accepted by ASE 2026. Our code and data are available at https://github.com/cslsolow/SeeRepo

Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge

线性多时间尺度保留作为内存高效的视觉-语言桥梁

Ashfak Yeafi, Mehedi Hasan, Md Khairul Islam

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视觉-语言模型高分辨率图像处理的内存瓶颈，提出线性多时间尺度保留模块，兼具O(N)复杂度与上下文路由能力，在长序列任务、硬件效率及MME基准上均优于MLP基线。

Learning to See Locally and Align Clinically with Pathology Semantics for Radiology Report Generation

学习局部感知并与病理学语义临床对齐的放射学报告生成方法

Xuan Cuong Ngo

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对放射学视觉-语言模型的图像-文本对齐缺陷，提出病理学感知对齐框架PALM，结合共享病理学原型与掩码证据建模，在多数据集上提升报告生成与异常鲁棒性