视觉大模型 / VLM

RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models

RP - OPSD：用于多模态大语言模型的分辨率特权在线自蒸馏

Qihui Zhu, Yuchen Wang, Zijian Wen, Tao Zhang, Mengjie Zhang, Yang Liu, Shuangwu Chen, Siying Wu, Jian Yang, Xiaofeng Jiang

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型在线自蒸馏问题，利用同一图像高低分辨率视图信息差提出RP - OPSD，学生策略用低分辨率图像生成轨迹，教师策略用原始分辨率图像监督，实验表明该方法能提升性能并加快训练速度，为在线自蒸馏提供有效途径。

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

当汇点帮助或伤害：面向大视觉-语言模型的注意力汇点统一框架

Jiho Choi, Jaemin Kim, Sanghwan Kim, Seunghoon Hong, Jin-Hwi Park

机构 * KAIST（韩国科学技术院） ； Chung-Ang University（中央大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文研究了大视觉-语言模型中注意力汇点的影响，提出统一框架分析其作为冗余 artifacts 或全局先验的作用，并通过 Layer-wise Sink Gating 模块平衡全局推理与局部证据。

Comments Acknowledgments updated

Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment

用于微调CLIP的移位感知校准：利用图像-文本对齐

Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 研究针对微调CLIP时预测置信度与准确性不一致问题，提出无需训练的移位感知校准（SAC）方法，利用原始与微调CLIP输出对数差异作校准信号，经实验验证该方法在多数据集和微调方法上提升了校准效果。

Compressing LLMs with MoP: Mixture of Pruners

用MoP压缩LLM：剪枝混合方法

Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 MoP通过结合深度和宽度剪枝，提升了LLM的压缩效率和推理速度，同时在视觉-语言模型中实现了更高的计算效率。

Comments Code and models are available at: https://github.com/c2d-usp/Efficient-LLMs-with-MoP

The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models

门总是关闭：关于向冻结的视觉语言模型注入辅助信号

Moshiur Farazi, Sameera Ramasinghe, Bekir Sait Ciftler, Mahbub Ahmed Turza, Shafin Rahman

机构 * University of Doha for Science and Technology（多哈科技大学） ； Pluralis Research（普卢拉利斯研究公司） ； North South University（南北大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；分类 cs.CV

AI总结 研究视觉语言模型中辅助信号注入问题，发现优化器常使门控路径关闭。利用抑制现象，通过双曲视觉关系图的几何辅助损失正则化LoRA微调，实验表明该方法能保持关系准确率，还指出嵌入范数对齐及固定注入的必要性。

EgoPlay: Event-Triggered Video Editing for Egocentric Streams

EgoPlay：用于第一人称视角视频流的事件触发式视频编辑

Jinjie Mai, Gordon Guocheng Qian, Willi Menapace, Arpit Sahni, Chaoyang Wang, Ashkan Mirzaei, Runjia Li, Sergey Tulyakov, Bernard Ghanem, Peter Wonka, Rameen Abdal

机构 * Snap Inc.（Snap公司） ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究第一人称视角视频流编辑问题，提出EgoPlay，通过微调预训练模型，在单个端到端模型中联合学习事件识别等，构建数据集训练双向视频扩散编辑器，在Ego4D基准测试中表现出色，优于现有基线。

Comments Accepted to SIGGRAPH Asia 2026 as a Conference Paper. Project page: https://egoplay2026.github.io/egoplay

Test-Time Adaptation via Dual Distillation for Videos Under Severe Distribution Shifts

通过双重蒸馏实现严重分布偏移下视频的测试时自适应

André Sacilotti, Samuel Felipe dos Santos, Jurandy Almeida

机构 * University of São Paulo（圣保罗大学） ； Federal University of São Carlos（圣卡洛斯联邦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究针对视频在严重分布偏移下测试时自适应难题，提出双重蒸馏的测试时自适应框架TADD，依赖轻量级投影适配器及互补损失适应目标域，在多个视频动作识别基准测试中优于现有TTA基线，显著提升识别准确率。

PRISM: Prompt Refinement via Image-grounded Self-rewarding Mechanism for Text-to-Image Generation

PRISM：通过基于图像的自我奖励机制进行文本到图像生成的提示优化

Guo Tang, HongJie Luo, Tianxu Wang, Ying Zhang, Hao Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Sun Yat-sen University（中山大学） ； South China University of Technology（华南理工大学） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对文本到图像生成模型对提示制定敏感的问题，提出PRISM框架，通过基于图像的自我奖励机制，利用结构化视觉诊断和多任务监督微调等方法，提高图像质量和语义对齐，并提供可解释反馈。

Comments 18 pages, 5 figures

ReVision : A Post-Hoc, Vision-Based Technique for Replacing Unacceptable Concepts in Image Generation Pipeline

ReVision：一种基于视觉的后处理技术，用于在图像生成管道中替换不可接受的概念

Gurjot Singh, Prabhjot Singh, Aashima Sharma, Maninder Singh, Ryan Ko

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 ReVision是一种无需训练的后处理框架，通过视觉模型检测并替换图像生成中不安全的概念，提升安全性与生成质量。

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

用于多模态情感解释的令牌-区域引导交叉注意力融合

Musa Tur Farazi, Nufayer Jahan Reza

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对孟加拉语模因政治意图检测难题，引入多模态交叉注意力融合框架，利用视觉语言模型提取文本，经跨模态多头注意力机制合成特征，还整合政治词汇表，实验表明该方法显著优于基线，Macro-F1达0.94，有效实现文本语义基于视觉证据。

What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features

CLIP 所知道但无法表达的：从冻结的中间特征中恢复否定信息

Chen-Yi Lu, Yueh-Shao Chen, Somali Chaterji

机构 * Purdue University（普渡大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 对比视觉语言模型如CLIP对否定不敏感，研究发现是表征坍缩所致。提出轻量级事后校正系统PeakPatch，在不改变预训练权重下恢复否定信号，通过特定网络提取信号、预测偏差向量等，经实验验证其有效性及泛化性。

MAViE: A Multi-scale Adaptive Vision Encoder for Fine-grained Visual Perception and Efficient Multimodal Reasoning

MAViE：用于细粒度视觉感知和高效多模态推理的多尺度自适应视觉编码器

Shaofei Lei

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型问题，提出多尺度自适应视觉编码器MAViE，通过融合多层特征、进行令牌路由及引入相关策略，在统一框架下实验，减少视觉令牌数量，提升多任务分数并降低处理时间，还给出模型设计与评估协议。

Comments 10 pages

PathSelect: Sequential Token Selection for Whole Slide Pathology

PathSelect：用于全切片病理学的序列令牌选择

Jingzhi Chen, Landi He, Zehong Chen, Peihang Wu, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳先进技术研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对全切片图像给视觉语言模型带来的计算瓶颈，提出解耦路由框架PathSelect，将令牌剪枝重构成序列选择过程，训练时引入方差保持噪声门等，推理时模块分离，有效减少令牌数，提高准确率并优于基于采样的方法。

ConFusion: Continuous Fusion Space Learning for Fine-Grained Controllable Infrared and Visible Image Fusion

ConFusion：用于细粒度可控红外与可见光图像融合的连续融合空间学习

Guo Yurong, He Yufei, Li Yonghao, Chang Dongliang, Zhang Ke, Ma Zhanyu

机构 * North China Electric Power University（华北电力大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究可控红外与可见光图像融合，提出ConFusion框架，通过高斯条件空间感知调制学习连续融合空间，采用双分支架构及相关模块实现实例级细粒度可控融合，实验证明其在融合质量和下游任务上达先进水平。

Comments 10 pages, 5 figures

Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs

用于高分辨率多模态大语言模型中高效视觉令牌剪枝的结构化冗余建模

Jouwon Song, Woohyeong Kim, Kyeongbo Kong

机构 * LG Electronics（LG电子） ； Pusan National University（釜山国立大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 针对高分辨率多模态大语言模型视觉令牌爆炸致延迟瓶颈问题，提出单向前向剪枝器SFPruner，通过语义引导岭杠杆方案和基于排名的方向掩码两个互补机制，在单次前向传递中实现冗余感知重要性选择，有效减少令牌选择时间并保持性能。

Comments Accepted to ECCV 2026

DobicVLM: Aligning Chest X-Ray Report Generation with Clinically-Grounded Programmatic Rewards via Group Relative Policy Optimization

DobicVLM：通过群体相对策略优化使胸部X光报告生成与临床基础的程序化奖励保持一致

Thanni Adewuyi, Angelica Obayi, Andem Aniekan, Samuel Okoko, Angel Ezendu, Ephraim Usani, Ademide Animasaun, Philip Chibundu, Christian Maurice, Mary Donald Essien, Oluwaseun Odunsi, Oluwasegun Oguntuase, Abiodun Adereni

机构 * Dobic Health（多比克健康公司） ； University of Ibadan（伊巴丹大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究针对自动胸部X光报告生成难题，提出DobicVLM模型，结合监督微调、GRPO及临床奖励，用可解释规则组件执行标准，经训练和评估，该模型多数标准优于Gemini 2.5 Flash，证明GRPO在资源受限设置中的价值。

EGR: Embedding-Native Generative Retrieval with a Shared LLM

EGR：使用共享语言模型的嵌入原生生成式检索

Xiaodong Liu, Congfei Zhang, Hsiang-wei Chao, Siman Wang, Tong Zhao, Xiao Bai, Vincent Zhang, Jingxiao Ma, Zhe Liu, Wenfeng Zhuo, Zichu Li, Jitin Krishnan, Yunzhi Zhou, Yajun Wang, Jinchao Li, Yu Zhang

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究针对生成式检索在推荐和广告系统中的问题，提出EGR框架，利用共享语言模型在同一嵌入空间学习项目与用户表示，经联合对比训练，在多场景评估中表现出色，提升了转化率，简化了系统设计。

Comments Accepted to RecSys 2026

An MLIR-Based Compilation Method for Large Language Models

一种基于MLIR的大语言模型编译方法

Pengchao Hu, Zhibin Xin, Yifan Chen, Yangyang Zhou, Liang Wang, Xin Zhang

机构 * Sophgo Inc（算能科技有限公司） 纠错

专题命中 VLM训练与架构 ：InternVL(abstract)

AI总结 针对大语言模型在专用硬件部署的挑战，提出基于MLIR的编译方法，用TopOp和TpuOp方言表示模型，分阶段编译，在TPU-MLIR编译器等项目实现，支持多种模型及量化部署形式。

Group Preference Collapse in Personalized Multimodal Large Language Models

个性化多模态大语言模型中的群体偏好崩溃

Fan Lyu, Wenqi Zhang, Joost van de Weijer

机构 * Computer Vision Center, Universitat Autònoma de Barcelona（计算机视觉中心，巴塞罗那自治大学） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究个性化多模态大语言模型中群体偏好崩溃问题，提出PrefMoE框架，它分离配置文件信息与偏好表示，分解偏好，保留个性化残差并通过单独路径路由因素，实验表明该框架能改善偏好敏感个性化并减少偏好崩溃。

Personalize Your Large Vision-language Models With In-context Prompt Tuning

用上下文提示调优个性化你的大型视觉语言模型

Yanshu Li, Jiaqian Li, Kuai Yu, Xi Xiao, Dongfang Liu, Tianyang Wang, Ruixiang Tang

机构 * Brown University（布朗大学） ； Columbia University（哥伦比亚大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Purdue University（普渡大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出上下文提示调优（ICPT）方法，通过轻量投影模块从多参考图像中提取细粒度视觉语义并转化为连续提示，结合几何正则化解决环境偏差和跨概念干扰，实现高效个性化。

Comments Accepted at ECCV 2026, 27 pages, 10 figures, 5 tables

From Pixels to Prompts: Vision-Language Models

从像素到提示：视觉-语言模型

Khang Nhat Hoang Vo

机构 * MBZUAI 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文探讨了视觉-语言模型的发展历程，旨在提供清晰的认知框架，帮助读者理解该领域的核心概念和应用，而非罗列所有数据集和模型变体。

UniGen-AR: Unifying Visual Generation with Auto-Regressive Modeling

UniGen-AR：通过自回归建模统一视觉生成

Zhipeng Bao, Zhen Zhu, Nupur Kumari, Anurag Bagchi, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳 - 香槟分校） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究统一视觉生成问题，提出UniGen-AR框架，将通用多模态语言模型与视觉自回归解码器配对，能为多任务生成图像值输出，相比基于扩散的基线，推理延迟低达19倍，确立视觉自回归建模为统一视觉生成的高效主干。

Indic DiarBench: A Multilingual Joint Diarization and ASR Benchmark for Indian Languages

Indic DiarBench：印度语言的多语言联合语音分离与自动语音识别基准

Deovrat Mehendale, Aditya Mehndiratta, Dhruv Rathi, Kaushal Bhogale, Mitesh M. Khapra

机构 * Sarvam AI（萨尔瓦姆人工智能公司） ； AI4Bharat, IIT Madras（印度理工学院马德拉斯分校人工智能促进印度发展实验室） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI

AI总结 介绍涵盖印度22种在册语言的Indic DiarBench基准数据集，含约108小时多说话者音频，经人工校正注释。通过评估领先系统建立基线，该数据集作为开放资源推动印度语言多语言语音技术研究。

Comments 5 pages, 2 figures, Interspeech 2026 conference

VlogReward: Learning Multi-Dimensional Evaluation for Vlog Editing

VlogReward：学习用于Vlog编辑的多维评估

Yexiang Liu, Wen Zhong, Sijie Zhu, Xin Gu, Fan Chen, Junxian Duan, Jie Cao, Longyin Wen, Zhenfang Chen

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI

AI总结 针对Vlog评估主观性强且缺乏标准等问题，提出VlogReward模型。通过专业指导定义评估框架，构建数据集和基准，增强GRPO框架。该模型能提供多维分数与反馈，优于现有MLLMs，助力Vlog创作者及自动化评估完善系统。

Comments ICML 2026

Adapting a Text-to-Audio Model for Room Impulse Response Generation

为房间脉冲响应生成适应文本到音频模型

Kirak Kim, Sungyoung Kim

专题命中 其他VLM ：vision-language model(abstract)

AI总结 本文提出利用预训练文本到音频模型生成房间脉冲响应，通过视觉语言模型提取声学描述解决数据稀缺问题，验证大规模生成音频先验在该任务中的有效性。

Comments Accepted to IWAENC 2026