视觉大模型 / VLM

Listening makes Vision Clear for VLMs

倾听使VLMs视觉清晰

Yiyang Chen, Yixin Tan, Binrui Shen

机构 * Beijing Normal University（北京师范大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对视觉语言模型解码漂移导致注意力分布与语义不一致的问题，提出基于提示侧语义的PV-TAM方法，通过过滤模态边界标记偏差并利用注意力峰值分布评估提示与视觉区域对齐，显著提升定位指标。

Comments 18pages,3 figures

Training-Free Semantic Correction for Autoregressive Visual Models

自回归视觉模型的免训练语义校正

Junhao Chen, Chanyu Zhu, Zheqi Lv, Keting Yin, Shengyu Zhang

机构 * Zhejiang University（浙江大学） ； Shandong University（山东大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出Gazer框架，通过多模态大语言模型反馈在自回归视觉模型采样循环中进行语义诊断与校正，无需额外训练即可提升语义对齐和组合准确性。

VCG: A Multimodal Retrieval Framework for E-Commerce Video Feeds under Extreme Cold-Start Conditions

VCG：极端冷启动条件下电商视频流的多模态检索框架

Katya Mirylenka, Egor Malykh, Mahdyar Ravanbakhsh, Michael Gygli, Marco-Andrea Buchmann, Andrew Dzhoha, Svitlana Borzenko, Francesca Catino, Mohamed Gaafar, Maarten Versteegh, Thomas Kober, Dario d'Andrea, Ellie Langhans

机构 * Zalando Switzerland AG（Zalando瑞士有限公司） ； TU Wien（维也纳技术大学） ； Zalando SE（Zalando德国分公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对电商视频流中的极端冷启动和偏差问题，提出基于领域自适应视觉-语言模型（CLIP）的可扩展多模态检索系统VCG，实现零样本检索，在线测试显示深度视频完成率提升50%。

PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

PerceptionDLM：基于多模态扩散语言模型的并行区域感知

Yueyi Sun, Yuhao Wang, Jason Li, Ye Tian, Tao Zhang, Jacky Mai, Yihan Wang, Haochen Wang, Jinbin Bai, Ling Yang, Yunhai Tong

机构 * Peking University（北京大学） ； MSALab ； ByteDance（字节跳动） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出PerceptionDLM，利用扩散语言模型的并行解码特性，通过高效提示和结构化注意力掩码实现多区域并行感知，显著提升推理效率，并构建ParaDLC-Bench基准进行评估。

Comments Code available at https://github.com/MSALab-PKU/PerceptionDLM

ECA: Efficient Continual Alignment for Open-Ended Image-to-Text Generation

ECA：面向开放图像到文本生成的高效持续对齐

Jiangtao Kong, Peijun Zhao, Chun-Fu Chen, Youngwook Do, Shaohan Hu, Tianyi Zhou, Huajie Shao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出ECA方法，通过混合查询模块、Fisher动态扩展和字典重放，实现无需旧数据的持续对齐，缓解灾难性遗忘，提升开放图像到文本生成的增量学习性能。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs

从感知到决策：多模态大语言模型中听觉与视觉感知的信息流

Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito

机构 * Surrey Institute for People-Centred AI (PAI)（萨里人本人工智能研究所） ； University of Surrey（萨里大学） ； Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型（AVLLMs）中音频和视觉信息流的路径与整合机制，发现顺序流与并行流两种路由模式，并证明信息传递后可丢弃无关token以提升效率。

Comments 40 pages, 29 figures

Data Synthesis and Parameter-Efficient Fine-Tuning for Low-Resource NMT: A Case Study on Q'eqchi' Mayan

低资源神经机器翻译的数据合成与参数高效微调：以Q'eqchi'玛雅语为例

Alexander Chulzhanov, Soeren Eberhardt, Arjun Mukherjee

机构 * University of Houston（休斯顿大学） ； MasterWord Services, Inc.（MasterWord Services公司） ； University of Washington（华盛顿大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 针对低资源土著语言，提出数据合成方法（利用社区词典生成合成语料）结合LoRA参数高效微调，在Q'eqchi'玛雅语上实现高结构习得（BLEU 42.02），但存在结构-语义差距，需结合真实数据进行课程学习。

Comments Accepted to the 29th International Conference on Text, Speech and Dialogue (TSD 2026). This version of the contribution has been accepted for publication, after peer review but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections

IEA: Amateur-Friendly Conversational Image Editing Agent via Three Stages of Multitask Alignment

IEA：通过三阶段多任务对齐的业余友好型对话式图像编辑代理

Zichen Zhu, Yuheng Sun, Mingxuan Zhu, Wenjie Ma, Situo Zhang, Zhexiang Wang, Ziyue Yang, Danyang Zhang, Kunyao Lan, Zihan Zhao, Dingye Liu, Siqi Xiang, Lu Chen, Kai Yu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institution（上海创新研究院） ； Huawei Technologies Ltd.（华为技术有限公司） ； Nanyang Technological University（南洋理工大学） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出IEA对话式图像编辑代理，通过三阶段多任务训练学习操作参数化工具，实现可解释编辑轨迹，在像素距离和ROUGE-L指标上优于基线，用户研究中指令跟随和感知质量表现最佳。

Comments [CVPR 2026 Findings] Our data and code are released at https://github.com/OpenDFM/Image_Edit_Agent

GP-Adapter: Gaussian Process CLIP-Adapter for Few-Shot Out-of-Distribution Detection

GP-Adapter: 基于高斯过程的CLIP适配器用于少样本分布外检测

Taisei Saito, Koretaka Ogata, Takafumi Hiroi

机构 * st Taisei Saito（第一作者） ； nd Koretaka Ogata（第二作者） ； rd Takafumi Hiroi（第三作者） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出GP-Adapter，一种无需训练的框架，通过高斯过程不确定性建模增强CLIP，用于少样本分类和分布外检测，无需微调骨干网络，仅依赖少量缓存和轻量超参数选择。

Comments 8 pages, 6 figures, Accepted at IJCNN 2026

DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations

DIFFCZSL：基于扩散表示正则化的组合零样本学习

Hangyu Tian, Zhenqi He, Yanghao Wang, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 DIFFCZSL将预训练扩散模型的生成先验注入基于CLIP的组合零样本学习流程，通过对比对齐提升性能，在两类设置下均优于强基线，凸显了扩散表示与视觉-语言模型的互补优势。

Towards Clinically Faithful Medical Image Captioning via Enhanced Vision-Language Alignment

基于增强型视觉-语言对齐的临床可信医学图像描述生成研究

Yunseo Lee, Hyun Jun Kim, Heeseung Shin, Changwon Lim

机构 * Chung-Ang University（中央大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究针对医学图像描述生成的临床可信性问题，提出分离训练与推理对齐的框架，结合多编码器、辅助学习及MedPAIR-SCST方法，通过选择与强化学习对齐提升临床一致性，在数据受限场景下改善医学图像描述的可信度。

Comments 10 pages, 2 figures, 7 tables. Preprint submitted to IEEE for possible publication

Holtercare-Bench: A Multimodal Benchmark for Evaluating Long-Term Dynamic ECG Analysis

Holtercare-Bench：用于评估长期动态心电图分析的多模态基准

Yihan Xie, Hanwen Cui, Runze Ye, Juekai Lin, Haoyang Wang, Jinhao Mao, Bo Zhang, Wenqiao Zhang, Xiaogang Guo, Jun Xiao, Lei Zhang

机构 * Zhejiang University（浙江大学） ； Beijing Institute of Technology（北京理工大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 该研究针对现有多模态大语言模型在长期动态心电图分析中的不足，构建了含22980个问答对的Holtercare-23K数据集及Holtercare-Bench基准，评估发现零样本模型处理超长病理序列性能差，微调后提升显著，为长期医疗多模态大语言模型提供基础基准。

Hallucination as a Feature, not a Defect: Evaluating a multi-agent architecture to transform speculative language-model outputs into testable scientific hypotheses

幻觉作为特征而非缺陷：评估一种将推测性语言模型输出转化为可检验科学假说的多智能体架构

Nicolas Rodriguez-Alvarez

机构 * IES Parquesol（帕尔奎索尔学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 该研究提出基于Rust的多智能体架构，通过生成与评估智能体的认识论摩擦循环将LLM的推测性输出转化为可检验假说，实验显示该架构在需经受严格约束时更具优势，且各架构在原创性等维度的平衡表现不同。

Comments 25 pages. Bilingual: full English version followed by the complete Spanish version. Includes an exploratory paired baseline and ablation study (6 conditions). Code and data: https://doi.org/10.5281/zenodo.20649714

FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

FACET：在终端任务合成中保留源意图与可执行状态

Kou Shi, Zun Wang, Qisheng Su, Shiting Huang, Ziao Zhang, Zhen Fang, Qingnan Ren, Jin Liu, Yu Zeng, Yiming Zhao, Lin Chen, Zehui Chen, Feng Zhao

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 FACET是保留源意图与可执行状态的终端任务合成框架，可生成高质量任务并提升Terminal-Bench 2.1上的智能体微调性能，为任务合成提供关键原则。

Comments https://stokou.github.io/FACET-Terminal/

MoE-ViE: Mixture of Experts Vision Encoder for Efficient Image and Video Understanding

MoE-ViE：用于高效图像与视频理解的混合专家视觉编码器

Bonan Zhang, Shiyu Dong, Quan Hung Tran, Katharina Gschwind, Shuqi Yang, Sijia Chen, Adel Ahmadyan, Seungwhan Moon, Lu Zhang, Ahmed Kirmani, Babak Damavandi, Anuj Kumar

机构 * Meta 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究提出MoE-ViE，通过细粒度MoE拓扑、无辅助损失平衡变体、专用MoE内核及帧级蒸馏等设计，实现高效图像与视频理解，性能优于对应密集模型及更大规模SOTA编码器。

Comments Accepted to ECCV 2026

Expressivity In Multimodal Contrastive Learning

多模态对比学习中的表达能力

Andrew Stuart, Florian Wolf

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 该研究针对多模态对比学习的表达能力展开分析，明确CLIP架构的表达能力随模态数量变化，提出Hadamard-CLIP模型，实现任意数量模态联合分布的通用近似且保留CLIP的检索优势。

SEER: Long-Context Reasoning via Selective Visual-Text Compression

SEER：基于选择性视觉-文本压缩的长上下文推理

Jiawei Xu, Zhilin Zhai, Jinrui Fang, Ruohan Xu, Mingfei Lu, Yi Zhang, Guanchu Wang, Tianlong Chen, Ying Ding

机构 * The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Cambridge（剑桥大学） ； University of Technology Sydney（悉尼科技大学） ； The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 SEER是结合视觉压缩效率与文本推理精度的框架，经监督微调后在LongBench等长上下文基准测试中，准确率优于Glyph-9B、Qwen3-8B等基线模型，可提升提取精度并保留提示token节省量。

Comments COLM 2026, Third Conference on Language Modeling

Gaussian-JEPA: Joint-Embedding Predictive Learning for 3D Gaussian Splats

Gaussian-JEPA：面向3D高斯溅射的联合嵌入预测学习

Bin Ren, Qi Ma, Yue Li, Zongyan Han, Yidi Li, Yuqian Fu, Rao Muhammad Anwer, Theo Gevers, Fahad Shahbaz Khan, Salman Khan

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出Gaussian-JEPA，通过预测高斯令牌块潜在表示实现自监督学习，在多类任务上优于重构预训练，为3D高斯表示提供有效学习目标

Comments Joint-embedding predictive representation learning for 3D Gaussian Splatting

MEDR: Query-Independent Frame Selection via Multi-Signal Event Modeling and Dynamic Rescoring

MEDR：基于多信号事件建模与动态重评分的查询无关帧选择

Xinlei Pu, Weijie Shi, Wen Yang, Yi Cao, Hao Chen, Yuanjun Liu, Wenwei Ding, Jia Zhu, Jiajie Xu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究提出无需训练的MEDR帧选择方法，通过多信号事件建模与动态重评分实现查询无关，在Video-MME等基准上提升了多模态大语言模型的长视频处理准确率，且帧集可跨问题复用。

Comments 9 pages, 2 figures, 3 tables

When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use

当API“说错”语言：重新审视多语言工具使用的后训练

Siddharth Chauhan, Thomas Butler, Abhishek Singhania, Pankaj Porwal, Honey Gupta

机构 * Amazon（亚马逊） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 针对多语言API调用中存在的参数语言不匹配问题，研究发现监督微调可实现接近或优于复杂强化学习方法的性能，强化学习仅能提供渐进式改进。

XBridge: Entity-Grounded Latent Bridge for Heterogeneous LLM Communication

XBridge：面向异构大语言模型通信的实体锚定隐空间桥接器

Wooseong Yang, Wei-Chieh Huang, Weizhi Zhang, Yu Wang, Philip S. Yu, Junhyun Lee

机构 * Hankuk University of Foreign Studies（韩国外国语大学） ； Noah’s Farm（诺亚农场） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Capital One AI Foundations（Capital One AI 基金会） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 XBridge是免解码的异构大语言模型通信协议，通过词汇锚定映射和隐空间丰富桥接器解决跨架构通信的实体身份丢失问题，在多模型、多基准测试中表现优于现有方法，参数开销低。

Comments 18 pages, 4 figures

E$^3$mo-Bench: A Scalable Benchmark for Multimodal Evoked and Expressed Emotion Understanding via Bayesian Pairwise Alignment

E³mo-Bench：基于贝叶斯成对对齐的可扩展多模态诱发与表达情感理解基准

Lancheng Gao, Ziheng Jia, Shengyan Li, Zixuan Xing, Jiarui Wang, Huiyu Duan, Xiongkuo Min

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对现有多模态情感理解基准的不足，推出E³mo-Bench基准，提出贝叶斯成对对齐方法与E³mo-Score智能体，验证了框架有效性并指出MLLMs在情感任务中的缺陷，为多模态情感智能发展指明方向。

SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception

SapiensID 2.0：将人类识别基础模型与人类感知对齐

Yiyang Su, Jie Zhu, Feng Liu, Anil K. Jain, Xiaoming Liu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对现有人类识别模型与人类感知脱节的问题，提出兼具语义与时间感知的SapiensID 2.0框架，通过多项技术实现最优识别性能。

GeoRoute: Geometry-Aware Hybrid Inference for Traffic Future-Frame Prediction

GeoRoute：面向交通未来帧预测的几何感知混合推理方法

Khang Minh Le, Hieu Dinh Trung Pham, Luu Thanh Danh, Nam-Tien Le, Hieu Anh Ngo, Phuong Huu Vu Tran, Son Nguyen Minh Le, Nguyen Trong Nghia, Tu Tran Thi Cam, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese-German University（越南-德国大学） ； University of Science, Ho Chi Minh City（胡志明市科学大学） ； Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 GeoRoute是一种无需训练的几何感知混合推理框架，通过多帧深度分层渲染器和视角条件选择预测器，在AI City Challenge Track 5基准上实现了具有竞争力的交通未来帧预测性能，提升了静态几何稳定性。

Comments accepted to the ECCV 2026 AI City Challenge Workshop

SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

SI-Edit：面向草图-指令引导的像素级精度局部图像编辑

Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所） ； City University of Macau（澳门城市大学） ； Meitu Inc（美图公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 针对基于草图的图像编辑缺乏像素级精度及对应数据集、评估指标的问题，提出SI-Edit框架，构建SI-Data数据集并建立评估指标，实现更可靠的结构控制与像素级局部编辑效果。

Comments accepted by ACM MM 2026

Gradient Under Microscope: Benchmarking Resource Utilization of Memory-Efficient Gradient Computation Methods

显微镜下的梯度：对内存高效梯度计算方法的资源利用基准测试

Sarthak Mahapatra, Zihan Zhou, Khatoon Khedri, Mehdi Hosseinzadeh, Reza Rawassizadeh

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 该研究针对四种Transformer架构，测试五种梯度优化器在三种内存策略下的资源利用，发现梯度累积效果最优，Adam并非普遍最优，梯度检查点效果依赖架构，为模型训练部署提供实用指南。

VLZip: Unified Visual and Textual Compression for Interleaved Long-Context Modeling

VLZip：用于交错长上下文建模的统一视觉与文本压缩方法

Yuqi Zhang, Cheng Chen, Yuyu Guo, Wenjie Yang, Lingchen Meng, Peng Di, Hang Yu, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 VLZip 是统一视觉与文本压缩的框架，通过提炼软前缀缩短注意力序列，在长上下文多模态推理上性能领先，支持超大规模 token 处理，为长上下文多模态 AI 建立新高效标准。

Circuit Fine-Tuning for Compute-Efficient Transformer Adaptation

面向计算高效的Transformer适配的电路微调

Uri Z. Kialy, Gil Ben-Artzi

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出电路微调（CFT）框架，通过电路发现选择ViT待微调子图，仅微调该子图，可大幅降低训练FLOPs与时间，在多类视觉任务上验证了有效性。

A Six-Dimensional Taxonomy of Post-Training Adaptation Techniques with Applications in AI Governance

用于人工智能治理的后训练适应技术的六维分类法

Fardin Afdideh, Fernando Seoane, Farhad Abtahi

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 本综述构建了后训练适应技术的六维分类法，梳理技术间关系，为AI治理提供术语支持，并指出该领域的开放挑战。

HERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval Rewards

HERALD：检索证明奖励的反事实审计与最小修复

Zhuowen Liu, Bohan Cui, YinShang Guo, Yuting Wang, Hao Li

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 HERALD是一种离线审计方法，可对搜索智能体的检索证明奖励进行反事实审计与最小修复，能有效抵御引用清洗攻击，提升引用精度等指标并分离稳健评分与策略迁移。

Comments 9 pages, 3 figures, and 4 tables