视觉大模型 / VLM

HDRAgent: An Agentic Framework for Multi-Exposure HDR Imaging

HDRAgent: 一种用于多曝光HDR成像的智能体框架

Weiyu Zhou, Tao Hu, Yijian Wang, Xiaogang Xu, Ruixing Wang, Qingsen Yan

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） ； Shenzhen Research Institute, Northwestern Polytechnical University（西北工业大学深圳研究院） ； Zhejiang University（浙江大学） ； Camera Group, DJI（大疆相机部门） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出首个智能体驱动的HDR成像框架HDRAgent，通过细粒度上下文知识匹配、感知-失真反馈机制和智能体引导的生成对齐策略，自适应选择重建策略，减少复杂动态场景中的鬼影和局部伪影。

Harnessing Streaming Video in the Wild

利用野外流式视频

Dingyu Yao, Shuhuan Gu, Qingyi Si, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Naibin Gu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； JD.COM（京东） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出Streaming Harness系统，通过Streaming-Train-248K数据集和训练目标，使视觉语言模型具备主动交互、长期记忆和实时处理能力，并构建Streaming-Eval基准评估流式视频理解。

Vision-Language Asymmetry in Bistable Image Captioning

双稳态图像描述中的视觉-语言不对称性

Arohan Agate

机构 * Arohan Agate 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 通过83个双稳态刺激的行为基线和稀疏自编码器分析，发现视觉塔中同时激活两种解释，但因果干预仅能翻转默认主导刺激的描述，揭示视觉表征与语言承诺之间的不对称性。

Comments Accepted at ICML 2026 Workshop on Philosophy of Machine Learning

Lost in Visual Translation: A VLM-Assisted Perceptual-Semantic Coherence Framework for EEG-to-Image Reconstruction

迷失在视觉翻译中：用于脑电到图像重建的基于视觉语言模型的感知语义连贯框架

Sukriti Tiwari, BHVSP Subrahmanyam, Nidhi Goyal, Sai Amrit Patnaik

机构 * Mahindra University（马欣德拉大学） ； MU-VT Interdisciplinary Advanced Research Centre for Transformative Technologies, Mahindra University（马欣德拉大学MU-VT变革性技术跨学科高级研究中心） 纠错

专题命中 VLM训练与架构 ：VLM(title)；分类 cs.CV、cs.AI

AI总结 研究脑电到图像重建中视觉保真度与语义可恢复性评估问题，引入基于四个视觉语言模型的框架，通过结构化问题评估图像对，产生宽容感知和语义对齐分数，提炼出脑机接口连贯分数，有效评估感知语义可恢复性。

Comments 27 pages, 3 figures, 13 tables. Accepted at the 5th International Workshop on Human Brain and Artificial Intelligence (HBAI 2026)

Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

对齐即全部所需：通用音频-语言模型的无指令训练

Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 该研究提出仅对齐的无指令大音频-语言模型LALM，仅训练轻量投影器，在多模态数据集上用更少数据达到或优于基线，证明仅靠对齐即可构建有竞争力的多模态大语言模型。

Conjunctive Poisoning in AI Supply-Chain Applications

AI供应链应用中的联合中毒攻击

Nokimul Hasan Arif, Qian Lou, Mengxin Zheng

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本研究提出AI供应链中的联合中毒攻击，通过包装器与元数据的交互改变模型行为，提出TIF-BAH防御，揭示AI部署中存在未被现有防御覆盖的部署时行为风险。

Inverting the Hidden: Unveiling Multimodal Privacy Leakage in Collaborative LVLM Inference

反转隐藏内容：揭示协作式大型视觉语言模型（LVLM）推理中的多模态隐私泄露

Shuaifan Jin, Zhibo Wang, Qiyuan Wang, Yiting Han, Yajie Zhou, Yuanfan Zhang, Jiahui Hu, Xiaoyi Pang

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)

AI总结 该研究针对协作式LVLM推理的隐私风险，提出RASR多模态重建攻击，可从深层LVLM隐藏状态恢复隐私信息，图像重建MSE降约50%、文本恢复token准确率达99%。

UniFS: Unified Fast-to-Slow Hierarchical Architecture for Vision-Language-Action Models

UniFS：面向视觉-语言-动作模型的统一快慢层次架构

Lin Sun, Zhiwei Guan, Conglin Wang, Zihong Chen, Jianhai Yu, Zongsheng Li, Boyong He, Tao Sun, Jiale Cao, Lige Liu

机构 * Tianjin University（天津大学） ； Yiwu Research Institute of Fudan University（复旦大学义乌研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出UniFS统一快慢层次架构，通过分层更新频率、潜向量反转和多级监督策略，解决快慢双系统视觉-语言-动作模型中的频率困境和信息耦合问题，在LIBERO上实现98.3%成功率并提速2.1倍。

Comments Code is opensourced at https://github.com/linsun449/UniFS

BIT-Nav: Brain-Inspired Trajectory Memory for Embodied Navigation

BIT-Nav: 具身导航的脑启发轨迹记忆

Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

机构 * Johns Hopkins University（约翰霍普金斯大学） ； DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出BIT-Nav框架，通过轻量级学习轨迹记忆增强冻结的视觉-语言模型导航，解决长序列中帧采样稀疏问题，以恒定token成本编码结构化运动历史。

Comments Accepted to CVPR 2026: 2nd Workshop on 3D-LLM/VLA: Bridging Language, Vision and Action in 3D Environments

Steering Autoregressive Vision-Language-Action Policies via Action Token Intervention

通过动作令牌干预引导自回归视觉-语言-动作策略

Jason Chan, Jonathan C. Kao

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出Token Steering方法，在推理时通过干预动作令牌空间动态引导VLA模型轨迹生成，无需训练或微调，显著提升家务操作任务成功率。

Comments 9 pages, 5 figures

APT: Action Expert Pretraining Improves Instruction Generalization of Vision-Language-Action Policies

APT: 动作专家预训练提升视觉-语言-动作策略的指令泛化能力

Kechun Xu, Zhenjie Zhu, Anzhe Chen, Rong Xiong, Yue Wang

机构 * Zhejiang University（浙江大学） ； Zhejiang Humanoid Robot Innovation Center（浙江人形机器人创新中心） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 针对连续动作专家模型对分布外语言指令泛化差的问题，提出APT两阶段训练方法，先预训练动作专家作为视觉-动作先验，再通过门控融合注入语言，显著提升泛化性能。

Explicit Representation Alignment for Multimodal Sentiment Analysis

显式表示对齐用于多模态情感分析

Baode Wang, Ziming Wang, Huacan Wang, Ronghao Chen, Biao Wu

机构 * AgentAlpha 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 针对多模态情感分析中表示不对齐问题，提出利用视觉-语言模型将视觉内容转为文本描述，结合语义标记选择和批量级均匀性正则化，实现跨模态对齐，在多个基准上取得最优性能。

Comments 10 pages, 5 figures

SA-GEM: Scale-Adaptive and Geospatial Evidence-Modulated Token Pruning for Efficient Remote Sensing Large Vision-Language Models

SA-GEM：面向高效遥感大视觉语言模型的尺度自适应与地理空间证据调制型令牌剪枝

Kexin Ma, Jing Xiao, Bowen Xing, Liang Liao, Chia-Wen Lin

专题命中 VLM训练与架构 ：vision-language model(title)；分类 cs.CV

AI总结 本文针对遥感大视觉语言模型高分辨率处理效率低的问题，提出SA-GEM即插即用剪枝框架，通过尺度自适应与地理空间证据调制实现效率与精度提升，在XLRS-Bench上超GeoLLaVA-8K 2.3%且推理提速2.4倍。

The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models

门总是关闭：关于向冻结的视觉语言模型注入辅助信号

Moshiur Farazi, Sameera Ramasinghe, Bekir Sait Ciftler, Mahbub Ahmed Turza, Shafin Rahman

机构 * University of Doha for Science and Technology（多哈科技大学） ； Pluralis Research（普卢拉利斯研究公司） ； North South University（南北大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；分类 cs.CV

AI总结 研究视觉语言模型中辅助信号注入问题，发现优化器常使门控路径关闭。利用抑制现象，通过双曲视觉关系图的几何辅助损失正则化LoRA微调，实验表明该方法能保持关系准确率，还指出嵌入范数对齐及固定注入的必要性。

Fine-tuning a multimodal large language model for clinician-grade autism behavioral scoring from short home videos

微调多模态大语言模型用于从短视频中对自闭症行为进行临床级评分

Mohammadmahdi Honarmand, Parnian Azizian, Aaron Kline, Kae Nurge, Zerin Nasrin Tumpa, Saimourya Surabhi, Kaitlyn Dunlap, Yang Qian, Ali Kargarandehkordi, Sameer Neupane, Peter Washington, Dennis P. Wall

机构 * Stanford University（斯坦福大学） ； University of Hawaii at Manoa（夏威夷大学马诺阿分校） ； University of California San Francisco（加利福尼亚大学旧金山分校） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)；分类 cs.CV

AI总结 微调Gemini 2.5 Pro模型，从400个临床评分的家庭视频中提取30个行为特征，在99名儿童上实现与临床医生评分的一致性提升40%，并零样本达到53%的自闭症诊断F1提升。

Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games

超越当前观测：评估多模态大语言模型在可控非马尔可夫博弈中的表现

Shengyuan Ding, Xilin Wei, Xinyu Fang, Haodong Duan, Dahua Lin, Jiaqi Wang, Yuhang Zang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)；分类 cs.CV

AI总结 提出RNG-Bench基准套件，通过配对记忆和3D迷宫两个博弈，评估多模态大模型在非马尔可夫环境中重建历史观测并据此行动的能力，发现主要错误源于遗忘而非决策，微调可提升性能。

Domain Generalizable Adaptation of 3D Vision-Language Models via Regularized Fine-Tuning

通过正则化微调实现可域泛化的3D视觉-语言模型适应

Sneha Paul, Zachary Patterson, Nizar Bouguila

机构 * Concordia University（康考迪亚大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；分类 cs.CV

AI总结 提出ReFine3D框架，通过选择性层调优、多视图一致性、同义词提示及点渲染视觉监督等正则化策略，提升3D大语言模型在域泛化中的性能。

Comments Accepted at Transactions on Machine Learning Research (TMLR)

Heterogeneous Vision-Language Ensemble with Disagreement-Aware Reranking for Text-Based Person Anomaly Retrieval

用于基于文本的行人异常检索的、带分歧感知重排序的异构视觉语言集成方法

Huu-An Vu, Cam Tu Tran Thi, Thanh Toan Le Ngo, Hoang Vo, Do Trung Hieu, Hieu Dinh Trung Pham, Khang Minh Le, Huy Minh Nhat Nguyen

机构 * Hanoi University of Science and Technology（河内科技大学） ； University of Information Technology, VNU-HCM（胡志明市国家大学信息技术大学） ； Vietnam National University, Ho Chi Minh City（胡志明市国家大学） ； VinUniversity ； Vietnamese-German University（越南德国大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究针对大规模基于文本的行人异常检索难题，提出带分歧感知重排序的异构视觉语言集成方法，在PAB基准上取得90.92% mAP等优异指标，验证了方案有效性。

Comments Accepted at the ECCV 2026 Workshop

Not All Visual Tokens Are Equally Safe to Remove:Consequence-Sensitive Visual Token Compression

并非所有视觉 token 都可安全移除：后果敏感型视觉 token 压缩

Jingbo Wen, Liang He, Mingyu Cao, Haoyu Wang, Minxuan Hu, Kangning Cui, Xilu Wang

机构 * The University of Sydney（悉尼大学） ； Tongji University（同济大学） ； University of Surrey（萨里大学） ； Nankai University（南开大学） ； Cornell University（康奈尔大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究针对视觉语言模型提出后果敏感型视觉 token 压缩方法，可在相同总 token 预算下降低高风险错误，还能减少代价加权错误并降低延迟，泛化性良好。

Attention is Case-Sensitive

注意力对字母大小写敏感

Maximilian Dillitzer, Tin Stribor Sohn, Jason J. Corso, Michael Auerbach

专题命中 VLM训练与架构 ：vision-language model(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 该研究发现LLMs和VLMs存在大小写效应，即文本中目标信息采用特定大小写格式会调节注意力分配，但该效应不一定提升任务准确率，推理模型的思考阶段可缓解此效应，且该效应可部分迁移至VLMs。

Comments Accepted at ECCV 2026

SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence

SciFigAlign：通过微调视觉内容与稿件证据的对齐来对科学图表进行评分

Chuanzhi Xu, Zihan Deng, Huiqi Liang, Chengkun Yue, Zhanlin Cui, Pengfei Ye, Weidong Cai

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文构建了含3857张科学图表的标注数据集，提出基于稿件证据的多模态评分器SciFigAlign，其在测试集上的MAE为0.3524，相对最佳LLM基准降低59%误差，证实需视觉与稿件证据的学习对齐。

Argus-Unified: Towards A Compact and Economical Unified Model for Image Understanding and Generation

阿格斯统一模型：迈向紧凑且经济的图像理解与生成统一模型

Weiming Zhuang, Jiabo Huang, Jingtao Li, Zhizhong Li, Chen Chen, Sina Sajadmanesh, Lingjuan Lyu

机构 * Sony AI（索尼人工智能公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究旨在统一图像理解与生成，提出阿格斯统一模型，利用预训练视觉语言模型，引入混合视觉令牌，分两阶段训练，以最少数据和低成本实现良好性能，达当前最优，可作统一模型开发基线。

EgoPlay: Event-Triggered Video Editing for Egocentric Streams

EgoPlay：用于第一人称视角视频流的事件触发式视频编辑

Jinjie Mai, Gordon Guocheng Qian, Willi Menapace, Arpit Sahni, Chaoyang Wang, Ashkan Mirzaei, Runjia Li, Sergey Tulyakov, Bernard Ghanem, Peter Wonka, Rameen Abdal

机构 * Snap Inc.（Snap公司） ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究第一人称视角视频流编辑问题，提出EgoPlay，通过微调预训练模型，在单个端到端模型中联合学习事件识别等，构建数据集训练双向视频扩散编辑器，在Ego4D基准测试中表现出色，优于现有基线。

Comments Accepted to SIGGRAPH Asia 2026 as a Conference Paper. Project page: https://egoplay2026.github.io/egoplay

LFM: Leveraging Foundation Models for Source-Free Universal Domain Adaptation

LFM：利用基础模型进行无源通用域适应

Jing Li, Pan Liu, Meng Zhao, Wanli Xue, Yanhong Yang, Xu Cheng, Fan Shi, Jianhua Zhang, Qinghua Hu, Shengyong Chen

机构 * School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院） ； Engineering Research Center of Learning-Based Intelligent System, Ministry of Education of the People’s Republic of China, Tianjin University of Technology（中华人民共和国教育部基于学习的智能系统工程研究中心，天津理工大学） ； School of Artificial Intelligence, Tianjin University（天津大学人工智能学院） ； Engineering Research Center of City Intelligence and Digital Governance, Ministry of Education of the People’s Republic of China, Tianjin University（中华人民共和国教育部城市智能与数字治理工程研究中心，天津大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 研究在无源数据时将预训练源模型适应到目标域的问题，提出LFM框架，利用视觉语言模型计算相似度确定标签转移类型、识别未知样本，通过共识策略精炼伪标签训练目标模型，实验验证了该框架的有效性和优越性。

Comments Accepted by IEEE Transactions on Multimedia (2026)

Von Mises-Fisher Mixture Model with Dynamic Shrinkage for Realistic Test-Time Transduction

用于现实测试时转导的具有动态收缩的冯·米塞斯-费舍尔混合模型

Jiazhen Huang, Zhiming Liu, Changhu Wang, Wei Ju, Ziyue Qiao, Xiao Luo

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 研究针对测试时视觉语言模型性能问题，从惩罚似然估计角度提出具有动态收缩的冯·米塞斯-费舍尔混合模型（MOON），该模型基于分布混合建模，能动态调整收缩强度处理不平衡，无需训练和特定超参，实验验证其性能和效率优势。

Comments Accepted by ICML 2026

Journal ref ICML 2026

Integrating Large Language Models and Graph Convolutional Networks for Semi-Supervised Image Classification

将大语言模型与图卷积网络集成用于半监督图像分类

Camila Piscioneri Magalhães, Lucas Pascotti Valem

机构 * Institute of Mathematics and Computer Science (ICMC)（数学与计算机科学研究所） ； University of São Paulo (USP)（圣保罗大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 针对图像分类中图构建难题，该研究将大语言模型与图卷积网络集成，利用视觉语言模型生成文本描述，经大语言模型处理得到语义相似性分数，指导kNN图边修剪，提升了半监督图像分类准确率。

Open-ended Multi-agent Autocurricula via Visual Inspection of Policies with Multi-modal LLMs

通过多模态大语言模型对策略进行视觉检查实现开放式多智能体自动课程

Lorenzo Pantè, Andrea Fanti, Roberto Capobianco

机构 * Sapienza University of Rome（罗马第一大学） ； Sony AI（索尼人工智能） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究强化学习中开放式多智能体自动课程设计难题，提出通过策略视觉检查（VIP）利用视频语言模型处理视频并提供课程建议，经星际争霸多智能体挑战赛实证，显示该方法能生成更有效课程。

CritiqueDriveVLM: From Verifier-Guided Reinforcement Learning to Latent Thought Distillation for Autonomous Driving

CritiqueDriveVLM：从验证器引导的强化学习到自动驾驶的潜在思想蒸馏

Zhaohong Liu, Hao Ye, Xianlin Zhang, Mengshi Qi

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； School of Digital Media & Design Arts（数字媒体与设计艺术学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 提出CritiqueDriveVLM框架解决自动驾驶中推理幻觉等问题，先通过验证器引导的强化学习培养强大教师模型，再用潜在思想蒸馏压缩能力到学生模型，提升性能并大幅降低推理延迟。

Comments Accepted by ECCV 2026

Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

文本作为部分约束：用于稳健视觉语言学习的核心-残差对齐

Chengzhen Yu, Canran Xiao, Siyuan Ma, Yang Liu

机构 * Nanyang Technological University (NTU)（南洋理工大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 针对自然字幕不明确致视觉语言对齐脆弱的问题，提出文本作为部分约束框架，以多视图字幕为不完全监督，提炼共识语义核心，降低相似度对未提及残差的依赖，提升视觉语言表征可靠性。

iFLYTEK-Embodied-Omni Technical Report

科大讯飞-具身全能技术报告

Yuan Zhang, Jingfei Ni, Guanchen Lu, Shiqi Zhang, Qingshan Xu, Chi Liu, Xin Nie, Wenjie Xu, Lin Gao, Zhiyuan Cheng, Mingxin Zhou, Jiajia Wu, Diyuan Liu, Jia Pan, Chao Ji

机构 * iFLYTEK ； LindenBot ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究通用具身智能体，提出统一多模态基础模型iFLYTEK-Embodied-Omni，通过共享多模态自注意力联合建模视觉、语言和动作，结合多种数据构建数据集并采用四阶段策略训练，实现脑-小脑协作。