视觉大模型 / VLM

TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

TeachMateGPT：面向科学课程材料的多智能体知识基教学评估生成框架

Fatema Tuj Johora Faria, Mukaffi Bin Moin, M. F. Mridha, Jubayer Al Mahmud

机构 * Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学） ； American International University - Bangladesh（孟加拉国美国国际大学） ； Jashore University of Science and Technology（杰索尔科技大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 TeachMateGPT作为多智能体知识基框架，通过四项改进解决现有RAG系统局限，生成的科学评估题提升了忠实度与相关性，相关数据集经教师评分验证。

Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

生成无奖励的评判标准以减少智能体评估中的过度打分

Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

机构 * Trinity College Dublin（都柏林三一学院） ； University College Dublin（都柏林大学学院） ； Dublin City University（都柏林城市大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 该研究提出 RubricForge 方法，从带标签轨迹生成无奖励的智能体评判标准，可减少智能体评估中的过度打分，在 tau-bench 和 WebShop 上的表现优于通用 G-Eval 评判器。

Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack

先定位再中和：梯度引导的令牌抑制对抗视觉提示注入攻击

Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Advanced Interdisciplinary Sciences, UCAS（UCAS交叉学科研究院） ； School of Electronic, Electrical and Communication Engineering, UCAS（UCAS电子电气与通信工程学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Technology, UCAS（UCAS计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management, UCAS（UCAS大数据挖掘与知识管理重点实验室） 纠错

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；分类 cs.LG

AI总结 针对多模态大语言模型的视觉提示注入攻击，提出梯度令牌掩码（GTM）方法，通过梯度分析定位关键图像令牌并掩码中和，将攻击成功率降至接近零且计算开销极小。

Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization

基于理论的评估揭示了LLM个性化中的作者身份差距

Yash Ganpat Sawant

机构 * April 2026（2026年4月） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文通过理论指导的评估方法，揭示了LLM个性化中作者身份差距的问题，采用三种测量传统评估四种个性化方法，发现理论指导的指标能提供更准确的基准。

Comments Accepted at CTB Workshop, ICML 2026

Rollplex: Cross-Phase GPU Spatial Sharing for Vision Language Model Post-Training

Rollplex：面向视觉语言模型后训练的跨阶段GPU空间共享

Hanfeng Lu, Tianyu Feng, Suyi Li, Yuheng Zhao, Wei Gao, Shaopan Xiong, Ju Huang, Siran Yang, Jiamang Wang, Lin Qu, Wei Wang

机构 * HKUST（香港科技大学） ； Alibaba Inc（阿里巴巴公司） 纠错

专题命中 文档图表理解 ：vision language model(title)；vision-language model(abstract,abstract_cn)；分类 cs.LG

AI总结 Rollplex是一种跨阶段GPU空间共享运行时，通过解耦RL后训练的参考与训练阶段、优化内存与并行度，提升VLMs后训练的GPU利用率与训练速度。

Comments 16 pages, 10 figures

Global-Local Dual Perception for MLLMs in High-Resolution Text-Rich Image Translation

全局-局部双感知用于高分辨率文本密集图像翻译的MLLMs

Junxin Lu, Tengfei Song, Zhanglin Wu, Pengfei Li, Xiaowei Liang, Hui Yang, Kun Chen, Ning Xie, Yunfei Lu, Jing Zhao, Shiliang Sun, Daimeng Wei

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Labs, Huawei Technologies Co., LTD（华为技术有限公司2012实验室） ； School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） 纠错

专题命中 文档图表理解 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出GLoTran框架，通过全局-局部双感知方法提升高分辨率文本密集图像翻译的准确性和完整性。

From Recovery to Drop-off: How Action Post-training Reduces a VLM's Late-Layer Depth Decodability

从恢复到骤降：动作后训练如何降低视觉语言模型的深层解码能力

Alexander Hackett, Arnaud Denis-Remillard, Axel Cassou

机构 * New York University（纽约大学） ； Reflex ； Université de Montréal（蒙特利尔大学） ； Maastricht University（马斯特里赫特大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,summary_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 该研究探究动作后训练对VLM空间理解的影响，发现VLA存在深层解码能力的“基底”差距与“悬崖”骤降，定位其源于深层MLP干扰，消融该模块可恢复多数解码性能。

Comments Accepted to the archival proceedings track of the Embodied Multimodal Reasoning (EMR) Workshop at ECCV 2026

SportD: How do VLMs physically strategize?

SportD：视觉语言模型能进行物理策略制定吗？

Jasin Cekinmez, Addison J. Wu, Haotian Xia, Kyumin Andrew Shim, Anay Putty, Jinglin Xiao, Zhuohan Liu, Leo Liu, Weining Shen

机构 * Princeton University（普林斯顿大学） ； Rice University（莱斯大学） ； UC Irvine（加州大学欧文分校） ； POSTECH（浦项科技大学） ； NYU Shanghai（纽约大学上海分校） ； UC Santa Barbara（加州大学圣塔芭芭拉分校） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型在足球场景中能否进行物理策略制定，引入SportD基准，通过控球价值模型评估模型决策，发现模型表现低于职业球员，有偏好低方差低回报动作等问题，为衡量模型物理策略推理提供测试平台。

Act2Intention: A Benchmark For Developing Active Mobile Agents Through Inferring User Intention from GUI Actions

Act2Intention：通过从GUI操作推断用户意图开发主动移动智能体的基准

Xiaokai Yan, Jingtao Ding, Yong Li, Zhiwen Yu

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 本文提出Act2Intention框架及基准数据集，构建主动移动智能体，经实验验证该基准可显著提升智能体意图理解、预测与执行性能，为主动智能体研究提供标准化平台。

Designing Mobile and Wearable Sensor-Fused Conversational Agents for Health and Wellbeing

面向健康与福祉的移动及可穿戴传感器融合对话智能体设计

Hansoo Lee, Pablo Fonseca, Md Haseen Akhtar

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本教程面向健康领域，旨在教授参与者使用WSDWAS工具，将可穿戴传感器数据与LLM驱动的对话智能体结合，实现从被动监测到可操作福祉对话的转变。

Comments 6 pages, 3 figures. Accepted as a Tutorial at the 28th International Conference on Mobile Human-Computer Interaction (MobileHCI '26)

Journal ref In 28th International Conference on Mobile Human-Computer Interaction (MobileHCI '26), August 31-September 03, 2026, Swansea, United Kingdom

T-VSS: Test-Time Visual Subspace Steering for Adversarial Robustness of Vision-Language Models

T-VSS：面向视觉语言模型对抗鲁棒性的测试时视觉子空间引导

Jaehyuk Jang, Minseok Seo, Seungju Cho, Kangwook Ko, Changick Kim

机构 * School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出T-VSS方法，通过在视觉特征空间中构建样本特定的低秩子空间并学习共享特征校正，直接适应受攻击特征，提升视觉语言模型的对抗鲁棒性，同时保持清洁准确率和效率。

On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos

手术内窥镜视频的时间视觉语言模型的鲁棒性研究

Darakshan Rashid, Raza Imam, Ufaq Khan, Muhammad Bilal, Shazad Ashraf, Dwarikanath Mahapatra, Mohammad Yaqub, Muhammad Haris Khan, Imran Razzak, Brejesh Lall, Lena Maier-Hein, Yutong Xie

机构 * Indian Institute of Technology Delhi（印度理工学院德里分校） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Birmingham City University（伯明翰城市大学） ； University Hospitals Birmingham（伯明翰大学医院） ； Khalifa University（哈利法大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 该研究针对手术内窥镜视频的时间视觉语言模型，构建Endo-C6基准测试其鲁棒性，提出RobustEndoCLIP，可提升模型在内窥镜损坏下的性能与鲁棒性。

Comments Accepted to MICCAI 2026

InstructVVT: Instruction-Driven Video Virtual Try-On without Auxiliary Spatial Priors

InstructVVT：无需辅助空间先验的指令驱动视频虚拟试穿

Dingbao Shao, Song Wu, Xinyu Chen, Qian Wang, Jiahang Li, Kuai Jiang, Jiang Lin, Yuhang Liu, Ziyu Chen, Duo Li, Jiaxin Hu, Shengrong Gu, Ziheng Tang, Rongrong Liu, Yanlun Peng, Liang Li, Junlan Feng, Lujia Jin, Ting Zhang, Jian Yang, Zili Yi

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 InstructVVT是基于DiT的视频虚拟试穿框架，通过双层级参考调控方案无需推理时空间先验，在ViViD-S等数据集上优于现有开源方法，解决了现有方法依赖辅助先验的问题。

Comments 23 pages, 10 figures. Dingbao Shao and Song Wu contributed equally. Zili Yi is the corresponding author

PPOM: Marginalizing Patch-Grid Phase for CLIP-Based Generalizable Vision-Language Prompt Tuning

PPOM：用于基于CLIP的通用视觉-语言提示调优的补丁网格相位边缘化

Liang Wang, Haoyang Li, Chao Wang, Guodong Long, Jing Jiang, Yan Peng

机构 * Shanghai University（上海大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究针对基于CLIP的视觉-语言提示调优对补丁网格对齐敏感的问题，提出无训练的PPOM算子，通过边缘化相位偏移提升宿主性能，无需重新训练。

Proxy-Validated LLM UX Micro-Simulations: An Artifact-First Protocol for Early-Stage Decision Support

代理验证的大语言用户体验微模拟：一种用于早期决策支持的工件优先协议

Alexandre Cristovão Maiorano

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 该研究提出代理验证的LLM驱动UX微模拟流程，通过代理语料库验证模拟结果，结合多指标对比基线、消融实验分析智能体策略，提供可复现的早期UX决策支持方案。

Comments 27 pages, 5 figures, 15 tables

Ontology-Grounded World Models for Failure Diagnosis and Closed-Loop Repair in Physical AI Systems

用于物理人工智能系统故障诊断与闭环修复的本体论驱动世界模型

Kailin Wang, Haoxiang Jie, Yaoyuan Yan, Jiacheng Zhou, Zhiyou Heng

机构 * AI Lab, Country Garden Services Group（碧桂园服务集团AI实验室） ； Fudan University（复旦大学） ； Omni AI 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 本文提出分层于EV-WM之上的Onto-EV-WM本体驱动接口，在PointMaze、LIBERO-Goal等基准测试中实现高故障修复成功率，为物理AI系统提供有效的故障诊断与闭环修复方案。

Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation

超越文本条件：面向视频生成的MLLM-DiT融合系统研究

Yanbo Ding, Yijia Fan, Caihua Shan, Yifan Yang, Yifei Shen, Weijie Wang, Xirui Hu, Dongsheng Li, Lili Qiu, Yuqing Yang, Yali Wang

机构 * Chinese Academy of Sciences（中国科学院） ； Microsoft Research（微软研究院） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；分类 cs.CV

AI总结 该研究针对视频生成中MLLM与DiT融合问题，提出BiVidGen框架，通过MLLM生成语义视觉标记辅助DiT渲染，提升了视频的语义对齐度与时间一致性。

Personalized Digital Semantic Communication for Image Transmission with Vision-Language Models

基于视觉语言模型的图像传输个性化数字语义通信

Nan Li, Li Zhou, Haijun Wang, Jun Xiong, Haitao Zhao, Jibo Wei

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)

AI总结 针对现有语义通信方案忽略接收端依赖语义的问题，提出整合VLM与LDM的PDSC框架，构建容量受限的个性化语义率失真问题，实验证实其在带宽受限场景下的源语义一致性与个性化表现优于CDDM、MoS等基线。

Comments Accepted by IEEE GLOBECOM 2026

Hi-Token: Hierarchical Coordinate Tokenization for Generative Visual Grounding

Hi-Token：用于生成式视觉定位的分层坐标分词

Xiuyuan Zhu, Ke Lu, Kun Dong, Siwen Jiao, Hao Wu, Zijin Du, Shun Mao, Dongming Zhang, Jian Xue

专题命中 VLM训练与架构 ：grounding(title,abstract)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究提出Hi-Token分层坐标分词方法，结合基于几何的Hi-GAR奖励，在生成式视觉定位任务中提升了多模型多基准的定位性能，优于强专用基线。

Comments 15 pages, 7 figures, 15 tables

Content Based Video Narration of Gameplay with Vision Language Models

基于内容的游戏玩法视频旁白：利用视觉语言模型

Mathew Varghese

机构 * University of Washington（华盛顿大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出一种基于内容的游戏玩法视频旁白系统，利用视觉语言模型等技术生成电竞风格解说，无需游戏专用工具，支持本地化语音，还发布了可复现基线。

Comments https://mathewvarghese.space/ai-powered-game-commentary-auto-narrating-gameplay-videos-with-gpt-4o/

AlignFace: Human-Aligned Face Similarity Metric with Interpretable Concept Relations

AlignFace：具有可解释概念关系的人类对齐人脸相似度度量

Ying Huang, Wencan Zhang, Brian Y. Lim

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对人脸生成模型评估中现有度量未实现认知对齐的问题，提出AlignFace度量，结合VLM、CA、CBM、GAM等技术，利用FACETS数据集，提升了与人类亚群感知的对齐度。

Comments 10 pages, 10 figures, 2 tables, ACM MM 26

NAST: Improving Negation Handling in Medical Vision-Language Models through Negation-Aware Selective Training

针对医学视觉-语言模型中否定处理改进的分层微调

Ali Abbasi, Mehdi Taghipour, Rahmatollah Beheshti

机构 * University of Delaware（德克萨斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究提出NAST方法，通过因果追溯效应调节逐层梯度更新，提升医学视觉-语言模型对否定处理的识别能力，同时保持一般视觉-语言对齐。

Comments 16 pages, 6 figures. Accepted to MLHC 2026

FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation

FIRM：面向遥感推理分割的掩码细粒度令牌内表示

Weidong Tang, Kaiyu Li, Yikai Wang, Yanan Wu, Haotian Gan, Shihong Wang, Xiangyong Cao

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出FIRM模型，通过预测视觉令牌内的r×r二值子单元掩码代码结合轻量连续渲染器优化边界，在5个遥感推理分割基准上取得领先结果，提升了细粒度分割性能。

Parameter- and Bandwidth-Efficient Edge--cloud Many-to-Many Speech-to-Text Translation

带宽高效且隐私保护的边缘-云多对多语音翻译

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Lei Chen, Ming Liu, Bing Qin, Yang Xiang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 提出边缘-云协同框架ESRT，通过分割推理架构压缩中间特征实现带宽降低10倍和语音隐私保护，并采用多任务加权课程学习策略实现45种语言的多对多语音翻译。

LatentAM: Real-Time, Large-Scale Latent Gaussian Attention Mapping via Online Dictionary Learning

LatentAM：通过在线字典学习实现实时、大规模的潜在高斯注意力映射

Junwoon Lee, Yulun Tian

机构 * Robotics Department, University of Michigan（密歇根大学机器人系） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 LatentAM通过在线字典学习实现实时、大规模的潜在高斯注意力映射，提升机器人感知的特征重建保真度与实时性

Comments 8 pages, 7 figures. Accepted for RA-L. Homepage: https://junwoonlee.github.io/projects/LatentAM/ Code: https://github.com/UMich-SSI-Lab/latentam

Genie Sim 3.0 : A High-Fidelity Comprehensive Simulation Platform for Humanoid Robot

Genie Sim 3.0：人形机器人综合仿真平台

Chenghao Yin, Da Huang, Di Yang, Jichao Wang, Nanshu Zhao, Chen Xu, Wenjun Sun, Linjie Hou, Zhijun Li, Junhui Wu, Zhaobo Liu, Zhen Xiao, Sheng Zhang, Lei Bao, Rui Feng, Zhenquan Pang, Jiayu Li, Qian Wang, Maoqing Yao

机构 * AgibotTech（Agibot科技） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 Genie Sim 3.0通过高保真场景生成和开放数据集，提升机器人学习模型的泛化能力与仿真到现实的迁移效果。

CRAFT: Constrained Reward via Attention Fine-Tuning for Subject Personalization without Composed Targets

CRAFT：无需组合目标的主题个性化的注意力微调约束奖励

Jihun Park, Kyoungmin Lee, Jongmin Gim, Hyeonseo Jo, Jaeyeul Kim, Han Zou, Zhenpeng Zhan, Yan Zhang, Sunghoon Im

机构 * DGIST（大邱科技研究院） ； Baidu, Inc.（百度公司） ； KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出无需组合目标监督的CRAFT框架，通过LoRA适配器微调参考感知MMDiT，仅用1万张参考样本，在XVerseBench上实现图像主题个性化的最先进性能，且可迁移至其他骨干网络。

Comments 20 pages, 8 figures, ACM SIGGRAPH Asia 2026

RankT2I: A Submodular Framework for Discovering Interpretable and Diverse Semantics in Text-to-Image Models

RankT2I：一种用于发现文本到图像模型中可解释且多样化语义的子模框架

Ritika Allada, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出无训练、模型无关的RankT2I框架，通过子模方法自动发现T2I模型的可编辑语义，性能优于现有方法，可高效获取多领域文本到图像编辑所需的多样化语义。

Comments ECCV 2026

ProFocus: Interpreting Affective Experience in Artistic Images with Progressive Visual Focusing

ProFocus：通过渐进式视觉聚焦解释艺术图像中的情感体验

Zhiyan Zhang, Zicheng Yan, Jianqi Chen, Peipei Song, Shanshan Wang, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Anhui University（安徽大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本研究针对现有方法无法捕捉艺术情感细微线索的问题，提出ProFocus框架，通过层级艺术评论家与渐进式提示融合模块，在ArtEmis数据集上实现了更优的情感识别与解释性能。

Active Perception for Embodied Disambiguation

用于具身消歧的主动感知

Yiwei Liu, Luwei Yang

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI

AI总结 该研究针对具身环境中目标歧义问题，提出以主动观测为核心的主动感知框架，结合视觉语言模型实现信息获取与用户意图澄清，经真实机器人实验验证有效。