视觉大模型 / VLM

Building Egocentric Procedural AI Assistant: Methods, Benchmarks, and Challenges

构建第一人称程序化AI助手：方法、基准和挑战

Junlong Li, Huaiyuan Xu, Sijie Cheng, Kejun Wu, Kim-Hui Yap, Lap-Pui Chau, Yi Wang

机构 * Department of EEE（电子工程系） ； The Hong Kong Polytechnic University（香港理工大学） ； RayNeo ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出第一人称程序化AI助手，探讨其核心任务、赋能维度及挑战，通过实验评估现有方法并指明未来研究方向。

Comments Under peer-review

Vista: Scene-Aware Optimization for Streaming Video Question Answering under Post-Hoc Queries

Vista：面向事后查询的场景感知流视频问答优化

Haocheng Lu, Nan Zhang, Wei Tao, Xiaoyang Qu, Guokuan Li, Jiguang Wan, Jianzong Wang

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 Vista通过场景感知分割、压缩和召回技术，实现了高效且可扩展的流视频问答，提升了长上下文推理能力，同时保持低延迟和内存效率。

Comments Accepted to AAAI 2026 (Main Technical Track)

M2A: Multimodal Memory Agent with Dual-Layer Hybrid Memory for Long-Term Personalized Interactions

M2A：具有双层混合记忆的多模态记忆代理用于长期个性化交互

Junyu Feng, Binxiao Xu, Jiayi Chen, Mengyu Dai, Cenyang Wu, Haodong Li, Bohan Zeng, Yunliu Xie, Hao Liang, Ming Lu, Wentao Zhang

专题命中 视觉问答 ：LLaVA(abstract)；分类 cs.AI

AI总结 M2A通过双层混合记忆系统实现长期多模态交互中的个性化响应，利用在线更新机制提升用户偏好适应性。

ADCanvas: Accessible and Conversational Audio Description Authoring for Blind and Low Vision Creators

ADCanvas: 为视障和低视力创作者提供可访问且对话式的音频描述创作工具

Franklin Mingzhe Li, Michael Xieyang Liu, Cynthia L. Bennett, Shaun K. Kane

专题命中 视觉问答 ：visual question answering(abstract)

AI总结 ADCanvas为视障和低视力创作者提供可访问且对话式的音频描述创作工具，通过多模态交互支持端到端的AD创作和视觉问答。

Comments 21 pages, 4 figures, published in CHI '26

Journal ref Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26), April 13-17, 2026, Barcelona, Spain

Reading Images Like Texts: Sequential Image Understanding in Vision-Language Models

像阅读文本一样理解图像：视觉-语言模型中的序列图像理解

Yueyan Li, Chenggong Zhao, Zeyuan Zang, Caixia Yuan, Xiaojie Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出通过序列化方法理解图像内容，揭示视觉-语言模型中对象识别与空间感知的机制，改进解码效率并增强空间推理能力。

SPD-Faith Bench: Diagnosing and Improving Faithfulness in Chain-of-Thought for Multimodal Large Language Models

SPD-Faith Bench: 诊断和改进多模态大语言模型中的推理忠实性

Weijiang Lv, Yaoxuan Feng, Xiaobo Xia, Jiayu Wang, Yan Jing, Wenchao Chen, Bo Chen

机构 * Xidian University（西安电子科技大学） ； National University of Singapore（新加坡国立大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 SPD-Faith Bench通过细粒度图像差异推理诊断并改进多模态大语言模型中的推理忠实性，揭示了感知盲区和感知-推理脱节的系统性失败模式，并提出SAGE框架提升视觉路由和推理与感知的一致性。

Comments 53 pages, 42 figures, 14 tables

MomaGraph: State-Aware Unified Scene Graphs with Vision-Language Model for Embodied Task Planning

MomaGraph: 体感任务规划中的状态感知统一场景图

Yuanchen Ju, Yongyuan Liang, Yen-Jen Wang, Nandiraju Gireesh, Yuanliang Ju, Seungjae Lee, Qiao Gu, Elvis Hsieh, Furong Huang, Koushil Sreenath

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Maryland, College Park（马里兰大学学院公园分校） ； University of Toronto（多伦多大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 MomaGraph通过统一场景图与强化学习模型，实现家庭环境中体感任务规划的高效任务规划与场景理解。

Comments 25 pages, 10 figures. Project page:https://hybridrobotics.github.io/MomaGraph/

Bridging Speech, Emotion, and Motion: a VLM-based Multimodal Edge-deployable Framework for Humanoid Robots

弥合语音、情感与运动：一种基于视觉语言模型的多模态边缘可部署框架用于人形机器人

Songhua Yang, Xuetao Li, Xuanye Fei, Mengde Li, Miao Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 视觉推理 ：VLM(title)；vision language model(abstract)；分类 cs.AI

AI总结 本文提出SeM$^2$框架，通过多模态感知、思维链推理和语义序列对齐机制，实现情感一致的多模态交互，提升人形机器人在现实环境中的社交表达能力。

Weak to Strong: VLM-Based Pseudo-Labeling as a Weakly Supervised Training Strategy in Multimodal Video-based Hidden Emotion Understanding Tasks

弱到强：基于VLM的伪标签作为多模态视频隐藏情绪理解任务中的弱监督训练策略

Yufei Wang, Haixu Liu, Tianxiang Xu, Chuancheng Shi, Hongsheng Xing

机构 * The University of New South Wales, Sydney, New South Wales, Australia（新南威尔士大学） ； The University of Sydney, Sydney, New South Wales, Australia（悉尼大学） ； School of Software and Microelectronics, Peking University, Zibo, Shandong, China（北京大学软件与微电子学院） ； Shandong University of Technology, Beijing, China（山东理工大学） 纠错

专题命中 视觉推理 ：VLM(title)；分类 cs.CV、cs.AI

AI总结 本文提出基于VLM的伪标签弱监督方法，用于多模态视频隐藏情绪识别，提升准确率至0.69并建立新基准。

UrbanGraphEmbeddings: Learning and Evaluating Spatially Grounded Multimodal Embeddings for Urban Science

UrbanGraphEmbeddings: 学习和评估空间导向的多模态嵌入用于城市科学

Jie Zhang, Xingtong Yu, Yuan Fang, Rudi Stouffs, Zdravko Trivic

机构 * National University of Singapore Department of Architecture Singapore ； The Chinese University of Hong Kong Dept of Systems Eng. \& Eng. Mgmt. China ； Singapore Management University School of Computing \& Info. Systems Singapore ； National University of Singapore ； Department of Architecture ； The Chinese University of Hong Kong ； Singapore Management University 纠错

专题命中 视觉推理 ：VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UGE框架，通过空间导向的多模态嵌入提升城市理解任务性能，实验显示在图像检索和地理位置排名上取得显著提升。

CoTZero: Annotation-Free Human-Like Vision Reasoning via Hierarchical Synthetic CoT

CoTZero：通过分层合成CoT实现无标注的人类级视觉推理

Chengyi Du, Yazhe Niu, Dazhong Shen, Luxin Xu

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong MMLab（香港中文大学 MMLab） ； The College of Computer Science and Technology（计算机科学与技术学院） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 CoTZero通过双阶段数据合成和认知对齐训练，实现无标注的人类级视觉推理，提升模型的层次推理和泛化能力。

Comments 16 pages 6 figures

Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs

MLLMs真的能看见吗：在多模态大语言模型中强化视觉注意力

Siqu Ou, Tianrui Wan, Zhiyuan Zhao, Junyu Gao, Xuelong Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 SAYO通过强化学习框架引入区域级视觉注意力奖励，提升多模态大语言模型的视觉聚焦能力，从而在多种推理和感知任务中取得性能提升。

MosaicThinker: On-Device Visual Spatial Reasoning for Embodied AI via Iterative Construction of Space Representation

MosaicThinker: 通过迭代构建空间表示实现设备端具身AI的视觉空间推理

Haoming Wang, Qiyao Xue, Weichen Liu, Wei Gao

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视觉推理 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI

AI总结 MosaicThinker通过迭代构建空间表示，提升设备端具身AI在复杂跨帧空间推理任务中的准确性。

What, Whether and How? Unveiling Process Reward Models for Thinking with Images Reasoning

什么是、是否以及如何？揭示图像推理中的过程奖励模型

Yujin Zhou, Pengcheng Wen, Jiale Chen, Boqin Yin, Han Zhu, Jiaming Ji, Juntao Dai, Chi-Min Chan, Sirui Han

专题命中 视觉推理 ：vision language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本研究提出首个图像推理范式下的PRMs综合基准，定义7种细粒度错误类型，揭示当前LVLMs在视觉推理评估中的不足，为改进PRMs提供基础。

Process-of-Thought Reasoning for Videos

视频过程推理

Jusheng Zhang, Kaitong Cai, Jian Wang, Yongsen Zheng, Kwok-Yan Lam, Keze Wang

机构 * Sun Yat-sen University, China（中山大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； Snap Inc.（Snap公司） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 视频过程推理框架通过结构化推理步骤提升视频理解的准确性与可解释性。

AD-MIR: Bridging the Gap from Perception to Persuasion in Advertising Video Understanding via Structured Reasoning

AD-MIR：通过结构化推理弥合从感知到说服的广告视频理解鸿沟

Binxiao Xu, Junyu Feng, Xiaopeng Lin, Haodong Li, Zhiyuan Feng, Bohan Zeng, Shaolin Lu, Ming Lu, Qi She, Wentao Zhang

机构 * Peking University, Beijing, China（北京大学） ； Tsinghua University, Beijing, China（清华大学） ； Xi'an Jiaotong University, Xi'an, China（西安交通大学） ； South China University of Technology, Guangzhou, China（华南理工大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 AD-MIR通过结构化推理框架，结合语义检索与精确关键词匹配，有效解码广告意图，提升广告视频理解的准确性与说服策略分析能力。

TACIT: Transformation-Aware Capturing of Implicit Thought

TACIT：面向隐式思维的变换感知捕捉

Daniel Nobrega

机构 * Independent Researcher（独立研究者） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 TACIT提出一种基于扩散的Transformer模型，通过像素空间中的校正流实现可解释的视觉推理，在迷宫求解中展示了隐式思维的同步涌现特性。

Comments 25 pages, 7 figures

AVERE: Improving Audiovisual Emotion Reasoning with Preference Optimization

AVERE: 通过偏好优化提升音频视觉情感推理

Ashutosh Chaubey, Jiacheng Pang, Maksim Siniukov, Mohammad Soleymani

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 AVERE通过偏好优化技术提升音频视觉情感推理性能，解决情感与无关线索的虚假关联和幻觉问题，提升多模态模型在情感理解中的表现。

Comments Accepted as a conference paper at ICLR 2026. Project page: https://avere-iclr.github.io

OSCAR: Optimization-Steered Agentic Planning for Composed Image Retrieval

OSCAR：基于优化的代理规划用于组合图像检索

Teng Wang, Rong Shan, Jianghao Lin, Junjie Wu, Tianyi Xu, Jianping Zhang, Wenteng Chen, Changwang Zhang, Zhaoxiang Wang, Weinan Zhang, Jun Wang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉推理 ：VLM(abstract)；分类 cs.AI

AI总结 OSCAR通过优化引导的代理规划框架，提升组合图像检索的性能，仅用10%训练数据即超越现有最佳方法。

VirtualEnv: A Platform for Embodied AI Research

VirtualEnv: 一个用于具身AI研究的平台

Kabir Swain, Sijie Han, Ayush Raina, Jin Zhang, Shuang Li, Michael Stopa, Antonio Torralba

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI

AI总结 VirtualEnv是一个基于Unreal Engine 5的开源平台，用于评估LLM在具身和交互场景中的能力，支持多智能体协作和程序生成任务，旨在推动AI与游戏的交叉研究。

UNeMo: Collaborative Visual-Language Reasoning and Navigation via a Multimodal World Model

UNeMo：通过多模态世界模型实现协作的视觉-语言推理与导航

Changxin Huang, Lv Tang, Zhaohuan Zhan, Lisha Yu, Runhao Zeng, Zun Liu, Zhengjie Wang, Jianqiang Li

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.AI

AI总结 UNeMo通过多模态世界模型实现视觉-语言推理与导航的协作优化，提升导航准确率。

VisionReasoner: Unified Reasoning-Integrated Visual Perception via Reinforcement Learning

VisionReasoner: 通过强化学习实现统一的推理集成视觉感知

Yuqi Liu, Tianyuan Qu, Zhisheng Zhong, Bohao Peng, Shu Liu, Bei Yu, Jiaya Jia

机构 * CUHK（香港中文大学） ； SmartMore（SmartMore公司） ； HKUST（香港理工大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 VisionReasoner通过强化学习实现统一的推理集成视觉感知，其在检测、分割和计数任务中均取得优于基线模型的性能。

ToMigo: Interpretable Design Concept Graphs for Aligning Generative AI with Creative Intent

ToMigo：可解释的设计概念图用于对齐生成式AI与创意意图

Lena Hegemann, Xinyi Wen, Michael A. Hedderich, Tarmo Nurmi, Hariharan Subramonyam

专题命中 视觉推理 ：multimodal large language model(abstract)

AI总结 ToMigo通过设计概念图实现生成式AI与创意意图的对齐，提供可解释的交互方式提升用户控制力。

Comments 18 pages, 10 figures, 2 tables

ARGOS: Automated Functional Safety Requirement Synthesis for Embodied AI via Attribute-Guided Combinatorial Reasoning

ARGOS：通过属性引导的组合推理实现具身AI的自动功能安全需求合成

Dongsheng Chen, Yuxuan Li, Yi Lin, Guanhua Chen, Jiaxin Zhang, Xiangyu Zhao, Lei Ma, Xin Yao, Xuetao Wei

机构 * Southern University of Science and Technology, Shenzhen, China（南方科技大学, 深圳, 中国） ； City University of Hong Kong, Hong Kong, China（香港城市大学, 香港, 中国） ； The University of Tokyo, Tokyo, Japan（东京大学, 东京, 日本） ； Lingnan University, Hong Kong, China（岭南大学, 香港, 中国） 纠错

专题命中 视觉推理 ：grounding(abstract)

AI总结 ARGOS通过属性引导的组合推理，实现具身AI自动功能安全需求生成，提升开放环境中的安全性和可靠性。

Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

Chain-of-Caption: 无需训练提升多模态大语言模型的指称表达理解

Yik Lung Pang, Changjae Oh

机构 * Queen Mary University of London（伦敦女王学院） 纠错

专题命中 视觉定位与Grounding ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出无需训练的Chain-of-Caption框架，通过结合多种上下文提升多模态大语言模型在指称表达理解任务中的性能。

Comments 4 pages, 5 figures, 2 tables

XAI-CLIP: ROI-Guided Perturbation Framework for Explainable Medical Image Segmentation in Multimodal Vision-Language Models

XAI-CLIP: 通过区域感兴趣引导扰动框架实现多模态视觉-语言模型中可解释的医学图像分割

Thuraya Alzubaidi, Sana Ammar, Maryam Alsharqi, Islem Rekik, Muzammil Behzad

机构 * King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Imperial College London（伦敦帝国学院） ； KFUPM-SDAIA Joint Research Centre for Artificial Intelligence（KFUPM-SDAIA联合人工智能研究中心） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 XAI-CLIP通过多模态视觉-语言模型嵌入实现医学图像分割的可解释性和效率提升，减少计算开销并提高分割精度。

Open-Text Aerial Detection: A Unified Framework For Aerial Visual Grounding And Detection

开放文本航空检测：面向航空场景理解的统一框架

Guoting Wei, Xia Yuan, Yang Zhou, Haizhao Jing, Yu Liu, Xianbiao Qi, Chunxia Zhao, Haokui Zhang, Rong Xiao

机构 * Nanjing University of Science and Technology（南京理工大学） ； Northwestern Polytechnical University（西北工业大学） ； Zhejiang Lab（浙江实验室） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

AI总结 OTA-Det提出一个统一框架，整合开放词汇航空检测与遥感视觉定位，通过任务重述和密集语义对齐策略实现细粒度语义理解和多目标检测，达到最佳性能并保持实时推理效率。

Zero-shot System for Automatic Body Region Detection for Volumetric CT and MR Images

零样本系统用于体积CT和MRI图像的自动身体区域检测

Farnaz Khun Jush, Grit Werner, Mark Klemens, Matthias Lenga

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出零样本系统用于体积CT和MRI图像自动身体区域检测，通过预训练模型实现无监督分割，展示了基于规则和多模态语言模型的性能对比。

Comments 8 pages, 5 figures, 5 tables

Which private attributes do VLMs agree on and predict well?

VLMs在哪些隐私属性上达成一致并预测良好？

Olena Hrynenko, Darya Baranouskaya, Alina Elena Baia, Andrea Cavallaro

机构 * EPFL（苏黎世联邦理工学院） ； Idiap Research Institute（Idiap研究机构） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract)；visual language model(abstract)；分类 cs.CV

AI总结 本文研究了VLMs在隐私属性识别上的表现，发现其在某些属性上与人类标注一致且预测准确，可辅助大规模图像数据集的隐私标注。

Comments This work has been accepted to the ICASSP 2026

CLUE: Crossmodal disambiguation via Language-vision Understanding with attEntion

CLUE: 通过语言-视觉理解进行跨模态歧义消除

Mouad Abrini, Mohamed Chetouani

机构 * Institut des Systèmes Intelligents et de Robotique (ISIR)（智能系统与机器人研究所） ； Sorbonne Université Paris（索邦大学巴黎） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract)；grounding(abstract)

AI总结 CLUE通过语言-视觉理解实现跨模态歧义消除，利用显式空间信号决定何时提问，提升人机交互的准确性与效率。