视觉大模型 / VLM

What is the Visual Cognition Gap between Humans and Multimodal LLMs?

Xu Cao, Yifan Shen, Bolin Lai, Wenqian Ye, Yunsheng Ma, Joerg Heintz, Jintai Chen, Meihuan Huang, Jianguo Cao, Aidong Zhang, James M. Rehg

机构 * Department of Computer Science, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； College of Computing, Georgia Institute of Technology（佐治亚理工学院计算机学院） ； Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系） ； Digital Twin Lab, Purdue University（普渡大学数字孪生实验室） ； HKUST (Guangzhou)（香港科技大学（广州）） ； Department of Rehabilitation Medicine, Shenzhen Children’s Hospital（深圳儿童医院康复医学系） 纠错

专题命中 视觉定位与Grounding ：vision language model(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments COLM 2025

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

机构 * Apple（苹果公司） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

Comments ICCV 2025

Mask-aware Text-to-Image Retrieval: Referring Expression Segmentation Meets Cross-modal Retrieval

Li-Cheng Shen, Jih-Kang Hsieh, Wei-Hua Li, Chu-Song Chen

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments ICMR 2025

MonetGPT: Solving Puzzles Enhances MLLMs' Image Retouching Skills

Niladri Shekhar Dutt, Duygu Ceylan, Niloy J. Mitra

机构 * University College London（伦敦大学学院） ； Adobe Research UK（Adobe英国研究） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

Comments Accepted at SIGGRAPH 2025 [ACM Transactions on Graphics]; Project website: https://monetgpt.github.io

A Simple Aerial Detection Baseline of Multimodal Language Models

Qingyun Li, Yushi Chen, Xinya Shu, Dong Chen, Xin He, Yi Yu, Xue Yang

专题命中 视觉定位与Grounding ：visual question answering(abstract)；grounding(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 4 pages, 1 table, 4 figures

Artemis: Towards Referential Understanding in Complex Videos

Jihao Qiu, Yuan Zhang, Xi Tang, Lingxi Xie, Tianren Ma, Pengyu Yan, David Doermann, Qixiang Ye, Yunjie Tian

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 19 pages, 14 figures. Code and data are available at https://github.com/qiujihao19/Artemis

VIGC: Visual Instruction Generation and Correction

Bin Wang, Fan Wu, Xiao Han, Jiahui Peng, Huaping Zhong, Pan Zhang, Xiaoyi Dong, Weijia Li, Wei Li, Jiaqi Wang, Conghui He

专题命中 视觉定位与Grounding ：vision-language model(abstract)；LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted by AAAI 2024, Project Website: https://opendatalab.github.io/VIGC, Code and Pretrained Model: https://github.com/opendatalab/VIGC

Weakly-Supervised HOI Detection from Interaction Labels Only and Language/Vision-Language Priors

Mesut Erhan Unal, Adriana Kovashka

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Comments 8 pages, 3 figures and 5 tables

VARCO-VISION-2.0 Technical Report

Young-rok Cha, Jeongho Ju, SunYoung Park, Jong-Hyeon Lee, Younghyun Yu, Youngjune Kim

机构 * NC AI 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,comments)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

Comments 19 pages, 1 figure, 14 tables. Technical report for VARCO-VISION-2.0, a Korean-English bilingual VLM in 14B and 1.7B variants. Key features: multi-image understanding, OCR with text localization, improved Korean capabilities

Overview of SHROOM-Visions 2026: A Shared Task on Hallucination Detection in Large Vision-Language Models

SHROOM-Visions 2026概览：大型视觉语言模型幻觉检测共享任务

Raúl Vázquez, Aman Sinha, Chuyuan Li, Claudio Savelli, Eduardo Calò, Emilio Raimond, Stella Frank, Hengyu Luo, Flavio Giobergia, Vincent Segonne, Lorenzo Vaiani, Jörg Tiedemann, Timothee Mickus

机构 * University of Helsinki（赫尔辛基大学） ； Politecnico di Torino（都灵理工大学） ； Université Bretagne Sud（南布列塔尼大学） ； University of Copenhagen（哥本哈根大学） ； University Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； University of Lorraine（洛林大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)

AI总结 本文介绍了2026年在EMNLP 2026同期举办的SHROOM-Visions共享任务，该任务针对大型视觉语言模型的幻觉检测，依托SHEEP数据集开展，吸引27支团队提交600余个系统，最优系统较基线提升30-40个百分点。

Comments To appear at UncertaiNLP 2026 @ EMNLP 2026

ARGUS: Theory-of-Mind Guided Argument Generation with Strategy-Aware Planning and Knowledge Grounding

ARGUS：基于心理理论（Theory-of-Mind）的论证生成，结合策略感知规划与知识接地

Zhe Hu

机构 * InspireOmni AI ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 该研究提出基于智能体的Argus框架，结合心理理论推理、策略感知规划等，在三个基准上优于基线，可有效改变抗拒受众立场。

The Forward-Backward Disconnect: State Dynamics, Credit Assignment, and Biological Grounding in Neural Computation

前向-反向脱节：神经计算中的状态动力学、信用分配与生物学基础

Hadi Al Mubasher, Mariette Awad

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 本文指出神经计算中前向计算已多样化但训练方法仍集中于梯度类误差传播机制的前向-反向脱节问题，提出涵盖状态动力学等三要素的分类法，强调需对齐三者以弥合该脱节。

Grounding Robot Generalization in Training Data via Retrieval-Augmented VLMs

通过检索增强的视觉语言模型实现机器人在训练数据中的泛化

Jensen Gao, Dorsa Sadigh, Sandy Huang, Dhruv Shah

机构 * Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind） ； Princeton University（普林斯顿大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title)；vision-language model(abstract)

AI总结 本文提出RADAR框架，通过检索和视觉语言模型分析，评估机器人策略在不同场景下的泛化能力，验证了其在大规模数据集中的有效性。

Comments IEEE Robotics and Automation Letters (RA-L)

CogChat: Knowledge Graph-Augmented Conversational AI with Heterogeneous Graph Transformer for Cognitive Grounding in Design Generation

CogChat：结合知识图谱与异构图变换器的对话式人工智能，用于设计生成中的认知接地

Jiin Choi, Kyung Hoon Hyun

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 本研究提出结合异构图变换器的CogChat框架，以设计师专属动态知识图谱为基础，提升设计对话的上下文保留度与意图解读效果，降低认知负荷，为LLM交互的长期上下文管理提供新方法。

BavGround: A Benchmark for Regional Cultural Grounding and Dialect Competence in Bavarian

BavGround：巴伐利亚区域文化接地与方言能力基准

Jophin John, Michael Hoffmann, Jan Fillies, Michael A. Hedderich, Barbara Plank

机构 * Stanford University（斯坦福大学） ； Freie Universität Berlin（柏林自由大学） ； Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Leibniz Supercomputing Centre (LRZ)（莱布尼茨超级计算中心） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 该研究推出BavGround基准，评估LLM的巴伐利亚区域文化接地与方言能力，发现多语言模型在巴伐利亚语及源接地问题上表现欠佳，且评估协议会显著影响结论。

Visual-to-Haptic Augmentation in XR: A Wearable Glove for Perceptual Grounding in Multimodal Interaction

XR中的视觉到触觉增强：一种用于多模态交互感知接地的可穿戴手套

Faisal Mohd, Hamdi Elsaddik, Erhan Baturay Onural, Jihong Zhang, Fedwa Laamarti, Abdulmotaleb El Saddik

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 该研究针对XR系统触觉感知利用不足的问题，提出一款可穿戴手套及视觉到触觉映射算法，经20人实验验证，其触觉增强可提升XR交互的真实感与沉浸感，为多模态XR系统提供感知增强层。

Comments 11 pages, 4 figures. Published in the Proceedings of the 1st Workshop on Shaping Future Human Connection: Social Augmentation through XR Technologies (SAXR 2026), April 13, 2026, Barcelona, Spain

Journal ref Proceedings of the 1st Workshop on Shaping Future Human Connection: Social Augmentation through XR Technologies (SAXR 2026), CEUR Workshop Proceedings, Vol. 4226, pp. 252-262, 2026

SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding

SpotSound: 通过细粒度时间定位增强大音频-语言模型

Luoyi Sun, Xiao Zhou, Zeqian Li, Ya Zhang, Yanfeng Wang, Weidi Xie

机构 * Zhejiang University（浙江大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； SAI, Shanghai Jiao Tong University（上海交通大学人工智能院） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 SpotSound通过引入新的训练目标和挑战性基准，提升了大音频-语言模型在时间定位任务中的性能，同时保持了通用任务的鲁棒性。

What Language Does and What the Evidence Supports: A Functional Role Taxonomy and Evidence Audit of Language Grounding in Embodied Agents

语言的作用与证据支持：具身智能体中语言接地的功能角色分类与证据审查

Yifan Guo, Chenghao Li, Zhu Wang, Wei Xu, Yu Li, Yulong Zhu, Zhuo Sun, Bin Guo, Zhiwen Yu

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 本研究提出具身智能体中语言的五种功能角色，构建框架审查现有文献，发现语言功能使用与证据支持存在差距，以角色主张为单位可合理比较不同具身智能体。

Comments 19 pages, 3 figures, 11 tables

Event-Grounding Graph: Unified Spatio-Temporal Scene Graph from Robotic Observations

事件接地图：从机器人观测中统一的时空场景图

Phuoc Nguyen, Francesco Verdoja, Ville Kyrki

机构 * School of Electrical Engineering, Aalto University（艾尔沃斯大学电气工程学院） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 本文提出事件接地图（EGG）框架，通过统一时空场景图实现机器人对复杂时空查询的感知与响应。

Comments Accepted to RA-L

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 5, pp. 5286-5293, May 2026

GEAR: Reconstruction of Classical Paintings via Geometry Grounding and Appearance Restitution

GEAR：通过几何定位和外观还原重建古典绘画

Qinyu Zhang, Xinda Liu, Yunchen Li, Yunzhuo Liu, Chenxi Hu, Kang Li, Guohua Geng

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 研究旨在解决从单幅古典绘画重建3D场景的难题，提出免训练的GEAR框架，先通过几何定位增强3D高斯重建稳定性，再在空间约束下恢复外观，经实验验证其在多方面优于基线，还构建了相关基准。

Comments Accepted by ACM MM 2026

Like a bilingual baby: The advantage of visually grounding a bilingual language model

像双语婴儿一样：视觉基础双语语言模型的优势

Khai-Nguyen Nguyen, Zixin Tang, Ankur Mali, Mary ALexandria Kelly

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 研究旨在探讨视觉基础对双语语言模型的影响，通过在英西双语图像及字幕上训练LSTM模型，发现视觉基础能提升模型对语义相似性的理解及降低困惑度，为视觉基础语言模型优势提供证据，指出需更多自然语言数据。

Comments Preprint, 7 pages, 2 tables, 1 figure

Veritas: Grounding LLM Agents for Reliable Vulnerability Reasoning over Stripped Binaries

Veritas：一种语义导向的代理框架，用于二进制中的内存破坏漏洞检测

Xinran Zheng, Alfredo Pesoli, Marco Valleri, Suman Jana, Lorenzo Cavallaro

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 Veritas通过结合静态切片、双视角LLM检测器和多代理验证器，利用语义基础和运行时证据检测二进制中的内存破坏漏洞，实现了90%的召回率，并在实际应用中发现了一个未知的Apple漏洞。

Representation-Aligned Tactile Grounding for Contact-Rich Robotic Manipulation

用于接触丰富的机器人操作的表示对齐触觉基础

Ruilin Chen, Jingkai Jia, Tong Yang, Xinyu Zhou, Qiao Sun, Jiangwei Zhong, Shizeng Zhang, Nuo Chen, Bailin He, Wei Li, Wenqiang Zhang

机构 * Shanghai Key Lab of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院智能信息处理上海市重点实验室） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Lenovo CTO Organization（联想首席技术官组织） ； Nanyang Technological University（南洋理工大学） ； TeleAl, China Telecom（中国电信天翼人工智能公司） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 研究接触丰富的机器人操作中，针对VLA策略不同表示作用下触觉监督应用位置不明的问题，通过线性探针分析找到可预测未来触觉状态的中间动作专家特征，引入LTP，实验证明表示对齐的触觉基础效果更佳。

DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA

DS@GT ARC参加LongEval：科学问答中的引用完整性和事实基础

Brandon Michaels, Brendon Johnson

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 研究在科学问答中传统评估指标与引用完整性的差异，通过Corrective RAG和CiteFix构建纠正管道，对比前沿模型，发现前沿模型答案生成不依赖文档上下文，而纠正管道提升了引用忠实度和答案基础，提出需奖励严格答案基础的评估指标。

Comments 12 pages, 4 figures. Accepted to the CLEF 2026 LongEval Lab Working Notes

EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge

EntSQL：一个将Text-to-SQL置于长上下文企业知识中的基准

Chengxi Liao, Tao Xu, Zulong Chen, Chuanfei Xu, Yiyan Wang, Xinyun Wang, Yanlong Zhang, Xiaojun Chen, Zhibo Yang, Zeyi Wen

机构 * HKUST (GZ)（香港科技大学（广州）） ； Alibaba Group（阿里巴巴集团） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 提出EntSQL基准，通过包含1066个跨五个业务领域的中英文对齐示例，评估LLM在长上下文企业文档中基于私有业务知识生成SQL的能力，最佳系统仅达15.9%准确率。

TagSpeech: End-to-End Multi-Speaker ASR and Diarization with Fine-Grained Temporal Grounding

TagSpeech：基于细粒度时间定位的端到端多说话人自动语音识别与说话人分离

Mingyue Huo, Yiwen Shao, Yuheng Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 研究提出TagSpeech框架，利用时间锚点定位技术联合多说话人ASR与说话人分离。通过关键设计解决细粒度对齐挑战，端到端建模“谁在何时说了什么”。实验显示其在DER上优于基线，采用参数高效训练范式，低计算成本获强性能。

Comments Accepted to ACL2026 Main Oral; v2: added overlap analysis in Section 5.2

Drag, Infer, Reproject: Grounding LLMs through Spatial Interaction for Image Clustering

拖拽、推断、重投影：通过空间交互为图像聚类的LLM基础

Yang Liu, Xuxin Tang, Jiahao Xu, Chris North

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 提出CriterionSI方法，利用大语言模型从用户拖拽交互中推断聚类标准，并引导重投影，实现渐进式标准对齐的图像聚类布局。

Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning

解耦语义与几何基础：面向语言条件模仿学习的空间视觉提示

Yanzhe Tang, Xinyu Shao, Yuxuan Hu, Siyu Chen, Bowen Yang, Yajun Gao, Tongtong Cao, Xiu Li, Long Zeng

机构 * Tsinghua University（清华大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 提出SVP-IL解耦架构，通过视觉语言基础模型将指令解析为零样本几何掩码，生成空间视觉提示并注入连续动作生成器，在低数据条件下显著提升语言条件模仿学习的成功率。

Beyond Acoustic Prefixes: Persistent Grounding in Serialized Acoustic Memory for LLM-Based Multi-Talker Speech Recognition

超越声学前缀：基于序列化声学记忆的持久接地用于基于LLM的多说话人语音识别

Hao Shi, Yuan Gao, Xugang Lu, Tatsuya Kawahara

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 针对LLM在多说话人ASR中性能下降的问题，提出持久接地于序列化声学记忆的方法，通过解纠缠说话人表征和门控残差交叉注意力，显著提升三说话人混合场景的识别效果。

MarkIt: Training-Free Visual Markers for Precise Video Temporal Grounding

MarkIt: 免训练视觉标记用于精确视频时间定位

Pengcheng Fang, Yuxia Chen, Xiaohao Cai

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 提出免训练框架MarkIt，通过无标注查询到掩码桥接生成标记视频，增强视频语言大模型的时间定位能力，在多个基准上取得最优结果。