视觉大模型 / VLM

DEGround: An Effective Baseline for Ego-centric 3D Visual Grounding with a Homogeneous Framework

DEGround：一种有效的基于自身视角的3D视觉定位基线框架

Yani Zhang, Dongming Wu, Hao Shi, Yingfei Liu, Tiancai Wang, Xingping Dong

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； Tsinghua University（清华大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

AI总结 本文提出DEGround框架，通过统一的框架实现检测与定位的物体级共享，引入两个任务特定模块提升细粒度指令定位性能，实验表明在多个基准上表现最佳，尤其在EmbodiedScan数据集上精度提升显著。

Comments 1st place on EmbodiedScan visual grounding

Grounding Large Language Models in Interactive Environments with Online Reinforcement Learning

通过在线强化学习将大语言模型接地于交互环境

Thomas Carta, Clément Romac, Thomas Wolf, Sylvain Lamprier, Olivier Sigaud, Pierre-Yves Oudeyer

机构 * Inria (Flowers)（Inria（Flowers）） ； University of Bordeaux（波尔多大学） ； Hugging Face ； Univ Angers, LERIA, SFR MATHSTIC（昂热大学，LERIA，SFR MATHSTIC） ； Sorbonne Université（索邦大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.LG

AI总结 本文提出GLAM方法，通过在线强化学习将大语言模型接地于交互环境，以提升样本效率和泛化能力，并探讨在线学习的影响。

Comments The associated code can be found at https://github.com/flowersteam/Grounding_LLMs_with_online_RL. This is an extended version of the paper published at ICML 2023: https://proceedings.mlr.press/v202/carta23a

Journal ref PMLR 202 (2023):3676-3713

From Objects to Anywhere: A Holistic Benchmark for Multi-level Visual Grounding in 3D Scenes

Tianxu Wang, Zhuofan Zhang, Ziyu Zhu, Yue Fan, Jing Xiong, Pengxiang Li, Xiaojian Ma, Qing Li

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV；multimodal large language model(comments)

Comments Update v3 of the NeurIPS 2025 Datasets and Benchmarks paper (v2), including additional evaluations of state-of-the-art multimodal large language models. Project page: https://anywhere-3d.github.io/

A Roadmap for Embodied and Social Grounding in LLMs

Sara Incao, Carlo Mazzola, Giulia Belgiovine, Alessandra Sciutti

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.AI

Comments Accepted Version of a conference paper presented at Robophilosophy Conference 2024

Journal ref Incao, S., Mazzola, C., Belgiovine, G., Sciutti, A., 2025, A Roadmap for Embodied and Social Grounding in LLMs. In J. Seibt, P. Fazekas, & O. S. Quick (Eds.), Social Robots with AI: Prospects, Risks, and Responsible Methods, IOS Press

Reflex-Based Open-Vocabulary Navigation without Prior Knowledge Using Omnidirectional Camera and Multiple Vision-Language Models

Kento Kawaharazuka, Yoshiki Obinata, Naoaki Kanazawa, Naoto Tsukamoto, Kei Okada, Masayuki Inaba

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；分类 cs.AI；VLM(comments)

Comments Accepted at Advanced Robotics, website - https://haraduka.github.io/omnidirectional-vlm/

Eating Smart: Advancing Health Informatics with the Grounding DINO based Dietary Assistant App

Abdelilah Nossair, Hamza El Housni

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

Comments The work presented in this paper was part of the proceedings for the First International Conference on Artificial Intelligence (ICATA 2024)

Journal ref Eating Smart: Advancing Health Informatics with the Grounding DINO-based Dietary Assistant App, International Journal of Scientific and Innovative Studies, June 2024, Volume 3, Number 3, Pages 26-34, Available online at IJSRIS

Mask Grounding for Referring Image Segmentation

Yong Xien Chng, Henry Zheng, Yizeng Han, Xuchong Qiu, Gao Huang

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

Comments Accepted by CVPR2024; Project page: https://yxchng.github.io/projects/mask-grounding

Bottom-Up Grounding in the Probabilistic Logic Programming System Fusemate

Peter Baumgartner, Elena Tartaglia

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.AI

Comments This is an extended version of the ICLP 2023 paper at ICLP2023:4654" target="_blank" rel="noopener">https://cgi.cse.unsw.edu.au/~eptcs/paper.cgi?ICLP2023:4654. It also includes an improvement to the grounding algorithm in Section 3

Toward Explainable and Fine-Grained 3D Grounding through Referring Textual Phrases

Zhihao Yuan, Xu Yan, Zhuo Li, Xuhao Li, Yao Guo, Shuguang Cui, Zhen Li

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

Comments New dataset for 3D visual grounding is available at https://yanx27.github.io/phraserefer/

Team PKU-WICT-MIPL PIC Makeup Temporal Video Grounding Challenge 2022 Technical Report

Minghang Zheng, Dejie Yang, Zhongjie Ye, Ting Lei, Yuxin Peng, Yang Liu

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

Comments 2st Place in PIC Makeup Temporal Video Grounding (MTVG) Challenge in ACM-MM 2022

Co-Grounding Networks with Semantic Attention for Referring Expression Comprehension in Videos

Sijie Song, Xudong Lin, Jiaying Liu, Zongming Guo, Shih-Fu Chang

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

Comments Accepted to CVPR2021. The project page is at https://sijiesong.github.io/co-grounding

Multimodal-Language-Model-Driven Interaction and Companionship for Service Robots in Elderly-Care Facilities

面向养老机构服务机器人的多模态语言模型驱动的交互与陪伴

Ching-Chieh Liu, Cong-Thanh Vu, Yen-Chen Liu

机构 * National Cheng Kung University (NCKU)（成功大学） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)

AI总结 该研究针对养老机构服务机器人缺乏综合陪伴与安全能力的问题，提出整合主动视觉跟人、LLM语音交互及VLM安全监测的智能陪伴机器人系统，实验验证其跟随交互与跌倒检测的有效性。

Comments Accepted to the 2026 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM)

Multimodal QUD: Inquisitive Questions from Scientific Figures

多模态QUD：来自科学图表的探究性问题

Yating Wu, William Rudman, Venkata S Govindarajan, Alexandros G. Dimakis, Junyi Jessy Li

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Ithaca College（伊萨卡学院） ； UC Berkeley, BespokeLabs.ai（伯克利大学，BespokeLabs.ai） 纠错

专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract_cn)；VLM(abstract_cn)

AI总结 本文提出多模态QUD数据集，通过结合图表与文本上下文生成探究性问题，提升多模态推理能力，实现更高质量的视觉 grounding。

PROTON: Prototype-Based Test-Time Online OOD Detection for Medical VLMs

PROTON: 基于原型的测试时在线OOD检测方法用于医学视觉语言模型

Abhijit Das, Nichula Wasalathilaka, Yifan Lu, Adinath Dukre, Dwarikanath Mahapatra, Shadab Khan, Imran Razzak

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； University of Peradeniya（佩拉德尼亚大学） ； Khalifa University（哈利法大学） ； ADIA Lab（阿布扎比投资局实验室） ； MedOS 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 针对医学视觉语言模型在部署时难以检测分布外输入的问题，提出PROTON方法，通过在线原型库和自适应融合原型距离与最大概念匹配得分，无需修改模型或训练数据，在多个OOD场景下提升检测性能。

Journal ref 29th International Conference on Medical Image Computing and Computer Assisted Intervention 2026

GRIDEX: Grid-Grounded Forensic Explanations for Deepfake Spectrogram Analysis

GRIDEX：基于网格的深度伪造频谱图取证解释

Thi Ngan Ha Do, Tingmin Wu, Alsharif Abuadbba, Kristen Moore

机构 * CSIRO（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)

AI总结 提出GRIDEX框架，通过两阶段学习（SFT+GRPO）定位频谱图异常区域并生成结构化取证解释，提升伪造检测的可解释性。

Seeing Roads Through Words: A Language-Guided Framework for RGB-T Driving Scene Segmentation

通过文字看道路：一种语言引导的RGB-T驾驶场景分割框架

Ruturaj Reddy, Hrishav Bakul Barua, Junn Yong Loo, Thanh Thi Nguyen, Ganesh Krishnasamy

机构 * National University of Singapore（新加坡国立大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出CLARITY框架，利用视觉语言模型先验动态调整RGB-T融合策略，并引入暗目标语义保留和层次化解码器，在MFNet数据集上达到62.3% mIoU和77.5% mAcc的新SOTA。

Mirage Probes: How Vision Models Fake Visual Understanding

幻象探针：视觉模型如何伪造视觉理解

Daniel Ben-Levi, Judah Goldfeder, Weiliang Zhao, Raz Lapid, Amit LeVi, Allen G. Roush, Ravid Shwartz-Ziv, Hod Lipson

机构 * Columbia University（哥伦比亚大学） ； Intuit ； Technion（以色列理工学院） ； Thoughtworks ； New York University（纽约大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出幻象探针框架，通过对比探针揭示视觉语言模型在无图像时也能回答问题的两种幻象行为：文本偏见和虚假图像，并证明后者需要表征级干预。

VoLo: A Physical Orchestrator for Open-Vocabulary Long-Horizon Manipulation

VoLo: 面向开放词汇长时程操控的物理编排器

Siyi Chen, Hugo Hadfield, Alex Zook, Mikaela Angelina Uy, Chan Hee Song, Erwin Coumans, Xuning Yang, Faisal Ladhak, Qing Qu, Stan Birchfield, Jonathan Tremblay, Valts Blukis

机构 * NVIDIA（英伟达） ； University of Michigan（密歇根大学） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)

AI总结 提出VoLoAgent，利用VLM将VLA/WAM作为可中断工具进行物理编排，实现开放词汇长时程操控，并在新基准RoboVoLo上显著优于现有系统。

A Conversational Framework for Human-Robot Collaborative Manipulation with Distributed Generative AI models

基于分布式生成式AI模型的人机协作操作对话框架

Arash Ghasemzadeh Kakroudi, Roel Pieters

机构 * Automation Technology and Mechanical Engineering, Tampere University（自动化技术与机械工程，塔尔库大学） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)

AI总结 提出一个分布式对话框架，集成语言和视觉语言模型与ROS 2执行栈，实现从自由形式用户命令生成结构化操作请求，并通过视觉基础将图像空间目标转换为机器人框架目标，实验验证了端到端任务可靠性和延迟。

Comments Accepted to the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026). The final published version will appear under the title "A Distributed Conversational Framework for Human-Robot Collaborative Manipulation Using Local LLMs and VLMs"

Make Your VLA More Robust Without More Data By Interleaving Motion Planning

通过交错运动规划使您的VLA更鲁棒而无需更多数据

Dan BW Choe, Sundhar Vinodh Sangeetha, Samuel Coogan, Shreyas Kousik

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)

AI总结 提出MPVI框架，将基于模型的运动规划与视觉-语言-动作模型交错结合，通过VLM完成检查和本体感受触发实现可靠切换，无需额外训练即可提升长时域移动操作任务的鲁棒性，在BEHAVIOR-1K基准上任务进度提升113%。

RDGen: Demonstration Generation for High-Quality Robot Learning via Reinforcement Learning

RDGen: 通过强化学习生成高质量机器人学习的演示

Zijian Zhu, Menglin Zou, Zhuang Li, Yaojie Tu, Xinhai Sun

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；grounding(abstract,abstract_cn)

AI总结 提出RDGen框架，利用从仿真到真实的强化学习策略生成高质量机器人演示轨迹，用于训练视觉-语言-动作模型，相比人工遥操作产生更平滑轨迹并提升下游性能。

Comments 13 pages, 4 figures, 3 tables

The Personalization Paradox: Semantic Loss vs. Reasoning Gains in Agentic AI Q&A

个性化悖论：语义损失与推理增益在代理AI问答中的权衡

Satyajit Movidi, Stephen Russell

专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract)

AI总结 本文研究了个性化对系统性能的影响，通过比较不同配置发现个性化虽提升推理和 grounding 能力，但导致语义相似度下降，揭示了现有 LLM 评估方法的不足。

Journal ref Cloud Computing and Data Science 2026 May 18;7(2):290-313

PlantMarkerBench: A Multi-Species Benchmark for Evidence-Grounded Plant Marker Reasoning

PlantMarkerBench: 一个多物种证据导向植物标记推理基准

Sajib Acharjee Dip, Song Li, Liqing Zhang

机构 * Department of Computer Science, Virginia Tech（弗吉尼亚理工学院计算机科学系） ； School of Plant and Environmental Sciences, Virginia Tech（弗吉尼亚理工学院植物与环境科学学院） ； Fralin Biomedical Research Institute, Virginia Tech（弗吉尼亚理工学院弗拉林生物医学研究学院） ； FBRI Cancer Research Center, Washington, DC（华盛顿特区FBRI癌症研究中心） 纠错

专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract)

AI总结 本文提出PlantMarkerBench，通过整合文献检索与生物 grounding，构建了包含4种植物的基准，评估文献支持的植物标记证据解释，发现模型在功能、间接和弱支持证据上表现欠佳。

CrossVL: Complexity-Aware Feature Routing and Paired Curriculum for Cross-View Vision-Language Detection

CrossVL: 用于跨视角视觉语言检测的复杂度感知特征路由与配对课程学习

Zhipeng Liu, Chunbo Luo

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出CrossVL框架，结合复杂度感知路径聚合和配对课程学习，提升跨视角视觉语言模型的检测性能，实验显示其在MAVREC数据集上提升了aerial mAP并缩小了地面与空中视角的性能差距。

Comments Accepted to CVPR 2026. Code available at https://github.com/1nyourlife/Crossvl_cvpr2026

Purifying Multimodal Retrieval: Fragment-Level Evidence Selection for RAG

净化多模态检索：用于RAG的片段级证据选择

Xihang Wang, Zihan Wang, Chengkai Huang, Cao Liu, Ke Zeng, Quan Z. Sheng, Lina Yao

专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)

AI总结 本文提出FES-RAG框架，通过片段级证据选择提升多模态检索效果，减少噪声干扰，实验显示在M2RAG基准上性能提升27%。

DV-World: Benchmarking Data Visualization Agents in Real-World Scenarios

DV-World：在现实场景中评估数据可视化代理的基准测试

Jinxiang Meng, Shaoping Huang, Fangyu Lei, Jingyu Guo, Haoxiang Liu, Jiahao Su, Sihan Wang, Yao Wang, Enrui Wang, Ye Yang, Hongze Chai, Jinming Lv, Anbang Yu, Huangjing Zhang, Yitong Zhang, Yiming Huang, Zeyao Ma, Shizhu He, Jun Zhao, Kang Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国立大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract,abstract_cn)；MLLM(abstract,abstract_cn)

AI总结 DV-World通过260个任务评估数据可视化代理在现实专业生命周期中的能力，涵盖表格操作、视觉进化和意图对齐，采用混合评估框架揭示现有模型在复杂数据可视化挑战中的不足。

ANCHOR: A Physically Grounded Closed-Loop Framework for Robust Home-Service Mobile Manipulation

ANCHOR：一种基于物理的闭环框架，用于鲁棒的家庭服务移动操作

Jinhao Jiang, Shengyu Fang, Sibo Zuo, Yujie Tang, Yirui Li

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract)

AI总结 ANCHOR通过物理 grounding 和结构化故障处理，提升家庭服务机器人在动态环境中的任务成功率和扰动恢复能力。

oxo-call: Documentation-grounded Skill Augmentation for Accurate Bioinformatics Command-line Generation with Large Language Models

oxo-call：基于文档的技能增强用于准确的生物信息学命令行生成与大型语言模型

Yun Peng, Yujun Sun, Jia Ding, Bin Yan, Zhangyu Wang, Chunyang Wang, Chenyang Shu, Jian-Guo Zhou, Shixiang Wang

专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract)

AI总结 oxo-call通过文档优先 grounding 和精选技能增强策略，提升生物信息学命令行生成的准确性，提供150+内置技能和可扩展的流程引擎。

Comments 19 pages, 4 figures

Frugal Federated Learning for Violence Detection: A Comparison of LoRA-Tuned VLMs and Personalized CNNs

Sébastien Thuau, Siba Haidar, Ayush Bajracharya, Rachid Chelouah

机构 * esieaLab（esiea实验室） ； ESIEA（ESIEA学院） ； ETIS Laboratory（ETIS实验室） ； CNRS（法国国家科学研究中心） ； UMR8051（UMR8051研究中心） ； University of CY Cergy（CY塞克大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 7 pages, 1 figure, FLTA 2025

Controlling Multimodal LLMs via Reward-guided Decoding

Oscar Mañas, Pierluca D'Oro, Koustuv Sinha, Adriana Romero-Soriano, Michal Drozdzal, Aishwarya Agrawal

机构 * Mila - Quebec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； Meta FAIR ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Published at ICCV 2025