视觉大模型 / VLM

VOGUE: A Multimodal Dataset for Conversational Recommendation in Fashion

VOGUE：面向时尚领域对话式推荐的多模态数据集

David Guo, Minqi Sun, Yilun Jiang, Jiazhou Liang, Scott Sanner

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 为弥补多模态对话推荐数据集的不足，构建了包含60个人类对话、2100个细粒度标注话语的VOGUE数据集，支持视觉和上下文推理评估，并揭示了多模态大语言模型在偏好推断上的系统性分布误差。

Lightweight Multimodal LLM-Enabled Cost-Effective Defect Grading of Power Transmission Equipment

轻量级多模态大语言模型驱动的输电设备经济高效缺陷分级

Tao Wang, Lipeng Zhu, Jiayong Li, Feng Gao, Siwen Liang

专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 提出基于多模态大语言模型的缺陷分级框架，通过上下文学习最大化商业模型潜力，并利用链式思考问答对微调轻量级模型，实现低成本高精度分级。

Comments 9pages, 6figures

SVFSearch: A Multimodal Knowledge-Intensive Benchmark for Short-Video Frame Search in the Gaming Vertical Domain

SVFSearch: 一种面向游戏垂直领域的多模态知识密集型短视频帧搜索基准

Lingtao Mao, Huangyu Dai, Xinyu Sun, Zihan Liang, Ben Chen, Chenyi Lei, Wenwu Ou

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出SVFSearch，首个针对中文游戏领域短视频帧搜索的多模态知识密集型基准，通过5000个四选一测试示例和4198个辅助训练示例，评估了从直接问答到计划-行动-重新计划代理等多种方法在短视频帧搜索中的性能。

MedicalBench: Evaluating Large Language Models Toward Improved Medical Concept Extraction

MedicalBench: 评估大型语言模型以改进医疗概念提取

Zhichao Yang, Gregory D. Lyng, Sanjit Singh Batra, Robert E. Tillman

机构 * Optum AI 纠错

专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract)

AI总结 本文提出MedicalBench，一个用于评估大型语言模型在医疗概念提取中的表现的基准，重点在于隐含概念的提取和证据 grounding，通过多阶段流程构建数据集并定义两种互补的评估任务，揭示了隐含概念提取的挑战。

Retrieval-Augmented Multimodal Model for Fake News Detection

增强检索的多模态模型用于虚假新闻检测

Yiheng Li, Weihai Lu, Hanyi Yu, Yue Wang

机构 * University of International Business and Economics（国际商务经济大学） ； Peking University（北京大学） ； University of Southern California（南加州大学） ； Upstart Holdings, Inc.（Upstart Holdings公司） 纠错

专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出RAMM模型，通过多模态大语言模型和抽象叙述对齐模块，解决虚假新闻检测中跨实例叙述一致性缺失和领域知识不足的问题，实验验证了其有效性。

Comments Accepted to SIGIR 26

FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios

FORGE：面向制造场景的细粒度多模态评估

Xiangru Jian, Hao Xu, Wei Pang, Xinjian Zhao, Chengyu Tao, Qixin Zhang, Xikun Zhang, Chao Zhang, Guanzhi Deng, Alex Xue, Juan Du, Tianshu Yu, Garth Tarr, Linqi Song, Qiuzhuang Sun, Dacheng Tao

机构 * University of Waterloo（滑铁卢大学） ； University of Sydney（悉尼大学） ； Singapore Management University（新加坡管理大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Hunan University（湖南大学） ； Nanyang Technological University（南洋理工大学） ； Royal Melbourne Institute of Technology（皇家墨尔本理工大学） ； City University of Hong Kong（香港城市大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出FORGE，构建高质量多模态数据集并评估18种先进MLLM在制造任务中的表现，揭示领域知识不足是主要瓶颈，展示结构化标注可提升模型精度。

Comments Project Page:https://ai4manufacturing.github.io/forge-web

Mining Instance-Centric Vision-Language Contexts for Human-Object Interaction Detection

挖掘实例导向的视觉-语言上下文以实现人-物交互检测

Soo Won Seo, KyungChae Lee, Hyungchan Cho, Taein Son, Nam Ik Cho, Jun Won Choi

机构 * Seoul National University（首尔国立大学） ； Hanyang University（汉阳大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出InCoM-Net框架，通过整合VLM提取的语义知识与实例特征，提升人-物交互检测的交互推理能力，实验表明其在HICO-DET和V-COCO基准上达到最优性能。

Comments Accepted to CVPR 2026. Code: https://github.com/nowuss/InCoM-Net

Finding Distributed Object-Centric Properties in Self-Supervised Transformers

在自监督变压器中发现分布式以对象为中心的属性

Samyak Rawlekar, Amitabh Swain, Yujun Cai, Yiwei Wang, Ming-Hsuan Yang, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Queensland（昆士兰大学） ； UC Merced（加州大学默塞德分校） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文分析了自监督视觉变压器中对象中心属性的分布式编码机制，提出Object-DINO方法通过聚类注意力头提升无监督对象发现和多模态大语言模型的视觉 grounding。

Comments Computer Vision and Pattern Recognition (CVPR) 2026

From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs

从丢弃到恢复：对MLLMs分割能力的机理分析

Boyong Wu, Sanghwan Kim, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Helmholtz Munich（亥姆霍兹慕尼黑） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文通过逐层线性探测评估MLLMs整个流程，揭示适配器导致的分割表示下降及LLM层通过注意力机制逐步恢复的机制，为未来分割模型设计提供依据。

Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought

增强推理的多模态链式推理

Shin'ya Yamaguchi, Kosuke Nishida, Daiki Chijiwa

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出RED方法，通过KL约束奖励最大化提升多模态链式推理的准确性和忠实度，实验表明其在多个基准和模型上显著优于传统方法。

Comments Accepted to CVPR 2026 (Main); Code is available at https://github.com/yshinya6/red/

Monocular 3D Object Position Estimation with VLMs for Human-Robot Interaction

单目3D物体位置估计用于人机交互的VLMs

Ari Wahl, Dorian Gawlinski, David Przewozny, Paul Chojecki, Felix Bießmann, Sebastian Bosse

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究利用VLMs通过单目RGB图像、自然语言输入和机器人状态估计3D物体位置，通过微调和条件路由技术提升预测性能，实现人机交互中的鲁棒预测。

Comments Accepted at Workshop on Integrating Image Processing with Large-Scale Language/Vision Models for Advanced Visual Understanding (LVLM) at IEEE International Conference on Image Processing (ICIP) 2025

Just KIDDIN: Knowledge Infusion and Distillation for Detection of INdecent Memes

Just KIDDIN: 基于知识注入与蒸馏的有害表情包检测

Rahul Garg, Trilok Padhi, Hemang Jain, Ugur Kursuncu, Ponnurangam Kumaraguru

机构 * IIIT Hyderabad ； Georgia State University（佐治亚州立大学） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出了一种结合知识蒸馏与注入的框架，用于提升有害表情包检测的性能，通过整合大规模知识图谱和视觉语言模型，实现更准确的毒性识别。

Audit After Segmentation: Reference-Free Mask Quality Assessment for Language-Referred Audio-Visual Segmentation

分段后审计：用于语言指代音频视频分段的无参考掩码质量评估

Jinxing Zhou, Yanghao Zhou, Yaoting Wang, Zongyan Han, Jiaqi Ma, Henghui Ding, Rao Muhammad Anwer, Hisham Cholakkal

机构 * MBZUAI ； National University of Singapore（国立新加坡大学） ； Fudan University（复旦大学） 纠错

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究提出 MQA-RefAVS 任务，通过多模态大语言模型评估语言指代音频视频分段中掩码质量，提升分割准确性与可解释性。

GutenOCR: A Grounded Vision-Language Front-End for Documents

GutenOCR：文档的 grounded 视觉-语言前端

Hunter Heidenreich, Ben Elliott, Olivia Dinica, Yosheb Getachew

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 GutenOCR 通过微调 Qwen2.5-VL 模型，实现了文档中的 grounded OCR 和检测，提升了 OCR 得分和文本检测召回率，但存在页面线性化和公式布局方面的权衡。

ReSemAct: Advancing Fine-Grained Robotic Manipulation via Semantic Structuring and Affordance Refinement

ReSemAct：通过语义结构化和效用细化推进细粒度机器人操作

Chenyu Su, Weiwei Shang, Chen Qian, Fei Zhang, Shuang Cong

机构 * Department of Automation, University of Science and Technology of China（自动化系，中国科学技术大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ReSemAct 通过语义结构化和效用细化方法，在细粒度机器人操作中实现更精确的效用目标生成与动态环境适应。

Comments Code and videos: https://github.com/scy-v/ReSemAct and https://resemact.github.io

AgriGPT-VL: Agricultural Vision-Language Understanding Suite

AgriGPT-VL：农业视觉-语言理解套件

Bo Yang, Yunkui Chen, Lanfei Feng, Yu Zhang, Xiao Xu, Jianyu Zhang, Nueraili Aierken, Runhe Huang, Hongjian Lin, Yibin Ying, Shijian Li

机构 * Zhejiang University（浙江大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；multimodal large language model(abstract)

AI总结 AgriGPT-VL通过构建农业专用的视觉-语言模型和评估套件，提升了农业领域的多模态理解和推理能力。

ReFineG: Synergizing Small Supervised Models and LLMs for Low-Resource Grounded Multimodal NER

Jielong Tang, Shuang Wang, Zhenxing Wang, Jianxing Yu, Jian Yin

机构 * School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院） ； Key Laboratory of Sustainable Tourism Smart Assessment Technology, Ministry of Culture and Tourism, Sun Yat-sen University（文化旅游可持续评估技术重点实验室，中华人民共和国文化和旅游部，中山大学） ； Beijing Normal University（北京师范大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

Comments CCKS 2025 Shared Task Paper

GeoChain: Multimodal Chain-of-Thought for Geographic Reasoning

Sahiti Yerramilli, Nilay Pande, Rynaa Grover, Jayant Sravan Tamarapalli

机构 * Google（谷歌） ； Waymo 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Language-Guided Long Horizon Manipulation with LLM-based Planning and Visual Perception

Changshi Zhou, Haichuan Xu, Ningquan Gu, Zhipeng Wang, Bin Cheng, Pengpeng Zhang, Yanchao Dong, Mitsuhiro Hayashibe, Yanmin Zhou, Bin He

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

Temporal Preference Optimization for Long-Form Video Understanding

Rui Li, Xiaohan Wang, Yuhui Zhang, Orr Zohar, Zeyu Wang, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视觉定位与Grounding ：LLaVA(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

DIS-CO: Discovering Copyrighted Content in VLMs Training Data

André V. Duarte, Xuandong Zhao, Arlindo L. Oliveira, Lei Li

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

CleanMAP: Distilling Multimodal LLMs for Confidence-Driven Crowdsourced HD Map Updates

Ankit Kumar Shaw, Kun Jiang, Tuopu Wen, Chandan Kumar Sah, Yining Shi, Mengmeng Yang, Diange Yang, Xiaoli Lian

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Kun Jiang, Mengmeng Yang and Diange Yang are Corresponding Author. The main paper and supplementary material are both included here, total 23 pages (main paper is 10 pages and supplementary material is 13 pages), total 17 figures (6 figures in main paper and 11 figures in supplementary material), this paper is Accepted to CVPR WDFM-AD Workshop 2025, The code will be available at https://Ankit-Zefan.github.io/CleanMap/

Bayesian Modeling of Zero-Shot Classifications for Urban Flood Detection

Matt Franchi, Nikhil Garg, Wendy Ju, Emma Pierson

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments In review

Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection

Enshen Zhou, Qi Su, Cheng Chi, Zhizheng Zhang, Zhongyuan Wang, Tiejun Huang, Lu Sheng, He Wang

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted by CVPR 2025. Project page: https://zhoues.github.io/Code-as-Monitor/

Quo Vadis, Anomaly Detection? LLMs and VLMs in the Spotlight

Xi Ding, Lei Wang

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Research report

Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling

Georgios Pantazopoulos, Malvina Nikandrou, Alessandro Suglia, Oliver Lemon, Arash Eshghi

专题命中 视觉定位与Grounding ：visual language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Leveraging Semantic and Geometric Information for Zero-Shot Robot-to-Human Handover

Jiangshan Liu, Wenlong Dong, Jiankun Wang, Max Q. -H. Meng

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

Comments 6 pages, 5 figures, conference

VALE: A Multimodal Visual and Language Explanation Framework for Image Classifiers using eXplainable AI and Language Models

Purushothaman Natarajan, Athira Nambiar

专题命中 视觉定位与Grounding ：vision-language model(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 15 pages, 10 tables, 3 figures

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

Michael Ahn, Debidatta Dwibedi, Chelsea Finn, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Karol Hausman, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Sean Kirmani, Isabel Leal, Edward Lee, Sergey Levine, Yao Lu, Isabel Leal, Sharath Maddineni, Kanishka Rao, Dorsa Sadigh, Pannag Sanketi, Pierre Sermanet, Quan Vuong, Stefan Welker, Fei Xia, Ted Xiao, Peng Xu, Steve Xu, Zhuo Xu

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 26 pages, 9 figures, ICRA 2024 VLMNM Workshop

Recognizing Everything from All Modalities at Once: Grounded Multimodal Universal Information Extraction

Meishan Zhang, Hao Fei, Bin Wang, Shengqiong Wu, Yixin Cao, Fei Li, Min Zhang

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)