视觉大模型 / VLM

Teaching Metric Distance to Discrete Autoregressive Language Models

向离散自回归语言模型传授度量距离

Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

机构 * Yonsei University（延世大学） ； LG AI Research（LG AI研究院） ； Seoul National University（首尔国立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出DIST2Loss，通过奖励加权分布替代one-hot目标，提升离散自回归模型的数据效率和跨领域表现，应用于视觉 grounding、机器人操控、奖励建模和向量量化图像生成。

X2SAM: Any Segmentation in Images and Videos

X2SAM：图像和视频中的任意分割

Hao Wang, Limeng Qiao, Chi Zhang, Lin Ma, Guanglu Wan, Xiangyuan Lan, Xiaodan Liang

机构 * Sun Yat-Sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 X2SAM是一种统一的分割多模态大语言模型，能够将图像分割能力扩展到视频，结合LLM和Mask Memory模块，支持通用、开放词汇、指称、推理、基于视觉的对话生成及交互式分割。

Comments Technical Report

Flattery in Motion: Benchmarking and Analyzing Sycophancy in Video-LLMs

视频中的奉承：视频大语言模型中奉承行为的基准测试与分析

Wenrui Zhou, Mohamed Hendy, Shu Yang, Qingsong Yang, Zikun Guo, Yuyu Luo, Lijie Hu, Di Wang

机构 * Provable Responsible AI and Data Analytics (PRADA) Lab（可证负责任人工智能与数据 analytics 实验室） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹科学与技术大学） ； HKUST（香港科技大学） ； MBZUAI（穆罕默德·本·拉希德人工智能研究所） ； University of Science and Technology of China（中国科学技术大学） ； Kyungpook National University（庆尚国立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract,abstract_cn)；visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VISE基准，用于评估视频大语言模型在面对误导性输入时的奉承行为，通过多类型分析和两种无训练缓解策略提升模型可靠性。

Comments 27 Pages, Accepted by ACL 2026 Main Conference

SurgiSR4K: A High-Resolution Endoscopic Video Dataset for Robotic-Assisted Minimally Invasive Procedures

SurgiSR4K：一种用于机器人辅助微创手术的高分辨率内窥镜视频数据集

Fengyi Jiang, Xiaorui Zhang, Lingbo Jin, Ruixing Liang, Yuxin Chen, Adi Chola Venkatesh, Jason Culman, Tiantian Wu, Lirong Shao, Wenqing Sun, Cong Gao, Hallie McNamara, Jingpei Lu, Omid Mohareri

机构 * Intuitive Surgical, Inc.（Intuitive Surgical公司） ； Johns Hopkins Medicine Neurosurgery（约翰霍普金斯医学神经外科） ； Johns Hopkins University Electrical and Computer Engineering（约翰霍普金斯大学电气与计算机工程） ； University of British Columbia Electrical and Computer Engineering（不列颠哥伦比亚大学电气与计算机工程） ； Wilford & Kate Bailey Small Animal Teaching Hospital（威尔福德与凯蒂·贝利小动物教学医院） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SurgiSR4K数据集，用于提升微创手术的视觉清晰度和计算机辅助导航精度，包含4K分辨率的手术视频，涵盖镜面反射、工具遮挡等挑战性场景，支持超分辨率、烟雾去除等多任务研究。

Journal ref Machine Learning for Biomedical Imaging, Vol. 3, 2025, pp. 875-885

See No Evil: Semantic Context-Aware Privacy Risk Detection for AR

见不得恶：面向AR的语义上下文感知隐私风险检测

Jialu Liu, Yao Li, Zhuoheng Li, Huining Li, Ying Chen

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PrivAR框架，利用视觉语言模型进行AR环境中的语义隐私风险检测，通过上下文推理识别敏感信息并降低隐私泄露风险，实验表明其在准确率和F1分数上优于基线方法。

Comments Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2026

CGC: Compositional Grounded Contrast for Fine-Grained Multi-Image Understanding

CGC：基于组成性 grounded 对比的细粒度多图像理解

Lihao Zheng, Zhenwei Shao, Yu Zhou, Yan Yang, Xintian Shen, Jiawei Chen, Hao Ma, Tao Wei

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院） ； School of Computer Science（计算机科学学院） ； Technology, Hangzhou Dianzi University（技术，杭州电子科技大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CGC框架，通过跨图像对比和内图像对比提升多图像细粒度理解，结合规则空间奖励增强属性和对齐，实验显示在多个基准上取得最佳结果，并在多模态任务中表现优异。

AD-Copilot: A Vision-Language Assistant for Industrial Anomaly Detection via Visual In-context Comparison

AD-Copilot：通过视觉上下文比较实现工业异常检测的视觉-语言助手

Xi Jiang, Yue Guo, Jian Li, Yong Liu, Bin-Bin Gao, Hanqiu Deng, Jun Liu, Heng Zhao, Chengjie Wang, Feng Zheng

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology（计算机科学与工程系，南方科技大学） ； Macau University of Science and Technology（澳门科技大学） ； Tencent YouTu Lab（腾讯YouTu实验室） ； Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心，A*STAR） 纠错

专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 AD-Copilot通过视觉上下文比较提升工业异常检测性能，采用新颖的数据筛选流程和比较编码器，在多个基准测试中取得优异成绩，超越人类专家水平。

Comments Code and models are released at https://github.com/jam-cc/AD-Copilot

Zero-Shot Retail Theft Detection via Orchestrated Vision Models: A Model-Agnostic, Cost-Effective Alternative to Trained Single-Model Systems

通过协调视觉模型实现零样本零售盗窃检测：一种无需训练单个模型的低成本替代方案

Haileab Yagersew

机构 * Paza AI 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Paza框架，通过协调多个现有模型实现零样本零售盗窃检测，降低训练成本，利用多信号预过滤减少昂贵视觉语言模型调用次数，提升效率和准确性。

Comments 16 pages, 3 figures, Code to be released at https://github.com/xHaileab/Paza-AI

Fall into a Pit, Gain in a Wit: Cognitive-Guided Harmful Meme Detection via Misjudgment Risk Pattern Retrieval

跌入陷阱，获得智慧：通过误判风险模式检索的认知引导有害迷因检测

Wenshuo Wang, Ziyou Jiang, Junjie Wang, Mingyang Li, Jie Huang, Yuekai Huang, Zhiyuan Chang, Feiyan Duan, Qing Wang

机构 * State Key Laboratory of Complex System Modeling and Simulation Technology（复杂系统建模与仿真技术国家重点实验室） ； Science and Technology on Integrated Information System Laboratory（集成信息系统技术研究所） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PatMD方法，通过学习并主动缓解潜在误判风险，识别有害迷因的深层误判风险模式，提升多模态大语言模型的检测能力，实验显示在5项有害检测任务中，F1-score和准确率均显著提升。

Comments 14 pages, 11 figures

ReflectCAP: Detailed Image Captioning with Reflective Memory

ReflectCAP: 基于反思记忆的详细图像描述

Kyungmin Min, Minbeom Kim, Kang-il Lee, Seunghyun Yoon, Kyomin Jung

机构 * IPAI, Seoul National University（首尔国立大学IPAI） ； Dept. of ECE, Seoul National University（首尔国立大学电子与计算机工程系） ； Adobe Research（Adobe研究） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；InternVL(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 ReflectCAP通过反思笔记指导生成详细且准确的图像描述，平衡事实性和覆盖性，优于现有方法。

TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection

TARAC：通过时间注意力实时累积连接缓解大型视觉-语言模型中的幻觉

Lei Jiang, Chunzhao Xie, Tongxuan Liu, Yuting Zeng, jinrong Guo, Yunheng Shen, Weizhe Huang, Jing Li, Xiaohua Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；LLaVA(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出TARAC，一种无需训练的框架，通过动态累积和重注入历史注意力来维持视觉 grounding，实验表明其在减少幻觉和提升感知得分方面优于现有方法，且计算开销低。

Comments 8 pages, 9 figures

Watch Before You Answer: Learning from Visually Grounded Post-Training

在回答前观看：从视觉引导的后训练中学习

Yuxuan Zhang, EunJeong Hwang, Huaisong Zhang, Penghui Du, Yiming Jia, Dongfu Jiang, Xuan He, Shenhui Zhang, Ping Nie, Peter West, Kelsey R. Allen

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Etude AI ； Kolors Team, Kuaishou Technology（快手科技Kolors团队） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文发现现有视频理解基准中40-60%的问题可通过文本线索回答，提出VidGround方法通过仅使用视觉引导问题提升VLM性能，实验显示其在后训练中效果优于复杂方法。

Compositional Image Synthesis with Inference-Time Scaling

基于推理时缩放的图像合成

Minsuk Ji, Sanghyeok Lee, Namhyuk Ahn

机构 * Inha University（仁荷大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种无需训练的框架，结合对象中心方法与自我完善，提升布局忠实度并保持美学质量，通过大语言模型生成布局并注入图像生成过程，利用对象中心视觉-语言模型进行迭代选择，实现更强的场景对齐。

Comments projcet page: https://github.com/gcl-inha/ReFocus

Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding

Symphony：一种受认知启发的多智能体系统用于长视频理解

Haiyang Yan, Hongyun Zhou, Peng Xu, Xiaoxue Feng, Mengyi Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Kuaishou Technology（快手科技） ； School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract)；grounding(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Symphony多智能体系统，通过模拟人类认知模式，提升长视频理解任务的推理能力，实验显示在多个基准测试中表现优异。

Comments Accepted by cvpr2026

SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs

SPARROW：在像素级视频MLLM中学习空间精度和时间参照一致性

Mohamad Alansari, Naufal Suryanto, Divya Velayudhan, Sajid Javed, Naoufel Werghi, Muzammal Naseer

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 SPARROW通过引入目标特定跟踪特征和双提示设计，提升视频像素级理解的空间精度和时间一致性，基于30646个视频和45231对问答对的数据集，实现六个基准测试的显著改进。

Comments Accepted at CVPR 2026; Project page: https://risys-lab.github.io/SPARROW; Repository: https://github.com/RISys-Lab/SPARROW

NovaPlan: Zero-Shot Long-Horizon Manipulation via Closed-Loop Video Language Planning

NovaPlan: 通过闭环视频语言规划实现零样本长周期操控

Jiahui Fu, Junyu Nan, Lingfeng Sun, Hongyu Li, Jianing Qian, Jennifer L. Barry, Kris Kitani, George Konidaris

机构 * Robotics and AI Institute（机器人与人工智能研究所） ； Carnegie Mellon University（卡内基梅隆大学） ； Brown University（布朗大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 NovaPlan通过闭环视频语言规划实现零样本长周期操控，结合高层任务分解与底层物理执行，无需先验演示即可完成复杂装配任务。

Comments 25 pages, 15 figures. Project webpage: https://nova-plan.github.io/

Leveraging Multimodal-LLMs Assisted by Instance Segmentation for Intelligent Traffic Monitoring

利用实例分割辅助的多模态大语言模型进行智能交通监控

Murat Arda Onsu, Poonam Lohan, Burak Kantarci, Aisha Syed, Matthew Andrews, Sean Kennedy

机构 * University of Ottawa（渥太华大学） ； Nokia Bell Labs（诺基亚贝尔实验室） 纠错

专题命中 视觉定位与Grounding ：LLaVA(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文利用多模态大语言模型和实例分割技术，实现高准确率的交通监控系统，提升交通管理效率和安全性。

Comments 6 pages, 7 figures, submitted to 30th IEEE International Symposium on Computers and Communications (ISCC) 2025

VULCAN: Tool-Augmented Multi Agents for Iterative 3D Object Arrangement

VULCAN：工具增强的多智能体用于迭代3D物体排列

Zhengfei Kuang, Rui Lin, Long Zhao, Gordon Wetzstein, Saining Xie, Sanghyun Woo

机构 * Stanford University（斯坦福大学） ； Google（谷歌） ； New York University（纽约大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 VULCAN通过引入MCP API、视觉工具和多智能体框架，提升了3D物体排列任务中MLLMs的视觉接地能力与迭代处理效率。

RSAgent: Learning to Reason and Act for Text-Guided Segmentation via Multi-Turn Tool Invocations

RSAgent: 通过多轮工具调用学习推理与行动进行文本引导的分割

Xingqi He, Yujie Zhang, Shuyong Gao, Wenjie Li, Lingyi Hong, Mingxi Chen, Kaixun Jiang, Jiyuan Fu, Wenqiang Zhang

机构 * Shanghai Key Lab of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University（上海智能信息处理关键实验室，计算机科学与人工智能学院，复旦大学） ； Artificial Intelligence, Fudan University（人工智能，复旦大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 RSAgent通过多轮工具调用实现文本引导分割的推理与行动，采用两阶段框架提升分割性能，达到领域内和领域外基准的最先进水平。

Words into World: A Task-Adaptive Agent for Language-Guided Spatial Retrieval in AR

词语进入世界：一种任务自适应代理用于增强现实中的语言引导空间检索

Lixing Guo, Tobias Höllerer

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种任务自适应AR代理，结合多模态大语言模型和视觉模型，实现语言引导的空间检索，支持复杂查询和真实世界交互。

Fake-in-Facext: Towards Fine-Grained Explainable DeepFake Analysis

Lixiong Qin, Yang Zhang, Mei Wang, Jiani Hu, Weihong Deng, Weiran Xu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 25 pages, 9 figures, 17 tables

XBench: A Comprehensive Benchmark for Visual-Language Explanations in Chest Radiography

Haozhe Luo, Shelley Zixin Shu, Ziyu Zhou, Sebastian Otalora, Mauricio Reyes

机构 * ARTORG Center for Biomedical Engineering Research, University of Bern, Switzerland（ARTORG生物医学工程研究中心，伯尔尼大学，瑞士） ； Shanghai Jiao Tong University, China（上海交通大学，中国） ； Kaiko.AI, Switzerland（Kaiko.AI，瑞士） ； Dept. of Radiation Oncology, Inselspital, Bern University Hospital（放射肿瘤科，因斯普尔茨医院，伯尔尼大学医院） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Taming a Retrieval Framework to Read Images in Humanlike Manner for Augmenting Generation of MLLMs

Suyang Xi, Chenxi Yang, Hong Ding, Yiqing Ni, Catherine C. Liu, Yunhao Liu, Chengqi Zhang

机构 * Emory University（埃默里大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视觉定位与Grounding ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments 12 pages, 5 figures

What is the Visual Cognition Gap between Humans and Multimodal LLMs?

Xu Cao, Yifan Shen, Bolin Lai, Wenqian Ye, Yunsheng Ma, Joerg Heintz, Jintai Chen, Meihuan Huang, Jianguo Cao, Aidong Zhang, James M. Rehg

机构 * Department of Computer Science, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； College of Computing, Georgia Institute of Technology（佐治亚理工学院计算机学院） ； Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系） ； Digital Twin Lab, Purdue University（普渡大学数字孪生实验室） ； HKUST (Guangzhou)（香港科技大学（广州）） ； Department of Rehabilitation Medicine, Shenzhen Children’s Hospital（深圳儿童医院康复医学系） 纠错

专题命中 视觉定位与Grounding ：vision language model(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments COLM 2025

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

机构 * Apple（苹果公司） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

Comments ICCV 2025

Mask-aware Text-to-Image Retrieval: Referring Expression Segmentation Meets Cross-modal Retrieval

Li-Cheng Shen, Jih-Kang Hsieh, Wei-Hua Li, Chu-Song Chen

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments ICMR 2025

MonetGPT: Solving Puzzles Enhances MLLMs' Image Retouching Skills

Niladri Shekhar Dutt, Duygu Ceylan, Niloy J. Mitra

机构 * University College London（伦敦大学学院） ； Adobe Research UK（Adobe英国研究） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

Comments Accepted at SIGGRAPH 2025 [ACM Transactions on Graphics]; Project website: https://monetgpt.github.io

A Simple Aerial Detection Baseline of Multimodal Language Models

Qingyun Li, Yushi Chen, Xinya Shu, Dong Chen, Xin He, Yi Yu, Xue Yang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Southeast University（东南大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉定位与Grounding ：visual question answering(abstract)；grounding(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 4 pages, 1 table, 4 figures

Artemis: Towards Referential Understanding in Complex Videos

Jihao Qiu, Yuan Zhang, Xi Tang, Lingxi Xie, Tianren Ma, Pengyu Yan, David Doermann, Qixiang Ye, Yunjie Tian

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 19 pages, 14 figures. Code and data are available at https://github.com/qiujihao19/Artemis

VIGC: Visual Instruction Generation and Correction

Bin Wang, Fan Wu, Xiao Han, Jiahui Peng, Huaping Zhong, Pan Zhang, Xiaoyi Dong, Weijia Li, Wei Li, Jiaqi Wang, Conghui He

专题命中 视觉定位与Grounding ：vision-language model(abstract)；LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted by AAAI 2024, Project Website: https://opendatalab.github.io/VIGC, Code and Pretrained Model: https://github.com/opendatalab/VIGC