视觉大模型 / VLM

VLM-Assisted Continual learning for Visual Question Answering in Self-Driving

基于视觉语言模型的持续学习用于自动驾驶中的视觉问答

Yuxin Lin, Mengshi Qi, Liang Liu, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出结合视觉语言模型与持续学习的方法，以提升自动驾驶中视觉问答系统的性能和可靠性。

Towards Accurate UAV Image Perception: Guiding Vision-Language Models with Stronger Task Prompts

迈向准确的无人机图像感知：通过更强的任务提示引导视觉-语言模型

Mingning Guo, Mengwei Wu, Shaoxian Li, Haifeng Li, Chao Tao

机构 * School of Geosciences and InfoPhysics, Central South University（地质科学与信息物理学院，中南大学） 纠错

专题命中 视觉问答 ：vision-language model(title)；VLM(abstract)；visual reasoning(abstract)；visual question answering(abstract)

AI总结 AerialVP通过增强任务提示提升无人机图像感知性能，引入AerialSense基准评估模型在复杂场景下的表现。

CLIP-UP: CLIP-Based Unanswerable Problem Detection for Visual Question Answering

CLIP-UP: 基于CLIP的视觉问答中不可回答问题检测

Ben Vardi, Oron Nir, Ariel Shamir

专题命中 视觉问答 ：visual question answering(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 CLIP-UP通过基于CLIP的相似性度量，为视觉问答模型提供检测不可回答问题的能力，提升模型在不可回答问题上的识别性能。

Comments Revised version. Improvements include support for open-ended VQA and an alternative injection method

Saliency Guided Longitudinal Medical Visual Question Answering

基于显著性的纵向医学视觉问答

Jialin Wu, Xiaofeng Liu

机构 * Dept. of Computer Science and Engineering University of California, San Diego（计算机科学与工程系，加州大学圣地亚哥分校） ； Dept. of Radiology and Biomedical Imaging Yale University（放射学与生物医学成像系，耶鲁大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于显著性的纵向医学视觉问答模型，通过显著性引导的编码器-解码器结构，在保持空间一致性的同时实现高效的临床变化识别。

Comments Published in NeurIPS Workshop

Towards Cross-View Point Correspondence in Vision-Language Models

面向视觉-语言模型的跨视图点对应研究

Yipu Wang, Yuheng Ji, Yuyang Liu, Enshen Zhou, Ziqiang Yang, Yuxuan Tian, Ziheng Qin, Yue Liu, Huajie Tan, Cheng Chi, Zhiyuan Ma, Daniel Dajun Zeng, Xiaolong Zheng

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beihang University（北航大学） ； Jilin University（吉林大学） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Huazhong University of Science And Technology（华中科技大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出跨视图点对应任务和 CrossPoint-Bench 基准，通过 CroPond 模型在 CrossPoint-Bench 上取得超越 Gemini-2.5-Pro 的准确率，推动跨视图对应研究发展。

PrefGen: Multimodal Preference Learning for Preference-Conditioned Image Generation

PrefGen: 多模态偏好学习用于偏好条件下的图像生成

Wenyi Mo, Tianyu Zhang, Yalong Bai, Ligong Han, Ying Ba, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； iN2X ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； Red Hat AI Innovation（红帽人工智能创新） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 PrefGen通过多模态大语言模型提取用户偏好并注入扩散模型，实现个性化图像生成，优于现有方法。

Comments Project Page: \href{https://prefgen.github.io/}{\texttt{https://prefgen.github.io}}

Descrip3D: Enhancing Large Language Model-based 3D Scene Understanding with Object-Level Text Descriptions

Descrip3D: 通过物体级文本描述增强基于大语言模型的3D场景理解

Jintang Xue, Ganning Zhao, Jie-En Yao, Hong-En Chen, Yue Hu, Meida Chen, Suya You, C. -C. Jay Kuo

机构 * University of Southern California（南加州大学） ； DEVCOM Army Research Laboratory（国防部陆军研究实验室） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 Descrip3D通过引入物体级文本描述，提升大语言模型在3D场景理解中的关系推理能力，有效增强复杂室内场景的语义理解。

BeLLA: End-to-End Birds Eye View Large Language Assistant for Autonomous Driving

BeLLA：端到端的鸟瞰图大语言助手用于自动驾驶

Karthik Mohan, Sonam Singh, Amit Arvind Kale

机构 * UC San Diego（加州大学圣地亚哥分校） ； Robert Bosch Corporate Research India（博世印度公司研究） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 BeLLA通过端到端架构连接统一的360°鸟瞰图表示与大语言模型，提升自动驾驶中的空间推理和问答能力。

VRSA: Jailbreaking Multimodal Large Language Models through Visual Reasoning Sequential Attack

通过视觉推理序列攻击对多模态大语言模型进行劫持

Shiji Zhao, Shukun Xiong, Yao Huang, Yan Jin, Zhenyu Wu, Jiyang Guan, Ranjie Duan, Jialing Tao, Hui Xue, Xingxing Wei

机构 * Alibaba Group（阿里巴巴集团） ； Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；multimodal large language model(title,abstract)；分类 cs.CV

AI总结 VRSA通过视觉推理序列攻击方法，针对多模态大语言模型的视觉模态进行劫持，提升攻击成功率。

VOST-SGG: VLM-Aided One-Stage Spatio-Temporal Scene Graph Generation

VOST-SGG：基于视觉语言模型的一阶段时空场景图生成

Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（科学、技术与研究局高性能计算研究所） ； Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore（科学、技术与研究局前沿人工智能研究中心） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 VOST-SGG通过整合视觉语言模型的常识推理能力，提出了一种基于多模态特征和双源查询初始化的一阶段时空场景图生成方法，实现了对视频中对象及其关系的高效建模。

VisChainBench: A Benchmark for Multi-Turn, Multi-Image Visual Reasoning Beyond Language Priors

VisChainBench: 一个多轮多图视觉推理基准，超越语言先验

Wenbo Lyu, Yingjun Du, Jinglin Zhao, Xianton Zhen, Ling Shao

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 VisChainBench是一个多轮多图视觉推理基准，通过多代理生成流水线构建，旨在评估LVLM在连续、相互依赖任务中进行多步骤视觉推理的能力。

Comments 12 pages,13figures

MindDrive: An All-in-One Framework Bridging World Models and Vision-Language Model for End-to-End Autonomous Driving

MindDrive: 一个整合世界模型和视觉-语言模型的全功能框架，用于端到端自动驾驶

Bin Sun, Yaoguang Cao, Yan Wang, Rui Wang, Jiachen Shang, Xiejie Feng, Jiayi Lu, Jia Shi, Shichun Yang, Xiaoyu Yan, Ziying Song

机构 * School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） ； State Key Laboratory of Intelligent Transportation System, Beihang University（北京航空航天大学智能交通系统国家重点实验室） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新院） ； Contemporary Amperex Technology Co., Limited (CATL)（当代电动车技术有限公司（CATL）） ； Research Institute of Aero-Engine, Beihang University（北京航空航天大学航空发动机研究院） ； School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； China Automotive Engineering Research Institute Co., Ltd.（中国汽车工程研究院股份有限公司） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 MindDrive通过整合世界模型和视觉-语言模型，提出了一种端到端自动驾驶框架，实现高质量轨迹生成与多目标决策推理，提升自动驾驶的安全性和泛化能力。

EncQA: Benchmarking Vision-Language Models on Visual Encodings for Charts

EncQA：在图表视觉编码上评估视觉-语言模型的基准测试

Kushin Mukherjee, Donghao Ren, Dominik Moritz, Yannick Assogba

机构 * Stanford University（斯坦福大学） ； Apple（苹果公司） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 EncQA通过系统覆盖图表理解的关键视觉编码和任务，揭示了不同编码和任务间VLMs性能的显著差异，强调了针对性策略的重要性。

Using Vision-Language Models as Proxies for Social Intelligence in Human-Robot Interaction

利用视觉-语言模型作为社交智能代理在人机交互中的应用

Fanjun Bu, Melina Tsai, Audrey Tjokro, Tapomayukh Bhattacharjee, Jorge Ortiz, Wendy Ju

机构 * Cornell University, Cornell Tech（康奈尔大学，康奈尔科技） ； Cornell University（康奈尔大学） ； Rutgers University（罗格斯大学） ； Cornell Tech, Jacobs Technion Cornell Institute（康奈尔科技，雅各布斯技术学院康奈尔研究所） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 本文提出利用视觉-语言模型作为代理，通过轻量级感知检测器触发，实现机器人在人机交互中的社交响应能力。

ReCAD: Reinforcement Learning Enhanced Parametric CAD Model Generation with Vision-Language Models

ReCAD: 基于强化学习的参数化CAD模型生成增强框架

Jiahao Li, Yusheng Luo, Yunzhong Lou, Xiangdong Zhou

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 ReCAD通过强化学习增强参数化CAD模型生成，利用预训练模型生成高精度CAD模型，显著提升几何精度和语义保真度。

Comments Accepted as an Oral presentation at AAAI 2026

MMRPT: MultiModal Reinforcement Pre-Training via Masked Vision-Dependent Reasoning

MMRPT：通过遮蔽视觉依赖推理的多模态强化预训练

Xuhui Zheng, Kang An, Ziliang Wang, Yuhang Wang, Faqiang Qian, Yichao Wu

机构 * SenseTime（秒速科技） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.CV

AI总结 MMRPT通过强化学习提升多模态预训练效果，利用视觉基础推理增强模型对视觉内容的理解能力。

Comments 7 pages, 1 figures

Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling

通过想象看见：通过隐式空间世界建模学习场景几何

Meng Cao, Haokun Lin, Haoyuan Li, Haoran Tang, Rongtao Xu, Dong An, Xue Liu, Ian Reid, Xiaodan Liang

机构 * MBZUAI ； SYSU（南方科技大学） ； PKU（北京大学） ； Spatialtemporal AI（时空人工智能） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出MILO和RePE，通过隐式空间世界建模提升多模态大语言模型的空间推理能力。

DART: Leveraging Multi-Agent Disagreement for Tool Recruitment in Multimodal Reasoning

利用多智能体分歧进行多模态推理中的工具招募

Nithin Sivakumaran, Justin Chih-Yao Chen, David Wan, Yue Zhang, Jaehong Yoon, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanyang Technological University（南洋理工大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉推理 ：vision language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 DART通过多智能体分歧识别有用视觉工具，提升多模态推理中的工具调用效果。

Comments Code: https://github.com/nsivaku/dart

Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation

通过上下文归一化增强长上下文推理用于检索增强生成

Jiamin Chen, Yuchen Li, Xinyu Ma, Xinran Chen, Xiaokun Zhang, Shuaiqiang Wang, Chen Ma, Dawei Yin

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 视觉推理 ：grounding(title)

AI总结 通过上下文归一化策略提升RAG在长上下文推理中的鲁棒性和稳定性

VG-Refiner: Towards Tool-Refined Referring Grounded Reasoning via Agentic Reinforcement Learning

VG-Refiner: 通过代理强化学习实现工具精细化的指称 grounded 推理

Yuji Wang, Wenlong Liu, Jingxuan Niu, Haoji Zhang, Yansong Tang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； International Digital Economy Academy (IDEA)（国际数字经济学院） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；grounding(abstract)；分类 cs.CV

AI总结 VG-Refiner通过代理强化学习实现工具精细化的指称 grounded 推理，引入两阶段思考-重新思考机制和细化奖励，提升指称和推理接地任务的准确性和修正能力。

Comments The project page is [this url](https://github.com/VoyageWang/VG-Refiner)

Math Blind: Failures in Diagram Understanding Undermine Reasoning in MLLMs

数学视觉盲：图示理解的失败削弱了多模态大语言模型的推理能力

Yanpeng Sun, Shan Zhang, Wei Tang, Aotian Chen, Piotr Koniusz, Kai Zou, Yuan Xue, Anton van den Hengel

机构 * Ohio State University（俄亥俄州立大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本研究发现多模态大语言模型在图示理解上的缺陷导致推理能力下降，通过改进图示感知可显著提升推理性能。

From Show Programmes to Data: Designing a Workflow to Make Performing Arts Ephemera Accessible Through Language Models

从节目到数据：设计一种工作流，通过语言模型使表演艺术的临时性资料可访问

Clarisse Bardiot, Pierre-Carl Langlais, Bernard Jacquemin, Jacob Hart, Antonios Lagarias, Nicolas Foucault, Aurélie Lemaître-Legargeant, Jeanne Fras

专题命中 视觉推理 ：vision-language model(abstract)；multimodal large language model(abstract)

AI总结 本文提出利用多模态语言模型和本体推理模型，将戏剧节目转化为结构化数据，以提升文化遗产资料的可访问性和分析能力。

Comments 19 pages, 8 figures, 5 tables, 17 references

A Large-Scale Multimodal Dataset and Benchmarks for Human Activity Scene Understanding and Reasoning

大规模多模态数据集与基准用于人类活动场景理解和推理

Siyang Jiang, Mu Yuan, Xiang Ji, Bufang Yang, Zeyu Liu, Lilin Xu, Yang Li, Yuting He, Liran Dong, Wenrui Lu, Zhenyu Yan, Xiaofan Jiang, Wei Gao, Hongkai Chen, Guoliang Xing

机构 * The Chinese University of Hong Kong, Hong Kong（香港中文大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视觉推理 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 CUHK-X是一个大规模多模态数据集和基准，用于人类活动场景理解和推理，通过生成逻辑一致的活动序列提升描述一致性。

MedGR$^2$: Breaking the Data Barrier for Medical Reasoning via Generative Reward Learning

MedGR$^2$: 通过生成奖励学习突破医学推理的数据壁垒

Weihai Zhi, Jiayan Guo, Shangyang Li

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 MedGR$^2$通过生成奖励学习解决医学推理中的数据稀缺问题，实现高效训练和泛化，优于现有方法。

Comments 8 pages, 5 figures

Journal ref AAAI'2026 Main Technical Track

Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning

解耦以泛化：面向数据稀缺的视觉语言推理的上下文优先自进化学习

Tingyu Li, Zheng Sun, Jingxuan Wei, Siyuan Li, Conghui He, Lijun Wu, Cheng Tan

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai JiaoTong University（上海交通大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI

AI总结 DoGe通过双解耦框架，引导模型优先从上下文学习以提升数据稀缺下的视觉语言推理能力，提出两阶段RL方法和演进课程学习流水线，有效解决传统方法的奖励黑客问题。

Comments 25 pages, 5 figures

Knowing the Answer Isn't Enough: Fixing Reasoning Path Failures in LVLMs

知道答案还不够：修复大型视觉-语言模型中的推理路径失败

Chaoyang Wang, Yangfan He, Yiyang Zhou, Yixuan Wang, Jiaqi Liu, Peng Xia, Zhengzhong Tu, Mohit Bansal, Huaxiu Yao

机构 * UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 PSO通过优化推理路径选择，提升大型视觉-语言模型的推理准确性和稳定性。

The Role of Entropy in Visual Grounding: Analysis and Optimization

熵在视觉定位中的作用：分析与优化

Shuo Li, Jiajun Sun, Zhihao Zhang, Xiaoran Fan, Senjie Jin, Hui Li, Yuming Yang, Junjie Ye, Lixing Shen, Tao Ji, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Hikvision Research Institute（海康威视研究院） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ECVGPO算法，通过熵控制优化视觉定位任务，提升探索与利用的平衡，实现多基准的性能提升。

TimeScope: Towards Task-Oriented Temporal Grounding In Long Videos

TimeScope: 向长视频中面向任务的时序定位迈进

Xiangrui Liu, Minghao Qin, Yan Shu, Zhengyang Liang, Yang Tian, Chen Jason Zhang, Bo Zhao, Zheng Liu

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； University of Trento（特伦多大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV、cs.AI

AI总结 TimeScope通过逐步推理实现长视频中面向任务的时序定位，提升定位精度并增强下游任务表现。

FishDetector-R1: Unified MLLM-Based Framework with Reinforcement Fine-Tuning for Weakly Supervised Fish Detection, Segmentation, and Counting

FishDetector-R1: 基于统一MLLM框架的弱监督鱼类检测、分割与计数强化微调方法

Yi Liu, Jingyu Song, Vedanth Kallakuri, Katherine A. Skinner

机构 * University of Michigan（密歇根大学） 纠错

专题命中 视觉定位与Grounding ：MLLM(title,abstract)；分类 cs.CV

AI总结 FishDetector-R1通过统一MLLM框架和强化学习微调，实现了弱监督下的鱼类检测、分割与计数的高效准确提升。

Comments 18 pages, under review

CoT4Det: A Chain-of-Thought Framework for Perception-Oriented Vision-Language Tasks

CoT4Det：面向感知导向视觉-语言任务的链式思维框架

Yu Qi, Yumeng Zhang, Chenting Gong, Xiao Tan, Weiming Zhang, Wei Zhang, Jingdong Wang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 CoT4Det通过将感知任务分解为分类、计数和定位三个步骤，提升视觉-语言模型在目标检测等任务中的性能，使mAP从19%提升至33%。