视觉大模型 / VLM

Teaching Vision-Language-Action Models What to See and Where to Look

教视觉-语言-动作模型看什么和看哪里

Yuguang Yang, Canyu Chen, Zhewen Tan, Yizhi Wang, Zichao Feng, Chunyang Liu, Kehua Sheng, Juan Zhang, Linlin Yang, Baochang Zhang, Yan Wang, Bo Zhang, Xianbin Cao

机构 * School of Electronic Information Engineering, Beihang University（北京航空航天大学电子信息工程学院） ； National College for Excellent Engineers, Beihang University（北京航空航天大学卓越工程师学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； DiDi（滴滴出行） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Cyber Science and Technology, Beihang University（北京航空航天大学网络安全科学与技术学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 提出DriveTeach-VLA框架，通过驾驶感知视觉蒸馏和2D轨迹引导提示，教VLA模型关注驾驶相关区域，实现端到端自动驾驶轨迹预测，在NAVSIM和nuScenes上达到最优性能。

Comments The paper has been accepted by ECCV 2026

Evo-PI: Aligning Medical Reasoning via Evolving Principle-Guided Supervision

Evo-PI：通过演化原则引导的对齐医学推理

Xianda Zheng, Huan Gao, Meng-Fen Chiang, Michael Witbrock, Kaiqi Zhao, Shangyang Li

机构 * School of Computer Science, University of Auckland（奥克兰大学计算机科学学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Renyixun Health Technology Co., Ltd.（仁医讯健康科技有限公司） ； National Yang Ming Chiao Tung University（国立阳明交通大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.AI

AI总结 提出Evo-PI框架，将推理原则作为可演化的语言监督信号，通过协同进化循环动态调整模型推理，在医学视觉问答中提升准确率最高达24.6%。

KG2Cypher: Data-Centric Pipeline for Building Enterprise Text-to-Cypher Systems

KG2Cypher：面向构建企业文本到Cypher系统的数据驱动流水线

Minjun Choi, Yerin Kim, Junghyuk Seo, Sujin Mo, Hyemin Lee, Youngjoong Ko

机构 * Sungkyunkwan University（成均馆大学） ； NAVER 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出KG2Cypher数据驱动流水线，从现有知识图谱生成可执行Cypher查询及对应自然语言问题，通过LoRA微调提升企业文本到Cypher转换的准确率。

Comments 11 pages, 2 figures, 10 tables

Teach-to-Reason: Competition-Guided Reasoning with a Self-Improving Teacher

Teach-to-Reason: 带有自我改进教师的竞争引导推理

Xiao Han, Hao Liu, Zhimin Bao, Jile Jiao, Yue Wang, Hui Guo, Xiaofeng Mou, Yi Xu

机构 * AIRC, Midea Group（美的集团人工智能研究中心） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 提出Teach-to-Reason框架，通过自我改进的教师和竞争引导的推理器，在胸部X光视觉问答中优化链式思维推理，解决奖励信号退化问题，实验表明优于强基线。

Efficient Multimodal Clinical Question Answering for Pulmonary Embolism Risk Assessment

用于肺栓塞风险评估的高效多模态临床问答

Xiangyuan Xue, Yang Yu, Yan Gao, Junyan Wang, Bin Chen, Lingyan Ruan, Ting Dang, Hong Jia

机构 * University of Auckland（奥克兰大学） ； University of Cambridge（剑桥大学） ； University of Adelaide（阿德莱德大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本研究构建了基于INSPECT数据集的肺栓塞多模态基准，通过结构化问答任务评估高效多模态大模型在CTPA和EHR输入下的诊断与预后性能，发现Gemma4模型在结合CTPA+EHR时表现更优，且诊断任务优于预后任务。

CalVerT: Augmenting Agents with Calibrated Verifier Telemetry Improves Action and Learning in Knowledge-Intensive Tasks

CalVerT: 通过校准验证器遥测增强智能体在知识密集型任务中的行动与学习

Ashwin Vinod, Ying Ding, Elias Stengel-Eskin

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出CalVerT方法，通过向智能体状态添加校准的自信心分数和基础验证器分数，减少过度依赖参数知识或冗余检索，提升知识密集型问答的准确性和效率。

Comments Code: https://github.com/ashwinn-v/CalVerT

CogniRoute: Learning to Route Social Evidence in Omni-Modal Models

CogniRoute: 在全模态模型中学习路由社会证据

Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； Google（谷歌） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 提出CogniRoute框架，通过模式引导的专家混合和路由感知强化学习，解决全模态模型在社会视频问答中证据选择不足的问题，在OmniSocialBench上准确率达59.38%。

3D-PLOT-LLM: Part-Level Object Tokens for 3D Large Language Models

3D-PLOT-LLM: 用于三维大语言模型的部件级对象标记

Jintang Xue, Xinyu Wang, Yixing Wu, Jingwen Chen, C. -C. Jay Kuo

机构 * University of Southern California（南加州大学） ； Ohio State University（俄亥俄州立大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出3D-PLOT-LLM，通过重组输入标记流使部件可直接通过LLM词汇寻址，无需分割解码器或边界框，在部件级基准上超越现有方法。

AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA

AgentFinVQA：一种可部署的多智能体管道用于可审计的金融图表问答

Aravind Narayanan, Shaina Raza

机构 * Vector Institute（向量研究所） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出多智能体管道AgentFinVQA，通过分解查询步骤并记录可追溯的模型评估包，在金融图表问答中实现可审计性与本地部署，在FinMME上提升准确率7.68个百分点。

EHRNote-ChatQA: A Benchmark for Evidence-Grounded Multi-Turn Clinical Question Answering over Longitudinal Discharge Summaries

EHRNote-ChatQA：一个面向纵向出院总结的基于证据的多轮临床问答基准

Jiyoun Kim, Muhan Yeo, Eunhye Jang, Jeewon Yang, Hangyul Yoon, Su Ji Lee, Hee Jo Han, Hee-Jae Jung, Doyun Kwon, Jun young Lee, Jaehun Lee, Jung-Oh Lee, Sunjun Kweon, Jong Hak Moon, Daseul Kim, Minjae Cho, Edward Choi

机构 * KAIST（韩国科学技术院） ； Seoul National University（首尔大学） ； Seoul National University Bundang Hospital（首尔大学盆唐医院） ； SAIHST, Sungkyunkwan University（成均馆大学） ； Yonsei University College of Medicine（延世大学医学院） ； Gangnam Severance Hospital（江南塞弗伦斯医院） ； Severance Hospital（塞弗伦斯医院） ； Seoul Medical Center（首尔医疗中心） ； Seoul National University Hospital（首尔大学医院） ； National Cancer Center（国立癌症中心） ； Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院） ； Samsung Medical Center（三星医疗中心） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出EHRNote-ChatQA基准，基于MIMIC-IV出院总结构建，包含967个多轮样本和16072个专家验证的QA对，评估LLM在证据支持下的多轮临床问答能力，发现模型在证据定位和多轮错误累积方面存在挑战。

CogCanvas: A Benchmark for Evaluating Multi-Subject Reference-Based Image Generation

CogCanvas: 用于评估多主体参考图像生成的基准

Long-Bao Nguyen, Quang-Khai Tran, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

机构 * University of Science, Ho Chi Minh City, Vietnam（胡志明市理科大学） ； University of Dayton, Ohio, United States（代顿大学） ； Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 提出CogCanvas基准，包含1952张参考图像和1361个组合提示，评估多身份、对象绑定和背景场景的生成，引入BG-Sim和Attr-VQA指标，发现现有模型在超过3个主体时性能严重下降。

ReportQA: QA-Based Radiology Report Evaluation

ReportQA: 基于问答的放射学报告评估

Yiming Shi, Shaoshuai Yang, Xi Chen, Haolin Li, Hengyu Zhang, Che Jiang, Kaiwen Wang, Xun Zhu, Dong Xie, Fei Wang, Dejing Dou, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； Beijing Electronic Digital & Intelligence（北京电子数字与智能） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出ReportQA框架，利用知识树和LLM从报告中提取结构化信息生成QA对，以问答准确率作为评估指标，比现有指标更符合放射科医生判断。

GRIP: Feedback-Guided Prompt Retrieval for Large Multimodal Models

GRIP：面向大型多模态模型的反馈引导提示检索

Garvita Allabadi, Matteo Sodano, Roberto Estevão, Yuxiong Wang, Vikram Adve, Emre Kiciman, Ranveer Chandra

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Bonn（波恩大学） ； Microsoft（微软） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 提出GRIP，一种可学习的视觉检索框架，利用多模态模型反馈识别真正提升上下文学习性能的示例，在分类、描述和VQA任务上优于基于相似度的检索。

UniReason-Med: A Shared Grounded Reasoning Interface for 2D-to-3D Transfer in Medical VQA

UniReason-Med: 用于医学VQA中二维到三维迁移的共享基础推理接口

Mengzhuo Chen, Yan Shu, Chi Liu, Hongming Piao, Xidong Wang, Derek Li, Bryan Dai

机构 * IQuest Research 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 提出UniReason-Med框架，通过共享基础推理接口从2D医学图像向3D医学VQA迁移推理能力，结合监督微调和强化学习，显著提升3D推理性能。

IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents

IAPO：面向小型多模态代理工具使用的输入归因感知策略优化

Yifan Yang, Zhen Zhang, Jiayi Tian, Liyan Tan, Zheng Zhang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.LG

AI总结 提出输入归因感知策略优化（IAPO），通过强化学习对齐模型与教师模型的输入归因，提升多模态小语言模型的工具调用能力，在六个测试集上平均准确率提升3%。

Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding

Spatial-Omni：通过FOA编码在多模态大语言模型中实现空间音频理解

Zhiyuan Zhu, Yixuan Chen, Yiwen Shao, Wenxiang Guo, Changhao Pan, Yu Zhang, Yuxiang Wang, Wei Liu, Houhua Zhang, Chengkuan Zeng, Wenbo Cheng, Yunxi Liu, Rui Yang, Steve Yves, Liefeng Bo, Zhou Zhao

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文心） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 提出Spatial-Omni，通过SO-Encoder将一阶Ambisonics空间音频注入现有全模态大语言模型，以轻量方式实现空间音频理解，并在构建的SO-Bench基准上超越现有模型。

Agentic Hybrid RAG for Evidence-Grounded Muon Collider Analysis

基于证据的缪子对撞机分析的智能混合RAG

Ruobing Jiang, Dawei Fu, Cheng Jiang, Tianyi Yang, Zijian Wang, Youpeng Wu, Yong Ban, Yajun Mao, Qiang Li

机构 * Peking University（北京大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出智能混合RAG框架，结合稀疏与稠密检索及智能推理，用于缪子对撞机研究的证据检索与答案生成，构建首个基准并验证其有效性。

Comments 22 pages, 5 figures, and 6 tables

HybridRAG-BN: A Retrieval-Augmented Framework with Fine-Tuned Verification for Bangla KBQA

HybridRAG-BN：面向孟加拉语知识库问答的带微调验证的检索增强框架

Rathijit Aich, Nirjhar Das, Mahfuzulhoq Chowdhury

专题命中 视觉问答 ：grounding(abstract)

AI总结 针对孟加拉语KBQA的低资源挑战，提出HybridRAG-BN框架，整合混合检索、答案生成与LoRA微调的验证模块，经实验获竞赛双排行榜第一。

Comments Developed for the IEEE Computer Society CUET Student Branch

HC-RAG: Evidence-Centric Retrieval-Augmented Generation over Heterogeneous Financial Filings

HC-RAG：面向异构金融文件的以证据为中心的检索增强生成

Siyuan Chen, Huaye Tan, You Li, Jiajun Liang

机构 * Sun Yat-sen University（中山大学） ； Central South University（中南大学） 纠错

专题命中 视觉问答 ：grounding(abstract)

AI总结 HC-RAG是面向异构金融文件的以证据为中心的分层跨模态RAG框架，通过构建类型化金融证据图、按意图路由证据，在金融问答基准上较RAPTOR、GraphRAG取得显著性能提升。

Comments 16 pages, 5 figures

ConRub-Med: Reinforcement Learning with Consensus Rubrics for Open-Ended Medical Question Answering

ConRub-Med：面向开放式医学问答的共识准则强化学习

Taojie Zhu, Yuan Xia, Tao Sun, Yizhi Wang, Yan Chen, Qunshan He, Tian Guan, Jian Wang, Jinjie Gu, Junwei Liu, Yonghong He

专题命中 视觉问答 ：grounding(abstract)

AI总结 本研究提出ConRub-Med，通过三模型共识准则与三状态评分优化GRPO策略，在9个医学问答基准中6个排第一，HealthBench-Hard得分优于InfiMed-ORBIT。

NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering

NeSy-RAG：用于可解释问答的神经符号检索增强生成框架

Jonas Gann, Michael Gertz

机构 * Heidelberg University（海德堡大学） 纠错

专题命中 视觉问答 ：grounding(abstract)

AI总结 NeSy-RAG是一种模块化神经符号RAG框架，可生成透明推理轨迹，在ShARC基准上以61.1%的准确率优于同模型RAG基线，实现可解释问答。

Geometric Cross-Modal Token Selection for Latency-Constrained Multimodal Token Communication

面向延迟约束多模态令牌通信的几何跨模态令牌选择

Joohyuk Park, Junyong Shin, Yongjeong Oh, Jihong Park, Yo-Seb Jeon

专题命中 视觉问答 ：visual question answering(abstract)

AI总结 该研究针对延迟约束多模态令牌通信问题，提出基于几何的跨模态令牌选择框架及IBS、R-IBS策略，在VQA和AVQA任务上实现了显著的准确率提升。

When Do Multimodal and Graph-Augmented RAG Help? A Controlled Evaluation for Document Question Answering

多模态和图增强的检索增强生成（RAG）何时有用？文档问答的对照评估

Sokipriala Jonah

专题命中 视觉问答 ：visual question answering(abstract)

AI总结 研究文档问答中多模态和图增强RAG的作用，提出用多模态图-RAG架构，通过独立检索并融合文本、图和视觉证据源来评估效果。经实验发现其价值取决于多种因素，如检索设计等，还揭示了一些相关问题，如图像检索及生成器效率对结果的影响。

Comments 8 pages, 3 figures

CoTu at EXACT 2026: Neuro-Symbolic Reasoning for Transparent Educational QA

CoTu在EXACT 2026中的应用：用于透明教育问答的神经符号推理

Quoc-Khang Tran, Minh-Thien Nguyen, Phu-An Thai, Xuan-Tung Bui, Truong-Thanh Ma, Nguyen-Khang Pham

机构 * Can Tho University（芹苴大学） ； Tay Do University（西原大学） 纠错

专题命中 视觉问答 ：grounding(abstract)

AI总结 EXACT 2026竞赛要求用最多8B参数的自托管模型解决教育问答问题。CoTu团队开发神经符号思维程序管道，结合Z3编码、数值Python等，经答案类型路由等方法，在物理任务中获满分，决赛技术得分最高，总体第三，证明小模型也能实现可验证推理。

Comments The 2nd International XAI Challenge for Transparent Educational Question-Answering @ IEEE IJCNN 2026 Competition

Question Answering for Diagram-Rich Technical Meeting Videos

面向富含图表的技术会议视频的问答

Zhuoran Xu, Jia Li, Dayuan Tan, Mark Cole, Ish Ashraf, Sandeep Puri, Mehrdad Sabetzadeh, Shiva Nejati

专题命中 视觉问答 ：grounding(abstract)

AI总结 研究面向富含图表的技术会议视频的问答问题，核心方法是开发基于大语言模型的多模态问答系统LMVQA，主要贡献是显著提高答案准确性，降低响应时间和成本，获领域专家认可。

Comments Accepted for publication in ICSME 2026

Interpretable Uncertainty for Adaptive Retrieval and Reasoning in Question Answering

问答中自适应检索与推理的可解释不确定性

Ritajit Dey, Iadh Ounis, Graham McDonald

专题命中 视觉问答 ：grounding(abstract)

AI总结 研究针对问答中大型语言模型的问题，提出基于LLM内部表示显式信号的不确定性感知框架，区分知识不足与模糊冲突，能在单次前向传播中估计，指导系统行为，为检索和推理策略提供透明实用替代方案。

Comments 2 pages, 1 figure

BioHarness: Substrate-Aware Evidence Assembly for Biomedical Question Answering across Literature, Knowledge Bases, and Biological Atlases

BioHarness：面向生物医学问答的底物感知证据组装——跨文献、知识库和生物图谱

Meng Xiao, Chuan Qin, Jinmiao Chen, Yihang Cheng, Yuanchun Zhou, Hengshu Zhu

专题命中 视觉问答 ：grounding(abstract)

AI总结 提出BioHarness，通过级联控制机制在文献检索、知识库和生物图谱间选择性组装证据，提升生物医学问答准确率，在19,302个问答项上得分从65.9提升至71.0。

Comments 14 Pages, 11 Figures, Keywords: biomedical question answering; retrieval-augmented generation; large language models; evidence assembly; biomedical knowledge bases; biological atlases

CacheWeaver: Cache-Aware Evidence Ordering for Efficient Grounded RAG Inference

CacheWeaver：面向高效接地RAG推理的缓存感知证据排序

Kaizhen Tan, Rong Gu, Mingyuan Li

机构 * Heinz College of Information Systems and Public Policy, Carnegie Mellon University（卡内基梅隆大学海因茨信息系统与公共政策学院） 纠错

专题命中 视觉问答 ：grounding(abstract)

AI总结 提出CacheWeaver，一种轻量级提示层方法，通过缓存感知的证据排序降低RAG推理的首令牌延迟，无需修改服务引擎或证据集。

ICBCBench: An Industry Consortium Benchmark for Financial Deep Research

ICBCBench：面向金融深度研究的行业联盟基准

Weiya Li, Zhiwei Tang, Yizhou He, Chenghao Wang, Liang Feng, Xiao Sun, Dongrui Liu, Zichen Wen, Hu Wei, Jinghang Wang, Yi Luo, Li Guo, Linfeng Zhang

专题命中 视觉问答 ：grounding(abstract)

AI总结 针对金融领域深度研究代理评估标准缺失的问题，提出ICBCBench基准，采用客观任务与主观报告评估双轨范式，揭示当前模型在复杂推理、事实依据和报告质量上的显著差距。

Comments 33 pages, 14 figures. Preprint. Under review

miniReranker: Efficient Multimodal Reranking through Visual Cache Reuse and Interaction Sparsity

miniReranker: 通过视觉缓存重用和交互稀疏性实现高效多模态重排序

Yingqi Fan, Xuan Lu, Anhao Zhao, Junlong Tong, Ping Nie, Kai Zou, Yunpu Ma, Wei Zhang, Xiaoyu Shen

专题命中 视觉问答 ：multimodal large language model(abstract)

AI总结 提出miniReranker，通过视觉优先格式、早期退出、窄交互带和嵌入器引导剪枝，将重排序运行时间降至密集实现的1%以下，同时保持96%以上的性能。