视觉大模型 / VLM

ASAP: Advancing Medical Volumetric Representation Learning with Anatomy-aware Semantically-adaptive Pre-training

ASAP: 基于解剖感知语义自适应预训练的医学体素表示学习

Rongsheng Wang, Fenghe Tang, Zihang Jiang, Yingtai Li, Xu Zhang, Haoran Lai, Wenxin Ma, Wei Wei, Zhiyang He, Xiaodong Tao, Rui Yan, Qingsong Yao, Shaohua Kevin Zhou

机构 * School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China（生物医学工程学院，生命科学与医学系，中国科学技术大学） ； Medical Imaging, Robotics, Analytic Computing & Learning (MIRACLE) Lab, YRD-RIGHT, USTC Suzhou Institute for Advanced Research（医学影像、机器人、分析计算与学习（MIRACLE）实验室，YRD-RIGHT，中国科学技术大学苏州研究院） ； Jiangsu Provincial Key Laboratory of Multimodal Digital Twin Technology（江苏省多模态数字孪生技术重点实验室） ； Biomedical Basic Research Center (BBRC) of Jiangsu Province（江苏省生物医学基础研究中心） ； Department of Radiology, The First Affiliated Hospital of USTC, Division of Life Sciences and Medicine, USTC（放射科，中国科学技术大学第一附属医院，生命科学与医学系，中国科学技术大学） ； Anhui IFLYTEK CO., Ltd（安徽科大讯飞股份有限公司） ； School of Medicine, Stanford University（医学院，斯坦福大学） ； State Key Laboratory of Precision and Intelligent Chemistry, Hefei, Anhui, China（安徽省精密与智能化学重点实验室，合肥，安徽，中国） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 提出ASAP框架，通过解剖感知知识注入、语义自适应对齐与融合，从胸部CT扫描和放射学报告中学习可迁移且可解释的体素表示，在15个数据集和22个下游任务上取得最先进性能。

Comments MICCAI2025 extention

POVQA: Preference-Optimized Video Question Answering with Rationales for Data Efficiency

POVQA: 基于偏好的视频问答与数据效率的推理

Ashim Dahal, Ankit Ghimire, Saydul Akbar Murad, Nick Rahimi

机构 * University of Southern Mississippi（密西根州立大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出POVQA方法，通过时间池化压缩视频帧、监督微调加偏好优化，在长视频问答中实现数据高效推理。

Comments Accepted in MAR at CVPR Workshop (Proceedings Track)

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 11533-11542

Learning to Trim: End-to-End Causal Graph Pruning with Dynamic Anatomical Feature Banks for Medical VQA

学习修剪：基于动态解剖特征库的端到端因果图剪枝用于医学视觉问答

Zibo Xu, Qiang Li, Weizhi Nie, Yuting Su

机构 * School of Microelectronics, Tianjin University（天津大学微电子学院） ； School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 提出可学习因果修剪（LCT）框架，通过动态解剖特征库（DAFB）和可微修剪模块，在端到端优化中抑制虚假相关，增强因果信号，提升医学VQA的鲁棒性和泛化性。

Towards Effective Long-Video Event Prediction via Multi-Level Event Semantics Mining

面向有效长视频事件预测的多级事件语义挖掘

Bo Peng, YuanJie Lyu, PengGang Qin, Tong Xu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出VISTA框架，通过多级事件语义挖掘（细节级、事件级、未来级）实现长视频事件预测，解决现有模型无法精确提取事件细节和进行细粒度分析的问题。

Thinking in Structures: Evaluating Spatial Intelligence in Constraint-Governed Spaces

在结构中思考：评估约束空间中的空间智能

Chen Yang, Guanxin Lin, Youquan He, Peiyao Chen, Guanghe Liu, Yufan Mo, Zhouyuan Xu, Linhao Wang, Guohui Zhang, Zihang Zhang, Shenxiang Zeng, Chen Wang, Jiansheng Fan

机构 * Tsinghua University（清华大学） 纠错

专题命中 视觉问答 ：VLM(abstract_cn)；分类 cs.CV

AI总结 提出SSI-Bench基准，通过结构约束下的空间推理任务评估视觉语言模型的空间智能，发现模型与人类存在巨大差距。

Comments ICML 2026, Project Page: https://ssi-bench.github.io

Causal-JEPA: Learning World Models through Object-Level Latent Masking

Causal-JEPA：通过对象级潜在掩码学习世界模型

Heejeong Nam, Quentin Le Lidec, Lucas Maes, Yann LeCun, Randall Balestriero

机构 * Brown University, GalilAI（布朗大学，GalilAI） ； New York University（纽约大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.AI

AI总结 提出C-JEPA，一种通过对象级潜在掩码扩展联合嵌入预测的对象中心世界模型，在视觉问答和智能体控制任务中分别提升反事实推理20%和仅用1%潜在特征实现高效规划。

Comments Project Page: https://hazel-heejeong-nam.github.io/cjepa/ ICML 2026 Accepted

DMC-CF: Dynamic Multimodal CounterFactual QA benchmark for Causal Reasoning

DMC-CF: 用于因果推理的动态多模态反事实QA基准

Junzhe Zhang, Huixuan Zhang, Guirong Wang, Xingyao Zhang, Pei Liu, Lin Qu, Hu Wei, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 针对现有因果推理数据集规模有限或基于非真实数据的问题，提出基于真实视频的大规模多模态因果反事实推理基准DMC-CF-Static，并利用动态图干预框架构建动态评估基准DMC-CF-Dynamic，实验表明当前多模态大模型在真实场景下的因果推理能力仍需大幅提升。

Same Question, Different Source, Different Answer: Auditing Source-Dependence in Medical Multi-Source RAG

同一问题，不同来源，不同答案：审计医学多源RAG中的来源依赖性

Yubo Li, Rema Padman, Ramayya Krishnan

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出来源依赖性作为NLP评估缺失的维度，通过构建移植患者教育基准TransplantQA、分层检索策略HERO-QA和结构化输出评判器，审计多源RAG系统中同一问题因检索来源不同而给出不同答案的失败模式。

Self-Prophetic Decoding to Unlock Visual Search in LVLMs

自预言解码以解锁LVLM中的视觉搜索

Zhendong He, Qiyuan Dai, Guanbin Li, Liang Lin, Sibei Yang

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出SeProD框架，通过自预言解码利用预训练模型的内在单步能力，以无训练、即插即用的方式增强LVLM在多步视觉搜索中的连贯推理，在4个基准的12个分割上一致提升性能。

Comments Accepted at ICML 2026

FD-RAG: Federated Dual-System Retrieval-Augmented Generation

FD-RAG: 联邦双系统检索增强生成

Tianhao Gao, Kai Yang, Yiyang Li

机构 * School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出FD-RAG框架，通过解耦轻量级记忆访问与按需LLM推理，并利用语义感知自适应超图蒸馏为紧凑QA记忆，在联邦设置下实现高效、隐私保护的检索增强生成。

IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams

IPIBench: 在连续流下评估多模态大模型的交互式主动智能

Jinzhao Li, Yinuo Chen, Wenxuan Song, Yijia Lei, Yichi Zhang, Honglei Yan, Panwang Pan, Miao Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； ByteDance（字节跳动） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出IPIBench基准，用于评估多模态大模型在流式视频场景中的交互式主动智能，并设计IPI-Agent框架以改善主动触发和交互协调。

CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning

CodecCap: 高保真度编解码器启发的残差建模用于密集视频字幕生成

Zihan Lin, Songhe Deng, Shuwei He, Danxiang Zhu, Dan Zhang, Yishu Lei, Xianlong Luo, Shikun Feng, Rui Liu

机构 * ERNIE Team, Baidu（百度ERNIE团队） ； College of Artificial Intelligence, Inner Mongolia University（内蒙古大学人工智能学院） 纠错

专题命中 视觉问答 ：VLM(abstract_cn)；分类 cs.CV

AI总结 提出CodecCap框架，通过关键帧和残差字幕模拟视频编解码器，在保持细粒度视觉证据的同时减少冗余，并引入VidCapQA基准验证其高保真度。

Comments 11 pages, 4 figures

EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering and Reasoning

EpiQAL：大型语言模型在流行病学问答与推理中的基准测试

Mingyang Wei, Dehai Min, Zewen Liu, Yuzhang Xie, Guanchen Wu, Ziyang Zhang, Carl Yang, Max S. Y. Lau, Qi He, Lu Cheng, Wei Jin

机构 * Emory University（埃默里大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； Microsoft（微软公司） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 提出EpiQAL基准，通过三个子集（事实回忆、多步推理、不完整信息下结论重建）评估LLM在流行病学推理中的表现，发现当前模型在多步推理上表现有限。

Comments 31 pages, 7 figures, 25 tables

StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering

StreamOV: 通过证据引导记忆与响应触发的流式全视频理解

Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

机构 * Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；分类 cs.CV

AI总结 提出StreamOV框架，利用多模态证据引导的长短期记忆和隐状态驱动的触发机制，实现流式全视频理解中的在线推理与主动响应，并在新基准SOVBench上取得最优性能。

AstroRAG -- A Pagerank-Based Retrieval-Augmented Generation Pipeline for Question Answering in Astronomy

AstroRAG -- 一种基于PageRank的检索增强生成管道用于天文学问答

Zhifeng Wang, Jason Jingshi Li, Kaihao Zhang, Ramesh Sankaranarayana

机构 * Australian National University（澳大利亚国立大学） ； Learning Machines Pty Ltd 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 提出AstroRAG，一种基于PageRank的检索增强生成管道，通过两阶段检索（MMR和PR重排序）在严格token预算下选择紧凑互支持的上下文，无需训练且保护隐私，在天文学QA基准上使Mistral-7B准确率和F1分数达到79.49%，性能近乎翻倍。

Comments Accepted to IEEE CAI 2026

EchoVQA: Enabling Conversational Assistance for Point-of-Care Cardiac Ultrasound

EchoVQA：为床旁心脏超声提供对话式辅助

Filippos Bellos, Yutong Li, Jessie N Dong, Zaiyang Guo, Emily Mackay, Yayuan Li, Yannis Avrithis, Alison Pouch, Jason J. Corso

机构 * University of Michigan（密歇根大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Independent Scientist（独立科学家） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 针对床旁心脏超声图像获取与解读依赖专业知识的问题，提出首个大规模超声心动图VQA数据集EchoVQA（含14,299张图像和74,819个问答对），并开发基于多模态可学习提示的参数高效方法，在多数基准上达到最优性能。

MedVIGIL: Evaluating Trustworthy Medical VLMs Under Broken Visual Evidence

MedVIGIL: 在视觉证据受损下评估可信的医学视觉语言模型

Hanqi Jiang, Junhao Chen, Mingyu Kang, Hyeokjae Kwon, Yi Pan, Lifeng Chen, Weihang You, Haozhen Gong, Ruiyu Yan, Jinglei Lv, Lin Zhao, Hui Ren, Quanzheng Li, Tianming Liu, Xiang Li

机构 * University of Georgia（佐治亚大学） ； Harvard Medical School（哈佛医学院） ； Chungbuk National University（Chungbuk国立大学） ； Chungnam National University Hospital（Chungnam国立大学医院） ； National University of Singapore（新加坡国立大学） ； New York University（纽约大学） ； University of Sydney（悉尼大学） ； New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 视觉问答 ：VLM(abstract_cn)；分类 cs.CV

AI总结 本文提出MedVIGIL基准，通过300例由放射科医生监督构建的扰动证据测试集，评估医学视觉语言模型在视觉证据失效时的可靠性，并引入MedVIGIL复合评分（MCS）进行审计。

LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling

LongVT: 通过原生工具调用激励'通过长视频思考'

Zuhao Yang, Sudong Wang, Kaichen Zhang, Keming Wu, Sicong Leng, Yifan Zhang, Bo Li, Chengwei Qin, Shijian Lu, Xingxuan Li, Lidong Bing

机构 * MiroMind ； NTU（国立台湾大学） ； HKUST(GZ)（香港科技大学（广州）） ； THU（清华大学） ； LMMs-Lab（LMMs实验室） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出LongVT，一种端到端的代理框架，通过交错的多模态工具链式思考实现'通过长视频思考'，通过利用LMM的固有时间定位能力作为原生视频裁剪工具，以解决长视频推理中的幻觉问题，并通过VideoSIAH数据集提升训练和评估效果。

Comments CVPR 2026

InteractScience: Programmatic and Visually-Grounded Evaluation of Interactive Scientific Demonstration Code Generation

InteractScience: 交互式科学演示代码生成的程序化与视觉导向评估

Qiaosheng Chen, Yang Liu, Lei Li, Kai Chen, Qipeng Guo, Gong Cheng, Fei Yuan

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家重点实验室，南京大学，中国南京） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，中国上海） ； Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学，美国匹兹堡） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出InteractScience基准，用于评估大语言模型在生成交互式科学演示代码时结合科学知识与前端交互能力的综合表现，通过程序化测试和视觉测试相结合的方法，评估30种开源和闭源LLM的表现，揭示了在整合领域知识与交互前端编码方面的持续不足。

Comments 27 pages, 17 figures

ChronoSC: Task-Oriented Semantic Communication via Temporal-to-Color Encoding

ChronoSC：通过时间到颜色编码实现面向任务的语义通信

Phuc H. Nguyen, Trung T. Nguyen, Quy N. Duong, Van-Dinh Nguyen

机构 * Smart Green Transformation Center (GREEN-X), VinUniversity, Vietnam（智能绿色转型中心（GREEN-X），Vin大学，越南） ； School of Computer Science（计算机科学学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 ChronoSC通过时间到颜色编码实现视频问答任务的高效语义通信，采用轻量级无损投影方案，实现极端时间压缩，提升带宽效率并保持高准确率。

Comments 6 pages, IEEE ICCE 2026

VideoVerse: Does Your T2V Generator Have World Model Capability to Synthesize Videos?

VideoVerse: 你的T2V生成器有世界模型能力来合成视频吗？

Zeqing Wang, Xinyu Wei, Bairui Li, Zhen Guo, Jinrui Zhang, Hongyang Wei, Keze Wang, Lei Zhang

机构 * Sun Yat-sen University（中山大学） ； Hong Kong Polytechnic University（香港理工大学） ； Tsinghua University（清华大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 VideoVerse通过评估T2V模型对复杂时间因果关系和世界知识的理解能力，揭示现有模型与理想世界建模能力的差距。

Comments 26 Pages, 10 Figures, 14 Tables

Grounded Continuation: A Linear-Time Runtime Verifier for LLM Conversations

grounded continuation: 一种线性时间的运行时验证器用于大语言模型对话

Qisong He, Yi Dong, Xiaowei Huang

机构 * School of Computer Science and Informatics, University of Liverpool, UK（利兹大学计算机科学与信息学学院） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出一种线性时间的运行时验证器，用于检测大语言模型对话中基于已废弃前提的延续。通过显式依赖图验证，该方法在LongMemEval-KU和LoCoMo基准上表现出色，准确率显著高于基线模型。

Training LLMs with Reinforcement Learning for Intent-Aware Personalized Question Answering

通过强化学习训练LLMs进行意图感知的个性化问答

Maryam Amirizaniani, Benjamin Charles Germain Lee, Jevin West, Nicholas Weber

机构 * University of Washington（华盛顿大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出IAP框架，通过强化学习直接从单轮问题推断用户意图并生成意图感知的回答，实验表明其在LaMP-QA基准上优于所有基线，平均宏得分提升约7.5%。

Exploring Multimodal LMMs for Online Episodic Memory Question Answering on the Edge

探索多模态大语言模型用于边缘端在线事件记忆问答

Giuseppe Lando, Rosario Forte, Antonino Furnari

机构 * Department of Mathematics and Computer Science, University of Catania, Italy（数学与计算机科学系，卡塔尼亚大学，意大利） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文研究多模态大语言模型在边缘端实时在线事件记忆问答中的可行性，通过双线程架构实现视频转文本记忆与问答推理，实验显示边缘端方案在隐私保护方面具有竞争力。

OASIS: A Multilingual and Multimodal Dataset for Culturally Grounded Spoken Visual QA

OASIS：一个多语言多模态数据集用于文化导向的语音视觉问答

Firoj Alam, Ali Ezzat Shahroor, Md. Arid Hasan, Zien Sheikh Ali, Hunzalah Hassan Bhatti, Mohamed Bayan Kmainasi, Shammur Absar Chowdhury, Basel Mousi, Fahim Dalvi, Nadir Durrani, Natasa Milic-Frayling

机构 * Qatar Computing Research Institute（卡塔尔计算研究 institute） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.AI

AI总结 OASIS是一个多语言多模态数据集，涵盖图像、文本和语音，旨在评估模型在现实场景中的文化导向推理能力，包含0.92M真实图像和14.8M问答对。

Comments Multimodal Foundation Models, Large Language Models, Native, Multilingual, Language Diversity, Contextual Understanding, Culturally Informed

PathISE: Learning Informative Path Supervision for Knowledge Graph Question Answering

PathISE: 通过信息路径监督学习知识图谱问答

Shengxiang Gao, Chao Lei, Jey Han Lau, Jianzhong Qi

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 视觉问答 ：grounding(abstract_cn)；分类 cs.AI

AI总结 PathISE通过学习高质量的中间监督信号提升知识图谱问答性能，利用轻量级Transformer估计关系路径信息，生成可复用的监督信号以增强现有模型。

RadThinking: A Dataset for Longitudinal Clinical Reasoning in Radiology

RadThinking：放射学中纵向临床推理的数据集

Wenxuan Li, Pedro R. A. S. Bassi, Xinze Zhou, Jakob Wasserthal, Alan L. Yuille, Zongwei Zhou

机构 * Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； Clinic of Radiology and Nuclear Medicine, University Hospital Basel（巴塞尔大学医院放射科与核医学科） ； Department of Oncology, Johns Hopkins School of Medicine（约翰霍普金斯医学院肿瘤科） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 RadThinking数据集通过三个难度层级的VQA任务，提供放射学纵向临床推理的训练和评估框架，支持多步骤推理和临床指南标准。

Context and Pixel Aware Large Language Model for Video Quality Assessment

基于上下文和像素的大型语言模型用于视频质量评估

Wen Wen, Yaohong Wu, Yue Sheng, Neil Birkbeck, Balu Adsumilli, Yilin Wang

机构 * City University of Hong Kong（香港城市大学） ； Google Inc.（谷歌公司） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出CP-LLM，通过双视觉编码器和语言解码器同时生成视频质量评分和可解释描述，提升对像素失真敏感度，实验显示其在视频质量评估基准上表现优异。

Comments Accepted to ICIP 2026

Surgical Visual Understanding (SurgVU) Dataset

外科视觉理解（SurgVU）数据集

Aneeq Zia, Max Berniker, Rogerio Nespolo, Xiaorui Zhang, Conor Perreault, Ziheng Wang, Benjamin Mueller, Ryan Schmidt, Kiran Bhattacharyya, Xi Liu, Anthony Jarc

机构 * Intuitive Surgical 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 本文介绍了用于外科数据科学的基础研究的大型外科视频数据集，包含视频及标注，展示了数据收集方法和独特属性，并提出了多个示例问题，旨在推动机器学习领域在手术数据科学中的应用。

Towards Annotation-Free Validation of MLLMs: A Vision-Language Logical Consistency Metric

迈向无标注验证的MLLMs：一种视觉-语言逻辑一致性度量

Ying Gu, Mei Chee Leong, Hui Li Tan, Shangbo Mao, Liyuan Li, Nancy Chen

机构 * Institute for Infocomm Research (I 2 R), Agency for Science, Technology and Research (A*STAR), Singapore（信息通信研究所（I2R），科技研究局（A*STAR），新加坡） 纠错

专题命中 视觉问答 ：MLLM(abstract)；分类 cs.AI

AI总结 本文提出一种无需标注的视觉-语言逻辑一致性度量，用于评估大语言模型在因果关系上的逻辑一致性，发现尽管准确率提升，但逻辑一致性仍显著滞后。