视觉大模型 / VLM

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

UNIDOC-BENCH: 一个统一的文档中心多模态RAG基准

Xiangyu Peng, Can Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 UniDoc-Bench是首个大规模文档中心多模态RAG基准，通过多模态问答对评估文本-图像融合与联合检索性能，揭示多模态嵌入不足及视觉上下文补充机制。

CPJ: Explainable Agricultural Pest Diagnosis via Caption-Prompt-Judge with LLM-Judged Refinement

CPJ: 通过基于提示-判断的图像描述实现可解释的农业害虫诊断

Wentao Zhang, Tao Fang, Lina Lu, Lifei Wang, Weihe Zhong

机构 * Business School, Shandong University of Technology, Shandong, China（山东科技大学商学院） ； Institute of International Language Services Studies, Macau Millennium College, Macau SAR, China（国际语言服务研究所，澳门 Millennium 学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 CPJ通过基于提示-判断的图像描述实现可解释的农业害虫诊断，无需训练即可提升诊断性能。

Comments This paper is 6 pages in length and contains 2 figures. Tao Fang (Corresponding Author), Lina Lu (Co-corresponding Author)

Improving Reliability and Explainability of Medical Question Answering through Atomic Fact Checking in Retrieval-Augmented LLMs

通过检索增强的大语言模型中的原子事实核查来提高医疗问答的可靠性与可解释性

Juraj Vladika, Annika Domres, Mai Nguyen, Rebecca Moser, Jana Nano, Felix Busch, Lisa C. Adams, Keno K. Bressem, Denise Bernhardt, Stephanie E. Combs, Kai J. Borm, Florian Matthes, Jan C. Peeken

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 通过原子事实核查提升医疗问答的可靠性与可解释性，减少幻觉并提高事实准确性。

Comments 18 pages, 7 figures and tables

Chrono: A Simple Blueprint for Representing Time in MLLMs

Chrono: 一种用于多模态大语言模型中表示时间的简单蓝图

Hector Rodriguez, Boris Meinardus, Anil Batra, Anna Rohrbach, Marcus Rohrbach

专题命中 视觉问答 ：MLLM(abstract)；分类 cs.CV

AI总结 Chrono提出了一种简单通用的序列蓝图，用于提升多模态大语言模型在视频时间定位和 grounded 视频问答任务中的性能。

Comments Code: https://github.com/sudo-Boris/mr-Blip. Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). Under review

View Selection for 3D Captioning via Diffusion Ranking

通过扩散排名进行3D描述生成的视图选择

Tiange Luo, Justin Johnson, Honglak Lee

机构 * University of Michigan LG AI Research（密歇根大学LG人工智能研究） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 本文提出DiffuRank方法，通过评估3D物体与2D视图的对齐度，提升3D描述生成的准确性与细节，同时扩展数据集规模并优于CLIP模型。

Comments Dataset link: https://huggingface.co/datasets/tiange/Cap3D

OpenView: Empowering MLLMs with Out-of-view VQA

OpenView: 通过视图外视觉问答增强大规模语言模型

Qixiang Chen, Cheng Zhang, Chi-Wing Fu, Jingwen Ye, Jianfei Cai

机构 * Monash University（墨尔本大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 OpenView通过全景图像生成多选VQA，提升大规模语言模型在视图外视觉问答任务中的性能。

Comments Code: https://github.com/q1xiangchen/OpenView

Null-LoRA: Low-Rank Adaptation on Null Space

Null-LoRA: 在空域上进行低秩适应

Yi Zhang, Yulei Kang, Haoxuan Chen, Jinxuan Li, Jian-Fang Hu

机构 * School of Computer Science（计算机科学学院） ； Engineering, Sun Yat-sen University, Guangdong, China（工程学院，中山大学，广东，中国） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 Null-LoRA通过在空域上进行低秩适应，提升参数效率和模型效果，在图像-文本检索和视觉问答任务中取得最优表现。

MMDrive: Interactive Scene Understanding Beyond Vision with Multi-representational Fusion

MMDrive: 通过多表示融合超越视觉的交互场景理解

Minghui Hou, Wei-Hsing Huang, Shaofeng Liang, Daizong Liu, Tai-Hao Wen, Gang Wang, Runwei Guan, Weiping Ding

机构 * organization= College of Computer Science ； Technology, Jilin University , city= Changchun , country= China ； organization= Georgia Institute of Technology , city= Atlanta , country= USA ； organization= Qingdao Institute of Software, College of Computer Science ； Technology, China University of Petroleum (East China) , city= Qingdao , country= China ； organization= Institute for Math \& AI, Wuhan University , city= Wuhan , country= China ； organization= University of Michigan, Ann Arbor , country= USA ； organization= Thrust of Artificial Intelligence, Hong Kong University of Science ； organization= School of Artificial Intelligence ； Computer Science, Nantong University , city= Nantong , country= China 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 MMDrive通过融合占用图、LiDAR点云和文本描述，实现超越视觉的三维场景理解，提升自动驾驶的多模态推理能力。

Ego-EXTRA: video-language Egocentric Dataset for EXpert-TRAinee assistance

Ego-EXTRA：视频语言眼动数据集用于专家-学员协助

Francesco Ragusa, Michele Mazzamuto, Rosario Forte, Irene D'Ambra, James Fort, Jakob Engel, Antonino Furnari, Giovanni Maria Farinella

机构 * Department of Mathematics and Computer Science - University of Catania（数学与计算机科学系 - 卡塔尼亚大学） ； Next Vision s.r.l. - Spinoff of the University of Catania（Next Vision公司 - 卡塔尼亚大学衍生机构） ； Meta Reality Labs Research（Meta现实实验室） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 Ego-EXTRA数据集通过专家-学员双向对话评估多模态大语言模型，揭示其在专家级帮助中的局限性。

Hybrid Retrieval-Augmented Generation for Robust Multilingual Document Question Answering

混合检索增强生成用于鲁棒多语言文档问答

Anthony Mudet, Souhail Bakkali

机构 * Univ Rennes, CNRS, IRISA - UMR 6074（里昂大学、法国国家科学研究中心、IRISA - UMR 6074） ； L3i-lab, La Rochelle Université（L3i实验室、拉罗谢尔大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出混合检索增强生成方法，用于在嘈杂的历史文档中实现鲁棒的多语言问答，通过语义查询扩展、生成提示优化和模块化架构提升检索鲁棒性和问答准确性。

Comments Preprint

Benchmarking Multimodal LLMs on Recognition and Understanding over Chemical Tables

在化学表格上评估多模态大语言模型的基准测试

Yitong Zhou, Mingyue Cheng, Qingyang Mao, Yucong Luo, Qi Liu, Yupeng Li, Xiaohan Zhang, Deguang Liu, Xin Li, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； Artificial Intelligence Research Institute（人工智能研究院） ； iFLYTEK Co., Ltd（iFLYTEK公司） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出ChemTable基准，用于评估多模态模型在理解化学表格中的能力，揭示了现有模型在跨模态对齐和领域推理方面的不足。

Descrip3D: Enhancing Large Language Model-based 3D Scene Understanding with Object-Level Text Descriptions

Descrip3D: 通过物体级文本描述增强基于大语言模型的3D场景理解

Jintang Xue, Ganning Zhao, Jie-En Yao, Hong-En Chen, Yue Hu, Meida Chen, Suya You, C. -C. Jay Kuo

机构 * University of Southern California（南加州大学） ； DEVCOM Army Research Laboratory（国防部陆军研究实验室） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 Descrip3D通过引入物体级文本描述，提升大语言模型在3D场景理解中的关系推理能力，有效增强复杂室内场景的语义理解。

BeLLA: End-to-End Birds Eye View Large Language Assistant for Autonomous Driving

BeLLA：端到端的鸟瞰图大语言助手用于自动驾驶

Karthik Mohan, Sonam Singh, Amit Arvind Kale

机构 * UC San Diego（加州大学圣地亚哥分校） ； Robert Bosch Corporate Research India（博世印度公司研究） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 BeLLA通过端到端架构连接统一的360°鸟瞰图表示与大语言模型，提升自动驾驶中的空间推理和问答能力。

Optimizing Medical Question-Answering Systems: A Comparative Study of Fine-Tuned and Zero-Shot Large Language Models with RAG Framework

优化医疗问答系统：基于RAG框架的微调与零样本大语言模型比较研究

Tasnimul Hassan, Md Faisal Karim, Haziq Jeelani, Elham Behnam, Robert Green, Fayeq Jeelani Syed

机构 * Department of Electrical Engineering ； Computer Science University of Toledo Toledo, USA ； Institute of Mathematical Sciences Claremont Graduate University Claremont, USA ； Department of Bioengineering University of Toledo Toledo, USA ； Department of Computer Science Bowling Green State University Bowling Green, USA 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文通过RAG框架结合微调与零样本大语言模型，提升医疗问答系统的准确性与可靠性，实验证明检索增强显著提高回答质量。

RAG-IGBench: Innovative Evaluation for RAG-based Interleaved Generation in Open-domain Question Answering

RAG-IGBench: 用于开放领域问答中基于检索增强生成的交错生成的创新评估

Rongyang Zhang, Yuqing Huang, Chengqiang Lu, Qimeng Wang, Yan Gao, Yi Wu, Yao Hu, Yin Xu, Wei Wang, Hao Wang, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； Xiaohongshu Inc.（小红书公司） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 RAG-IGBench通过创新的评估指标和多模态数据，评估基于检索增强生成的交错生成任务，验证了模型在开放领域问答中的性能提升。

Comments 26 pages, 6 figures, NeurIPS 2025 D&B Track poster

Bias Beyond Demographics: Probing Decision Boundaries in Black-Box LVLMs via Counterfactual VQA

偏见超越人口统计：通过反事实视觉问答探测黑盒大视觉-语言模型的决策边界

Zaiying Zhao, Toshihiko Yamasaki

机构 * The University of Tokyo（东京大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文通过反事实VQA基准探测黑盒LVLMs的决策边界，揭示非人口属性对决策的更大影响，并展示人类规范验证示例对提升模型响应一致性和公平性的作用。

Unleashing Hour-Scale Video Training for Long Video-Language Understanding

释放小时级视频训练以实现长视频-语言理解

Jingyang Lin, Jialian Wu, Ximeng Sun, Ze Wang, Jiang Liu, Yusheng Su, Xiaodong Yu, Hao Chen, Jiebo Luo, Zicheng Liu, Emad Barsoum

专题命中 视觉问答 ：LLaVA(abstract)；分类 cs.CV

AI总结 本文提出VideoMarathon数据集和Hour-LLaVA模型，通过小时级视频训练提升长视频-语言理解能力。

Comments NeurIPS 2025, Project page: https://videomarathon.github.io/

Hybrid-DMKG: A Hybrid Reasoning Framework over Dynamic Multimodal Knowledge Graphs for Multimodal Multihop QA with Knowledge Editing

Hybrid-DMKG: 一种基于动态多模态知识图谱的混合推理框架用于多模态多跳问答与知识编辑

Li Yuan, Qingfei Huang, Bingshan Zhu, Yi Cai, Qingbao Huang, Changmeng Zheng, Zikun Deng, Tao Wang

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.AI

AI总结 Hybrid-DMKG通过动态多模态知识图谱实现多跳问答中的准确推理，提升对知识更新的鲁棒性。

Comments Accepted by AAAI 2026

MoLT: Mixture of Layer-Wise Tokens for Efficient Audio-Visual Learning

MoLT：基于层级令牌的高效音频视觉学习

Kyeongha Rho, Hyeongkeun Lee, Jae Won Cho, Joon Son Chung

机构 * KAIST（韩国科学技术院） ； Sejong University（世宗大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 MoLT通过层级令牌融合提升音频视觉学习效率，采用轻量适应策略和正交正则化，优于现有方法。

Comments 10 pages, 5 figures

TinyRS-R1: Compact Multimodal Language Model for Remote Sensing

TinyRS-R1：用于遥感的紧凑多模态语言模型

Aybora Koksal, A. Aydin Alatan

机构 * Center for the Image Analysis (OGAM) and Department of Electrical and Electronics Engineering of Middle East Technical University (METU)（图像分析中心（OGAM）和中欧技术大学（METU）电子与电气工程系） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 TinyRS-R1是一种专为遥感设计的紧凑多模态语言模型，通过四阶段训练实现高效性能，兼具推理增强与低资源消耗。

Comments Accepted to IEEE Geoscience and Remote Sensing Letters (GRSL). Code, models, and the captions for datasets are available at https://github.com/aybora/TinyRS

SFA: Scan, Focus, and Amplify toward Guidance-aware Answering for Video TextVQA

SFA: 扫描、聚焦与放大以实现面向指导的视频文本VQA回答

Haibin He, Qihuang Zhong, Juhua Liu, Bo Du, Peng Wang, Jing Zhang

机构 * Department of Computing and Mathematics, Manchester Metropolitan University（计算与数学系、曼彻斯特 Metropolitan 大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 SFA通过扫描、聚焦与放大机制，提出首个Video-LLM方法，提升视频文本VQA任务的准确性和泛化能力。

Efficient Multi-Hop Question Answering over Knowledge Graphs via LLM Planning and Embedding-Guided Search

通过LLM规划和嵌入引导搜索实现高效的多跳知识图谱问答

Manil Shrestha, Edward Kim

机构 * Department of Computer Science, Drexel University, Philadelphia, PA, USA（计算机科学系，德雷塞尔大学，费城，宾夕法尼亚州，美国） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出两种混合算法，通过LLM规划和嵌入引导搜索实现高效且可验证的多跳知识图谱问答，提升推理效率与准确性。

AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding

AdaVideoRAG：多情境自适应检索增强高效长视频理解

Zhucun Xue, Jiangning Zhang, Xurong Xie, Yuxuan Cai, Yong Liu, Xiangtai Li, Dacheng Tao

机构 * Zhejiang University（浙江大学） ； Youtu Lab, Tencent（腾讯优图实验室） ； Huazhong University of Science and Technolog（华中科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 AdaVideoRAG通过自适应检索增强框架提升长视频理解效率与准确性，支持多层级知识检索与深度语义分析。

Comments NeurIPS 2025

SciEducator: Scientific Video Understanding and Educating via Deming-Cycle Multi-Agent System

SciEducator: 基于Deming循环多智能体系统的科学视频理解与教育

Zhiyu Xu, Weilong Yan, Yufei Shi, Xin Meng, Tao He, Huiping Zhuang, Ming Li, Hehe Fan

机构 * Jinan University（济南大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） ； South China University of Technology（华南理工大学） ； Guangming Laboratory（光明实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 SciEducator通过Deming循环多智能体系统实现科学视频的自演化理解与教育，生成多模态教学内容并超越现有大语言模型和视频智能体。

ReaSon: Reinforced Causal Search with Information Bottleneck for Video Understanding

Yuan Zhou, Litao Hua, Shilong Jin, Wentao Huang, Haoran Duan

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

Comments Accepted to AAAI 2026. Code is available at: https://github.com/robin-hlt/AAAI26-ReaSon

SVBench: A Benchmark with Temporal Multi-Turn Dialogues for Streaming Video Understanding

Zhenyu Yang, Yuhang Hu, Zemin Du, Dizhan Xue, Shengsheng Qian, Jiahong Wu, Fan Yang, Weiming Dong, Changsheng Xu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Kuaishou Technology（快手科技） ； Zhengzhou University（郑州大学） ； ShanghaiTech University（上海科技大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

Comments ICLR 2025 Accepted (Spotlight)

CLINB: A Climate Intelligence Benchmark for Foundational Models

Michelle Chen Huebscher, Katharine Mach, Aleksandar Stanić, Markus Leippold, Ben Gaiarin, Zeke Hausfather, Elisa Rawat, Erich Fischer, Massimiliano Ciaramita, Joeri Rogelj, Christian Buck, Lierni Sestorain Saralegui, Reto Knutti

机构 * University of Miami（迈阿密大学） ； University of Zurich（苏黎世大学） ； Stripe（Stripe公司） ； ETH Zurich（苏黎世联邦理工学院） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

Comments Questions, system prompt and model judge prompts available here: https://www.kaggle.com/datasets/deepmind/clinb-questions

Remember Me: Bridging the Long-Range Gap in LVLMs with Three-Step Inference-Only Decay Resilience Strategies

Peng Gao, Yujian Lee, Xiaofeng Zhang, Zailong Chen, Hui Zhang

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

Comments Accepted in AAAI 2026

TSPO: Temporal Sampling Policy Optimization for Long-form Video Language Understanding

Canhui Tang, Zifan Han, Hongbo Sun, Sanping Zhou, Xuchong Zhang, Xin Wei, Ye Yuan, Huayu Zhang, Jinglin Xu, Hao Sun

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

Comments Accepted by AAAI 2026

Surgical AI Copilot: Energy-Based Fourier Gradient Low-Rank Adaptation for Surgical LLM Agent Reasoning and Planning

Jiayuan Huang, Runlong He, Danyal Zaman Khan, Evangelos B. Mazomenos, Danail Stoyanov, Hani Marcus, Linzhe Jiang, Matthew J Clarkson, Mobarak I. Hoque

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

Comments 11 pages