视觉大模型 / VLM

RSHallu: Dual-Mode Hallucination Evaluation for Remote-Sensing Multimodal Large Language Models with Domain-Tailored Mitigation

RSHallu: 远程传感多模态大语言模型的双模式幻觉评估与领域定制缓解

Zihui Zhou, Yong Feng, Yanying Chen, Guofan Duan, Zhenxi Song, Mingliang Zhou, Weijia Jia

机构 * College of Computer Science, Chongqing University（重庆大学计算机科学学院） ； Heavy Rainfall Research Center of China（中国强降水研究中心） ； CMA Key Open Laboratory of Transforming Climate Resources to Economy, Chongqing Institute of Meteorological Sciences（中国气象局气候资源转化经济重点开放实验室、重庆气象科学研究院） ； Chongqing Metropolitan College of Science（重庆科学理工学院） ； School of Intelligence Science（智能科学学院） ； College of Artificial Intelligence, Harbin Institute of Technology（人工智能学院、哈尔滨工业大学） ； BNU-UIC Institute of Artificial Intelligence（北京师范大学-国际学院人工智能与未来网络研究院） ； Future Networks, Beijing Normal University at Zhuhai（未来网络、北京师范大学珠海分校） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 RSHallu通过双模式检查和领域定制数据集，提升遥感多模态大语言模型的幻觉缓解效果，提高无幻觉率21.63个百分点。

VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering

VeriSciQA：一个用于科学视觉问答的自动验证数据集

Yuyi Li, Daoyuan Chen, Zhen Wang, Yutong Lu, Yaliang Li

机构 * Sun Yat-sen University（中山大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 VeriSciQA通过跨模态验证框架生成并验证高质量科学视觉问答数据集，显著提升开源模型在科学图表问答任务上的表现。

WaymoQA: A Multi-View Visual Question Answering Dataset for Safety-Critical Reasoning in Autonomous Driving

WaymoQA: 一个用于自动驾驶安全关键推理的多视角视觉问答数据集

Seungjun Yu, Seonho Lee, Namho Kim, Jaeyo Shin, Junsung Park, Wonjeong Ryu, Raehyuk Jung, Hyunjung Shim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 视觉问答 ：visual question answering(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 WaymoQA通过多视角输入提升自动驾驶的安全关键推理能力，提供35,000个标注问题-答案对，显著增强大语言模型的推理性能。

MME-Emotion: A Holistic Evaluation Benchmark for Emotional Intelligence in Multimodal Large Language Models

MME-Emotion：多模态大语言模型情感智能的综合评估基准

Fan Zhang, Zebang Cheng, Chong Deng, Haoxuan Li, Zheng Lian, Qian Chen, Huadai Liu, Wen Wang, Yi-Fan Zhang, Renrui Zhang, Ziyu Guo, Zhihong Zhu, Hao Wu, Haixin Wang, Yefeng Zheng, Xiaojiang Peng, Xian Wu, Kun Wang, Xiangang Li, Jieping Ye, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Tongyi Lab（通义实验室） ； SZTU（深圳技术大学） ； Peking University（北京大学） ； Tongji University（同济大学） ； CASIA（中国科学院自动化所） ； Tencent（腾讯） ； UCLA（加州大学洛杉矶分校） ； Westlake University（西湖大学） ； NTU（国立大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 MME-Emotion是首个评估多模态大语言模型情感智能的综合基准，揭示当前模型在情感识别和推理上的不足，并通过多智能体框架提供混合指标分析。

MapVerse: A Benchmark for Geospatial Question Answering on Diverse Real-World Maps

MapVerse：一个用于在多样化真实世界地图上进行地理问答的基准测试

Sharat Bhat, Harshita Khandelwal, Tushar Kataria, Vivek Gupta

机构 * University of Southern California（南加州大学） ； University of California Los Angeles（加州大学洛杉矶分校） ； University of Utah（犹他大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV

AI总结 MapVerse是一个基于真实世界地图的大规模基准测试，用于评估地理问答任务中的多模态推理能力，揭示了当前VLMs在复杂空间推理任务上的不足。

ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models

ChartMuseum: 测试大型视觉-语言模型的视觉推理能力

Liyan Tang, Grace Kim, Xinyu Zhao, Thom Lake, Wenxuan Ding, Fangcong Yin, Prasann Singhal, Manya Wadhwa, Zeyu Leo Liu, Zayne Sprague, Ramya Namuduri, Bodun Hu, Juan Diego Rodriguez, Puyuan Peng, Greg Durrett

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；visual reasoning(title,abstract)；分类 cs.CV

AI总结 ChartMuseum通过评估复杂视觉和文本推理能力，揭示了大型视觉-语言模型在视觉推理上的不足。

Comments NeurIPS 2025 Datasets & Benchmarks

TwiFF (Think With Future Frames): A Large-Scale Dataset for Dynamic Visual Reasoning

TwiFF (Think With Future Frames): 一个大规模动态视觉推理数据集

Junhua Liu, Zhangcheng Wang, Zhike Han, Ningli Wang, Guotao Liang, Kun Kuang

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院） ； School of Computer and Computing Science, Hangzhou City University, Hangzhou, China（杭州市城市大学计算机与计算科学学院） ； Henan Academy of Innovations in Medical Science (AIMS), Zhengzhou, China（河南省医学创新研究院） ； School of Software, Beihang University, Beijing, China（北京航空航天大学软件学院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 TwiFF提出一个大规模动态视觉推理数据集及模型，通过整合视频生成与图像理解能力，提升动态场景下的视觉问答性能。

Comments preprint

Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models

代理拼图交互学习：提升视觉感知与推理能力在视觉-语言模型中

Yu Zeng, Wenxuan Huang, Shiting Huang, Xikun Bao, Yukun Qi, Yiming Zhao, Qiuchen Wang, Lin Chen, Zehui Chen, Huaian Chen, Wanli Ouyang, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； East China Normal University（华东师范大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 AGILE通过代理拼图交互学习提升视觉-语言模型的感知与推理能力，显著提高拼图任务性能并增强多模态模型的泛化能力。

Red-teaming the Multimodal Reasoning: Jailbreaking Vision-Language Models via Cross-modal Entanglement Attacks

多模态推理的红队测试：通过跨模态纠缠攻击劫持视觉-语言模型

Yu Yan, Sheng Sun, Shengjia Cheng, Teli Liu, Mingfeng Li, Min Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； People’s Public Security University of China（中国人民公安大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文提出CrossTALK方法，通过跨模态纠缠攻击提升对视觉-语言模型的劫持效果，实现高攻击成功率。

MetaphorStar: Image Metaphor Understanding and Reasoning with End-to-End Visual Reinforcement Learning

MetaphorStar: 基于端到端视觉强化学习的图像隐喻理解与推理

Chenhao Zhang, Yazhe Niu, Hongsheng Li

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） ； The Chinese University of Hong Kong MMLab（香港中文大学MMLab） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MetaphorStar通过端到端视觉强化学习框架提升图像隐喻理解与推理能力，显著优于现有模型。

Comments 14 pages, 4 figures, 11 tables; Code: https://github.com/MING-ZCH/MetaphorStar, Model & Dataset: https://huggingface.co/collections/MING-ZCH/metaphorstar

Canvas-of-Thought: Grounding Reasoning via Mutable Structured States

Canvas-of-Thought：通过可变的结构化状态进行推理

Lingzhuang Sun, Yuxia Zhu, Ruitong Liu, Hao Liang, Zheng Sun, Caijun Jia, Honghao He, Yuchen Wu, Siyuan Li, Jingxuan Wei, Xiangxiang Zhang, Bihui Yu, Wentao Zhang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Peking University（北京大学） ； New York University（纽约大学） ； Westlake University（西湖大学） 纠错

专题命中 视觉推理 ：grounding(title)；multimodal large language model(abstract)

AI总结 Canvas-CoT通过引入HTML Canvas实现可变结构化状态，提升多模态推理效率与精度。

Chain-of-Look Spatial Reasoning for Dense Surgical Instrument Counting

密集手术器械计数的链式观察空间推理

Rishikesh Bhyri, Brian R Quaranto, Philip J Seger, Kaity Tung, Brendan Fox, Gene Yang, Steven D. Schwaitzberg, Junsong Yuan, Nan Xi, Peter C W Kim

机构 * State University of New York at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Chain-of-Look框架，通过结构化视觉链提升密集手术器械计数的准确性，并引入邻近损失函数和SurgCount-HD数据集，实验证明其在复杂场景中的优越性能。

Comments Accepted to WACV 2026. This version includes additional authors who contributed during the rebuttal phase

Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding

通过对比嵌入链理解LVLMs的语言先验

Lin Long, Changdae Oh, Seongheon Park, Sharon Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过对比嵌入链分析，揭示LVLMs中视觉信息整合的关键层及影响响应生成的强度量化方法。

Comments ICLR 2026

VERA: Identifying and Leveraging Visual Evidence Retrieval Heads in Long-Context Understanding

VERA：识别和利用长上下文理解中的视觉证据检索头

Rongcan Pei, Huan Li, Fang Guo, Qi Zhu

机构 * Tongji University（同济大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 VERA通过识别和利用视觉证据检索头，提升长上下文理解能力，显著提高开源VLMs的性能。

Comments 12 pages, 12 figures

PhysUniBench: A Multi-Modal Physics Reasoning Benchmark at Undergraduate Level

PhysUniBench: 一个面向本科生层面的多模态物理推理基准测试

Lintao Wang, Encheng Su, Jiaqi Liu, Pengze Li, Jiabei Xiao, Wenlong Zhang, Xinnan Dai, Xi Chen, Yuan Meng, Lei Bai, Wanli Ouyang, Shixiang Tang, Aoran Wang, Xinzhu Ma

机构 * The University of Sydney（悉尼大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Michigan State University（密歇根州立大学） ； Tsinghua University（清华大学） ； Beihang University（北航大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 PhysUniBench是一个面向本科生层面的多模态物理推理基准测试，旨在评估和提升多模态大语言模型在物理问题上的推理能力。

AudioRAG: A Challenging Benchmark for Audio Reasoning and Information Retrieval

AudioRAG：一个用于音频推理和信息检索的挑战性基准

Jingru Lin, Chen Zhang, Tianrui Wang, Haizhou Li

专题命中 视觉推理 ：grounding(abstract)

AI总结 AudioRAG是一个用于评估音频推理和信息检索能力的挑战性基准，通过整合检索增强生成技术，为未来研究提供更强大的基准。

Comments Accepted by Audio-AAAI

Out of the box age estimation through facial imagery: A Comprehensive Benchmark of Vision-Language Models vs. out-of-the-box Traditional Architectures

走出盒子进行年龄估计：一种视觉-语言模型与传统架构全面基准的比较

Simiao Ren, Xingyu Shen, Ankit Raj, Albert Dai, Caroline, Zhang, Yuan Xu, Zexi Chen, Siqi Wu, Chen Gong, Yuxin Zhang

机构 * Reality Inc ； Duke University（杜克大学） ； New York University（纽约大学） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文通过对比视觉-语言模型与传统架构，发现零样本VLM在面部年龄估计中表现优于专门模型，且在年龄验证中显著降低误判率。

Catching the Details: Self-Distilled RoI Predictors for Fine-Grained MLLM Perception

捕捉细节：用于细粒度MLLM感知的自蒸馏RoI预测器

Yuheng Shi, Xiaohuan Pei, Minjing Dong, Chang Xu

机构 * University of Sydney（悉尼大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视觉定位与Grounding ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出SD-RPN，通过自蒸馏方法提升MLLM细粒度感知的效率和准确性。

Comments 20 pages, 6 figures

LocoVLM: Grounding Vision and Language for Adapting Versatile Legged Locomotion Policies

LocoVLM：为适应多功能腿式运动策略而 grounding 视觉和语言

I Made Aswin Nahrendra, Seunghyun Lee, Dongkyu Lee, Hyun Myung

机构 * School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（电气工程学院，韩国科学技术院） 纠错

专题命中 视觉定位与Grounding ：grounding(title)；vision-language model(abstract)

AI总结 LocoVLM通过整合高层常识推理和视觉语言模型，实现了基于指令的实时腿式运动策略适应，准确率达87%。

Comments Project page: https://locovlm.github.io

H2OFlow: Grounding Human-Object Affordances with 3D Generative Models and Dense Diffused Flows

H2OFlow: 通过3D生成模型和密集扩散流接地人类-物体 affordances

Harry Zhang, Luca Carlone

机构 * MIT（麻省理工学院） 纠错

专题命中 视觉定位与Grounding ：grounding(title)；分类 cs.CV

AI总结 H2OFlow通过3D生成模型和密集扩散流学习人类-物体交互的3D affordances，无需人工标注，有效泛化至现实物体。

GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation

GeoPurify: 一种数据高效的几何蒸馏框架用于开放词汇3D分割

Weijia Dou, Xu Zhang, Yi Bin, Jian Liu, Bo Peng, Guoqing Wang, Yang Yang, Heng Tao Shen

机构 * Tongji University（同济大学） ； Tianjin University（天津大学） ； University of Electronic Science and Technology of China（电子科学与技术大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 GeoPurify通过几何蒸馏和亲和网络提升3D分割的数据效率，实现高效且准确的开放词汇3D分割

Comments Accepted at ICLR 2026. Code available at: https://github.com/tj12323/GeoPurify

Diagnosing Structural Failures in LLM-Based Evidence Extraction for Meta-Analysis

诊断基于大型语言模型的证据提取在元分析中的结构性故障

Zhiyin Tan, Jennifer D'Souza

机构 * L3S Research Center, Leibniz University Hannover（莱比锡大学汉诺威分校L3S研究中心） ； TIB Leibniz Information Centre for Science（莱比锡信息中心科学与技术研究所） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现当前LLM在元分析中存在结构性缺陷，导致关联元组提取不可靠，需改进结构性和数值基础。

Comments Accepted at the 22nd Conference on Information and Research Science Connecting to Digital and Library Science (IRCDL 2026)

ICA: Information-Aware Credit Assignment for Visually Grounded Long-Horizon Information-Seeking Agents

ICA: 信息感知的信用分配用于基于视觉的长周期信息寻求智能体

Cong Pang, Xuyu Feng, Yujie Yi, Zixuan Chen, Jiawei Hong, Tiankuo Yao, Nang Yuan, Jiapeng Luo, Lewei Lu, Xin Lou

机构 * Shanghai Jiao Tong University（上海交通大学） ； ShanghaiTech University（上海科技大学） ； Wuhan University（武汉大学） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ICA方法，通过视觉快照和信息层面信用分配，提升开放网络环境中信息寻求智能体的性能。

Revisit Visual Prompt Tuning: The Expressiveness of Prompt Experts

重新审视视觉提示调优：提示专家的表达性

Minh Le, Anh Nguyen, Huy Nguyen, Chau Nguyen, Anh Tran, Nhat Ho

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出VAPT，通过增强提示专家的表达性，在保持参数效率的同时，提升了视觉任务的性能表现。

Comments Accepted to ICLR 2026

Physically Interpretable AlphaEarth Foundation Model Embeddings Enable LLM-Based Land Surface Intelligence

可解释的AlphaEarth基础模型嵌入使基于大语言模型的地表智能成为可能

Mashrekur Rahman

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 基于AlphaEarth基础模型的可解释嵌入，通过检索增强生成实现地表智能，验证了卫星嵌入在环境决策中的有效性。

Toward Faithful Retrieval-Augmented Generation with Sparse Autoencoders

迈向基于稀疏自编码器的忠实检索增强生成

Guangzhi Xiong, Zhenghao He, Bohan Liu, Sanchit Sinha, Aidong Zhang

机构 * Department of Computer Science University of Virginia（计算机科学系弗吉尼亚大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 本研究提出RAGLens，通过稀疏自编码器解构LLM内部激活，有效检测RAG生成中的不忠实输出，并提供可解释的决策理由。

Comments ICLR 2026

OmniDiff: A Comprehensive Benchmark for Fine-grained Image Difference Captioning

OmniDiff: 一个全面的细粒度图像差异描述基准

Yuan Liu, Saihui Hou, Saijie Hou, Jiabao Du, Shibei Meng, Yongzhen Huang

机构 * School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） 纠错

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；分类 cs.CV

AI总结 OmniDiff提出一个全面的细粒度图像差异描述基准，结合多模态大语言模型与插拔式多尺度差异感知模块，提升跨场景差异识别性能。

Multimodal Information Fusion for Chart Understanding: A Survey of MLLMs -- Evolution, Limitations, and Cognitive Enhancement

多模态信息融合用于图表理解：MLLMs的综述——演变、局限与认知增强

Zhihang Yi, Jian Zhao, Jiancheng Lv, Tao Wang

机构 * College of Computer Science, Sichuan University（四川大学计算机科学学院） ； Engineering Research Center of Machine Learning（机器学习工程研究中心） ； China Telecom Institute of AI（中国电信人工智能研究院） 纠错

专题命中 文档图表理解 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文综述了多模态大语言模型在图表理解中的应用，分析了其演变、局限及未来发展方向，旨在推动更稳健的系统发展。

TableDART: Dynamic Adaptive Multi-Modal Routing for Table Understanding

TableDART: 表格理解的动态自适应多模态路由

Xiaobo Xing, Wei Yuan, Tong Chen, Quoc Viet Hung Nguyen, Xiangliang Zhang, Hongzhi Yin

机构 * The University of Queensland, Australia（昆士兰大学） ； Griffith University, Australia（格里菲斯大学） ； University of Notre Dame, USA（诺丁汉大学） 纠错

专题命中 文档图表理解 ：MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 TableDART通过动态选择文本、图像或融合视角，提升表格理解的准确性和效率，避免昂贵的多模态模型微调。

Comments Accepted to ICLR 2026. 26 pages, 11 figures

Safe mobility support system using crowd mapping and avoidance route planning using VLM

基于人群映射与避让路线规划的安全移动支持系统

Sena Saito, Kenta Tabata, Renato Miyagusuku, Koichi Ozaki

机构 * Graduate School of Regional Development and Creativity, Division of Engineering and Agriculture, Graduate School, Utsunomiya University（乌市大学研究生院区域发展与创意学院，工程与农业系） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 本文提出利用视觉-语言模型和高斯过程回归生成动态人群密度地图，以提升自主机器人在拥挤环境中的安全导航能力。

Journal ref 2025 IEEE International Conference on Real-time Computing and Robotics (RCAR)