视觉大模型 / VLM

Evaluating the Diagnostic Classification Ability of Multimodal Large Language Models: Insights from the Osteoarthritis Initiative

评估多模态大语言模型的诊断分类能力：来自骨关节炎倡议的见解

Li Wang, Xi Chen, XiangWen Deng, HuaHui Yi, ZeKun Jiang, Kang Li, Jian Li

专题命中 视觉问答 ：multimodal large language model(title,abstract)；visual question answering(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究发现，多模态大语言模型在医学图像分类中表现不佳，建议优先优化视觉编码器和数据集质量。

How to Discover Knowledge for FutureG: Contextual RAG and LLM Prompting for O-RAN

如何为未来G发现知识：面向O-RAN的上下文RAG和LLM提示

Nathan Conger, Nathan Scollar, Kemal Davaslioglu, Yalin E. Sagduyu, Sastry Kompella

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出上下文RAG方法，通过引导文档检索和上下文增强LLM性能，提升ORAN领域问答的准确性和效率，同时保持低运行时间和碳排放。

Understanding Multi-Agent Reasoning with Large Language Models for Cartoon VQA

通过大型语言模型理解多智能体推理用于漫画视觉问答

Tong Wu, Thanet Markchom

机构 * University of Reading（阅读大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 本文提出多智能体LLM框架，用于解决漫画图像中视觉抽象和叙事上下文的VQA问题，通过三个智能体协作提升推理能力。

EarthVL: A Progressive Earth Vision-Language Understanding and Generation Framework

EarthVL: 一种渐进式地球视觉-语言理解和生成框架

Junjue Wang, Yanfei Zhong, Zihang Chen, Zhuo Zheng, Ailong Ma, Liangpei Zhang

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 EarthVL提出一种渐进式视觉-语言框架，通过多任务数据集和语义引导网络提升城市规划中的遥感目标识别与问答性能。

Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization

从提示本身学习：层次归因提示优化

Dongyu Chen, Jian Ma, Xianpeng Zhang, Lei Zhang, Haonan Lu, Chen Chen, Chuangchuang Wang, Kai Tang

专题命中 视觉问答 ：MLLM(abstract)；分类 cs.AI

AI总结 HAPO框架通过动态归因机制、语义单元优化和多模态支持，提升提示优化效率，适用于多任务场景。

Watch Wider and Think Deeper: Collaborative Cross-modal Chain-of-Thought for Complex Visual Reasoning

拓宽视野并深入思考：协作式跨模态链式推理用于复杂视觉推理

Wenting Lu, Didi Zhu, Tao Shen, Donglin Zhu, Ayong Ye, Chao Wu

机构 * Fujian Normal University（福建师范大学） ； Zhejiang University（浙江大学） ； Zhejiang Normal University（浙江师范大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；LLaVA(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 CoCoT通过动态多区域定位和关系感知推理，提升复杂视觉推理性能，在多个基准测试中实现显著准确率提升。

Rationale-Grounded In-Context Learning for Time Series Reasoning with Multimodal Large Language Models

基于理由的上下文学习用于多模态大语言模型的时间序列推理

Qingxiang Liu, Zhiqing Cui, Xiaoliang Luo, Yuqian Wu, Zhuoyang Jiang, Huaiyu Wan, Sheng Sun, Lvchun Wang, Wei Yu, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； China Mobile (Jiangxi) Virtual Reality Technology Co., Ltd.（中国移动（江西）虚拟现实技术有限公司） ； School of Computer and Information Technology, Beijing Jiaotong University（北京交通大学计算机与信息学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本研究提出RationaleTS方法，通过基于理由的上下文学习提升多模态大语言模型在时间序列推理中的性能。

AbductiveMLLM: Boosting Visual Abductive Reasoning Within MLLMs

AbductiveMLLM: 提升多模态大语言模型中的视觉归纳推理

Boyu Chang, Qi Wang, Xi Guo, Zhixiong Nan, Yazhou Yao, Tianfei Zhou

专题命中 视觉推理 ：grounding(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 AbductiveMLLM通过结合REASONER和IMAGINER组件，提升多模态大语言模型在视觉归纳推理中的性能。

Comments Accepted by AAAI 2026 as Oral. Code:https://github.com/ChangPtR/AbdMLLM

MIRAGE: A Benchmark for Multimodal Information-Seeking and Reasoning in Agricultural Expert-Guided Conversations

MIRAGE：农业专家引导对话中多模态信息检索与推理的基准

Vardhan Dongre, Chi Gui, Shubham Garg, Hooshang Nayyeri, Gokhan Tur, Dilek Hakkani-Tür, Vikram S. Adve

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 MIRAGE是一个用于农业专家引导对话中多模态信息检索与推理的基准，通过真实用户-专家交互数据，提供高保真的多模态推理评估平台。

Comments Accepted to NeurIPS 2025

CVBench: Benchmarking Cross-Video Synergies for Complex Multimodal Reasoning

CVBench: 多视频协同推理的基准测试

Nannan Zhu, Yonghao Dong, Teng Wang, Xueqian Li, Shengjun Deng, Yijia Wang, Zheng Hong, Tiantian Geng, Guo Niu, Hanyan Huang, Xiongfei Yao, Shuaiwei Jiao

机构 * Sun Yat-sen University（中山大学） ； University of Hong Kong（香港大学） ； Foshan University（佛山大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 CVBench通过跨视频关系推理基准测试，揭示多模态大语言模型在跨视频时空推理中的性能差距及架构瓶颈。

The Artificial Intelligence Cognitive Examination: A Survey on the Evolution of Multimodal Evaluation from Recognition to Reasoning

人工智能认知测评：多模态评估从识别到推理的演变综述

Mayank Ravishankara, Varindra V. Persad Maharaj

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文综述了多模态AI评估从识别到推理的演变，探讨了测评方法的转变及当前前沿基准的发展。

Journal ref IEEE Access, vol. 14, Dec. 2025, Art. no. 3649182

Aha Moment Revisited: Are VLMs Truly Capable of Self Verification in Inference-time Scaling?

顿悟时刻再审视：VLMs在推理时间缩放中真的能自我验证吗？

Mingyuan Wu, Meitang Li, Jingcheng Yang, Jize Jiang, Kaizhuo Yan, Zhaoheng Li, Hanchao Yu, Minjia Zhang, Klara Nahrstedt

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Michigan Ann Arbor（密歇根大学安娜堡分校） ； Meta 纠错

专题命中 视觉推理 ：vision language model(abstract)；分类 cs.LG

AI总结 本研究发现VLMs在推理时间缩放中自我验证效果有限，生成能力优于验证策略，且视觉信息整合不足。

Comments Neurips 2025 Multimodal Algorithmic Reasoning Workshop Oral. In submission

MMMG: A Massive, Multidisciplinary, Multi-Tier Generation Benchmark for Text-to-Image Reasoning

MMMG：大规模、跨学科、多层级的文本到图像推理生成基准

Yuxuan Luo, Yuhui Yuan, Junwen Chen, Haonan Cai, Ziyi Yue, Yuwei Yang, Fatima Zohra Daha, Ji Li, Zhouhui Lian

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出MMMG基准，用于评估文本到图像生成模型的推理能力，揭示现有模型在知识图像生成中的不足，并发布FLUX-Reason作为开放基线。

Comments 85 pages, 70 figures, code: https://github.com/MMMGBench/MMMG, project page: https://mmmgbench.github.io/

Journal ref Advances in Neural Information Processing Systems 38 (NeurIPS 2025) Datasets and Benchmarks Track

Uni-FinLLM: A Unified Multimodal Large Language Model with Modular Task Heads for Micro-Level Stock Prediction and Macro-Level Systemic Risk Assessment

Uni-FinLLM：一种具有模块化任务头的统一多模态大语言模型，用于微观层面的股票预测和宏观层面的系统性风险评估

Gongao Zhang, Haijiang Zeng, Lu Jiang

专题命中 视觉定位与Grounding ：multimodal large language model(title,abstract)；分类 cs.LG

AI总结 Uni-FinLLM通过统一多模态大语言模型，结合模块化任务头，实现了对股票预测和系统性风险评估的高效联合建模，显著提升了预测准确率。

Sparse Knowledge Distillation: A Mathematical Framework for Probability-Domain Temperature Scaling and Multi-Stage Compression

稀疏知识蒸馏：概率域温度缩放与多阶段压缩的数学框架

Aaron R. Flouro, Shawn P. Chadwick

机构 * PhD. research（博士研究） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 本文提出概率域温度缩放与多阶段压缩的数学框架，通过算子层面分析揭示稀疏学生优于密集教师的条件，并提供收敛保证与等价类特征化，为知识蒸馏和模型压缩提供理论支持。

Comments Machine learning theory. Develops an axiomatic, operator-agnostic framework for probability-domain knowledge distillation, including bias--variance analysis of sparse students, homotopy-based multi-stage pruning, $O(1/n)$ convergence guarantees, and equivalence classes of probability-domain softening operators. Theoretical analysis only

MMFormalizer: Multimodal Autoformalization in the Wild

MMFormalizer: 多模态自动形式化

Jing Xiong, Qi Han, Yunta Hsieh, Hui Shen, Huajian Xin, Chaofan Tao, Chenyang Zhao, Hengyuan Zhang, Taiqiang Wu, Zhen Zhang, Haochen Wang, Zhongwei Wan, Lingpeng Kong, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； University of Edinburgh（爱丁堡大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Ohio State University（俄亥俄州立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 MMFormalizer通过整合适应性定位与现实世界数学物理领域实体，实现多模态自动形式化，首次处理经典力学、相对论、量子力学和热力学等复杂领域。

Comments Technical Report

RxnCaption: Reformulating Reaction Diagram Parsing as Visual Prompt Guided Captioning

RxnCaption：将反应图解析重新表述为视觉提示引导的描述生成

Jiahe Song, Chuang Wang, Bowen Jiang, Yinfan Wang, Hao Zheng, Xingjian Wei, Chengjin Liu, Rui Nie, Junyuan Gao, Jiaxing Sun, Yubin Wang, Lijun Wu, Zhenhua Huang, Jiang Wu, Qian Yu, Conghui He

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Beihang University（北航） ； Peking University（北京大学） ； South China Normal University（华南师范大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 文档图表理解 ：vision language model(abstract)；分类 cs.CV

AI总结 RxnCaption通过将反应图解析转化为视觉提示引导的描述生成任务，提升化学反应数据的机器可读性，并构建大规模数据集推动AI在化学领域的应用。

VLN-MME: Diagnosing MLLMs as Language-guided Visual Navigation agents

VLN-MME: 诊断MLLMs作为语言引导的视觉导航代理

Xunyi Zhao, Gengze Zhou, Qi Wu

机构 * Australian Institute for Machine Learning（澳大利亚机器学习研究所） ； Adelaide University（阿德莱德大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 VLN-MME通过统一评估框架揭示MLLMs在具身导航任务中的局限性，发现其3D空间推理能力不足。

E$^2$AT: Multimodal Jailbreak Defense via Dynamic Joint Optimization for Multimodal Large Language Models

E$^2$AT: 通过动态联合优化实现多模态对抗防御

Liming Lu, Xiang Gu, Shuchao Pang, Siyuan Liang, Haotian Zhu, Xiyu Zeng, Xu Zheng, Yongbin Zhou

机构 * School of Cyber Science and Engineering, Nanjing University of Science and Technology, China（南京理工大学信息科学与工程学院） ； HKUST(GZ) and INSAIT, Sofia University St. Kliment Ohridski（香港科技大学（广州）及INSAIT，索菲亚大学圣克莱门特·奥赫里迪斯学院） ； College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 E$^2$AT通过动态联合优化提升多模态大语言模型对对抗攻击的鲁棒性，实验显示其在文本和图像模态上性能优于现有方法34%。

Empowering Source-Free Domain Adaptation via MLLM-Guided Reliability-Based Curriculum Learning

通过MLLM引导的可靠性基于课程学习增强源无关领域适应

Dongjie Chen, Kartik Patwari, Zhengfeng Lai, Xiaoguang Zhu, Sen-ching Cheung, Chen-Nee Chuah

机构 * University of California, Davis（加州大学戴维斯分校） ； University of Kentucky（肯塔基大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 通过MLLM引导的可靠性基于课程学习增强源无关领域适应，提出一种新的框架，利用多个冻结的MLLMs的稳健监督蒸馏到目标模型，实现稳定且噪声感知的训练。

ReCCur: A Recursive Corner-Case Curation Framework for Robust Vision-Language Understanding in Open and Edge Scenarios

ReCCur：一种递归角落案例校准框架，用于开放和边缘场景中的鲁棒视觉-语言理解

Yihan Wei, Shenghai Yuan, Tianchen Deng, Boyang Lou, Enwen Hu

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 ReCCur通过递归框架实现低计算量的角落案例校准，提升开放和边缘场景下的视觉-语言理解鲁棒性。

RAL2M: Retrieval Augmented Learning-To-Match Against Hallucination in Compliance-Guaranteed Service Systems

RAL2M：检索增强的学习-匹配以对抗幻觉在合规保障服务系统中

Mengze Hong, Di Jiang, Jiangtao Wen, Zhiyang Su, Yawen Li, Yanjie Sun, Guan Wang, Chen Jason Zhang

机构 * Hong Kong Polytechnic University（香港理工大学） ； New York University Shanghai（纽约大学上海分校） ； Hong Kong University of Science and Technology（香港科技大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 RAL2M通过检索增强的学习-匹配框架，利用众智消除生成幻觉，提升合规保障服务系统的响应可靠性。

CalliReader: Contextualizing Chinese Calligraphy via an Embedding-Aligned Vision-Language Model

CalliReader：通过嵌入对齐的视觉-语言模型 contextualizing 中文书法

Yuxuan Luo, Jiaqi Tang, Chenyi Huang, Feiyang Hao, Zhouhui Lian

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 CalliReader通过字符级切片、视觉-文本对齐和嵌入指令微调，解决中文书法的上下文识别问题，实现比现有方法和专业书法家更高的准确性与更低的幻觉率。

Comments 11 pages

Journal ref Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) 2025

ELMM: Efficient Lightweight Multimodal Large Language Models for Multimodal Knowledge Graph Completion

ELMM: 为多模态知识图谱补全设计的高效轻量多模态大语言模型

Wei Huang, Peining Li, Meiyu Liang, Xu Hou, Junping Du, Yingxia Shao, Guanhua Ye, Wu Liu, Kangkang Lu, Yang Yu

机构 * School of Computer Science, Beijing University of Posts and Telecommunications（计算机学院，北京邮电大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 ELMM通过多视图视觉标记压缩和注意力修剪策略，高效解决多模态知识图谱补全中的模态冲突和计算成本问题，实现最先进的性能。

Comments 14 pages, 5 figures

Intervene-All-Paths: Unified Mitigation of LVLM Hallucinations across Alignment Formats

干预所有路径：统一缓解跨对齐格式的大型视觉-语言模型幻觉

Jiaye Qian, Ge Zheng, Yuchen Zhu, Sibei Yang

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种统一干预框架，通过分析不同路径间的相互作用，有效缓解跨对齐格式的LVLM幻觉问题。

Comments Accepted to NeurIPS 2025, Project Page: https://github.com/SooLab/AllPath

Empowering Reliable Visual-Centric Instruction Following in MLLMs

赋能多模态大语言模型中的可靠指令跟随

Weilei He, Feng Ju, Zhiyuan Fan, Rui Min, Minhao Cheng, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； Penn State（宾夕法尼亚州立大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 本文提出VC-IFEval基准，通过引入视觉依赖性约束，系统评估多模态大语言模型在指令跟随任务中的性能与改进。

Comments Submitted to ARR Jan