视觉大模型 / VLM

LEMON: How Well Do MLLMs Perform Temporal Multimodal Understanding on Instructional Videos?

LEMON：大型语言模型在教学视频中的时间多模态理解表现如何？

Zhuang Yu, Lei Shen, Jing Zhao, Shiliang Sun

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 LEMON是一个针对教学视频的多模态理解评估基准，旨在评估大型语言模型在时间推理和跨模态整合方面的表现，揭示其在复杂教育内容中的性能差距。

RxnBench: A Multimodal Benchmark for Evaluating Large Language Models on Chemical Reaction Understanding from Scientific Literature

RxnBench: 一个用于评估大语言模型在科学文献中理解化学反应的多模态基准

Hanzheng Li, Xi Fang, Yixuan Li, Chaozheng Huang, Junjie Wang, Xi Wang, Hongzhe Bai, Bojun Hao, Shenyu Lin, Huiqi Liang, Linfeng Zhang, Guolin Ke

机构 * DP Technology（DP技术公司） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； New York University（纽约大学） ； Fudan University（复旦大学） ； Xiamen University（厦门大学） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 RxnBench通过两个任务评估大语言模型在化学反应理解上的能力，揭示模型在深度化学逻辑和结构识别上的不足，强调需改进视觉编码和推理能力以推动AI化学发展。

ECG-Agent: On-Device Tool-Calling Agent for ECG Multi-Turn Dialogue

ECG-Agent: 用于ECG多轮对话的设备端工具调用代理

Hyunseung Chung, Jungwoo Oh, Daeun Kyung, Jiho Kim, Yeonsu Kwon, Min-Gyu Kim, Edward Choi

机构 * KAIST（韩国科学技术院） ； Ajou University School of Medicine（全州大学医学院） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 ECG-Agent是一种基于LLM的多轮ECG对话工具调用代理，通过ECG-MTD数据集实现了设备端高效且准确的ECG对话处理。

Comments Accepted to ICASSP 2026 (5 pages, 2 figures, 5 tables)

RPO-RAG: Aligning Small LLMs with Relation-aware Preference Optimization for Knowledge Graph Question Answering

RPO-RAG: 通过关系感知的偏好优化对齐小型LLM以实现知识图谱问答

Kaehyun Um, KyuHwan Yeom, Haerim Yang, Minyoung Choi, Hyeongjun Yang, Kyong-Ho Lee

机构 * Yonsei University（延世大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 RPO-RAG通过关系感知的偏好优化和以答案为中心的提示设计，提升小型LLM在知识图谱问答中的推理能力，实现性能提升。

Comments Accepted at The Web Conference (WWW) 2026

DGRAG: Distributed Graph-based Retrieval-Augmented Generation in Edge-Cloud Systems

DGRAG：边缘-云计算系统中的分布式图驱动检索增强生成

Wenqing Zhou, Yuxuan Yan, Qianqian Yang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 DGRAG是一种面向边缘-云计算系统的分布式图驱动检索增强生成框架，通过边缘设备本地知识图和云端轻量级索引实现隐私保护和高效检索。

AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning

AdaReasoner: 多步骤视觉推理中的动态工具协调

Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng

机构 * Fudan University（复旦大学） ； Tongji University（同济大学） ； National University of Singapore（新加坡国立大学） ； University of Washington（华盛顿大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 AdaReasoner通过动态工具协调提升多模态模型的视觉推理能力，实现工具自适应和泛化，超越现有系统性能。

Comments 28 pages, 10 figures and 13 tables

Investigating the Development of Task-Oriented Communication in Vision-Language Models

探究视觉-语言模型中以任务为导向的交流发展

Boaz Carmeli, Orr Paradise, Shafi Goldwasser, Yonatan Belinkov, Ron Meir

机构 * Technion – Israel Institute of Technology（技术ion–以色列理工学院） ； EPFL（苏黎世联邦理工学院） ； University of California, Berkeley（加州大学伯克利分校） ； Harvard University（哈佛大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI

AI总结 研究视觉-语言模型在协作任务中发展以任务为导向的通信协议的潜力与风险

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

推动多模态推理：从优化冷启动到分阶段强化学习

Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Soochow University（苏州大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出ReVisual-R1，通过优化冷启动和分阶段强化学习提升多模态推理能力，在多个挑战性基准测试中取得新突破。

Comments 19 pages, 6 figures

OmniEVA: Embodied Versatile Planner via Task-Adaptive 3D-Grounded and Embodiment-aware Reasoning

OmniEVA：通过任务自适应3D grounded和 embodiment-aware推理实现具身 versatile规划

Yuecheng Liu, Dafeng Chi, Shiguang Wu, Zhanguang Zhang, Yuzheng Zhuang, Bowen Yang, He Zhu, Lingfeng Zhang, Pengwei Xie, David Gamaliel Arcos Bravo, Yingxue Zhang, Jianye Hao, Xingyue Quan

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 OmniEVA通过任务自适应3D grounding和具身aware推理，解决具身系统中几何适应性和具身约束的限制，实现先进的具身推理和任务规划。

Comments Published as a conference paper at ICLR 2026

When Vision Meets Texts in Listwise Reranking

当视觉与文本在列表级重排序中相遇

Hongyi Cai

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出Rank-Nexus，一种轻量级多模态图像-文本文档重排序器，通过渐进跨模态训练策略提升重排序性能，适用于文本和图像重排序基准。

DaMO: A Data-Efficient Multimodal Orchestrator for Temporal Reasoning with Video LLMs

DaMO：一种数据高效的多模态协调器，用于视频LLM的时序推理

Bo-Cheng Chiu, Jen-Jee Chen, Yu-Chee Tseng, Feng-Chi Chen, An-Zi Yen

机构 * College of Artificial Intelligence, National Yang Ming Chiao Tung University（人工智能学院，阳明交通大学） ； Institute of Population Health Sciences, National Health Research Institutes（人口健康科学研究所，国家健康研究院） ； Department of Computer Science, National Yang Ming Chiao Tung University（计算机科学系，阳明交通大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 DaMO是一种专为视频LLM设计的数据高效多模态协调器，通过时序感知Fuseformer和四阶段训练范式提升时序推理能力，实现更精确的多模态理解。

Physically Guided Visual Mass Estimation from a Single RGB Image

基于单个RGB图像的物理引导视觉质量估计

Sungjae Lee, Junhan Jeong, Yeonjoo Hong, Kwang In Kim

机构 * Graduate School of Artificial Intelligence, POSTECH, South Korea（人工智能研究生院，POSTECH，韩国） ； Department of Electrical Engineering, POSTECH, South Korea（电气工程系，POSTECH，韩国） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于物理引导的单图像质量估计方法，通过融合几何、语义和外观信息，实现对物体质量的准确预测。

Scaling Medical Reasoning Verification via Tool-Integrated Reinforcement Learning

通过工具集成强化学习扩展医学推理验证

Hang Zhang, Ruheng Wang, Yuelyu Ji, Mingu Kwak, Xizhi Wu, Chenyu Li, Li Zhang, Wenqi Shi, Yifan Peng, Yanshan Wang

机构 * University of Pittsburgh（匹兹堡大学） ； UT Southwestern Medical Center（西南医学中心） ； Cornell University（康奈尔大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出$\method$，通过工具集成强化学习实现医学推理验证的扩展，显著提升验证效果并降低采样预算需求。

NUMINA: A Natural Understanding Benchmark for Multi-dimensional Intelligence and Numerical Reasoning Abilities

NUMINA：多维智能与数值推理能力的自然理解基准

Changyu Zeng, Yifan Wang, Zimu Wang, Wei Wang, Zhengni Yang, Muyi Bao, Jiming Xiao, Anh Nguyen, Yutao Yue

机构 * School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学先进技术学院） ； Department of Computer Science, University of Liverpool（利物浦大学计算机科学系） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Deep Perception Technology, JITRI（深度感知技术研究所） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 NUMINA是一个用于多维智能和数值推理能力的自然理解基准，通过多尺度注释和自动化注释流程提升多模态室内感知理解，揭示当前LLM在三维空间计算中的不足。

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 22575--22590

Mixing Importance with Diversity: Joint Optimization for KV Cache Compression in Large Vision-Language Models

融合重要性与多样性：KV缓存压缩的联合优化

Xuyang Liu, Xiyan Gui, Yuchao Zhang, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学） ； Sichuan University（四川大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV

AI总结 MixKV通过融合重要性与多样性，优化KV缓存压缩，提升多模态模型的存储效率与推理性能。

Comments Accepted by ICLR 2026. Our code is available at https://github.com/xuyang-liu16/MixKV

X-SAM: From Segment Anything to Any Segmentation

X-SAM：从Segment Anything到Any Segmentation

Hao Wang, Limeng Qiao, Zequn Jie, Zhijian Huang, Chengjian Feng, Qingfang Zheng, Lin Ma, Xiangyuan Lan, Xiaodan Liang

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 X-SAM通过引入统一框架和VGD分割任务，提升多模态大语言模型的像素级视觉理解能力，实现更广泛的分割任务整合。

Comments AAAI2026

TRACER: Texture-Robust Affordance Chain-of-Thought for Deformable-Object Refinement

TRACER: 适用于变形物体细化的纹理鲁棒触觉链

Wanjun Jia, Kang Li, Fan Yang, Mengfei Duan, Wenrui Chen, Yiming Jiang, Hui Zhang, Kailun Yang, Zhiyong Li, Yaonan Wang

机构 * School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学） ； National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（机器人视觉感知与控制技术国家工程研究中心，湖南大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 TRACER通过纹理鲁棒触觉链框架，提升变形物体在复杂纹理下的触觉识别精度和长视界任务成功率。

Comments The source code and dataset will be made publicly available at https://github.com/Dikay1/TRACER

DiSa: Saliency-Aware Foreground-Background Disentangled Framework for Open-Vocabulary Semantic Segmentation

DiSa：面向开放词汇语义分割的视觉-语义解耦框架

Zhen Yao, Xin Li, Taotao Jing, Shuai Zhang, Mooi Choo Chuah

机构 * Department of Computer Science and Engineering, Lehigh University（计算机科学与工程系，莱恩大学） ； Department of Computer Science（计算机科学系） ； Engineering, Lehigh University（工程系，莱恩大学） ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 DiSa通过显著性感知解耦框架和分层细化模块，有效解决开放词汇语义分割中前景偏见和空间定位不足的问题，提升分割精度。

Comments 19 pages, 11 figures

Mem2ActBench: A Benchmark for Evaluating Long-Term Memory Utilization in Task-Oriented Autonomous Agents

Mem2ActBench: 一个评估面向任务的自主代理长期记忆利用的基准

Yiting Shen, Kun Li, Wei Zhou, Songlin Hu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 Mem2ActBench是一个评估自主代理利用长期记忆执行任务能力的基准，通过合成工具使用任务验证记忆应用的有效性。

Mind the Gap: The Divergence Between Human and LLM-Generated Tasks

注意差距：人类与LLM生成任务之间的差异

Yi-Long Lu, Jiajun Song, Chunhui Zhang, Wei Wang

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究揭示了人类与LLM在任务生成中的核心差异，指出人类受心理驱动影响，而LLM在生成具身目标方面存在不足。

Idea2Story: An Automated Pipeline for Transforming Research Concepts into Complete Scientific Narratives

Idea2Story: 一种将研究概念转化为完整科学叙述的自动化流程

Tengyue Xu, Zhuoyang Qian, Gaoge Liu, Li Ling, Zhentao Zhang, Biao Wu, Shuo Zhang, Ke Lu, Wei Shi, Ziqi Wang, Zheng Feng, Yan Luo, Shu Xu, Yongjin Chen, Zhibo Feng, Zhuo Chen, Bruce Yuan, Harry Wang, Kris Chen

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 Idea2Story通过离线知识构建实现自主科学发现，提升研究效率与可靠性。

Comments 11 pages, 3 figures

FFE-Hallu:Hallucinations in Fixed Figurative Expressions:Benchmark of Idioms and Proverbs in the Persian Language

FFE-Hallu：固定修辞表达中的幻觉：波斯语中的成语和谚语基准

Faezeh Hosseini, Mohammadali Yousefzadeh, Yadollah Yaghoobzadeh

机构 * Tehran Institute for Advanced Studies, Khatam University, Iran（德黑兰高级研究 institute，Khatam 大学，伊朗） ； School of Electrical and Computer Engineering, College of Engineering, University of Tehran, Tehran, Iran（电气与计算机工程学院，工程学院，德黑兰大学，德黑兰，伊朗） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 FFE-Hallu是首个针对波斯语隐喻幻觉评估的基准，揭示了LLMs在处理隐喻语言方面的系统性弱点。

Comments EACL 2026

Bridging Instead of Replacing Online Coding Communities with AI through Community-Enriched Chatbot Designs

通过社区增强的聊天机器人设计连接而非取代在线编程社区

Junling Wang, Lahari Goswami, Gustavo Kreia Umbelino, Kiara Chau, Mrinmaya Sachan, April Yi Wang

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文提出Community-Enriched AI设计范式，通过整合在线编程社区内容提升AI聊天机器人与社区的互动性，增强用户信任并支持学习者解决问题。

Comments Accepted at the ACM Conference on Computer-Supported Cooperative Work and Social Computing (CSCW 2026). To appear in PACMHCI

DeepSeek-OCR 2: Visual Causal Flow

DeepSeek-OCR 2: 视觉因果流

Haoran Wei, Yaofeng Sun, Yukun Li

机构 * DeepSeek-AI 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；分类 cs.CV

AI总结 DeepSeek-OCR 2通过两个级联的一维因果推理结构实现二维图像理解，提升视觉处理的语义连贯性与灵活性。

Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

通过利用人类方法诊断视觉语言模型的感知能力：针对色觉缺陷的色觉研究

Kazuki Hayashi, Shintaro Ozaki, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本研究通过Ishihara测试评估视觉语言模型对色觉差异的感知能力，发现模型无法再现色觉缺陷个体的感知结果，揭示了多模态AI在包容性部署中的不足。

Comments Accepted to appear in the main conference of EACL 2026

OmegaUse: Building a General-Purpose GUI Agent for Autonomous Task Execution

OmegaUse：构建一个通用的 GUI 代理以实现自主任务执行

Le Zhang, Yixiong Xiao, Xinjiang Lu, Jingjia Cao, Yusai Zhao, Jingbo Zhou, Lang An, Zikan Feng, Wanxiang Sha, Yu Shi, Congxi Xiao, Jian Xiong, Yankai Zhang, Hua Wu, Haifeng Wang

机构 * Baidu Frontier Research Department（百度前沿研究部） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 OmegaUse 是一种通用 GUI 代理模型，通过高质量数据和解耦训练方法实现跨平台自主任务执行，展现卓越的 GUI 任务性能。

NLPrompt: Noise-Label Prompt Learning for Vision-Language Models

NLPrompt: 噪声标签提示学习用于视觉-语言模型

Bikang Pan, Qun Li, Xiaoying Tang, Wei Huang, Zhen Fang, Feng Liu, Jingya Wang, Jingyi Yu, Ye Shi

机构 * ShanghaiTech University（上海科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； RIKEN Center for Advanced Intelligence Project（日本RIKEN高级智能项目中心） ； University of Technology Sydney（悉尼科技大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 NLPrompt通过结合PromptMAE和PromptOT，提升视觉-语言模型在噪声标签下的提示学习鲁棒性与精度。

Decoupling Perception and Calibration: Label-Efficient Image Quality Assessment Framework

解耦感知与校准：一种标签高效的图像质量评估框架

Xinyue Li, Zhichao Zhang, Zhiming Xu, Shubo Xu, Xiongkuo Min, Yitong Chen, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xi’an Jiaotong University（西安交通大学） ； Baidu（百度） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 LEAF通过蒸馏多模态大语言模型的感知先验，实现轻量级图像质量评估，减少对人类标注的依赖，同时保持与人类注释的一致性。

Hallucination Begins Where Saliency Drops

幻觉始于显著性下降

Xiaofeng Zhang, Yuanchao Zhu, Chaochen Gu, Xiaosong Yuan, Qiyan Zhao, Jiawei Cao, Feilong Tang, Sinan Fan, Yaomin Shen, Chen Shen, Hao Tang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出LVLMs-Saliency框架，通过融合注意力权重与输入梯度，利用显著性引导拒绝采样和局部连贯性强化机制，有效减少幻觉并提升模型可靠性。

Comments Accepted in ICLR 2026

Visual Multi-Agent System: Mitigating Hallucination Snowballing via Visual Flow

视觉多智能体系统：通过视觉流缓解幻觉雪球效应

Xinlei Yu, Chengming Xu, Guibin Zhang, Yongbo He, Zhangquan Chen, Zhucun Xue, Jiangning Zhang, Yue Liao, Xiaobin Hu, Yu-Gang Jiang, Shuicheng Yan

机构 * National University of Singapore（国立新加坡大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） 纠错

专题命中 幻觉与鲁棒性 ：visual language model(abstract)；分类 cs.CV

AI总结 本文提出ViF方法，通过视觉流和注意力重新分配缓解多智能体系统中的视觉幻觉雪球效应，提升性能。