多模态大模型

LEVANTE-bench: Multi-Scale Comparison of VLMs to Children Using Cognitive Tasks (or, "Is Your VLM Smarter Than a 5th Grader?")

LEVANTE-bench: 使用认知任务对VLM与儿童进行多尺度比较（或者，“你的VLM比五年级学生聪明吗？”）

Alvin Wei Ming Tan, David Cardinal, Tania Lorido-Botran, Laura Bravo-Sanchez, Sunny Yu, Michael C. Frank

机构 * Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出LEVANTE-bench基准，基于儿童认知任务数据，从多个尺度系统评估视觉语言模型与5-12岁儿童在六项任务上的对齐程度，发现模型与人类认知仅部分对齐。

Selectivity Estimation for Semantic Filters on Image Data

图像数据语义过滤器的选择性估计

Matthias Urban, Vu Huy Nguyen, Gabriele Sanmartino, Paolo Papotti, Carsten Binnig

专题命中 图文多模态 ：multi-modal(abstract)

AI总结 针对图像数据上的语义过滤器，提出基于共享嵌入空间的语义直方图方法，通过估计查询特异性来绕过传统在线采样，实现高效选择性估计，将查询优化与执行的端到端运行时开销降低高达86%。

Learning to Solve, Forgetting to Retain: Correct-Set Turnover in RLVR

学会解决，忘记保留：RLVR中的正确集更替

Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Peng Fu, Zheng Lin

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； JD.COM（京东） 纠错

专题命中 图文多模态 ：image-text(abstract)

AI总结 针对强化学习可验证奖励（RLVR）中模型遗忘已解决问题的问题，提出正确集更替现象和修复窗口原则，并设计保留感知的回顾机制\method{}，通过零额外开销的预部署批量替换提升多模态任务性能。

G2LoRA: Gradient Orthogonal Low-Rank Adaptation Framework for Graph Continual Learning on Text-Attributed Graphs

G2LoRA: 面向文本属性图的梯度正交低秩自适应框架用于图持续学习

Yuhan Wang, Yibo Ding, Yutong Ye, Mufan Zhao, Wenbo Zhang, Ruijie Wang, Jianxin Li

机构 * School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院） ； Department of Statistics, Columbia University（哥伦比亚大学统计系） ； College of Computer Science, Beijing University of Technology（北京理工大学计算机学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 针对LLM-as-Aligner模型在文本属性图持续学习中的灾难性遗忘问题，提出G2LoRA框架，通过统一图-文本对齐目标、类别感知梯度投影和梯度幅度调制，实现任务间正向迁移并缓解模态漂移。

Comments Accepted by KDD 2026

LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models

LASER: 面向高效低精度视觉-语言模型的损失感知奇异值分解与秩分配

Haiyu Wang, Yutong Wang, Leshu Li, Yihui Ren, Sai Qian Zhang

机构 * Tandon School of Engineering, New York University（纽约大学工程学院） ； Courant Institute of Mathematical Sciences, New York University（纽约大学数学科学学院） ； Brookhaven National Laboratory（布鲁克海文国家实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 提出LASER框架，通过损失感知的奇异值分解和跨层秩分配，结合混合量化方案，实现视觉-语言模型在低精度推理下的高效压缩与加速。

How can reasoning capability empower the AI copilot robot in endoscopic surgery

推理能力如何赋能内窥手术中的AI助手机器人

Guankun Wang, Long Bai, Hongliang Ren

机构 * Department of Electronic Engineering（电子工程系） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文研究了推理能力在内窥手术中AI助手机器人中的应用，提出通过整合多模态线索、解读手术意图和推断隐藏组织动态来提高手术的精确性、安全性和可持续性。

Comments Accepted by npj digital medicine

LeakyCLIP: Extracting Training Data from CLIP

LeakyCLIP: 从CLIP中提取训练数据

Yunhao Chen, Shujie Wang, Xin Wang, Ran He, Xingjun Ma, Yu-Gang Jiang

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文研究了CLIP中数据记忆和提取风险，提出LeakyCLIP攻击框架，通过改进的图像重建方法实现了高质量的语义准确重建，并揭示了训练数据泄露的可能性。

SEED: Targeted Data Selection by Weighted Independent Set

SEED：通过加权独立集实现目标数据选择

Yuan Zhang, Lifeng Guo, Junwen Pan, Wenzhao Zheng, Wen Zhou, Kuan Cheng, Kurt Keutzer, Shanghang Zhang

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Tianjin University（天津大学） ； EECS, UC Berkeley（伯克利大学电子工程与计算机科学系） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出SEED方法，通过将数据选择问题建模为加权独立集（WIS）在相似性图上，解决样本质量与多样性之间的平衡问题，并引入节点价值校准和局部尺度归一化来提升数据选择的鲁棒性和可扩展性。

Comments 20 pages

QuIVer: Rethinking ANN Graph Topology via Training-Free Binary Quantization

QuIVer：通过无训练二进制量化重新思考ANN图拓扑

Wenxuan Xiao, Zhiyou Wang, Chengcheng Li

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文研究了二进制量化能否定义图拓扑本身，并提出了QuIVer，一个无需训练的ANN图索引，在2位Sign-Magnitude二进制量化度量空间中完成边选择、多样性剪枝和束搜索导航，揭示了二进制量化拓扑在不同数据集上的适用边界，提出了可验证的工业向量搜索系统在压缩、吞吐量和通用数据兼容性之间的不可能三角。

Comments 16 pages, 3 figures, 14 tables, 1 algorithm

Learning Structured Robot Policies from Vision-Language Models via Synthetic Neuro-Symbolic Supervision

通过合成神经符号监督学习结构化机器人策略

Alessandro Adami, Tommaso Tubaldo, Marco Todescato, Ruggero Carli, Pietro Falco

机构 * University of Padova, Dept. of Information Engineering（帕多瓦大学信息工程系） ； Fraunhofer Italia Research（弗劳恩霍夫意大利研究所） ； Polytechnic of Bari Dept. of Electrical and Information Engineering（巴里理工学院电气与信息工程系） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出通过合成神经符号监督方法，利用视觉语言模型生成结构化机器人策略，结合多模态感知与符号控制，实现高维学习与符号控制的结合。

20/20 Vision Language Models: A Prescription for Better VLMs through Data Curation Alone

20/20 Vision Language Models: 通过数据整理单独提升VLMs的方案

DatologyAI, :, Siddharth Joshi, Haoli Yin, Rishabh Adiga, Haakon Mongstad, Alvin Deng, Aldo Carranza, Alex Fang, Amro Abbas, Anshuman Suri, Brett Larsen, Daniel Zayas, Darren Teh, David Schwab, Diego Kiner, Fan Pan, Jack Urbanek, Jason Lee, Jason Telanoff, Josh Wills, Kaleigh Mentzer, Luke Merrick, Maximilian Böther, Parth Doshi, Paul Burstein, Pratyush Maini, Ties Robroek, Tony Jiang, Vidhi Jain, Vineeth Dorna, Zhengping Wang, Bogdan Gaza, Ari Morcos, Matthew Leavitt

机构 * DatologyAI 纠错

专题命中 图文多模态 ：image-text(abstract)

AI总结 本文通过数据整理提升VLMs性能，展示在20个公开基准和DatBench九个能力轴上均取得显著提升，同时提升可靠性、OOD泛化和推理效率。

Comments 33 pages, 15 figures. DatalogyAI website for more details: https://www.datologyai.com/

Advancing Analytic Class-Incremental Learning through Vision-Language Calibration

通过视觉-语言校准推进分析类增量学习

Binyu Zhao, Wei Zhang, Xingrui Yu, Zhaonian Zou, Ivor Tsang

机构 * School of Computer Science and Technology, Harbin Institute of Technology, China（哈尔滨工业大学计算机科学与技术学院） ； CFAR and IHPC, Agency for Science, Technology and Research (A*STAR), Singapore（新加坡科技研究局（A*STAR）的CFAR和IHPC） ； College of Computing and Data Science, Nanyang Technological University, Singapore（新加坡南洋理工大学计算与数据科学学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 本文提出VILA框架，通过双级视觉语言校准策略解决预训练模型分析类增量学习中的表示刚性问题，提升学习效率与稳定性，在多个基准测试中表现优异。

Comments 20 pages, 11 figures, 9 tables. Accepted by ICML2026

VLM-VPI: A Vision-Language Reasoning Framework for Improving Automated Vehicle-Pedestrian Interactions

VLM-VPI：一种用于改进自动驾驶车辆-行人交互的视觉语言推理框架

Qingwen Pu, Kun Xie, Yuxiang Liu

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出VLM-VPI框架，结合多模态感知、视觉场景理解和意图推理，提升自动驾驶中行人意图识别和安全控制，实验证明其在安全性和效率上的提升。

Comments 40 pages, 7 figures, 10 tables

Modular Sensory Stream for Integrating Physical Feedback in Vision-Language-Action Models

模块化感觉流：整合物理反馈在视觉-语言-动作模型中

Jimin Lee, Huiwon Jang, Myungkyu Koo, Jungwoo Park, Jinwoo Shin

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； Seoul National University（首尔国立大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 本文提出MoSS框架，通过模块化感觉流整合多种物理信号，提升视觉-语言-动作模型的行动预测能力。

Comments 14 pages, 8 figures, Project page: https://jiminlx.github.io/MoSS

Scouting By Reward: VLM-TO-IRL-Driven Player Selection For Esports

通过奖励进行 scouting：由 VLM-TO-IRL 驱动的电子竞技玩家选拔

Qing Yan, Wenyu Yang, Yufei Wang, Wenhao Ma, Linchong Hu, Yifei Jin, Anton Dahbura

机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Cornell University（康奈尔大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出一种基于逆强化学习的电子竞技玩家选拔框架，通过学习专业选手的奖励函数，利用多模态双分支架构和 GAIL 目标实现玩家风格匹配评估，提升人才发现效率。

VLMaterial: Vision-Language Model-Based Camera-Radar Fusion for Physics-Grounded Material Identification

VLMaterial: 基于视觉-语言模型的相机-雷达融合用于物理基础的材料识别

Jiangyou Zhu, He Chen

机构 * Department of Inforation Engineering（信息工程系） 纠错

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 本文提出VLMaterial框架，通过融合视觉语言模型与雷达知识实现物理基础的材料识别，采用双管道架构和上下文增强生成策略，提升跨模态融合性能，实验表明其在120余次真实实验中达到96.08%的识别准确率。

WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents

WebAgentGuard: 一种基于推理的守护模型，用于检测Web代理中的提示注入攻击

Yulin Chen, Tri Cao, Haoran Li, Yue Liu, Yibo Li, Yufei He, Le Minh Khoi, Yangqiu Song, Shuicheng Yan, Bryan Hooi

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出WebAgentGuard，一种基于推理的多模态守护模型，用于检测Web代理中的提示注入攻击。通过构建合成多模态数据集并采用推理密集型监督微调和强化学习，模型在多个基准测试中优于现有方法，同时保持代理的实用性，不引入额外延迟。

VLMShield: Efficient and Robust Defense of Vision-Language Models against Malicious Prompts

VLMShield: 有效且稳健的视觉语言模型对抗恶意提示防御

Peigui Qi, Kunsheng Tang, Yanpu Yu, Jialin Wu, Yide Song, Wenbo Zhou, Zhicong Huang, Cheng Hong, Weiming Zhang, Nenghai Yu

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Washington（华盛顿大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出VLMShield，通过多模态聚合特征提取框架提升视觉语言模型对恶意提示的防御能力，实验显示其在鲁棒性、效率和实用性方面表现优异。

Trust Through Transparency: Explainable Social Navigation for Autonomous Mobile Robots via Vision-Language Models

通过透明实现信任：通过视觉语言模型实现自主移动机器人的可解释社交导航

Oluwadamilola Sotomi, Devika Kodi, Aliasghar Arab

机构 * New York University, Tandon School of Engineering（纽约大学坦登工程学院） ； General Autonomy Inc.（通用自主公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出一种多模态可解释模块，结合视觉语言模型和热图提升自主导航的透明度，通过自然语言总结使机器人感知、分析并表达观察结果，实验表明实时解释能提升用户信任和理解。

Comments Submitted to IEEE Conferences

Multi-Agent Cooperative Learning for Robust Vision-Language Alignment under OOD Concepts

多智能体协作学习用于应对异常概念下的鲁棒视觉语言对齐

Philip Xu

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 本文提出多智能体协作学习框架，通过结构化信息传递缓解模态不平衡，提升视觉语言模型在异常概念下的对齐性能，实验表明在少样本和零样本设置中精度提升1-5%。

Comments arXiv admin note: This submission has been withdrawn by arXiv administrators due to incorrect authorship. Author list truncated

FSUNav: A Cerebrum-Cerebellum Architecture for Fast, Safe, and Universal Zero-Shot Goal-Oriented Navigation

FSUNav: 一种用于快速、安全和通用零样本目标导向导航的脑皮层-小脑架构

Mingao Tan, Yiyang Li, Shanze Wang, Xinming Zhang, Wei Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； College of Information Science and Technology, Eastern Institute of Technology（东方理工学院信息科学与技术学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出FSUNav架构，通过整合视觉语言模型与小脑-脑皮层模块，实现跨异构平台的零样本目标导航，提升效率与安全性。

From Big Data to Fast Data: Towards High-Quality Datasets for Machine Learning Applications from Closed-Loop Data Collection

从大数据到快数据：面向机器学习应用的高质量数据集设计：从闭环数据收集

Philipp Reis, Jacqueline Henle, Stefan Otten, Eric Sax

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出快数据概念，通过车辆实时决策优化数据采集，提升数据集相关性与信息密度，降低冗余数据成本，为现代机器学习算法提供高效数据采集基础。

Comments Submitted to IEEE ISSE 2026

RAGent: Physics-Aware Agentic Reasoning for Training-Free mmWave Human Activity Recognition

RAGent：面向无训练毫米波人类活动识别的物理感知代理推理

Mingda Han, Huanqi Yang, Zehua Sun, Wenhao Li, Yanni Yang, Guoming Zhang, Yetong Cao, Weitao Xu, Pengfei Hu

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 RAGent通过物理感知代理推理实现无训练毫米波人类活动识别，利用雷达知识库进行证据驱动推理，无需领域特定训练或适应，实现跨领域鲁棒识别。

Meta-Contrastive Learning for Vision-Language Models via Task-Adaptive CLIP Training

通过任务自适应CLIP训练实现视觉语言模型的元对比学习

Merham Fouladvand, Peuroly Batra

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出一种域条件元对比学习框架，通过任务自适应CLIP训练提升视觉语言模型跨域泛化能力，引入域嵌入和交叉域对齐正则化，增强模型在域偏移下的鲁棒性。

Reframing Human-Robot Interaction Through Extended Reality: Unlocking Safer, Smarter, and More Empathic Interactions with Virtual Robots and Foundation Models

通过扩展现实重新定义人机交互：利用虚拟机器人和基础模型实现更安全、更智能和更具同理心的交互

Yuchong Zhang, Yong Ma, Danica Kragic

机构 * Division of Robotics, Perception, and Learning, KTH Royal Institute of Technology（KTH皇家理工学院机器人、感知与学习部） ； Department of Clinical Medicine, University of Bergen（卑尔根大学临床医学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文探讨通过扩展现实技术，利用基础模型驱动的虚拟机器人实现更安全、智能和具同理心的人机交互，同时讨论多模态大模型在认知和情感交互中的应用及潜在风险。

Comments This paper is under review

Journal ref Empathic Computing, 2026

CATNAV: Cached Vision-Language Traversability for Efficient Zero-Shot Robot Navigation

CATNAV：基于缓存的视觉-语言可 traversability 用于高效零样本机器人导航

Aditya Potnis, Francisco Affonso, Shreya Gummadi, Naveen Kumar Uppalapati, Girish Chowdhary

机构 * Field Robotics Engineering and Science Hub (FRESH)（田纳西机器人工程与科学中心（FRESH）） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 CATNAV通过多模态LLM生成零样本、体态感知的成本图，利用视觉语义缓存机制减少85.7%的在线VLM查询，结合基于VLM的轨迹选择模块，在五项导航任务中实现更高的目标到达率和更少的行为约束违规。

Comments 8 pages, 6 figures

Adaptive Captioning with Emotional Cues: Supporting DHH and Neurodivergent Learners in STEM

适应性字幕与情感提示：支持聋人及神经多样性学习者在STEM领域

Sunday David Ubur, Eugenia Ha Rim Rho, Denis Gracanin

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文探讨了四种嵌入情感和多模态提示的字幕原型，通过实验证明其能降低认知负荷并提升理解成绩，强调了为神经多样性用户定制字幕功能的重要性。

Comments Accepted and presented at Affective Computing and Intelligent Interaction (ACII) Conference 2025; final version to appear in IEEE Xplore

Towards Practical World Model-based Reinforcement Learning for Vision-Language-Action Models

面向视觉-语言-动作模型的实用世界模型强化学习

Zhilong Zhang, Haoxiang Ren, Yihao Sun, Yifei Sheng, Haonan Wang, Haoxin Lin, Zhichao Wu, Pierre-Luc Bacon, Yang Yu

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家实验室，南京大学，南京，中国） ； School of Artificial Intelligence, Nanjing University, Nanjing, China（人工智能学院，南京大学，南京，中国） ； Mila - Quebec AI Institute（魁北克AI研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出VLA-MBPO框架，解决视觉-语言-动作模型在强化学习中的世界建模、多视角一致性及稀疏奖励下的误差累积问题，提升策略性能和样本效率。

Metamorphic Testing of Vision-Language Action-Enabled Robots

视觉-语言-动作机器人元测试

Pablo Valle, Sergio Segura, Shaukat Ali, Aitor Arrieta

机构 * Mondragon University（蒙达龙大学） ； University of Seville（塞维利亚大学） ； Simula Research Laboratory（Simula研究实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文探讨元测试能否缓解视觉-语言-动作机器人测试 oracle 问题，提出两种关系模式和五种关系，通过实验证明其有效性，并展示其在不同任务和机器人上的通用性。

CHIPS: Efficient CLIP Adaptation via Curvature-aware Hybrid Influence-based Data Selection

CHIPS: 通过曲率感知的混合影响数据选择实现高效的CLIP适应

Xinlin Zhuang, Yichen Li, Xiwei Liu, Haolin Yang, Yifan Lu, Ziyun Zou, Yulong Li, Huifa Li, Dongliang Chen, Qinglei Wang, Weiyang Liu, Ying Qian, Jiangming Shi, Imran Razzak

专题命中 图文多模态 ：image-text(abstract)

AI总结 本文提出CHIPS方法，通过曲率感知和混合影响数据选择，实现高效的CLIP垂直领域适应，在医疗和通用领域基准中均表现出色。

Comments Accepted by CVPR 2026