多模态大模型

The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping

视觉象征性挑战：在手语形式-意义映射上评估视觉-语言模型

Onur Keleş, Aslı Özyürek, Gerardo Ortega, Kadir Gökgöz, Esam Ghaleb

机构 * Multimodal Language Department（多模态语言部门） ； Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所） ； Department of Linguistics（语言学系） ； Boğaziçi University（博多伊奇大学） ； Donders Institute for Brain Cognition and Behaviour（多纳尔斯脑认知与行为研究所） ； Radboud University（拉德堡德大学） ； Department of Linguistics and Communication（语言学与沟通系） ； University of Birmingham（伯明翰大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出一个新颖的视频基准测试，用于评估视觉-语言模型在手语形式-意义映射上的表现，通过心理语言学测量来评估三种任务：语音学手语形式预测、透明度和渐进象征性评分，并发现模型在语音形式预测上表现较好但整体仍低于人类表现。

Regulating Anatomy-Aware Rewards via Trajectory-Integral Feedback for Volumetric Computed Tomography Analysis

通过轨迹积分反馈调节解剖感知奖励用于体积计算断层扫描分析

Tianwei Lin, Zhongwei Qiu, Jie Cao, Jiang Liu, Wenjie Yan, Bo Zhang, Yu Zhong, Wenqiao Zhang, Yingda Xia, Ling Zhang

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里集团达摩院） ； Hupan Lab（虎扑实验室） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种新的框架，通过轨迹积分反馈GRPO（TIF-GRPO）来改进医疗视觉语言模型在三维CT分析中的性能，通过引入临床异常基准评估子系统（CABS）来解决优化目标与临床严谨性之间的不匹配问题，提升异常检测和临床准确性。

ORCA: An Agentic Reasoning Framework for Hallucination and Adversarial Robustness in Vision-Language Models

ORCA：一种用于视觉语言模型幻觉和对抗鲁棒性的代理推理框架

Chung-En Johnny Yu, Brian Jalaian, Nathaniel D. Bastian

机构 * University of West Florida（佛罗里达大学） ； United States Military Academy（美国军事学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ORCA框架，通过推理时的结构化推理和小规模视觉模型，提升预训练视觉语言模型的事实准确性与对抗鲁棒性，并在幻觉基准和对抗扰动测试中取得显著提升。

Comments Accepted at the ACM International Conference on Cloud and Big Data Computing (ICCBDC 2026)

VECTOR-Drive: Tightly Coupled Vision-Language and Trajectory Expert Routing for End-to-End Autonomous Driving

VECTOR-Drive: 紧密耦合的视觉-语言与轨迹专家路由用于端到端自动驾驶

Rui Zhao, Jianlin Yu, Zhenhai Gao, Jiaqiao Liu, Fei Gao

机构 * College of Automotive Engineering, Jilin University（吉林大学汽车工程学院） ； The National Key Laboratory of Automotive Chassis Integration and Bionics, Jilin University（吉林大学汽车底盘集成与生物力学国家级重点实验室） ； ReeFocus AI Technology（ReeFocus人工智能技术） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VECTOR-DRIVE框架，通过紧密耦合的视觉-语言与轨迹专家路由，解决端到端自动驾驶中视觉语言理解和轨迹预测之间的耦合问题，实现更高的任务性能。

EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors

EnsemHalDet: 通过内部状态检测器的集成实现鲁棒的视觉语言模型幻觉检测

Ryuhei Miyazato, Shunsuke Kitada, Kei Harada

机构 * The University of Electro-Communications（电通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出EnsemHalDet，一种通过集成多个内部表示的视觉语言模型幻觉检测框架，以提高多模态幻觉检测的鲁棒性。

CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic

CATA: 通过冲突厌恶任务算术实现持续机器去学习

Shen Lin, Junhao Dong, Rongjie Chen, Xiaoyu Zhang, Li Xu, Xiaofeng Chen

机构 * Fujian Normal University（福建师范大学） ； Nanyang Technological University（南洋理工大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文首次研究了视觉语言模型的持续去学习问题，提出CATA方法，通过冲突厌恶任务算术有效解决去学习中的有效性、模型保真度和持续性挑战。

Medical Context Distorts Decisions in Clinical Vision Language Models

医学语境扭曲了临床视觉语言模型的决策

David Restrepo, Ira Ktena, Maria Vakalopoulou, Stergios Christodoulidis, Enzo Ferrante

机构 * MICS（医学信息学中心） ； CentraleSupélec - Université Paris-Saclay（中央超导学院 - 巴黎萨克雷大学） ； Cancer Data Science Unit（癌症数据科学单元） ； IHU PRISM ； National Institute in Precision Oncology（精准肿瘤学国家研究所） ； University Paris-Saclay（巴黎萨克雷大学） ； CentraleSupelec（中央超导学院） ； Gustave Roussy（儒勒-维维安-圣拉扎尔医院） ； INSERM（国家医学研究院） ； CONICET（阿根廷国家科研与技术创新委员会） ； Universidad de Buenos Aires（布宜诺斯艾利斯大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文研究了医学语境对临床视觉语言模型决策的影响，发现模型在整合医学记录的视觉和文本信息时存在模态依赖、无关历史依赖和提示敏感性等问题，强调了在临床应用前需要建立明确的保障措施。

KVCapsule: Efficient Sequential KV Cache Compression for Vision-Language Models with Asymmetric Redundancy

KVCapsule: 用于视觉-语言模型的高效序列KV缓存压缩方法：不对称冗余

Yingbing Huang, Tharun Adithya Srikrishnan, Steven K. Reinhardt, Deming Chen

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； AMD 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出KVCapsule，一种针对视觉语言模型的KV缓存压缩框架，通过轻量压缩和重建组件实现内存节省，提升吞吐量并减少内存占用，同时保持精度。

CAVE: A Structured Credit Assignment Approach for Fragmented Visual Evidence Reasoning

CAVE：一种用于碎片化视觉证据推理的结构化信用分配方法

Tengda Guo, Jie Leng, Hanlei Li, Yaoyuan Liang, Qingyue Zhang, Dian Yang, Mingyu Zhang, Yuhua Fu, Shao-Lun Huang

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 CAVE通过结构化过程-奖励机制提升碎片化视觉推理能力，引入三个互补信号优化推理步骤，提升模型可靠性与鲁棒性。

Comments 24 pages, 6 figures. Preprint

VLMs Trace Without Tracking: Diagnosing Failures in Visual Path Following

VLMs 跟踪无需跟踪：诊断视觉路径跟随中的失败

Hyesoo Hong, Minsoo Kim, Wonje Jeung, Sangyeon Yoon, Dongjae Jeon, Albert No

机构 * Yonsei University（延世大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究VLMs在视觉路径跟随任务中的表现，发现其在面对局部相似干扰时易切换路径，揭示局部竞争导致的失败原因。

Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers

你的CLIP有164个噪声维度：探索对比性预训练视觉-语言变换器的嵌入协方差特征谱

Jakub Grzywaczewski, Dawid Płudowski, Przemysław Biecek

机构 * Warsaw University of Technology（华沙技术大学） ； Centre for Credible Artificial Intelligence（可信人工智能中心） ； University of Warsaw（华沙大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过协方差矩阵谱分解，揭示对比预训练VLMs的潜在空间中多模态噪声结构，发现去除共享噪声维度对下游任务性能无害，提供对现代VLMs表征结构的新见解。

LoRA in LoRA: Towards Parameter-Efficient Architecture Expansion for Continual Visual Instruction Tuning

LoRA in LoRA: 朝着参数高效架构扩展的方向：持续视觉指令微调

Chang Che, Ziqi Wang, Pengwan Yang, Qi Wang, Hui Ma, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； University of Amsterdam（阿姆斯特丹大学） ； Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LiLoRA，一种高效的持续视觉指令微调架构扩展方法，通过共享LoRA矩阵A、低秩分解矩阵B以及余弦正则化损失，提升参数效率和任务学习性能。

Comments AAAI 2026 Oral Presentation. 9 pages

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(24):19978--19986, 2026

Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding

对图像与长描述中的森林和树木进行对齐以实现视觉基础理解

Byeongju Woo, Zilin Wang, Byeonghyun Pak, Sangwoo Mo, Stella X. Yu

机构 * Agency for Defense Development（国防发展局） ； University of Michigan（密歇根大学） ； POSTECH 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CAFT模型，通过分层视觉语言学习原理，解决长描述中细节丰富的场景理解问题，实现图像与文本的细粒度对齐，取得六个长文本检索基准的最优性能。

Comments Preprint

Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

为高能物理中的中微子事件分类适应视觉-语言模型

Dikshant Sagar, Kaiwen Yu, Alejandro Yankelevich, Jianming Bian, Pierre Baldi

机构 * Department of Computer Science, University of California, Irvine, CA, USA（计算机科学系，加州大学欧文分校，加州，美国） ； Department of Physics, University of California, Irvine, CA, USA（物理系，加州大学欧文分校，加州，美国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨了将微调后的LLaMA 3.2应用于中微子事件分类，对比了Transformer架构与CNN在准确性和鲁棒性上的表现，展示了视觉-语言模型在物理事件分类中的潜力。

Comments Accepted for publication in Communications Physics (Nature Portfolio)

DistractMIA: Black-Box Membership Inference on Vision-Language Models via Semantic Distraction

DistractMIA: 通过语义干扰在视觉语言模型上进行黑盒成员推断

Hongyi Tang, Zhihao Zhu, Yi Yang

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对部署的视觉语言模型成员推断难题，提出DistractMIA框架，通过语义干扰技术在仅观察生成文本响应的情况下，有效区分成员与非成员样本，优于现有基线方法。

Comments 23 pages, 8 figures

Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning

异质视觉智能体之间通过去中心化学习实现的涌现通信

Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi

机构 * Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究异质视觉智能体通过去中心化学习实现的涌现通信，探讨不同视觉表示下可共享的视觉信息，通过Metropolis-Hastings Captioning Game验证共享符号的生成机制，发现编码器异质性影响共享序列的质量与对称性。

ReasonEdit: Editing Vision-Language Models using Human Reasoning

ReasonEdit：通过人类推理编辑视觉语言模型

Jiaxing Qiu, Kaihua Hou, Roxana Daneshjou, Ahmed Alaa, Thomas Hartvigsen

机构 * University of Virginia（弗吉尼亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ReasonEdit通过引入人类推理机制，改进视觉语言模型的编辑能力，提升编辑泛化性能。

Vocabulary Hijacking in LVLMs: Unveiling Critical Attention Heads by Excluding Inert Tokens to Mitigate Hallucination

LVLMs中的词汇劫持：通过排除惰性标记来揭示关键注意力头以缓解幻觉

Yangneng Chen, Junlin Li, Weijun Yao, Xilai Ma, Guodong Du, Wenya Wang, Jing Li

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； The Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文通过分析LVLMs的注意力机制，揭示了词汇劫持现象，提出HABI方法定位惰性标记，并引入NHAR指标评估其影响，最终提出HAVAE方法增强关键注意力头以减少幻觉。

Comments Accepted by ACL 2026 Main

CrossVL: Complexity-Aware Feature Routing and Paired Curriculum for Cross-View Vision-Language Detection

CrossVL: 用于跨视角视觉语言检测的复杂度感知特征路由与配对课程学习

Zhipeng Liu, Chunbo Luo

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CrossVL框架，结合复杂度感知路径聚合和配对课程学习，提升跨视角视觉语言模型的检测性能，实验显示其在MAVREC数据集上提升了aerial mAP并缩小了地面与空中视角的性能差距。

Comments Accepted to CVPR 2026. Code available at https://github.com/1nyourlife/Crossvl_cvpr2026

When Relations Break: Analyzing Relation Hallucination in Vision-Language Model Under Rotation and Noise

关系破裂：在旋转和噪声下的视觉语言模型关系幻觉分析

Philip Wootaek Shin, Ajay Narayanan Sridhar, Sivani Devarapalli, Rui Zhang, Jack Sampson, Vijaykrishnan Narayanan

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究探讨了旋转和噪声对视觉语言模型关系推理的影响，发现轻微扰动显著降低模型性能，提示需更鲁棒的几何感知模型。

From Clouds to Hallucinations: Atmospheric Retrieval Hijacking in Remote Sensing Vision-Language RAG

从云层到幻觉：遥感视觉-语言RAG中的大气检索劫持

Jiaju Han, Chao Li, Chengyin Hu, Qike Zhang, Xuemeng Sun, Xin Wang, Fengyu Zhang, Xiang Chen, Yiwei Wei, Jiahuan Long, Jiujiang Guo

机构 * China University of Petroleum, Beijing at Karamay（中国石油大学（北京）克拉玛依校区） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究提出CloudWeb攻击，通过修改输入图像实现遥感多模态RAG中的大气证据劫持，展示了大气变化对检索阶段的影响，并揭示了自然外观的天气变化可能破坏证据检索。

DINORANKCLIP: DINOv3 Distillation and Injection for Vision-Language Pretraining with High-Order Ranking Consistency

DINORANKCLIP：基于DINOv3蒸馏与注入的视觉-语言预训练高阶排名一致性方法

Shuyang Jiang, Nan Yu, Yiming Zhang, Zenghui Ding, Zhenyu Wu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Aimaikj（阿米亚克j） ； HFIPS, Chinese Academy of Sciences（中国科学院HFIPS） ； University of Science and Technology of China（中国科学技术大学） ； Chinese Academy of Sciences（中国科学院） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 DINORANKCLIP通过融合DINOv3教师模型与高阶排名一致性损失，改进CLIP在视觉-语言预训练中的表现，提升细粒度和分布外推理能力。

Comments 18 pages, 7 figures, 9 tables. Code will be made publicly available upon acceptance

DARK: Diagonal-Anchored Repulsive Knowledge Distillation for Vision-Language Models under Extreme Compression

DARK：针对极端压缩下视觉-语言模型的对角锚定排斥知识蒸馏

Numan Saeed, Asif Hanif, Fadillah Adamsyah Maani, Hussain Alasmawi, Mohammad Yaqub

机构 * Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DARK，一种对比知识蒸馏框架，通过分解损失函数为对角项和非对角项，使学生模型在极端压缩下更高效地排斥教师模型的非目标相似结构，实验证明其在零样本基准上表现优异。

Comments Project website: www.numansaeed.com/mobilefetalclip

Research on Vision-Language Question Answering Models for Industrial Robots

工业机器人中视觉-语言问答模型的研究

Ping Li, Bartlomiej Brzozka

机构 * Shandong Management University（山东管理大学） ； Maria Curie-Sklodowska University（玛丽·居里-斯洛多夫斯卡大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种层次交叉模态融合模型，解决工业机器人中语义模糊、复杂环境布局和领域术语的问题，通过多级特征融合提升问答可靠性。

Comments 8 Pages, 5 figures

Journal ref Brzozka,B.Machine Learning Algorithms in Predicting College Students' Grades:A Review.Journal of Applied Automation Technologies,2025,3,1-12

Generalized Category Discovery under Domain Shifts: From Vision to Vision-Language Models

在域偏移下进行广义类别发现：从视觉模型到视觉-语言模型

Hongjun Wang, Po Hu, Kai Han

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究在域偏移下的广义类别发现问题，提出三种适应基础模型的框架，从自监督视觉模型到视觉-语言模型，通过多级特征提取和互信息最小化等方法提升性能。

Comments Submission to TPAMI

Grounding Synthetic Data Generation With Vision and Language Models

基于视觉和语言模型的合成数据生成基础

Ümit Mert Çağlar, Alptekin Temizel

机构 * Graduate School of Informatics（信息学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种视觉-语言 grounded 框架，用于可解释的遥感合成数据增强与评估，引入 ARAS400k 数据集，包含 100k 真实图像和 300k 合成图像，用于语义分割和图像描述生成。

Comments Accepted for presentation at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Synthetic Data for Computer Vision Workshop (SynData4CV) 2026

Prompt-Induced Score Variance in Zero-Shot Binary Vision-Language Safety Classification

零样本二元视觉语言安全分类中的提示诱导分数方差

Charles Weng, Dingwen Li, Alexander Martin

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Independent（独立） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究发现零样本视觉语言模型安全分类器的单提示首词概率在语义等价提示改写下不可靠，提出训练自由的均值集成方法提升模型性能，推荐提示家族评估与均值聚合作为标准无标签可靠性基准。

Comments Preprint. 19 pages, 5 figures

Delineating Knowledge Boundaries for Honest Large Vision-Language Models

界定诚实大视觉-语言模型的知识边界

Junru Song, Yimeng Hu, Yijing Chen, Huining Li, Qian Li, Lizhen Cui, Yuntao Du

机构 * Shandong University（山东大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出系统框架提升VLM在面对未知问题时的拒绝能力，通过构建'视觉-不知'数据集并采用监督微调与偏好优化方法，提升事实准确率至67.3%，并在医疗等领域实现泛化。

Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models

潜在异常知识挖掘：揭示视觉-语言模型中的稀疏敏感神经元

Shaotian Li, Shangze Li, Chuancheng Shi, Wenhua Wu, Yanqiu Wu, Xiaohan Yu, Fei Shen, Tat-Seng Chua

机构 * Macquarie University（麦考瑞大学） ； Nanjing University of Science and Technology（南京理工大学） ； The University of Sydney（悉尼大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LAKE框架，通过挖掘视觉-语言模型中稀疏敏感神经元，实现异常检测的内在可解释性，实验表明其在工业基准上表现优异。

SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

SycoPhantasy: 量化小型开放权重视觉-语言模型中趋炎附势行为与幻觉现象以评估奇幻角色的视觉-语言评分

Arya Shah, Deepali Mishra, Chaklam Silpasuwanchai

机构 * IIT Gandhinagar（印度加尔各答理工学院） ； IIT Kanpur（印度坎浦尔理工学院） ； Asian Institute of Technology（亚洲理工学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究小型开放权重VLM在评估图像-文本对齐时是否存在趋炎附势行为，通过引入布林系数量化模型评分与视觉证据的不匹配程度，发现模型规模与趋炎附势率呈负相关。

Comments 13 pages, 12 figures, 6 tables