多模态大模型

A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

大型视觉-语言模型的全面信息分解分析

Lixin Xiu, Xufang Luo, Hideki Nakayama

机构 * The University of Tokyo（东京大学） ； Microsoft Research（微软研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文通过信息分解方法分析大型视觉-语言模型的信息谱，揭示任务模式和模型策略，为模型设计提供新视角。

Comments Accepted at ICLR 2026. Project page: https://riishin.github.io/pid-lvlm-iclr26/

InfiniteVL: Synergizing Linear and Sparse Attention for Highly-Efficient, Unlimited-Input Vision-Language Models

InfiniteVL: 融合线性与稀疏注意力以实现高效率、无限输入的视觉-语言模型

Hongyuan Tao, Bencheng Liao, Shaoyu Chen, Haoran Yin, Qian Zhang, Wenyu Liu, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Horizon Robotics（地平线机器人） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 InfiniteVL通过融合线性与稀疏注意力机制，实现高效率和无限输入的视觉-语言模型，提升解码速度和长上下文处理能力。

Comments 20 pages, 8 figures, conference or other essential info

Hallucination-aware intermediate representation edit in large vision-language models

具有幻觉意识的中间表示编辑在大视觉-语言模型中

Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种动态检测和消除幻觉表示的框架，通过最小额外计算成本在现有基准上实现最先进的性能，展示了高效且稳健的幻觉消除能力。

Inference-Time Structural Reasoning for Compositional Vision-Language Understanding

推理时的结构推理用于组合性视觉-语言理解

Amartya Bhattacharya

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出统一评估和增强框架，评估四种架构各异的VLMs在Winoground基准上的表现，通过结构化关系先验提升模型能力，发现SG增强对已有能力强的模型有益。

Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection

通过因果发现和双模态安全子空间投影诊断和修复视觉-语言模型中的不安全通道

Jinhu Fu, Yihang Lou, Qingyi Si, Shudong Zhang, Yan Bai, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Peking University（北京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。

Comments Accepted by CVPR 2026 main conference

Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models

针对LAION-400M的人为中心标注：审查偏见及其在模型中的转移

Leander Girrbach, Stephan Alaniz, Genevieve Smith, Trevor Darrell, Zeynep Akata

机构 * Technical University of Munich, Munich Center for Machine Learning (MCML), MDSI（慕尼黑工业大学，慕尼黑机器学习中心（MCML），MDSI） ； LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎理工学院，巴黎电信学院，LTCI） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文通过创建LAION-400M的人为中心标注，揭示了训练数据中存在的人口统计学偏见，并展示了这些偏见如何转移到视觉-语言模型中。

Comments ICLR 2026

More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models

更多思考，更少准确性？关于视觉-语言模型中推理的双重性质

Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Fabian Waschkowski, Lukas Wesemann, Peter Tu, Jing Zhang

机构 * Australian National University（澳大利亚国立大学） ； University of Melbourne（墨尔本大学） ； GE Research（GE全球研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究揭示了视觉-语言模型中推理的双重性质：虽然增强了逻辑推理能力，但可能导致感知基础能力下降，通过提出VAPO方法改进了模型对视觉信息的依赖。

Comments Accepted to ICLR2026

VLAgeBench: Benchmarking Large Vision-Language Models for Zero-Shot Human Age Estimation

VLAgeBench: 大视觉-语言模型在零样本人类年龄估计中的基准测试

Rakib Hossain Sajib, Md Kishor Morol, Rajan Das Gupta, Mohammad Sakib Mahmood, Shuvra Smaran Das

机构 * Begum Rokeya University, Rangpur（贝古姆·罗基亚大学，朗布尔） ； American International University - Bangladesh（美国国际大学-孟加拉国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLAgeBench，评估大视觉-语言模型在零样本人类年龄估计中的性能，展示通用LVLM在无微调情况下表现优异，揭示图像质量和人口子群体差异对性能的影响。

Focus, Don't Prune: Identifying Instruction-Relevant Regions for Information-Rich Image Understanding

聚焦，而非裁剪：识别与指令相关的区域以实现信息丰富的图像理解

Mincheol Kwon, Minseung Lee, Seonga Choi, Miso Choi, Kyeong-Jin Oh, Hyunyoung Lee, Cheonyoung Park, Yongho Song, Seunghyun Park, Jinkyu Kim

机构 * Korea University（韩国大学） ； KT Corporation（KT公司） ； Soongsil University（松山大学） ； Kakao Mobility（Kakao移动） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PinPoint框架，通过识别与指令相关的图像区域并提取细粒度视觉特征，提升多模态任务的推理效率与准确性。

Comments CVPR 2026

WiFi2Cap: Semantic Action Captioning from Wi-Fi CSI via Limb-Level Semantic Alignment

WiFi2Cap：从Wi-Fi CSI进行语义动作描述的肢体级语义对齐

Tzu-Ti Wei, Chu-Yu Huang, Yu-Chee Tseng, Jen-Jee Chen

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出WiFi2Cap框架，通过Wi-Fi CSI生成动作描述，引入镜像一致性损失解决方向敏感问题，并在基准数据集上验证了其在隐私保护语义感知中的有效性。

Comments 6 pages, 4 figures

Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration

通过注意力校准缓解大视觉-语言模型中的物体幻觉

Younan Zhu, Linwei Tao, Minjing Dong, Chang Xu

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出动态注意力校准方法，通过对比学习动态强制位置不变性，有效缓解大视觉-语言模型中的物体幻觉问题，并在多个基准测试中取得最佳性能。

Attention in Space: Functional Roles of VLM Heads for Spatial Reasoning

空间中的注意：VLM头部在空间推理中的功能角色

Xueqi Ma, Shuo Yang, Yanbei Jiang, Shu Liu, Zhenzhen Liu, Jiayang Ao, Xingjun Ma, Sarah Monazam Erfani, James Bailey

机构 * The University of Melbourne（墨尔本大学） ； Australian National University（澳大利亚国立大学） ； Fudan University（复旦大学） ； Monash University（莫纳什大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究VLM中注意力头部在空间推理中的作用，通过机制可解释性视角分析其功能，提出CogVSR数据集并开发探针框架，揭示注意力头部在空间推理中的稀疏性和关键作用。

Understanding Pruning Regimes in Vision-Language Models Through Domain-Aware Layer Selection

通过领域感知的层选择理解视觉-语言模型中的剪枝规则

Saeed Khaki, Nima Safaei, Kamal Ginotra

机构 * Microsoft AI（微软人工智能） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究通过领域感知激活相似性分析，揭示视觉-语言模型中不同剪枝预算下层移除对性能的影响，发现三种剪枝规则：低预算下性能敏感，中预算下结构损伤累积，高预算下结构连续性主导。

Chain-of-Adaptation: Surgical Vision-Language Adaptation with Reinforcement Learning

链式适应：基于强化学习的手术视觉-语言适应

Jiajie Li, Chenhui Xu, Meihuan Liu, Jinjun Xiong

机构 * University at Buffalo（布法罗大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出链式适应框架，通过强化学习整合领域知识，保持模型推理和感知能力，在手术基准测试中实现更高的准确性和更稳定的性能。

dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3

dinov3.seg: 基于DINOv3的开放词汇语义分割

Saikat Dutta, Biplab Banerjee, Hamid Rezatofighi

机构 * IITB-Monash Research Academy（IITB-莫纳什研究学院） ； IIT Bombay（印度理工学院班加罗尔） ； Monash University（莫纳什大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出dinov3.seg，通过改进DINOv3模型实现开放词汇语义分割，结合文本嵌入与视觉特征，提升复杂场景下的分割精度与鲁棒性。

Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

无视位置，语言偏见：探测视觉语言编码器中中间层表征偏见以实现零样本语言基础空间理解

Na Min An, Inha Kang, Minhyun Lee, Hyunjung Shim

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； Samsung Electronics（三星电子） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究探讨了视觉语言编码器中间层中位置和语言相关信息的偏见，通过层间分析发现常规最终层多模态嵌入优先考虑全局语义对齐，导致视觉嵌入对位置线索敏感性低，多语言文本嵌入在共享空间中形成语言依赖的几何偏移，提出构建空间地图的方法提升零样本图像分割性能。

Comments 61 pages, 28 Figures, 15 Tables

IOSVLM: A 3D Vision-Language Model for Unified Dental Diagnosis from Intraoral Scans

IOSVLM：一种用于从牙科内窥扫描进行统一牙科诊断的3D视觉-语言模型

Huimin Xiong, Zijie Meng, Tianxiang Hu, Chenyi Zhou, Yang Feng, Zuozhu Liu

机构 * ZJU-UIUC Institute, Zhejiang University, Haining, 314400, China（浙大浙ICU研究所，浙江大学，海宁，314400，中国） ； Stomatology Hospital, School of Stomatology, Zhejiang University School of Medicine, Hangzhou, 310058, China（口腔医院，口腔医学院，浙江大学医学院，杭州，310058，中国） ； Angelalign Research Institute, Angel Align Inc., Shanghai, 200011, China（天使对齐研究院，天使对齐公司，上海，200011，中国） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出IOSVLM，一种端到端的3D视觉-语言模型，利用点云表示内窥扫描，并结合大规模多源数据集，提升牙科诊断和生成式视觉问答的性能。

Segmentation-Based Attention Entropy: Detecting and Mitigating Object Hallucinations in Large Vision-Language Models

基于分割的注意力熵：在大视觉-语言模型中检测和缓解对象幻觉

Jiale Song, Jiaxin Luo, Xue-song Tang, Kuangrong Hao, Mingbo Zhao

机构 * School of Information and Intelligent Science, Donghua University, Shanghai, 201620, China（信息与智能科学学院，东华大学，上海，201620，中国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出基于分割的注意力熵(SAE)，通过语义分割量化视觉注意力不确定性，设计可靠性评分和注意力调整方法，有效缓解大视觉-语言模型中的对象幻觉问题。

Parallel In-context Learning for Large Vision Language Models

大规模视觉语言模型的并行上下文学习

Shin'ya Yamaguchi, Daiki Chijiwa, Tamao Sakao, Taku Hasegawa

机构 * NTT（日本电信电话研究所） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出并行上下文学习方法，通过将长上下文分割为短片段并行处理，提升大视觉语言模型的推理效率，同时保持性能与传统多模态上下文学习相当。

Comments Accepted to CVPR 2026 (Findings); Code is available at https://github.com/yshinya6/parallel-icl

Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models

大部分文本，智能视觉：不对称文本-视觉剪枝用于大型视觉-语言模型

Sijie Li, Biao Qian, Jungong Han

机构 * University of Sheffield, UK（英国谢菲尔德大学） ； Tsinghua University, China（清华大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出不对称文本-视觉剪枝方法，通过解耦文本和视觉token的权重，发现文本路径需用文本token校准，视觉路径可实现50%稀疏率，验证了其在多模态基准上的优越性。

Comments CVPR 2026. Code available here: https://github.com/LezJ/ATV-Pruning

Urban Socio-Semantic Segmentation with Vision-Language Reasoning

城市社会语义分割与视觉-语言推理

Yu Wang, Yi Wang, Rui Dai, Yujie Wang, Kaikui Liu, Xiangxiang Chu, Yansheng Li

机构 * Wuhan University（武汉大学） ； Amap, Alibaba Group（阿里巴巴集团地图部门） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SocioReasoner框架，通过视觉-语言推理实现城市社会语义分割，引入SocioSeg数据集，实验显示优于现有方法且具备强零样本泛化能力。

Two Birds, One Projection: Harmonizing Safety and Utility in LVLMs via Inference-time Feature Projection

双鸟归一投影：通过推理时特征投影在LVLMs中调和安全与效用

Yewon Han, Yumin Seol, EunGyung Kong, Minsoo Jo, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） ； Mobilint 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨了安全与效用在LVLMs中的对抗性，提出通过推理时投影消除模态偏差方向以提升安全性和效用。

VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering

VisualLeakBench: 对大型视觉-语言模型在PII泄露和社会工程中的脆弱性进行审计

Youting Wang, Yuan Tang, Yitian Qian, Chen Zhao

机构 * Northeastern University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Boston University（波士顿大学） ； New York University（纽约大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VisualLeakBench，通过合成对抗图像评估LVLMs对OCR注入和PII泄露的鲁棒性，揭示了Claude~4在PII识别上的高风险及防御策略的模板依赖性。

Mind the Discriminability Trap in Source-Free Cross-domain Few-shot Learning

注意源无关跨域少样本学习中的判别性陷阱

Zhenyu Zhang, Yixiong Zou, Yuhua Li, Ruixuan Li, Guangyao Chen

机构 * School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究源无关跨域少样本学习中增强视觉模态判别性会抑制VLM性能的现象，提出通过扰动视觉学习以引导跨模态对齐的方法，实验显示在多种设置和数据集上取得新状态-of-the-art结果。

Comments CVPR 2026

Hierarchical Dual-Change Collaborative Learning for UAV Scene Change Captioning

层次化双变化协作学习用于无人机场景变化描述

Fuhai Chen, Pengpeng Huang, Junwen Wu, Hehong Zhang, Shiping Wang, Xiaoguang Ma, Xuri Ge

机构 * Fuzhou University（福州大学） ； Shandong University（山东大学） ； Foshan Graduate School of Innovation, Northeastern University（佛山创新研究生学院，东北大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出无人机场景变化描述任务，旨在生成动态空中影像语义变化的自然语言描述。通过层次化双变化协作学习方法，结合动态自适应布局变换器和层次化跨模态方向一致性校准，提升对视角变化的敏感度，实现在移动视角下的场景变化描述。

Comments 20 pages,10 figures

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

用3D思考：从有限视角出发的几何想象引导的空间推理

Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Xiang An, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Meituan（美团） ； National University of Singapore（新加坡国立大学） ； Beihang University（北航） ； LMMs-Lab（LMMs实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出3DThinker框架，通过利用图像中的丰富几何信息实现空间推理，无需3D先验输入或显式标注3D数据，在多个基准测试中优于现有方法。

Comments 25 pages, 17 figures

Journal ref CVPR 2026

Partially Recentralization Softmax Loss for Vision-Language Models Robustness

部分重校正softmax损失用于视觉-语言模型鲁棒性

Hao Wang, Jinzhe Jiang, Xin Zhang, Chen Li

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出部分重校正softmax损失，通过限制top K softmax输出提升预训练多模态模型的对抗鲁棒性，实验显示细调后模型对主流攻击更具鲁棒性。

Comments The study described in Section 4 was conducted without required institutional review board approval. The paper is withdrawn pending completion of the approval process

Prototype-Based Knowledge Guidance for Fine-Grained Structured Radiology Reporting

基于原型的知识引导的细粒度结构化放射科报告

Chantal Pellegrini, Adrian Delchev, Ege Özsoy, Nassir Navab, Matthias Keicher

机构 * Computer Aided Medical Procedures, Technische Universität München, Germany（计算机辅助医疗程序，慕尼黑技术大学，德国） ； Munich Center for Machine Learning, Germany（慕尼黑机器学习中心，德国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ProtoSR通过整合自由文本信息提升细粒度结构化放射科报告的自动化水平，利用多模态知识库和原型条件残差增强模型预测，有效改进了对罕见发现和属性的识别能力。

Towards Cognitive Defect Analysis in Active Infrared Thermography with Vision-Text Cues

面向主动红外热成像的认知缺陷分析：结合视觉-文本线索

Mohammed Salah, Eman Ouda, Giuseppe Dell'Avvocato, Fabrizio Sarasini, Ester D'Accardi, Jorge Dias, Davor Svetinovic, Stefano Sfarra, Yusra Abdulrahman

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种结合视觉-文本线索的主动红外热成像认知缺陷分析框架，利用预训练多模态模型实现零样本缺陷检测，实验显示其信噪比提升超过10dB，交并比达70%。

Ego: Embedding-Guided Personalization of Vision-Language Models

Ego：基于嵌入的视觉-语言模型个性化

Soroush Seifi, Simon Gardier, Vaggelis Dorovatas, Daniel Olmeda Reino, Rahaf Aljundi

机构 * Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于模型内部机制的高效视觉-语言模型个性化方法，通过提取目标概念的视觉标记实现个性化描述与记忆。

Comments Accepted at the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026