多模态大模型

NavOne: One-Step Global Planning for Vision-Language Navigation on Top-Down Maps

NavOne: 一种基于顶部向下地图的视觉语言导航的一步全局规划

Dijia Zhan, Jinyi Li, Chenxi Zheng, Shaoyu Huang, Yong Li, Jie Tang, Xuemiao Xu

机构 * South China University of Technology（南方科技大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于顶部向下地图的视觉语言导航方法，通过引入NavOne框架，实现多模态地图的单步全局路径规划，显著提升了导航效率和性能。

Comments 10 pages, 7 figures

Verifiably grounded machine interpretation of lunar geology

月球地质学的可验证机器解释

Tom Sander, Kay Wohlfarth, Christian Wöhler

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究将地质知识推理方法嵌入多模态视觉-语言架构，构建可验证的月球地质学机器解释模型，结合开卷检索解决数值年龄定年依赖记忆先验的问题，明确自动地质推理的必要架构。

Cytoarchitecture in Words: Weakly Supervised Vision-Language Modeling for Human Brain Microscopy

词中结构：用于人类大脑显微镜的弱监督视觉-语言建模

Matthew Sutton, Katrin Amunts, Timo Dickscheid, Christian Schiffer

机构 * Institute of Neuroscience and Medicine (INM-1), Research Centre Jülich（神经科学与医学研究所（INM-1），焦耳研究中心） ； Helmholtz AI, Research Centre Jülich（海德堡人工智能研究所，焦耳研究中心） ； Institute for Brain Research, University Hospital Düsseldorf（脑研究所在杜塞尔多夫大学医院） ； Computer Vision, Institute for Computational Visualistics, University of Koblenz（计算机视觉，计算视觉研究所，科布伦茨大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本研究提出了一种弱监督视觉-语言建模方法，通过标签介导生成人类大脑显微镜的区域描述，实现了在缺乏配对标注情况下的自然语言生成。

Comments 13 pages, 5 figures, accepted for inclusion at GCPR 2026

TrustCLIP: Learning Private Visual Features via Adversarial Reconstruction

TrustCLIP：通过对抗性重建学习隐私视觉特征

Nikos Athanasiou, Ilya A. Petrov, Angela Yao, Shugao Ma, Eric Sauser, Edoardo Remelli, Shreyas Hampali, Johannes Schönberger, Fadime Sener, Bugra Tekin

机构 * Meta ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； University of Tübingen（图宾根大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究视觉和视觉语言模型中视觉特征隐私问题，提出TrustCLIP框架，以特征条件生成器为隐私对手，优化编码器特征与下游模块投影，降低生成式反演保真度并保持下游任务性能。

Comments https://atnikos.github.io/trustclip/ Update affiliations

Synthetic Image Detection with CLIP: Understanding and Assessing Predictive Cues

使用CLIP进行合成图像检测：理解和评估预测线索

Marco Willi, Melanie Mathys, Michael Graber

机构 * Institute for Data Science I4DS（数据科学研究所） ； University of Applied Sciences FHNW（应用科学大学） ； FHNW Brugg-Windisch AG（FHNW布吕克-温迪施公司） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出SynthCLIC数据集，通过分析CLIP-based检测器的学习机制，揭示其在合成图像检测中依赖于高级摄影属性而非生成器特定伪影，并强调了持续更新和广泛训练的重要性。

Comments 10 figures; 25 pages

Comprehensive language-image pre-training for 3D medical image understanding

全面的语言-图像预训练用于3D医学图像理解

Tassilo Wald, Ibrahim Ethem Hamamci, Yuan Gao, Sam Bond-Taylor, Harshita Sharma, Maximilian Ilse, Cynthia Lo, Olesya Melnichenko, Anton Schwaighofer, Noel C. F. Codella, Maria Teodora Wetscherek, Klaus H. Maier-Hein, Panagiotis Korfiatis, Valentina Salvatelli, Javier Alvarez-Valle, Fernando Pérez-García

机构 * Microsoft（微软公司） ； German Cancer Research Center (DKFZ)（德国癌症研究中心） ； Department of Radiology, University of Cambridge and Cambridge University Hospitals NHS Foundation Trust（剑桥大学放射科及剑桥大学医院国家健康服务体系基金会信托） ； Pattern Analysis and Learning Group, Heidelberg University Hospital（海德堡大学医院模式分析与学习组） ； Department of Radiology, Mayo Clinic（梅奥诊所放射科） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出COLIPRI编码器，通过结合报告生成目标和视觉-only预训练，提升3D医学图像的语义理解和生成能力。

SHARP: Spectrum-aware Highly-dynamic Adaptation for Resolution Promotion in Remote Sensing Synthesis

SHARP: 为遥感合成促进分辨率提升的频谱感知高动态适应

Bingxuan Zhao, Qing Zhou, Chuang Yang, Junyu Gao, Qi Wang

机构 * School of Computer Science, Northwestern Polytechnical University, Xi'an, China（计算机科学学院，西北工业大学，西安，中国） ； School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University, Xi'an, China（人工智能学院，光学与电子学（iOPEN），西北工业大学，西安，中国） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出SHARP方法，通过频谱感知的高动态适应策略，在无需训练的情况下提升遥感图像分辨率，优于现有无训练基线，在CLIP分数、审美分数和HPSv2上表现更优。

Comments Accepted by the 34th ACM International Conference on Multimedia (ACM MM 2026)

Journal ref Proceedings of the 34th ACM International Conference on Multimedia (ACM MM 2026)

Latent-Centroid Steering: Single-Pass Classifier-Free Guidance for Command-Aligned Autonomous Driving

隐式质心引导：用于指令对齐自动驾驶的单次无分类器引导

Meibo Hu, Jiamian Wang, Pichao Wang, Zhiqiang Tao

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； NVIDIA（英伟达公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉语言自动驾驶模型的指令跟随差距，提出单次引导机制LCS，降低推理延迟约50%，在Bench2Drive和nuScenes基准上提升指令遵循与驾驶性能。

Comments IROS 2026

Fine-grained CLIP fine-tuning with self-annotated region alignment

基于自标注区域对齐的细粒度CLIP微调

Chenyang Zhao, Wei Lin, Janet H. Hsiao, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Hong Kong University of Science & Technology（香港科技大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 研究针对CLIP在细粒度表示上的局限，提出SFF-CLIP方法，仅用图像-文本对输入，通过运行时区域-短语对齐方案提升其细粒度表示能力，在相关任务中性能显著提升且维持原CLIP图像级任务表现。

Source-Modality Monitoring in Vision-Language Models

视觉-语言模型中的源模态监控

Etha Tianze Hua, Tian Yun, Ellie Pavlick

机构 * Department of Computer Science, Brown University（布朗大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 研究探讨了多模态模型追踪并沟通信息来源的能力，分析了语法与语义信号在绑定提示词与输入组件中的作用，发现语义信号在模态分布差异大时更占主导。

Comments Accepted at COLM 2026. All resources will be available at https://github.com/ethahtz/source-modality-monitoring

Explaining, Verifying, and Aligning Semantic Hierarchies in Vision-Language Model Embeddings

解释、验证和对齐视觉语言模型嵌入中的语义层次结构

Gesina Schwalbe, Mert Keser, Moritz Bayerkuhnlein, Edgar Heinert, Annika Mütze, Marvin Keller, Sparsh Tiwari, Georgii Mikriukov, Diedrich Wolter, Jae Hee Lee, Matthias Rottmann

机构 * University of Lübeck（吕贝克大学） ； Technical University of Munich（慕尼黑工业大学） ； AUMOVIO SE ； Osnabrück University（奥斯纳布吕克大学） ； Leibniz Institute for Agricultural Engineering and Bioeconomy（莱布尼茨农业工程与生物经济研究所） ； University of Hamburg（汉堡大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.AI

AI总结 本文提出一种框架，用于解释、验证和对齐视觉语言模型嵌入中的语义层次结构，通过聚类和概念库匹配提取层次结构，并利用人类本体评估其合理性，最终提出基于本体的对齐方法以提升共享嵌入空间的语义对齐。

Comments camera-ready version of accepted IJCAI-ECAI 2026 paper including supplementary material; code: https://github.com/gesina/ontological-commitment

Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP

Grad-ECLIP: 基于梯度的CLIP视觉与文本解释

Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Division of Social Science and Department of Computer Science & Engineering, Hong Kong University of Science & Technology（香港科学与技术大学社会科学学院及计算机科学与工程系） ； SenseTime Group Ltd（时光集团有限公司） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出Grad-ECLIP方法，通过分解CLIP编码器架构并分析匹配相似度与中间空间特征的关系，生成有效热图以解释CLIP匹配结果。通过通道和空间权重提升视觉解释质量，并通过定性定量评估验证其有效性。

Journal ref Zhao C, Wang K, Hsiao J H, et al. Grad-eclip: Gradient-based visual and textual explanations for clip[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026

Exo2EgoPose: Leveraging Exocentric Demonstrations for Vision-Language guided Egocentric 3D Hand Pose Forecasting

Exo2EgoPose：利用外心演示进行视觉语言引导的自我中心3D手部姿态预测

Zhaofeng Shi, Heqian Qiu, Lanxiao Wang, Xiang Li, Hongliang Li

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究视觉语言引导的自我中心3D手部姿态预测任务，提出Exo2EgoPose框架，利用外心演示补偿自我中心视角线索不足，含双层外心重建模块和全局到局部调制模块，实验显示该方法优于现有技术，具备人机转移能力且有改进。

Comments Accepted by ACMMM 2026

CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

CLIP4VI-ReID：通过CLIP语义桥学习模态共享表征用于可见光-红外行人重识别

Xiaomei Yang, Xizhan Gao, Sijie Niu, Fa Zhu, Guang Feng, Xiaofeng Qu, David Camacho

机构 * Shandong Key Laboratory of Ubiquitous Intelligent Computing, School of Information Science and Engineering, University of Jinan（山东 ubiquitous 智能计算重点实验室，信息科学与工程学院，济南大学） ； College of Information Science and Technology & College of Artificial Intelligence, Nanjing Forestry University（信息科学与技术学院及人工智能学院，南京林业大学） ； Computer Systems Engineering Department, Universidad Politécnica de Madrid（计算机系统工程系，马德里理工大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CLIP4VI-ReID网络，通过TSG、IFE、HSA模块及CLIP语义桥实现跨模态对齐，在VI-ReID任务上取得优于现有方法的性能。

Comments This article has been accepted for publication in IEEE Transactions on Biometrics, Behavior, and Identity Science

ActionCache: Training-Free Acceleration for Vision-Language-Action Models with Action Caching and Refinement

基于动作缓存与优化的视觉-语言-动作模型免训练加速

Ryuji Oi, Hikari Otsuka, Kosuke Matsushima, Yuki Ichikawa, Masato Motomura, Tatsuya Kaneko, Daichi Fujiki

机构 * Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉-语言-动作模型动作头计算瓶颈问题，提出ActionCache即插即用外部缓存，利用紧凑多模态键存储中间动作，可跨不同场景检索重用，在模拟和真实环境实验中显著加速推理，提升任务成功率。

XSPA: Crafting Imperceptible X-Shaped Sparse Adversarial Perturbations for Transferable Attacks on VLMs

XSPA：构建不可察觉的X形稀疏对抗扰动以对视觉语言模型的可迁移攻击

Chengyin Hu, Jiaju Han, Xuemeng Sun, Qike Zhang, Luwei Yang, Lehan Sun, Jiahuan Long, Yiwei Wei, Jiujiang Guo

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出XSPA攻击，通过限制扰动为两条相交对角线，测试VLMs在稀疏扰动下的鲁棒性，实验表明其能显著破坏跨任务语义。

OSMDA: OpenStreetMap-based Domain Adaptation for Remote Sensing VLMs

基于OpenStreetMap的领域自适应方法：为遥感VLMs的领域适应

Stefan Maria Ailuro, Mario Markov, Mohammad Mahdi, Delyan Boychev, Luc Van Gool, Danda Pani Paudel

机构 * INSAIT, Sofia University ``St. Kliment Ohridski''（INSAIT，索菲亚大学『圣克莱门特·奥赫里德斯』） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出OSMDA方法，利用OpenStreetMap数据生成自标注数据，无需人工标注或强外部模型，通过细调基础VLM实现遥感领域适应，经10个基准测试显示其在文本生成任务中达到SOTA，且训练成本更低。

DeCLIP: Decoupled Prompting for Multi-Label Class-Incremental Learning with CLIP

DeCLIP：基于CLIP的多标签类增量学习的解耦提示

Kaile Du, Zihan Ye, Junzhou Xie, Yixi Shen, Yuyang Li, Fuyuan Hu, Ling Shao, Guangcan Liu, Joost van de Weijer, Fan Lyu

机构 * School of Automation, Southeast University, China（东南大学自动化学院） ； University of the Chinese Academy of Sciences, China（中国科学院大学） ； Suzhou University of Science and Technology, China（苏州科技大学） ； Computer Vision Center, Spain（西班牙计算机视觉中心） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 DeCLIP通过解耦CLIP表示和引入适应性相似度温控策略，有效提升了多标签类增量学习中的分类性能和抑制假阳性率的能力。

Seeing the Unseen: Towards Training-Free Inspection for Wind Turbine Blades Using Knowledge-Augmented Vision Language Models

看见不可见：基于知识增强视觉语言模型的无训练风机叶片检测方法

Yang Zhang, Qianyu Zhou, Farhad Imani, Jiong Tang

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究提出结合RAG与VLM的零样本风机叶片检测框架，构建多模态知识库，在小样本测试中表现优于基线，为工业检测提供数据高效方案。

Continual Learning with Vision-Language Models via Semantic-Geometry Preservation

通过语义-几何保持实现视觉-语言模型的持续学习

Chiyuan He, Zihuan Qiu, Fanman Meng, Runtong Zhang, Linfeng Xu, Qingbo Wu, Hongliang Li

机构 * School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出SeGP-CL方法，通过构建对抗锚点和跨模态几何蒸馏，解决持续学习中的语义几何退化问题，提升模型稳定性和迁移能力。

Comments Accepted by IEEE TCSVT 2026

BioPro: Towards Difference-Aware Gender Fairness for Vision-Language Models

BioPro: 关于差分意识的性别公平性在视觉-语言模型中

Yujie Lin, Jiayao Ma, Qingguo Hu, Wenbo Li, Genji Li, Derek Wong, Jinsong Su

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 BioPro通过差分意识的性别公平性方法，在视觉-语言模型中实现选择性去偏，减少中性情境中的性别偏见同时保持显性情境中的性别忠实性。

Comments ACM Multimedia 2026

Personalize Your Large Vision-language Models With In-context Prompt Tuning

用上下文提示调优个性化你的大型视觉语言模型

Yanshu Li, Jiaqian Li, Kuai Yu, Xi Xiao, Dongfang Liu, Tianyang Wang, Ruixiang Tang

机构 * Brown University（布朗大学） ； Columbia University（哥伦比亚大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Purdue University（普渡大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出上下文提示调优（ICPT）方法，通过轻量投影模块从多参考图像中提取细粒度视觉语义并转化为连续提示，结合几何正则化解决环境偏差和跨概念干扰，实现高效个性化。

Comments Accepted at ECCV 2026, 27 pages, 10 figures, 5 tables

LanteRn: Latent Visual Structured Reasoning

LanteRn：潜在视觉结构推理

André G. Viveiros, Nuno Gonçalves, Matthias Lindemann, André Martins

机构 * Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出LanteRn框架，通过将语言与紧凑的潜在视觉表示结合，使大多模态模型能在潜在空间中进行视觉推理，提升视觉理解和细粒度推理能力。

Improving Large Vision-Language Models' Understanding for Flow Field Data

提升大型视觉-语言模型对流场数据的理解能力

Xiaomei Zhang, Hanyu Zheng, Xiangyu Zhu, Jinghuan Wei, Junhong Zou, Zhen Lei, Zhaoxiang Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 FieldLVLM通过场感知语言生成策略和数据压缩多模态模型调优，提升大型视觉-语言模型对流场数据的理解能力。

Comments Accepted by Machine Intelligence Research

K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs

K12-KGraph：一种对齐课程的图谱用于基准测试和训练教育大语言模型

Hao Liang, Qihan Lin, Zhaoyang Han, Xiaochen Ma, Zhen Hao Wong, Meiyi Qiang, Linzhuang Sun, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究所） ； OriginHub Technology（OriginHub技术） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出K12-KGraph，基于中小学教材构建的课程对齐知识图谱，用于构建多选基准测试K12-Bench和训练数据集K12-Train，验证课程结构监督在教育模型训练中的高效性。

Semantic Richness or Geometric Reasoning? The Fragility of VLM's Visual Invariance

语义丰富性还是几何推理？VLM视觉不变性的脆弱性

Jason Qiu, Zachary Meurer, Xavier Thomas, Deepti Ghadiyaram

机构 * Boston University（波士顿大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究揭示VLM在基本几何变换下的脆弱性，指出其在空间不变性与等变性上的不足，影响物体识别的可靠性。

TempoVLA: Learning Speed-Controllable Vision-Language-Action Policies

TempoVLA: 学习速度可控的视觉-语言-动作策略

Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding

机构 * RUC（中国人民大学） ； FDU（福建大学） ； UNC（北卡罗来纳大学教堂山分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出TempoVLA，通过可变速度轨迹增强和速度条件机制，实现机器人操作中速度的双向灵活控制，并支持动态速度调节。

AutoNeural: Co-Designing Vision-Language Models for NPU Inference

AutoNeural：为 NPU 推理协同设计视觉语言模型

Wei Chen, Liangmin Wu, Yunhai Hu, Zhiyuan Li, Zhiyuan Cheng, Yicheng Qian, Lingyue Zhu, Zhipeng Hu, Luoyi Liang, Qiang Tang, Zhen Liu, Han Yang

机构 * Nexa AI ； Geely Auto 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CL

AI总结 研究针对 NPU 推理的视觉语言模型硬件与模型不匹配问题，提出 AutoNeural 架构，用深度可分离卷积骨干替换 ViT 编码器，结合状态空间模型与 Transformer 层，提升效率，降低量化误差与延迟，验证了在实际应用中的实时性能。

Post-Training in End-to-End Autonomous Driving

端到端自动驾驶中的训练后处理

Ruining Yang, Muxing Wang, Yixiao Chen, Tongfei Guo, Yi Xu, Can Cui, Zichong Yang, Yitian Zhang, Ziran Wang, Yun Fu, Lili Su

机构 * Northeastern University（东北大学） ； Purdue University（普渡大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 探讨端到端自动驾驶中训练后处理技术，针对传统方法不足，将现有文献按监督形式分四类，阐述各分类的能力、局限与挑战，助力系统理解该领域并推动相关研究。

CrochetBench: Can Vision-Language Models Move from Describing to Doing in Crochet Domain?

CrochetBench：视觉语言模型能否在钩针领域从描述转向实践？

Peiyu Li, Xiaobao Huang, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame（诺特大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 探讨视觉语言模型在钩针领域从描述到实践的转变，采用CrochetPARADE DSL进行评估，涵盖多种任务，发现评估转变时性能下降，揭示模型局限性，为评估多模态模型过程能力提供新视角。

Comments ACL2026 main-long

Journal ref Proceedings of ACL 2026, Vol. 1, pp. 13229-13251