视觉大模型 / VLM

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

具有预测性提示和负学习的可泛化视觉语言少样本适应

Sriram Mandalika

机构 * Hasso Plattner Institute, University of Potsdam（霍普夫纳研究所，波茨坦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出SCAN框架，通过查询自适应负路由、LLM引导对比提示和自适应融合权重，解决视觉语言模型少样本适应中负类信号处理问题，在11个基准上平均提升4.61%。

VaaWIT: Visual-Aware Adaptation of Large Language Models for Multilingual Web Image Translation

VaaWIT: 面向多语言网页图像翻译的大语言模型视觉感知适配

Bo Li, Ronghao Chen, Ningyuan Deng, Huacan Wang, Shaolin Zhu, Lijie Wen

机构 * The Hong Kong University of Science（香港科技大学） ； Tianjin University（天津大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对网页图像翻译中视觉表示差距问题，提出VaaWIT框架，通过双流注意力模块和视觉感知适配器，实现大语言模型对细粒度视觉特征的动态融合，在多个基准上超越开源模型并接近闭源模型性能。

Comments Accepted by KDD 2026

Decoupling Endpoint and Semantic Transition Learning for Zero-Shot Composed Image Retrieval

解耦端点与语义转换学习以实现零样本复合图像检索

Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai

机构 * Sun Yat-sen University（中山大学） ； Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室） ； Key Laboratory of Machine Intelligence and Advanced Computing（机器智能与先进计算重点实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种解耦端点与语义转换学习的方法DeCIR，用于零样本复合图像检索，通过构造配对的正向/反向编辑元组，训练独立的低秩文本适配器分支，并利用低秩方向合并（LRDM）将它们合并为一个可部署的适配器，从而提升了投影基于的零样本复合图像检索性能。

BEiTScore: Reference-free Image Captioning Evaluation with an Efficient Cross-Encoder Model

BEiTScore: 一种基于高效交叉编码器的无参考图像描述评估方法

Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

机构 * Instituto Superior Técnico（里斯本大学理工学院） ； INESC-ID ； Instituto de Telecomunicações（电信机构） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种无参考图像描述评估方法BEiTScore，通过高效的交叉编码器模型解决传统评估方法在计算成本和敏感性方面的不足，提出了一种新的评估指标，并在多种场景下验证了其优越的性能。

Multimodal LLMs under Pairwise Modalities

基于成对模态的多模态大语言模型

Yan Li, Yunlong Deng, Yuewen Sun, Gongxu Luo, Kun Zhang, Guangyi Chen

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种基于成对模态训练多模态大语言模型的方法，通过理论分析和表示学习框架，实现了跨模态对齐和重构，提升了模型的跨模态性能。

MAM-CLIP: Vision-Language Pretraining on Mammography Atlases for BI-RADS Classification

MAM-CLIP：基于乳腺X线图集的视觉-语言预训练用于BI-RADS分类

Halil Ibrahim Gulluk, Olivier Gevaert

机构 * Department of Electrical Engineering（电气工程系） ； Biomedical Informatics Research (BMIR)（生物医学信息学研究（BMIR）） ； Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出MAM-CLIP模型，通过预训练PubMedBERT和对比学习来提升乳腺X线图像的BI-RADS分类性能，实验表明在标注样本稀缺时，该方法能显著提高F1分数。

StrLoRA: Towards Streaming Continual Visual Instruction Tuning for MLLMs

StrLoRA: 向流式连续视觉指令微调迈进以适应大规模多模态语言模型

Chang Che, Ziqi Wang, Hui Ma, Cheems Wang, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出StrLoRA，一种流式连续视觉指令微调方法，旨在解决动态任务流中模型持续学习的问题，通过任务感知的专家路由框架提升模型在不断变化的数据流中的表现。

SpecX: A Large-Scale Benchmark for Multi-Modal Spectroscopy and Cross-Paradigm Evaluation

SpecX：多模态光谱的大规模基准及跨范式评估

Chengrui Xiang, Tengfei Ma, Yujie Chen, Tong Wang, Haowen Chen, Xiangxiang Zeng

机构 * College of Computer Science and Technology, Hunan University（湖南大学计算机科学与技术学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出SpecX，一个用于多模态光谱的大规模基准，通过不同层级的数据集支持分子解析、光谱模拟和理解任务，揭示了专用光谱模型和多模态语言模型在光谱智能中的不同优势。

Comments 9 pages,1 figures

SHED: Style-Homogenized Embedding Alignment for Domain Generalization

SHED: 风格均质化嵌入对齐用于领域泛化

Kai Gan, Tong Wei

机构 * School of Computer Science and Engineering, Southeast University, Nanjing 210096, China（1 东南大学计算机科学与工程学院，南京 210096，中国） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（2 教育部计算机网络与信息集成重点实验室（东南大学），中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出SHED方法，通过均质化嵌入对齐来解决领域泛化中的信息不对称问题，实验表明其在多个基准测试中取得了最先进的性能。

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

多模态语言模型需要多少视觉标记？通过F^3A进行视觉标记剪枝的扩展

YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang 110819, China（东北大学计算机科学与工程学院，沈阳 110819，中国） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Computer and Communication Engineering, Northeastern University, Qinhuangdao 066004, China（东北大学计算机与通信工程学院，秦皇岛 066004，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出F^3A方法，通过任务条件证据搜索优化视觉标记分配，在不训练模型的情况下实现高效的视觉标记剪枝，保留原始多模态提示和解码流程。

A$_3$B$_2$: Adaptive Asymmetric Adapter for Alleviating Branch Bias in Vision-Language Image Classification with Few-Shot Learning

A₃B₂：一种自适应非对称适配器，用于缓解视觉-语言图像分类中的分支偏差

Yiyun Zhou, Zhonghua Jiang, Wenkang Han, Kunxi Li, Mingjing Xu, Chang Yao, Jingyuan Chen

机构 * Zhejiang University（浙江大学） ； Swansea University（斯旺西大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出A₃B₂适配器，通过引入不确定性感知适配器阻尼机制，缓解少样本学习中的分支偏差问题，实验表明其在多个数据集上优于现有基线方法。

Comments Accepted by IJCAI 2026

BiomedAP: A Vision-Informed Dual-Anchor Framework with Gated Cross-Modal Fusion for Robust Medical Vision-Language Adaptation

BiomedAP: 一种基于视觉的双锚框架与门控跨模态融合用于鲁棒的医学视觉-语言适应

Huanyang Tong, Kai Liu, Fangjun Kuang, Huiling Chen

机构 * Wenzhou University（温州大学） ； Wenzhou Business College（温州商务学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 BiomedAP通过门控跨模态融合和双锚约束机制，提升医学视觉-语言模型在提示变化下的鲁棒性，实验显示其在多个基准上均优于基线方法。

Comments CVPR2026 Workshop

LoRA in LoRA: Towards Parameter-Efficient Architecture Expansion for Continual Visual Instruction Tuning

LoRA in LoRA: 朝着参数高效架构扩展的方向：持续视觉指令微调

Chang Che, Ziqi Wang, Pengwan Yang, Qi Wang, Hui Ma, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； University of Amsterdam（阿姆斯特丹大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LiLoRA，一种高效的持续视觉指令微调架构扩展方法，通过共享LoRA矩阵A、低秩分解矩阵B以及余弦正则化损失，提升参数效率和任务学习性能。

Comments AAAI 2026 Oral Presentation. 9 pages

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(24):19978--19986, 2026

AdaFocus: Adaptive Relevance-Diversity Sampling with Zero-Cache Look-back for Efficient Long Video Understanding

AdaFocus: 一种基于零缓存回溯的自适应相关性-多样性采样方法以实现高效的长视频理解

Xiao Yang, Yingzhe Ma, Haoxuan Yu, Zixin Li, Ning Qin

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AdaFocus框架，通过自适应相关性-多样性采样和零缓存回溯机制，有效平衡长视频理解中的时间覆盖、视觉细节和计算效率，实验表明其在效率-精度权衡上优于现有方法。

Comments 9 pages, 4 figures. Authors Xiao Yang and Yingzhe Ma contributed equally

Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty?

视觉审美基准：前沿模型能评判美吗？

Yichen Feng, Yuetai Li, Chunjiang Liu, Yuanyuan Chen, Fengqing Jiang, Yue Huang, Hang Hua, Zhengqing Yuan, Kaiyuan Zheng, Luyao Niu, Bhaskar Ramasubramanian, Basel Alomair, Xiangliang Zhang, Misha Sra, Zichen Chen, Radha Poovendran, Zhangchen Xu

机构 * Bake AI ； University of Washington（华盛顿大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Stanford University（斯坦福大学） ； University of Notre Dame（诺丁汉大学） ； Carnegie Mellon University（卡内基梅隆大学） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； Western Washington University（西雅图华盛顿大学） ； King Abdulaziz City for Science and Technology（国王阿卜杜勒阿齐兹科技城） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出视觉审美基准（VAB），通过比较选择评估审美，发现前沿模型在判断最佳和最差图像时表现逊于人类专家，表明需进一步改进。

Comments Project page: https://vab.bakelab.ai. Code: https://github.com/BakeLab/Visual-Aesthetic-Benchmark. Dataset: https://huggingface.co/datasets/BakeLab/Visual-Aesthetic-Benchmark

Reviving In-domain Fine-tuning Methods for Source-Free Cross-domain Few-shot Learning

复兴领域内微调方法以适用于无源跨领域少样本学习

Yaze Zhao, Yicong Liu, Yixiong Zou, Yuhua Li, Ruixuan Li

机构 * School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究跨领域少样本学习中领域内微调方法的性能，发现LoRA等适配器方法优于提示方法，提出Semantic Probe框架提升模态对齐和类别分离。

EvoStreaming: Your Offline Video Model Is a Natively Streaming Assistant

EvoStreaming: 你的离线视频模型本质上是一个原生流式助手

Zichen Wen, Boxue Yang, Junlong Ke, Jiajie Huang, Chenfei Liao, Junxi Wang, Xuyang Liu, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：InternVL(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EvoStreaming框架，通过自演化方法使离线视频模型适应流式助手任务，仅需1000个自生成样本即可提升RealStreamEval评分，并保持离线性能。

Comments 33 pages, 9 figures

Fashion Florence: Fine-Tuning Florence-2 for Structured Fashion Attribute Extraction

Fashion Florence：基于Florence-2的结构化时尚属性提取微调

Anushree Berlia

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Fashion Florence，通过LoRA微调Florence-2模型，实现从服装图像中提取结构化时尚属性。模型在iMaterialist Fashion数据集上训练，生成包含类别、颜色、材质、风格和场合标签的JSON输出，适用于下游推荐和检索系统。

Comments Model: https://huggingface.co/anushreeberlia/fashion-florence

ZAYA1-VL-8B Technical Report

ZAYA1-VL-8B 技术报告

Hassan Shapourian, Kasra Hejazi, Olabode M. Sule, Beren Millidge

机构 * Zyphra 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 ZAYA1-VL-8B 是基于内部语言模型 ZAYA1-8B 构建的紧凑多专家视觉语言模型，在多个图像理解、推理和计数基准上超越了 Qwen2.5-VL-3B、PLM-3B 和 MolmoE-1B 等模型。

Comments 20 pages, 7 figures, 3 appendices (with 31 figures)

EgoPro-Bench: Benchmarking Personalized Proactive Interaction in Egocentric Video Streams

EgoPro-Bench：基于眼动视频流的个性化主动交互基准测试

Dongchuan Ran, Linyu Ou, Xueheng Li, Wenwen Tong, Chenxu Guo, Hewei Guo, Kaibing Wang, Lewei Lu

机构 * Beijing Institute of Technology（北京理工大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出EgoPro-Bench，通过模拟用户画像生成多样化意图，构建高保真人机交互数据，评估主动交互能力，提升多模态大语言模型的意图理解与交互时机识别能力。

Comments 8 pages

Structured Role-Aware Policy Optimization for Multimodal Reasoning

结构化角色感知策略优化用于多模态推理

Bingqing Jiang, Difan Zou

机构 * School of Computing & Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） ； School of Computing & Data Science and Institute of Data Science, The University of Hong Kong（计算与数据科学学院和数据科学研究所，香港大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出结构化角色感知策略优化(SRPO)，通过角色感知的token级信用分配提升多模态推理中的证据基础推理能力，无需外部奖励模型。

Comments 32 pages

Visual Text Compression as Measure Transport

视觉文本压缩作为度量传输

Lv Tang, Tianyi Zheng, Yang Liu, Bo Li, Xingyu Li

机构 * University of Alberta（阿尔伯塔大学） ； vivo Mobile Communication Co., Ltd（vivo移动通信有限公司） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过度量传输理论分析视觉文本压缩，提出无标签路由准则和传输感知聚焦机制，提升压缩效率并优化下游任务表现。

CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval

CSMCIR: 基于记忆库的增强对称对齐用于复合图像检索

Zhipeng Qian, Zihan Liang, Yufei Ma, Ben Chen, Huangyu Dai, Yiwei Ma, Jiayi Ji, Chenyi Lei, Han Li, Xiaoshuai Sun

机构 * Kuaishou Technology（快播科技） ； Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CSMCIR，通过多级链式思维提示策略、对称双塔架构和熵基记忆库策略，实现高效查询-目标对齐，提升复合图像检索性能。

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

HERMES: KV缓存作为分层内存用于高效视频流理解

Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 HERMES提出一种无需训练的架构，通过将KV缓存视为分层内存框架，实现视频流的实时准确理解，提升处理速度并降低内存消耗。

Comments Accepted to ACL 2026 Main

Adaptive Dual-Teacher Distillation with Subnetwork Rectification for Bridging Semantic Gaps in Black-Box Domain Adaptation

自适应双教师蒸馏与子网络校正用于桥接黑盒领域适应中的语义间隙

Zhe Zhang, Jing Li, Wanli Xue, Xu Cheng, Jianhua Zhang, Qinghua Hu, Shengyong Chen

机构 * School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院） ； School of Artificial Intelligence, Tianjin University（天津大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出DDSR框架，通过自适应预测融合策略和子网络正则化机制，解决黑盒领域适应中任务特定知识与语言对齐语义先验的不一致问题，提升领域适应性能。

Comments Under Review

OR-VSKC: Resolving Visual-Semantic Knowledge Conflicts in Operating Rooms with Synthetic Data-Guided Alignment

OR-VSKC：通过合成数据引导对齐解决手术室中的视觉-语义知识冲突

Weiyi Zhao, Xiaoyu Tan, Liang Liu, Sijia Li, Youwei Song, Xihe Qiu

机构 * Shanghai University of Engineering Science（上海工程技术大学） ； Tencent YouTu Lab（腾讯优图实验室） ； Clinical Research Unit, Zhongshan Hospital of Fudan University（复旦大学中山医院临床研究部） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出OR-VSKC基准，通过合成数据引导对齐解决手术室中的视觉-语义知识冲突，评估多模态大语言模型的可靠性，并展示微调后的模型在未见视角上的鲁棒性。

Comments 13 pages, 5 figures. The dataset and appendix are available at https://github.com/zgg2577/VS-KC

Star-Fusion: A Multi-modal Transformer Architecture for Discrete Celestial Orientation via Spherical Topology

星融合：一种多模态变换器架构，通过球面拓扑实现离散天体定向

May Hammad, Menatallh Hammad

机构 * Department of Aerospace Informatics, Julius-Maximilians-Universität Würzburg（航空航天信息学系，乌尔姆-马克斯-普朗克大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Star-Fusion架构，通过球面拓扑分类解决天体定向问题，采用球面K-means聚类和多模态融合策略，实现高精度和高效定位。

Topology-Aware Representation Alignment for Semi-Supervised Vision-Language Learning

面向拓扑的表示对齐用于半监督视觉-语言学习

Junwon You, Mihyun Jang, Sangwoo Mo, Jae-Hun Jung

机构 * KAIST（韩国科学技术院） ； POSTECH 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出ToMA框架，通过持久同调识别拓扑显著边，利用跨模态对应关系对齐多模态表示，提升视觉-语言学习在遥感和时尚检索中的性能。

Comments 30 pages, 10 figures, 24 tables

DepthPilot: From Controllability to Interpretability in Colonoscopy Video Generation

DepthPilot：从可控性到可解释性在结肠镜视频生成中

Junhu Fu, Ke Chen, Weidong Guo, Shuyu Liang, Jie Xu, Chen Ma, Kehao Wang, Shengli Lin, Zeju Li, Yuanyuan Wang, Yi Guo, Shuo Li

机构 * College of Biomedical Engineering, Fudan University, Shanghai 200433, China（复旦大学生物医学工程学院） ； Key Laboratory of Medical Imaging Computing and Computer Assisted Intervention of Shanghai, Shanghai 200032, China（上海医学影像计算与计算机辅助干预重点实验室） ； Endoscopy Research Institute, Zhongshan Hospital, Fudan University, Shanghai 200032, China（复旦大学中山医院内窥镜研究所） ； Shanghai Collaborative Innovation Center of Endoscopy, Shanghai 200032, China（上海内窥镜协同创新中心） ； Department of Biomedical Engineering, Case Western Reserve University, Cleveland, OH 44106, USA（凯斯西储大学生物医学工程系） ； Department of Computer and Data Science, Case Western Reserve University, Cleveland, OH 44106, USA（凯斯西储大学计算机与数据科学系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DepthPilot框架，通过几何对齐策略和自适应样条去噪模块，实现结肠镜视频生成的可控性与可解释性，取得高FID分数和临床评估领先成果。

ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers

ViTaPEs: 视觉触觉位置编码用于多模态转换器中的跨模态对齐

Fotios Lygerakis, Ozan Özdenizci, Elmar Rückert

机构 * Chair of Cyber-Physical Systems（感知系统教授席位） ； Institute of Machine Learning and Neural Computation（机器学习与神经计算研究所） ； Technical University of Leoben（莱比锡技术大学） ； Graz University of Technology（格拉茨技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 ViTaPEs通过两阶段位置注入学习任务无关的视觉触觉表示，提升多模态对齐性能，实验证明其在多种任务和领域中的优越表现。