多模态大模型

LensVLM: Selective Context Expansion for Compressed Visual Representation of Text

LensVLM：压缩文本视觉表示的选取性上下文扩展

Roy Xie, Dan Friedman, Donghan Yu, Bowen Pan, Christopher Fifty, Jang-Hyun Kim, Xianzhi Du, Zhe Gan, Vivek Rathod, Bhuwan Dhingra

机构 * Apple（苹果公司） ； Duke University（杜克大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LensVLM通过选择性上下文扩展提升压缩视觉表示的准确性，在4.3倍压缩下表现优异，且在多模态任务中表现更佳。

OR-VSKC: Resolving Visual-Semantic Knowledge Conflicts in Operating Rooms with Synthetic Data-Guided Alignment

OR-VSKC：通过合成数据引导对齐解决手术室中的视觉-语义知识冲突

Weiyi Zhao, Xiaoyu Tan, Liang Liu, Sijia Li, Youwei Song, Xihe Qiu

机构 * Shanghai University of Engineering Science（上海工程技术大学） ； Tencent YouTu Lab（腾讯优图实验室） ； Clinical Research Unit, Zhongshan Hospital of Fudan University（复旦大学中山医院临床研究部） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出OR-VSKC基准，通过合成数据引导对齐解决手术室中的视觉-语义知识冲突，评估多模态大语言模型的可靠性，并展示微调后的模型在未见视角上的鲁棒性。

Comments 13 pages, 5 figures. The dataset and appendix are available at https://github.com/zgg2577/VS-KC

Gelina: Unified Speech and Gesture Synthesis via Interleaved Token Prediction

Gelina：通过交错标记预测实现统一的语音和手势合成

Téo Guichoux, Théodor Lemerle, Shivam Mehta, Jonas Beskow, Gustav Eje Henter, Laure Soulier, Catherine Pelachaud, Nicolas Obin

机构 * 1 ISIR, Sorbonne Universit\'e, Paris, France 2 STMS Lab -- IRCAM, Sorbonne Universit\'e, Paris, France 3 CNRS, France 4 Department of Speech, Music ； Hearing, KTH Royal Institute of Technology, Stockholm, Sweden 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 Gelina通过交错标记序列实现语音与手势的统一合成，支持多说话人和多风格克隆，提升语音与手势的同步性与语调对齐。

Comments Paper accepted at ICASSP 2026, 5 pages

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 16122-16126

On the Complementarity of Quantum and Classical Features: Adaptive Hybrid Quantum-Classical Feature Fusion for Breast Cancer Classification

量子与经典特征的互补性：面向乳腺癌分类的自适应混合量子-经典特征融合

Yasmin Rodrigues Sobrinho, João Renato Ribeiro Manesco, João Paulo Papa

机构 * Department of Computing, São Paulo State University（圣保罗州大学计算机系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种混合量子-经典架构，通过双分支特征提取管道融合经典模型和量子电路的互补表示，引入三种特征融合策略提升乳腺癌分类性能。

Comments 41 pages, 16 figures. This manuscript is a preprint under review at Artificial Intelligence in Medicine

Intervention-Aware Multiscale Representation Learning from Imaging Phenomics and Perturbation Transcriptomics

基于影像表型和扰动转录组的干预感知多尺度表征学习

Jiayuan Chen, Ruoqi Liu, Zishan Gu, Ping Zhang

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种干预感知蒸馏框架，利用扰动转录组指导图像表征学习，通过基因表达和干预元数据生成化学感知的代码本，提升对未见干预的迁移能力及药物-靶点基因发现。

Comments CVPR 2026 main conference

PromptEcho: Annotation-Free Reward from Vision-Language Models for Text-to-Image Reinforcement Learning

PromptEcho：基于视觉语言模型的无标注奖励用于文本到图像强化学习

Jinlong Liu, Wanggui He, Peng Zhang, Mushui Liu, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 PromptEcho通过冻结的视觉语言模型计算token级交叉熵损失，无需标注或训练奖励模型，提升文本到图像模型的提示跟随能力，实验显示在多个基准上取得显著提升。

SciCoQA: Quality Assurance for Scientific Paper--Code Alignment

SciCoQA：科学论文与代码对齐的质量保障

Tim Baumgärtner, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（普遍知识处理实验室（UKP实验室）、计算机科学系、德累斯顿技术大学和应用网络安全国家研究中心ATHENE） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SciCoQA数据集，用于评估LLM在科学论文与代码对齐任务中的表现，揭示自动化科学质量保障的关键差距。

Comments Accepted at ACL 2026

2D or 3D: Who Governs Salience in VLA Models? -- Tri-Stage Token Pruning Framework with Modality Salience Awareness

2D或3D：谁在VLA模型中主导显著性？——具有模态显著性意识的三阶段令牌剪枝框架

Zihao Zheng, Sicheng Tian, Zhihao Mao, Lingyue Zhang, Chenyue Li, Ziyun Zhang, Hong Gao, Yuchen Huang, Yutong Xu, Guojie Luo, Xiang Chen

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； ZTE Corporation（中兴通讯） ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学学院） ； School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出三阶段令牌剪枝框架，通过捕捉2D/3D模态显著性的差异与动态，提升VLA模型的推理效率，实验显示在最小精度损失下实现2.55倍的加速。

Robust Multispectral Semantic Segmentation under Missing or Full Modalities via Structured Latent Projection

在缺失或完整模态下通过结构化潜在投影实现鲁棒多光谱语义分割

Irem Ulku, Erdem Akagündüz, Ömer Özgür Tanrıöver

机构 * Department of Computer Engineering, Ankara University（安卡拉大学计算机工程系） ； Department of Modeling and Simulation, Graduate School of Informatics, METU（信息学院建模与模拟系，METU） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CBC-SLP模型，通过结构化潜在投影保留模态不变和特定信息，提升多模态语义分割在缺失或完整模态下的鲁棒性和性能。

Comments 15 pages, 7 figures, 9 tables

Learning Adaptive Reasoning Paths for Efficient Visual Reasoning

学习高效的视觉推理路径

Yixu Huang, Tinghui Zhu, Muhao Chen

机构 * Fudan University（复旦大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出AVR框架，通过分解视觉推理为三个认知功能，动态选择响应格式，减少推理冗余，提升效率。

SAGE Celer 2.6 Technical Card

SAGE Celer 2.6 技术卡片

SAGEA Research Team, Basab Jha, Firoj Paudel, Ujjwal Puri, Adrian Liu, Ethan Henkel, Zhang Yuting, Mateusz Kowalczyk, Mei Huang, Choi Donghyuk, Wang Junhao

机构 * SAGEA ； Tribhuwan University（特里布文大学） ； Vedas College（维达斯学院） ； Madan Bhandari Memorial College（马达恩·巴恩迪纪念学院） ； Fudan University（复旦大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 SAGE Celer 2.6 通过逆向推理管道优化逻辑路径，支持多模态功能，并针对南亚语言进行优化，在数学、编程和一般智能基准测试中表现优异。

Comments 28 pages, 14 figures

Visual Self-Fulfilling Alignment: Shaping Safety-Oriented Personas via Threat-Related Images

视觉自我实现对齐：通过威胁相关图像塑造安全导向的人设

Qishun Yang, Shu Yang, Lijie Hu, Di Wang

机构 * King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹大学科学与技术学院） ； Provable Responsible AI and Data Analytics Lab（可证责任AI与数据分析实验室） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； China University of Petroleum-Beijing at Karamay（北京石油大学克拉玛依校区） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出视觉自我实现对齐方法，通过威胁相关图像训练视觉语言模型，塑造安全导向的人设，减少攻击成功率并提升响应质量。

Semantic-Geometric Dual Compression: Training-Free Visual Token Reduction for Ultra-High-Resolution Remote Sensing Understanding

语义-几何双压缩：无训练视觉令牌减少用于超高清遥感理解

Yueying Li, Fengxiang Wang, Yan Li, Mingshuo Chen, Mengying Zhao, Long Lan

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DualComp框架，通过任务自适应双流令牌压缩方法，有效解决超高清遥感图像处理中视觉令牌过多导致的计算开销问题，提升处理效率和准确性。

LaMI: Augmenting Large Language Models via Late Multi-Image Fusion

LaMI：通过晚期多图像融合增强大型语言模型

Guy Yariv, Idan Schwartz, Yossi Adi, Sagie Benaim

机构 * The Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Bar-Ilan University（巴伊兰大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 LaMI通过在测试时融合多个图像提升视觉常识推理能力，同时保持文本推理性能，适用于视觉和NLP任务。

Comments Accepted to ACL 2026

Enabling Intrinsic Reasoning over Dense Geospatial Embeddings with DFR-Gemma

通过DFR-Gemma实现对密集地理嵌入的内在推理

Xuechen Zhang, Aviv Slobodkin, Joydeep Paul, Mandar Sharma, Samet Oymak, Shravya Shetty, Gautam Prasad

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 DFR-Gemma通过轻量投影器将高维嵌入与LLM潜在空间对齐，使LLM能直接处理地理嵌入进行空间推理，提升效率和准确性。

Bridging MRI and PET physiology: Untangling complementarity through orthogonal representations

弥合MRI与PET生理学：通过正交表示解构互补性

Sonja Adomeit, Kartikay Tehlan, Lukas Förner, Katharina Weisser, Helen Scholtiseek, David Kaufmann, Julie Steinestel, Constantin Lapa, Thomas Kröncke, Thomas Wendler

机构 * Dept. of diagnostic and interventional Radiology and Neuroradiology, University Hospital Augsburg, Germany（德国奥格斯堡大学医院诊断与介入放射学及神经放射学系） ； Digital Medicine, University Hospital Augsburg, Germany（德国奥格斯堡大学医院数字医学） ； Chair for Computer Aided Medical Procedures and Augmented Reality, Technical University of Munich, Germany（德国慕尼黑工业大学计算机辅助医疗流程与增强现实教席） ； Bavarian Center for Cancer Research (BZKF) Augsburg, Germany（德国奥格斯堡巴伐利亚癌症研究中心） ； Dept. of Nuclear Medicine, University Hospital Augsburg, Germany（德国奥格斯堡大学医院核医学系） ； Dept. of Urology, University Hospital Augsburg, Germany（德国奥格斯堡大学医院泌尿外科） ； Center for Advanced Analytics and Predictive Sciences, University of Augsburg, Germany（德国奥格斯堡大学高级分析与预测科学中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种子空间分解框架，通过正交子空间分离重构多模态融合，区分共享信息与模态特有信息，揭示PSMA PET信号中不可由MRI生理描述恢复的部分。

Comments The code is available at https://github.com/SonjaA14/inrmri2pet

Saliency-Guided Representation with Consistency Policy Learning for Visual Unsupervised Reinforcement Learning

基于一致性策略学习的显著性引导表示用于视觉无监督强化学习

Jingbo Sun, Qichao Zhang, Songjun Tu, Xing Fang, Yupeng Zheng, Haoran Li, Ke Chen, Dongbin Zhao

机构 * SKL-MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统管理与控制国家重点实验室） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SRCP框架，通过显著性引导动态任务和一致性策略提升视觉无监督强化学习的零样本泛化能力，改进了传统SR方法在高维视觉环境中的表现。

IBISAgent: Reinforcing Pixel-Level Visual Reasoning in MLLMs for Universal Biomedical Object Referring and Segmentation

IBISAgent: 通过MLLMs增强像素级视觉推理以实现通用生物医学对象指称与分割

Yankai Jiang, Qiaoru Li, Binlu Xu, Haoran Sun, Chao Ding, Junting Dong, Yuxiang Cai, Xuhong Zhang, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Ningbo Global Innovation Center, Zhejiang University（浙江大学宁波全球创新中心） ； Zhejiang Key Laboratory of Digital-Intelligence Service Technology（浙江省数字智能服务技术重点实验室） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出IBISAgent，通过多步决策过程增强MLLMs的像素级视觉推理能力，解决现有分割方法在隐式分割标记和迭代优化方面的不足，提升生物医学分割任务的性能。

NAIMA: Semantics Aware RGB Guided Depth Super-Resolution

NAIMA：基于语义的RGB引导深度超分辨率

Tayyab Nasir, Daochang Liu, Ajmal Mian

机构 * The University of Western Australia（西澳大利亚大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出NAIMA框架，通过引导token注意力模块和DINOv2整合，提升RGB引导深度超分辨率的语义感知能力，在多尺度和数据集上实现显著改进。

3D-IDE: 3D Implicit Depth Emergent

3D-IDE: 3D隐式深度涌现

Chushan Zhang, Ruihan Lu, Jinguang Tong, Yikai Wang, Hongdong Li

机构 * School of Computing, Australian National University（澳大利亚国立大学计算学院） ； School of EECS, The University of Queensland（昆士兰大学电气工程与计算机科学学院） ； FreiNexus ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出3D-IDE方法，通过几何自监督学习实现3D感知的隐式涌现，消除了深度和姿态依赖，提升推理效率和多任务性能。

Comments CVPR 2026 accepted. Project page: https://chushanzhang.github.io/3D-IDE/

Efficient3D: A Unified Framework for Adaptive and Debiased Token Reduction in 3D MLLMs

Efficient3D: 一种用于3D多模态大语言模型中自适应和去偏token减少的统一框架

Yuhui Lin, Siyue Yu, Yuxing Yang, Guangliang Cheng, Jimin Xiao

机构 * Xi’an Jiaotong-Liverpool University（西交利物浦大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Efficient3D框架，通过去偏视觉token重要性估计器和自适应token再平衡策略，实现3D MLLMs的高效推理，提升性能并降低计算开销。

Variational Encoder--Multi-Decoder (VE-MD) for Privacy-by-functional-design (Group) Emotion Recognition

变分编码器-多解码器（VE-MD）用于隐私-by-功能设计（群体）情绪识别

Anderson Augusma, Dominique Vaufreydaz, Fédérique Letué

机构 * Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学, 法国国家科学研究中心, 格勒诺布尔国立理工学院, 信息学实验室） ； Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学, 法国国家科学研究中心, 格勒诺布尔国立理工学院, 让·库尔坦研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VE-MD框架，通过约束模型仅预测群体层面情绪，避免个体监控，提升群体情绪识别性能，实验显示其在多个数据集上表现优异。

CoDA: Exploring Chain-of-Distribution Attacks and Post-Hoc Token-Space Repair for Medical Vision-Language Models

CoDA：探索链式分布攻击及事后令牌空间修复用于医疗视觉-语言模型

Xiang Chen, Fangfang Yang, Chunlei Meng, Yuxian Dong, Ang Li, Yiwei Wei, Jiahuan Long, Jiujiang Guo, Chengyin Hu

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CoDA框架，通过构建临床合理的流程偏移，评估医疗视觉-语言模型在真实临床工作流中的可靠性，发现零样本性能显著下降，并引入事后修复策略提升准确性。

The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment

妥协的几何学：通过可控的模态对齐解锁生成能力

Hongyuan Liu, Qinli Yang, Wen Li, Zhong Zhang, Jiaming Liu, Wei Han, Zhili Qin, Jinxia Guo, Junming Shao

机构 * University of Electronic Science and Technology of China（电子科技大学） ； University of Bristol（布里斯托大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过几何分析揭示模态间隙的两个组成部分，提出TPC-CMA框架以减少两者，显著提升跨模态对齐性能，实验显示在不同目标α下模态间隙大幅降低，同时保持高准确性。

Trimodal Deep Learning for Glioma Survival Prediction: A Feasibility Study Integrating Histopathology, Gene Expression, and MRI

三模态深度学习在胶质瘤生存预测中的应用：整合组织病理学、基因表达和MRI的可行性研究

Iain Swift, JingHua Ye

机构 * Munster Technological University（芒斯特理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨了三模态深度学习在胶质瘤生存预测中的可行性，通过整合组织病理学、基因表达和MRI数据，评估了不同融合策略的效果，发现三模态早期融合在小样本下有初步的预测价值。

Comments 6 pages, 1 figure, submitted to the IEEE CBMS 2026 conference, still waiting for notification

AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models

AGFT：基于对齐的微调以提升视觉-语言模型的零样本对抗鲁棒性

Yubo Cui, Xianchao Guan, Zijun Xiong, Zheng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute, Shenzhen, China（深圳市环域研究所） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AGFT框架，通过概率预测进行文本引导对抗训练，提升视觉-语言模型的零样本对抗鲁棒性，同时保持跨模态语义结构。

Comments Accepted by CVPR 2026; Code is available at \url{https://github.com/YuboCui/AGFT}

Sigma: Semantically Informative Pre-training for Skeleton-based Sign Language Understanding

Sigma：基于骨骼的语义信息预训练用于手语理解

Muxin Pu, Mei Kuan Lim, Chun Yong Chong, Chen Change Loy

机构 * School of Information Technology, Monash University（莫纳什大学信息技术学院） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 Sigma提出一种统一的骨骼手语理解框架，通过语义对齐学习和预训练策略提升手语识别与翻译性能，展现语义信息预训练在多语言手语任务中的有效性。

BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models

BabyVLM-V2：迈向基于发展基础的视觉基础模型预训练与基准测试

Shengao Wang, Wenqi Wang, Zecheng Wang, Max Whitton, Michael Wakeham, Arjun Chandra, Joey Huang, Pengyue Zhu, Helen Chen, David Li, Jeffrey Li, Shawn Li, Andrew Zagula, Amy Zhao, Andrew Zhu, Sayaka Nakamura, Yuki Yamamoto, Jerry Jun Yokono, Aaron Mueller, Bryan A. Plummer, Kate Saenko, Venkatesh Saligrama, Boqing Gong

机构 * Boston University（波士顿大学） ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 BabyVLM-V2通过纵向多维预训练集、灵活模型和DevCV工具箱，提升婴儿启发式视觉语言模型性能，实验证明其在基准测试中表现优异。

Comments Accepted to CVPR 2026 main track

Distilled Large Language Model-Driven Dynamic Sparse Expert Activation Mechanism

distilled 大语言模型驱动的动态稀疏专家激活机制

Qinghui Chen, Zekai Zhang, Zaigui Zhang, Kai Zhang, Dagang Li, Wenmin Wang, Jinglin Zhang, Cong Liu

机构 * Laoshan Laboratory（崂山实验室） ； Jinan Inspur Data Technology Co., Ltd（济南浪潮数据技术有限公司） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出 DS-MoE 框架，通过文本引导的动态路由和轻量多尺度理解，解决跨类模糊问题，实验证明其在 PCB 等数据集上优于现有纯视觉模型。

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

DUET-VLM：双阶段统一高效令牌减少用于VLM训练和推理

Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

机构 * Advanced Micro Devices, Inc. (AMD)（超威半导体公司（AMD）） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DUET-VLM通过双阶段令牌压缩框架，在保持语义的同时显著减少视觉令牌数量，实现高效训练和推理。

Comments 15 Pages, 8 figures, 15 tables, CVPR 2026; Code: AGI/DUET-VLM" target="_blank" rel="noopener">https://github.com/AMD-AGI/DUET-VLM