Ambient @ EgoLongQA 2026: Distilling Long-Video perception into a Sub-2B Model
Team Ambient(环境团队)
通过将智能体流水线的感知模块蒸馏到修剪后的2B模型中,以1.1%参数达到大型流水线89%准确率,在EgoLongQA挑战赛≤2B组别夺冠。
2026-09-11 cs.CV
Distilling Large Vision-Language Model with Out-of-Distribution Generalizability
UC San Diego(加州大学圣地亚哥分校)
针对大型视觉-语言模型部署难题,本文提出从视觉和语言模态两方面蒸馏教师模型到轻量学生模型,通过模仿视觉空间和丰富语义属性,显著提升开放词汇分布外分类的零样本和少样本性能。
2023-10-11 cs.AI cs.CL cs.CV
Visual Program Distillation: Distilling Tools and Programmatic Reasoning into Vision-Language Models
Google Research(谷歌研究院);University of Washington(华盛顿大学)
本文提出 Visual Program Distillation(VPD),通过采样、执行并验证 LLM 生成的视觉程序,将正确推理链蒸馏为 VLM 的单次前向推理能力,并在多个视觉问答与推理基准上取得最先进结果。
2024-04-05 cs.CL cs.CV
NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval
Aalto University(阿alto大学)
利用查询-文档不对称性,通过蒸馏将20亿参数的视觉语言模型教师蒸馏为7000万参数的纯文本学生编码器,采用点态余弦对齐目标,实现视觉文档检索的高效推理。
2026-09-01 cs.CV cs.IR cs.LG
Distilling Expert Surgical Knowledge: How to train local surgical VLMs for anatomy explanation in Complete Mesocolic Excision
1 Institute of Medical Technology;Intelligent Systems, Hamburg University of Technology, Hamburg, Germany 2 Department of General, Visceral;Thoracic Surgery, University Medical Center Hamburg-Eppendorf, Hamburg, Germany
本文提出一种隐私保护框架,通过从大型通用LLM中萃取知识,训练出高效的本地手术VLM,用于在完全网膜切除术中进行解剖解释。
2025-12-05 cs.CV
Distilling Visual Reasoning into Text Space
University of California, Los Angeles(加州大学洛杉矶分校);Cisco Research(思科研究院)
提出V2T框架,通过知识蒸馏将视觉推理内化到文本空间,避免推理时生成中间视觉表示,在多个多模态基准上平均准确率提升14.3%,训练速度提升42倍。
2026-09-29 cs.CV
Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models
POSTECH(浦项科技大学);GSAI, POSTECH(浦项科技大学人工智能学院);IME, POSTECH(浦项科技大学工程学院)
本文针对视觉-语言-动作(VLA)模型动作解码器未明确行为语义目标的问题,提出INDI方法提炼行为级意图,在多个基准及真实任务中显著提升了GR00T-N1.7的性能。
2026-08-25 cs.AI cs.CV cs.RO
Exploring and Distilling Cross-Modal Information for Image Captioning
Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学)
近来,基于注意力的编码器-解码器模型已经广泛地用于图像描述中。然而,目前的方法仍然存在很大的困难,以实现深的图像理解。在这项工作中,我们认为,这种理解需要视觉上的关注相关的图像区域和语义关注感兴趣的连贯属性。基于Transformer模型,从跨模态的角度对图像描述进行了研究,提出了全局和局部信息挖掘与提取方法,对视觉和语言中的源信息进行挖掘和提取,以实现有效的注意。它通过提取显著区域分组和属性搭配,全局地提供基于字幕上下文的图像的空间和关系表示的方面向量,并参考方面向量局部地提取细粒度的区域和属性用于词选择。我们的基于Transformer的模型在COCO测试集上的离线COCO评估中获得了129.3的CIDER分数,在准确性,速度和参数预算方面具有显着的效率。
2020-03-15 cs.CL cs.CV cs.LG
SIMPLOT: Enhancing Chart Question Answering by Distilling Essentials
KAIST(韩国科学技术院)
针对图表中无关信息降低图表转表格提取性能的问题,提出SIMPLOT方法,通过模仿仅含核心信息的简单图表进行表格提取并推理,无需额外数据即可提升图表问答准确性。
2025-02-03 cs.AI cs.CL cs.CV
LLaVA-KD: A Framework of Distilling Multimodal Large Language Models
Huazhong University of Science and Technology(华中科技大学);Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室);Huazhong Agricultural University(华中农业大学)
本文提出LLaVA-KD框架,通过多模态蒸馏、关系蒸馏和三阶段训练将大规模多模态大语言模型的知识迁移到小规模模型,在不改变架构的情况下显著提升小模型性能。
2025-07-03 cs.CV
ViThinker: Active Vision-Language Reasoning via Dynamic Perceptual Querying
School of Computing, University of Georgia(计算机学院,佐治亚大学);School of Engineering and Applied Science, Princeton University(工程与应用科学学院,普林斯顿大学)
ViThinker通过动态感知查询实现主动视觉-语言推理,提升感知基础和推理准确性。
2026-02-02 cs.CV
Derm1M: A Million-scale Vision-Language Dataset Aligned with Clinical Ontology Knowledge for Dermatology
Monash University(莫纳什大学);National University of Singapore(新加坡国立大学);Medical University of Vienna(维也纳医科大学)
针对皮肤病学缺乏标准大规模图像-文本对数据集的问题,提出首个百万级视觉-语言数据集Derm1M(含102万余对样本,覆盖多层级皮肤状况与临床概念),预训练模型在多任务上优于现有基础模型。
2025-04-13 cs.CV
DLIP: Distilling Language-Image Pre-training
Bytedance Inc(字节跳动公司);Peng Cheng Laboratory(鹏城实验室);Xiamen University(厦门大学)
针对视觉-语言预训练模型参数量大难部署的问题,提出DLIP蒸馏框架,从多维度优化蒸馏过程,实现了轻量VLP模型的高性能与高效推理的平衡。
2023-08-24 cs.AI cs.CV cs.LG
Orion-Lite: Distilling LLM Reasoning into Efficient Vision-Only Driving Models
Eindhoven University of Technology(埃因霍温理工大学)
本文提出Orion-Lite,通过潜特征蒸馏和真实轨迹监督,在闭环评估中实现高效视觉-only驾驶模型,超越大规模VLA模型ORION,达到Bench2Drive基准的80.6 Driving Score。
2026-04-09 cs.CV
LongPerceptualThoughts: Distilling System-2 Reasoning for System-1 Perception
University of Toronto(多伦多大学);Vector Institute(矢量研究所);NVIDIA(英伟达);Purdue University(普渡大学)
本文提出LongPerceptualThoughts数据集及三阶段合成框架,为感知任务生成长思维链,训练7B模型在视觉基准上平均提升3.4点,并改善文本推理性能。
2025-04-21 cs.CL cs.CV cs.LG
Compressing History into Memory: Distilling Transformers into Recurrent Transformers
Naver Labs Europe
提出蒸馏方法,将全历史Transformer的压缩策略迁移至循环Transformer,通过瓶颈表示监督学生模型记忆,缩小性能差距并实现线性时间复杂度。
2026-10-02 cs.CV cs.LG
Efficient Quantization-Aware Distillation with Cross-Modal Alignment for Edge Vision-Language Models
Korea University(高丽大学);Seoul National University(首尔大学)
针对边缘设备上视觉语言模型部署,提出统一教师锚定框架联合优化蒸馏与量化,并设计交叉注意力适配器增强非RGB模态,实验证明有效。
2026-09-16 cs.CV
Distilling Vision Transformers for Distortion-Robust Representation Learning
Department of Informatics and Telecommunications, National and Kapodistrian University of Athens, Greece(希腊雅典国家与卡波迪斯蒂亚纳大学信息与电信系);National Observatory of Athens, Greece(希腊雅典国家天文台);Information Management Systems Institute, Athena Research Center, Greece(希腊阿提卡研究中心信息管理系统研究所)
本文提出一种不对称知识蒸馏框架,通过预训练视觉变换器学习抗失真表示,使学生模型在无需直接访问干净数据的情况下逼近干净图像表示,优于现有方法。
2026-04-24 cs.CV
A Good Prompt Is Worth Millions of Parameters: Low-resource Prompt-based Learning for Vision-Language Models
University of Southern California(南加州大学);Microsoft Corporation(微软公司)
大型预训练的视觉语言(VL)模型可以通过少量示例学习新任务,并在无需微调的情况下推广到新任务。然而,这些VL模型很难部署到现实世界的应用程序,由于其不切实际的巨大的尺寸和缓慢的推理速度。为了解决这个问题,我们研究了基于低资源的学习VL任务与我们提出的方法,FewVLM,相对小于最近的Few-Shot学习者。对于FewVLM,我们使用前缀语言建模(PrefixLM)和掩码语言建模(MaskedLM)预训练序列到序列的Transformer模型。此外,我们分析了不同的提示Few-Shot任务的效果。在VQA上的实验结果表明,FewVLM与基于学习的FewVLM的性能优于Frozen,Frozen是FewVLM的31倍,比FewVLM大18.2%,并且与246倍大的模型PICa取得了相当的结果。在我们的分析中,我们观察到:(1)提示显著影响zero-shot性能,但对Few-Shot性能的影响很小;(2)在较大的训练数据下,具有噪声提示的模型与手工制作的提示一样快;(3)MaskedLM有助于VQA任务,而PrefixLM提高字幕性能。我们的代码可在\url{https://github.com/woojeongjin/FewVLM}上公开获取
2022-03-15 cs.CL cs.CV
EM-KD: Distilling Efficient Multimodal Large Language Model with Unbalanced Vision Tokens
Baidu VIS(百度视觉)
EM-KD通过改进的知识蒸馏方法,有效提升高效多模态大语言模型的视觉理解和效率。
2025-11-26 cs.CV
MemLoRA: Distilling Expert Adapters for On-Device Memory Systems
Samsung R&D Institute UK(三星英国研发中心);Technical University of Munich(慕尼黑技术大学);Helmholtz Munich(慕尼黑海德堡研究所)
MemLoRA通过为小型语言模型添加专用记忆适配器,实现设备端记忆系统的本地部署,并扩展至视觉理解任务,提升多模态场景下的性能。
2025-12-04 cs.CL cs.CV cs.LG
Online In-Context Distillation for Low-Resource Vision Language Models
Inria(法国国家信息与自动化研究所);Toyota Motor Europe(丰田汽车欧洲公司)
本文提出在线上下文蒸馏方法,通过小模型与强教师模型协作,利用稀疏演示高效缩小性能差距,提升小模型性能达33%,在低资源条件下实现与零样本性能相当的成果。
2026-04-07 cs.CV
Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models
该研究提出轻量架构无关框架Space Tokens,将空间信息蒸馏为连续token融入VLMs的思维链,在VSI-Bench上提升两款模型性能,在尺寸估计任务达SOTA,实现高效空间推理。
2026-08-12 cs.CV
Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: A Comprehensive Evaluation
School of Computer Science and Engineering, School of Intelligence Science and Engineering and Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Southeast University, China(东南大学计算机科学与工程学院、智能科学与工程学院及新一代人工智能技术及其跨学科应用关键实验室,中国);Wangxuan Institute of Computer Technology, Peking University, China(北京大学王轩计算机技术研究所,中国);University of Copenhagen, Denmark(丹麦哥本哈根大学)
本文提出FG-BMK基准,通过101万问题和33万张图像评估LVLMs的语义识别与细粒度特征表示能力,揭示训练范式、模态对齐等对性能的影响,为未来模型设计提供指导。
2026-04-30 cs.CV
VLIC: Vision-Language Models As Perceptual Judges for Human-Aligned Image Compression
Stanford University(斯坦福大学);Google Research(谷歌研究);Google DeepMind(谷歌DeepMind)
VLIC利用视觉-语言模型进行图像压缩,通过零样本推理实现人类感知对齐,提升压缩性能。
2025-12-17 cs.CV
3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation
Graduate School of Artificial Intelligence, KAIST(韩国科学技术院人工智能研究生院)
针对现有视觉语言模型3D空间理解能力不足的问题,提出无需标注的轻量几何蒸馏微调框架,从3D基础模型蒸馏三类几何信息增强模型表征,以更低计算成本实现更优的3D推理性能。
2025-11-17 cs.AI cs.CV
Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University(上海交通大学);Huawei Cloud & AI(华为云与人工智能)
弱监督时间动作定位(WTAL)学习仅使用类别标签检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练(CBP)来生成用于动作定位的视频特征。然而,分类和局部化的优化目标不同,使得时间局部化的结果存在严重的不完全问题。为了解决这个问题而不需要额外的注释,本文考虑从视觉语言预训练(VLP)中提取自由动作知识,因为我们惊讶地观察到vanilla VLP的本地化结果有一个过完备的问题,这只是对CBP结果的补充。为了融合这种互补性,我们提出了一种新的蒸馏协作框架,两个分支分别作为CBP和VLP。该框架通过双分支交替训练策略进行优化。具体来说,在B步骤期间,我们从CBP分支中提取置信背景伪标签;而在F步骤期间,置信前景伪标签从VLP分支中提取。从而有效地融合了双分支的互补性,促进了强强联合。在THUMOS 14和ActivityNet1.2上进行的大量实验和消融研究表明,我们的方法显着优于最先进的方法。
2022-12-19 cs.CV
Distilling Self-Supervised Vision Transformers for Weakly-Supervised Few-Shot Classification & Segmentation
Meta AI;POSTECH(浦项科技大学);Australian National University(澳大利亚国立大学)
本文利用自监督预训练视觉Transformer的token相关性,通过自注意力和伪标签增强器实现弱监督少样本分类与分割,在Pascal-5i和COCO-20i上显著提升性能。
2023-07-07 cs.CV
Leveraging Vision-Language Models for Improving Domain Generalization in Image Classification
Indian Institute of Science(印度科学学院)
针对黑盒VLM蒸馏难以迁移分布外泛化能力的问题,提出VL2V-ADiP方法,通过模态对齐与蒸馏融合VLM的泛化特性,在域泛化基准的黑盒与白盒设置下均取得最优结果。
2024-03-09 cs.CV
Distilling Vision-Language Pretraining for Efficient Cross-Modal Retrieval
Meta AI;Korea University(高丽大学);University of Central Florida(中佛罗里达大学)
本文提出DCMQ方法,利用视觉-语言预训练模型作为教师蒸馏知识至哈希学生模型,结合NPC变换和PQG量化,显著提升跨模态检索性能。
2024-05-23 cs.CV
Scaling Up Vision-Language Pre-training for Image Captioning
Microsoft(微软)
近年来,基于视觉语言预训练(VLP)的图像描述任务的性能得到了显著提高。规模被认为是这一进步的重要因素。然而,大多数现有的工作只集中在预训练具有中等大小的Transformers(例如,12或24层),大约400万张图像。在本文中,我们提出了LEMON,一个大规模的图像captiONer,并提供了第一个实证研究的缩放行为的VLP的图像描述。我们使用最先进的VinVL模型作为我们的参考模型,该模型由图像特征提取器和Transformer模型组成,并将Transformer上下缩放,模型大小从1300万到6.75亿参数不等。在数据方面,我们进行了多达2亿的图像-文本对,这是自动收集的基础上的alt属性的图像(称为ALT 200 M)从Web上的实验。随着模型大小和预训练数据大小的增加,广泛的分析有助于表征性能趋势。我们还比较了不同的训练配方,特别是在大规模噪声数据上的训练。因此,LEMON在几个主要的图像描述基准上达到了新的技术水平,包括COCO Caption、nocaps和Conceptual Captions。我们还表明,LEMON可以产生长尾视觉概念的字幕时,在zero-shot的方式使用。
2022-03-26 cs.CL cs.CV
TinyMIM: An Empirical Study of Distilling MIM Pre-trained Models
Microsoft Research Asia(微软亚洲研究院)
掩码图像建模(MIM)在预训练大型视觉Transformer(ViTs)中表现强劲。然而,对于现实世界的应用程序至关重要的小模型不能或只能从这种预训练方法中获益。在本文中,我们探索了蒸馏技术,将基于MIM的大型预训练模型的成功转移到较小的模型中。我们系统地研究了蒸馏框架中的不同方案,包括蒸馏目标、损失、输入、网络正则化、顺序蒸馏等,发现:1)蒸馏标记关系比基于CLS标记和特征的蒸馏更有效;(二)当学生网络的深度与教师网络的深度不匹配时,教师网络的中间层作为目标比使用最后一层的效果更好。教师;有了这些发现,我们在ImageNet-1 K分类上使用所有ViT-Tiny,ViT-Small和ViT-base模型,分别获得了+4.2%/+2.4%/+1.4%的增益,比scratch MIM预训练的精度有了显着的微调提高。我们的TinyMIM模型在AE 20 K语义分割中实现了52.2 mIoU,比MAE基线高出+4.1。我们的TinyMIM小尺寸模型在ImageNet-1 K图像分类上达到了79.6%的top-1准确率,创下了相同尺寸和计算预算的小型视觉模型的新纪录。这种强大的性能表明了开发小型视觉Transformer模型的另一种方法,即通过探索更好的训练方法,而不是像大多数以前的作品那样将归纳偏差引入架构。代码可在https://github.com/OliverRensu/TinyM…
2023-01-03 cs.CV
VLM Agents Generate Their Own Memories: Distilling Experience into Embodied Programs of Thought
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文提出上下文抽象学习(ICAL),让VLM智能体通过自我反思和人类反馈将次优轨迹提炼为高质量示例,在多个基准上显著超越原始示范并减少人工干预。
2025-09-18 cs.AI cs.CV cs.LG
EfficientVLM: Fast and Accurate Vision-Language Models via Knowledge Distillation and Modal-adaptive Pruning
Beihang University(北京航空航天大学);ETH Zurich(苏黎世联邦理工学院);Bytedance AI Lab(字节跳动人工智能实验室)
预训练的视觉语言模型(VLM)在一系列视觉语言任务中取得了令人印象深刻的结果。然而,流行的VLM通常由数亿个参数组成,由于空间,内存和延迟限制,这给实际应用中的微调和部署带来了挑战。在这项工作中,我们引入了一个提取,然后修剪框架压缩大型视觉语言模型到更小,更快,更准确的。我们首先缩小预训练的大型VLM的大小,并在视觉语言预训练阶段应用知识蒸馏以获得与任务无关的紧凑VLM。然后,我们提出了一种模态自适应修剪算法,自动推断视觉和语言模态的重要性,为不同的下游任务,并自适应地删除冗余结构和神经元在不同的编码器与可控的目标稀疏。我们将我们的框架应用于训练EfficientVLM,这是一个快速准确的视觉语言模型,由6个视觉层,3个文本层和3个跨模态融合层组成,总共只有9300万个参数,占教师模型的44.3%。EfficientVLM保留了教师模型98.4%的性能,并将其推理速度加快了2.2倍。EfficientVLM在各种视觉语言任务上,包括VQAv2(+4.9%),NLVR2(+5.6%),ITR(TR上的R@1 +17.2%,IR上的R@1 +15.6%)和COCO字幕生成(CIDEr +6.5),与之前类似大小的SoTA高效VLM相比,实现了很大的绝对改进,展示了训练轻量级VLM的巨大潜力。
2022-10-14 cs.CL cs.CV
Distilling Counterfactual Reasoning from Language to Vision: Causal Graph Guided Post-Training for Video Understanding
Rutgers University(新泽西罗格斯大学)
针对视觉语言模型在反事实推理上的不足,提出CounterVQA基准和CFGPT后训练方法,通过从语言模态蒸馏反事实推理能力提升视频理解。
2026-05-28 cs.CL cs.CV
Distill-SODA: Distilling Self-Supervised Vision Transformer for Source-Free Open-Set Domain Adaptation in Computational Pathology
EPFL(洛桑联邦理工学院);CHUV(洛桑大学医院)
本文提出 Distill-SODA,通过自监督 ViT 蒸馏、风格对抗增强与 CSAS 伪标签校正,解决计算病理学中的无源开放集域适应问题。
2024-01-16 cs.CV
Distilling Efficient Vision Transformers from CNNs for Semantic Segmentation
HKUST(GZ)(香港科技大学(广州));Brown University(布朗大学);University of Science and Technology of China(中国科学技术大学);HKUST(香港科技大学)
本文提出C2VKD框架,通过视觉-语言特征蒸馏和像素级解耦蒸馏,将CNN教师知识有效转移至紧凑ViT学生模型,在语义分割基准上mIoU增量超过SoTA KD方法的200%。
2023-10-11 cs.CV
Distilling Out-of-Distribution Robustness from Vision-Language Foundation Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Lapis Labs(拉皮斯实验室);Microsoft Research(微软研究院)
提出离散对抗蒸馏(DAD)框架,利用鲁棒教师模型与VQGAN生成离散对抗样本,提升视觉模型分布外鲁棒性,计算开销小且可与其他增强方法结合。
2024-02-05 cs.AI cs.CV cs.LG
Theia: Distilling Diverse Vision Foundation Models for Robot Learning
Stony Brook University(石溪大学);The AI Institute(人工智能研究院)
针对机器人策略学习需多样视觉理解的需求,提出蒸馏多现成视觉基础模型的Theia模型,以更少数据和更小尺寸实现更优性能,还探究了表征熵与学习效果的关联。
2024-10-10 cs.AI cs.CV cs.LG
OccamVTS: Distilling Vision Models to 1% Parameters for Time Series Forecasting
针对现有大视觉模型用于时序预测时参数冗余、高层语义噪声损害精度的问题,提出OccamVTS知识蒸馏框架,仅保留1%核心参数即可达到SOTA性能,在少/零样本场景表现优异。
2025-11-14 cs.CV cs.LG
The Color of the Cat is Gray: 1 Million Full-Sentences Visual Question Answering (FSVQA)
The University of Tokyo(东京大学)
视觉问答任务是人工智能中最重要的两个组成部分,它将语言和视觉的交互作用推向了一个新的阶段。然而,它主要集中在生成简短和重复的答案,主要是单个单词,这与人类丰富的语言能力不符。我们介绍了全句子视觉问答(FSVQA)数据集,包括近100万对图像的问题和全句子答案,通过将一些基于规则的自然语言处理技术应用于MS COCO数据集中的原始VQA数据集和标题。这给传统的VQA任务带来了许多额外的复杂性,我们为接近和评估任务提供了一个基线,在此基础上,我们邀请研究界进一步改进。
2016-09-21 cs.CL cs.CV
ViT-Linearizer: Distilling Quadratic Knowledge into Linear-Time Vision Models
Johns Hopkins University(约翰霍普金斯大学)
ViT-Linearizer通过激活匹配和掩码预测方法,将ViT的二次自注意力知识蒸馏到线性时间递归模型中,提升高分辨率任务效率并改进Mamba架构性能。
2026-02-26 cs.AI cs.CV
Distilling Knowledge from CNN-Transformer Models for Enhanced Human Action Recognition
Iran University of Science and Technology(伊朗科技大学)
本文提出以 ConvNeXt 为教师、ViT 类 Transformer 为学生的知识蒸馏框架,融合局部与全局特征,在 Stanford 40 上显著提升动作识别准确率和 mAP。
2023-11-02 cs.CV
Improving Visual Recommendation on E-commerce Platforms Using Vision-Language Models
Mercari, Inc.(Mercari公司)
本研究通过微调视觉语言模型SigLIP,在Mercari平台上实现了视觉相似商品推荐,离线nDCG@5提升9.1%,在线点击率提升50%,转化率提升14%,验证了VLM编码器的有效性。
2025-10-15 cs.CV cs.IR cs.LG
Distilling Spectral Graph for Object-Context Aware Open-Vocabulary Semantic Segmentation
Yonsei University(延世大学);University of California, Merced(加州大学默塞德分校)
本文提出通过将视觉基础模型的谱驱动特征蒸馏到视觉编码器注意力机制中,并利用零样本对象存在似然细化文本嵌入,以引入对象级上下文知识,从而提升开放词汇语义分割在复杂对象上的分割精度和泛化能力。
2025-04-07 cs.CV
Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation
该研究针对城市洪水缺乏厘米级实时深度估计的问题,提出三种视觉-语言模型,通过机械可解释性分析确定关键交叉注意力层进行选择性微调,在合成与真实基准测试中均实现高精度洪水深度估计,大幅减少可训练参数。
2026-08-11 cs.CV cs.LG
Adversarial Prompt Distillation for Vision-Language Models
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University(上海智能信息处理实验室,计算机科学学院,复旦大学);The Chinese University of Hong Kong, Shatin, Hong Kong(香港中文大学,沙田,香港);The University of Hong Kong, Pokfulam, Hong Kong(香港大学,薄扶林,香港)
提出双模态知识蒸馏框架APD,通过同时优化视觉和文本模态提示并从干净教师模型蒸馏知识,有效提升了视觉语言模型的对抗鲁棒性与干净准确率。
2025-09-16 cs.AI cs.CV
ArtVLM: Attribute Recognition Through Vision-Based Prefix Language Modeling
Google Research(谷歌研究院);OpenAI
针对 CLIP 难以捕捉零样本属性识别中物体-属性依赖的问题,本文提出 ArtVLM,用视觉条件下的句子生成概率进行生成式检索,并在 VAW 与新建 VGARank 上验证其优于对比检索。
2024-10-02 cs.AI cs.CV
WuDaoMM: A large-scale Multi-Modal Dataset for Pre-training models
与特定领域模型相比,视觉语言预训练模型(VLPM)在下游任务上表现出更好的性能,具有快速的微调过程。例如,ERNIE-ViL、Oscar和UNIMO训练了具有统一Transformers堆栈架构和大量图文配对数据的VLPM,在图文参考等下游任务上取得了显著成绩(IR和TR)、视觉问答(VQA)和图像描述(IC)等。在训练阶段,VLPM通常由多个公共数据集组合而成,以满足大规模训练数据的需求。然而,由于数据分布的不均匀性,包括大小,任务类型和质量,使用多个数据集的混合进行模型训练可能会有问题。在这项工作中,我们介绍了一个大规模的多模态语料库WuDaoMM,总共包含超过650 M的图像-文本对。具体而言,约6亿对数据来自图像和标题呈现弱相关性的多个网页,另外5000万个强相关性的图像-文本对来自一些高质量的图形网站。我们还发布了WuDaoMM的基础版本,其中包含500万个强相关的图像-文本对,足以支持常见的跨模态模型预训练。此外,我们训练了理解和生成视觉语言(VL)模型来测试数据集的有效性。结果表明,WuDaoMM可以作为VLPM的有效数据集,特别是在文本到图像生成任务的模型。数据发布于https://data.wudaoai.cn
2022-05-01 cs.CL cs.CV
SpectralKD: A Unified Framework for Interpreting and Distilling Vision Transformers via Spectral Analysis
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Aeronautics and Astronautics, Zhejiang University(浙江大学航空航天学院)
提出SpectralKD统一分析框架,通过频谱分析揭示ViTs的模型级与层级信息特征,据此设计无参数频谱对齐方法,在ImageNet-1K上实现SOTA性能,并发现蒸馏动力学新领域。
2025-01-30 cs.CV cs.LG
FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation Models
UC San Diego(加利福尼亚大学圣迭戈分校);TuSimple(图森未来)
本文提出FeatureNeRF框架,通过蒸馏DINO、Latent Diffusion等视觉基础模型学习可泛化NeRF,将2D图像映射为连续3D语义特征体,并在关键点迁移和部件分割任务上验证其作为通用3D语义特征提取器的有效性。
2023-03-22 cs.CV
DUNE: Distilling a Universal Encoder from Heterogeneous 2D and 3D Teachers
NAVER LABS Europe(NAVER欧洲实验室)
针对异构2D/3D多教师蒸馏难题,提出数据共享与教师专属编码策略,构建通用编码器DUNE,在多类视觉任务上性能媲美甚至超越大模型教师。
2025-03-24 cs.CV cs.LG
Distilling Vision-Language Foundation Models: A Data-Free Approach via Prompt Diversification
Hikvision Research Institute(海康威视研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Fuzhou University(福州大学)
本文提出通过提示多样化方法,在无数据条件下将视觉-语言基础模型蒸馏为紧凑学生模型,以继承分布外泛化能力,其中对比提示效果最佳。
2024-07-21 cs.AI cs.CV cs.MM
Anatomy-Anchored Self-Supervision: Distilling Vision Foundation Models for Invariant Ultrasound Representation
Hunan University(湖南大学);Shenzhen Maternity and Child Healthcare Hospital(深圳妇幼保健医院)
提出解剖锚定的超声自监督框架ANAUS,通过可学习潜在提示引擎和领域自适应实现无标注解剖分割,并设计双策略自监督学习(语义感知解剖分离对齐和上下文核心区域预测)来增强表示学习,在六个公开数据集上超越现有方法。
2026-06-03 cs.AI cs.CV