VersaViT: Enhancing MLLM Vision Backbones via Task-Guided Optimization
School of Artificial Intelligence, Shanghai Jiao Tong University, China(上海交通大学人工智能学院);CMIC, Shanghai Jiao Tong University, China(上海交通大学计算机学院);WeChat AI, Tencent Inc., China(腾讯公司)
VersaViT通过任务引导优化增强MLLM视觉骨干,解决其在密集预测任务中的性能问题,提升视觉任务的适应性与表现。
2026-02-10 cs.CV
VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks
OpenGVLab(开放通用视觉实验室);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院);Nanjing University(南京大学);The University of Hong Kong(香港大学);Beijing Institute of Technology(北京理工大学);The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学)
VisionLLM v2 提出端到端通用多模态大模型,通过 super link 机制连接 MLLM 与任务专用解码器,并在数百个视觉语言任务上联合训练,以共享参数实现目标定位、姿态估计、图像生成编辑等多样化任务,性能可比肩专用模型。
2024-12-31 cs.CV
UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models
Samsung AI Cambridge(三星人工智能剑桥实验室);Technical University of Iasi(雅西技术大学);Queen Mary University of London(伦敦玛丽女王大学)
针对大型视觉语言模型在设备端部署受限问题,提出UltraViT视觉编码器,通过考虑设备延迟设计金字塔架构,并采用两阶段生成式预训练策略,有效提升编码效率,优于现有基线。
2026-07-28 cs.CV
LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models
Li Auto Inc.(利自动公司)
本文提出LearnPruner,通过两阶段令牌修剪框架在视觉语言模型中实现高效修剪,保留95%性能的同时减少5.5%视觉令牌使用,提升3.2倍推理速度。
2026-10-09 cs.CV
VoCo-LLaMA: Towards Vision Compression with Large Language Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);UC Santa Cruz(加州大学圣克鲁兹分校)
提出VoCo-LLaMA,首个利用大语言模型进行视觉token压缩的方法,通过引入Vision Compression tokens和注意力蒸馏实现高效压缩,在极低性能损失下大幅减少计算量并加速推理,且在视频问答任务上表现优异。
2025-03-03 cs.CV
MoVA: Adapting Mixture of Vision Experts to Multimodal Context
CUHK(香港中文大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室);CPII under InnoHK(InnoHK下属CPII机构)
针对单一视觉编码器存在任务偏差的问题,提出新型多模态大语言模型MoVA,通过由粗到细的机制自适应路由融合多视觉专家,在多类多模态基准上取得显著性能提升。
2024-10-31 cs.CV
AdaLoop: Thinking with the Vision Encoder
Harvard University(哈佛大学);MIT(麻省理工学院)
该研究提出AdaLoop框架,通过问题条件的迭代视觉计算复用冻结的预训练视觉编码器,在VisRO任务及三类VLM的分布内外场景中,性能优于基线方法,证明预训练视觉编码器可助力推理。
2026-11-05 cs.CV
Skip-Vision: Efficient and Scalable Acceleration of Vision-Language Models via Adaptive Token Skipping
MoE Key Lab of Artificial Intelligence, AI Institute Shanghai Jiao Tong University(人工智能大模型关键实验室,上海交通大学AI研究院)
Skip-Vision提出自适应跳过冗余视觉令牌的统一框架,通过训练阶段Skip-FFN绕过FFN层和推理阶段选择性KV缓存移除,在保持性能的同时将训练时间降低35%、推理FLOPs减少75%、延迟降低45%。
2025-07-03 cs.CV
Law of Vision Representation in MLLMs
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);The Hong Kong Polytechnic University(香港理工大学)
本研究提出MLLMs的视觉表征定律,用AC score量化跨模态对齐与视觉表征对应性,验证其与模型性能线性相关,借此仅训练最优视觉表征即可降低99.7%计算成本。
2025-10-06 cs.CV
Are foundation models for computer vision good conformal predictors?
MICS, CentraleSupélec, Université Paris-Saclay(MICS、中央理工巴黎高等学院、巴黎-萨克雷大学);LIVIA, ILLS, ETS Montréal(LIVIA、ILLs、蒙特利尔工程师学院)
本文研究了计算机视觉基础模型在符合预测中的表现,发现其适合符合化过程,但校准置信度预测会降低效率,且视觉-语言模型在少样本适应中表现更优。
2026-02-16 cs.CV
VFM-VLM: Vision Foundation Model and Vision Language Model based Visual Comparison for 3D Pose Estimation
Dept. of Electronic Engineering Yeungnam University Advanced Visual Intelligence Lab(电子工程系 韩国又南大学 高级视觉智能实验室)
本文比较了基于CLIP和DINOv2的视觉模型在3D姿态估计中的性能,展示了两者在语义理解和几何精度上的互补优势,为机器人抓取应用提供了模型选择依据。
2025-12-09 cs.AI cs.CV
Vision-R1: Evolving Human-Free Alignment in Large Vision-Language Models via Vision-Guided Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Wuhan AI Research(武汉人工智能研究院)
针对大视觉语言模型偏好优化依赖人工标注数据和奖励模型的成本难题,提出视觉引导的Vision-R1强化学习算法,仅用指令数据即可实现无人类对齐,在7B模型上取得最高50%的性能提升,超越10倍规模的最优模型。
2025-03-23 cs.AI cs.CV
Object-Centric Vision Token Pruning for Vision Language Models
Aalto University(阿alto大学);University of Electronic Science and Technology of China(电子科学与技术大学);Delft University of Technology(代尔夫特理工大学)
提出OC-VTP方法,通过轻量预训练以对象为中心的视觉令牌剪枝器,直接选择最具代表性的视觉令牌,在保持高精度的同时提升VLM推理效率。
2026-05-27 cs.AI cs.CV
Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models
anoncvlab(匿名计算机视觉实验室)
本文提出SVD-Prune方法,通过SVD分解视觉令牌特征矩阵并利用统计杠杆分数选择顶级令牌,以在极端视觉令牌预算下保持高性能,优于现有修剪方法。
2026-07-10 cs.AI cs.CV
VARCO-VISION: Expanding Frontiers in Korean Vision-Language Models
NC Research, NCSOFT(NC Research(NCSOFT旗下研究机构))
本文提出开源韩英视觉语言模型VARCO-VISION,采用分步训练策略保留骨干知识,在双语图文任务中表现优于同类模型,并发布5个韩语评估数据集。
2024-11-28 cs.CL cs.CV
Cross-Layer Vision Smoothing: Enhancing Visual Understanding via Sustained Focus on Key Objects in Large Vision-Language Models
Beijing Institute of Technology(北京理工大学);Zhongguancun Academy(中关村学院);Tsinghua University(清华大学)
本文提出CLVS方法,通过跨层视觉记忆平滑注意力分布,提升大视觉-语言模型对关键对象的持续聚焦能力,从而增强视觉理解性能。
2025-11-25 cs.AI cs.CV
When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models
该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态,发现安全对齐未抑制感知接地,抑制拒绝相关表征可恢复接地回答,揭示了其一种新的失败模式。
2026-08-20 cs.CL cs.CV
Activation Quantization of Vision Encoders Needs Prefixing Registers
POSTECH;Dankook University(Dankook 大学);Google(谷歌)
本文提出RegCache算法,通过引入前缀标记减少视觉编码器中的异常值,提升低比特量化模型性能,尤其在极低比特情况下效果显著。
2026-07-09 cs.CV cs.LG
SynGen-Vision: Synthetic Data Generation for training industrial vision models
Accenture Labs(埃森哲实验室)
针对工业磨损检测数据匮乏的问题,提出结合视觉语言模型与3D仿真渲染引擎的SynGen-Vision合成数据生成方法,生成锈蚀数据训练的模型mAP50达0.87,优于现有方法且可扩展。
2025-09-05 cs.CV cs.LG
MI-VisionShot: Few-shot adaptation of vision-language models for slide-level classification of histopathological images
valgrAI - Valencian Graduate School and Research Network of Artificial Intelligence(valgrAI——瓦伦西亚人工智能研究生院与研究网络)
本文提出 MI-VisionShot,一种基于视觉-语言模型的无训练少样本适配方法,通过检索切片内最具判别力的图像块构建多实例原型分类器,实现组织病理切片级预测,并在低样本场景下以更低变异性超越零样本迁移。
2024-10-21 cs.AI cs.CV
A Novel Framework for Automated Explain Vision Model Using Vision-Language Models
Uppsala University(乌普萨拉大学);Harvard University(哈佛大学);Knovel Engineering Lab(Knovel工程实验室);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文提出基于Vision-Language Models的样本级与数据集级视觉模型解释流水线,以低成本发现失败案例并揭示模型整体行为模式。
2025-08-27 cs.AI cs.CL cs.CV
PLPHP: Per-Layer Per-Head Vision Token Pruning for Efficient Large Vision-Language Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学);Tongji University(同济大学)
针对大型视觉-语言模型解码时视觉 token 过多导致的效率瓶颈,提出 PLPHP 逐层分配保留率并逐头剪枝,显著加速、减小 KV Cache 且性能损失极小。
2025-02-20 cs.AI cs.CV
How Blind and Low-Vision Individuals Prefer Large Vision-Language Model-Generated Scene Descriptions
研究探讨了盲人和低视力用户对大型视觉-语言模型生成场景描述的偏好,通过用户研究评估了六种描述类型,发现用户对描述的充分性和简洁性存在较大差异,提出需构建以盲人和低视力用户为中心的评估指标。
2026-04-01 cs.AI cs.CV
Text-Vision Synergistic Token Caching: A Training-Free Framework for Efficient Vision-Language-Action Inference
Southern University of Science and Technology (SUSTech)(南方科技大学);National University of Singapore(新加坡国立大学)
提出TVCache,一种无训练框架,利用文本-视觉协同过滤注意力头并选择重用层,在匹配令牌保留率下提升VLA模型任务成功率,最高提升14.5个百分点并减少2.45倍计算量。
2026-09-29 cs.CV cs.RO
VisionQ: VLM-as-a-Judge Taxonomy, Dataset and Benchmark for Qualitative Analysis in Computer Vision
University of Information Technology, VNU-HCM(越南国立胡志明市大学信息技术大学);University College Cork(科克大学);Hanoi University of Science and Technology(河内科技大学);Trinity College Dublin(都柏林圣三一大学)
VisionQ构建了首个基于同行评审比较图的VLM评判基准,通过标准条件视觉判别任务,提出分类体系、数据集和DPO调优的评判模型,显著提升评判准确率并揭示现有模型的不足。
2026-10-02 cs.AI cs.CV
LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives
German Cancer Research Center(德国癌症研究中心);German Cancer Consortium(德国癌症联盟);Goethe University Frankfurt(法兰克福大学);Brown University(布朗大学)
提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA,通过跨模态预测与分布正则化学习,无需负样本、温度参数等,生成更强的密集语义特征,在下游任务中优于对比基线。
2026-07-02 cs.AI cs.CV
EfficientVLM: Fast and Accurate Vision-Language Models via Knowledge Distillation and Modal-adaptive Pruning
Beihang University(北京航空航天大学);ETH Zurich(苏黎世联邦理工学院);Bytedance AI Lab(字节跳动人工智能实验室)
预训练的视觉语言模型(VLM)在一系列视觉语言任务中取得了令人印象深刻的结果。然而,流行的VLM通常由数亿个参数组成,由于空间,内存和延迟限制,这给实际应用中的微调和部署带来了挑战。在这项工作中,我们引入了一个提取,然后修剪框架压缩大型视觉语言模型到更小,更快,更准确的。我们首先缩小预训练的大型VLM的大小,并在视觉语言预训练阶段应用知识蒸馏以获得与任务无关的紧凑VLM。然后,我们提出了一种模态自适应修剪算法,自动推断视觉和语言模态的重要性,为不同的下游任务,并自适应地删除冗余结构和神经元在不同的编码器与可控的目标稀疏。我们将我们的框架应用于训练EfficientVLM,这是一个快速准确的视觉语言模型,由6个视觉层,3个文本层和3个跨模态融合层组成,总共只有9300万个参数,占教师模型的44.3%。EfficientVLM保留了教师模型98.4%的性能,并将其推理速度加快了2.2倍。EfficientVLM在各种视觉语言任务上,包括VQAv2(+4.9%),NLVR2(+5.6%),ITR(TR上的R@1 +17.2%,IR上的R@1 +15.6%)和COCO字幕生成(CIDEr +6.5),与之前类似大小的SoTA高效VLM相比,实现了很大的绝对改进,展示了训练轻量级VLM的巨大潜力。
2022-10-14 cs.CL cs.CV
VL-BEiT: Generative Vision-Language Pretraining
Microsoft Research(微软研究院)
我们引入了一个视觉语言基础模型VL-BEiT,它是一个通过生成式预训练学习的双向多模态Transformer。我们的极简解决方案使用共享的Transformer对单峰和多峰数据进行掩蔽预测。具体来说,我们执行掩蔽视觉语言建模的图像-文本对,掩蔽语言建模的文本,和掩码图像建模的图像。VL-BEiT是从头开始学习的,具有一个统一的预训练任务,一个共享的骨干和一个阶段的训练。我们的方法是概念简单,经验有效。实验结果表明,VL-BEiT在视觉问答、视觉推理和图文检索等视觉语言测试中均取得了较好的效果。此外,我们的方法学习可转移的视觉特征,在图像分类和语义分割方面取得了有竞争力的性能。
2022-09-03 cs.CL cs.CV
LLaVA-SG: Leveraging Scene Graphs as Visual Semantic Expression in Vision-Language Models
Tsinghua University(清华大学);Xiaomi AI Lab(小米AI实验室)
本文提出LLaVA-SG,通过在视觉语言模型中引入场景图表达模块,解决ViT图像分块导致的碎片化感知问题,提升模型的视觉语义理解能力。
2024-08-30 cs.AI cs.CV
Canonical Color as a Lens into Concept Decodability in Vision Encoders and VLMs
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Technical University of Denmark(丹麦技术大学)
本研究利用规范颜色作为受控测试案例,通过构建数据集和探测实验,发现视觉编码器能从灰度图像中解码规范颜色且与物体身份关联,并揭示VLM后训练显著影响颜色可解码性,为追踪概念语义信息提供新透镜。
2026-11-03 cs.AI cs.CV
Demystifying the Potential of ChatGPT-4 Vision for Construction Progress Monitoring
Yildiz Technical University(耶尔德兹技术大学);Middle East Technical University(中东技术大学)
本文探讨GPT-4 Vision在建筑进度监控中的应用,发现其能识别阶段、材料和机械,但精确定位和分割受限,未来可通过领域训练和技术整合提升实用性。
2024-12-20 cs.AI cs.CV
Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学深圳学院);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室)
本文提出AGCI机制,通过动态注入全局视觉上下文缓解大视觉-语言模型中的空间偏差问题,提升模型的空间鲁棒性和下游任务表现。
2026-02-03 cs.CL cs.CV
mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs
University of Würzburg(维尔茨堡大学)
本研究提出高效构建的多语种视觉大语言模型mBLIP,通过将适配英文LLM的图像编码器与多语种LLM重新对齐,在消费级硬件上即可训练,性能比肩SOTA且远超仅英文的同类模型。
2024-06-20 cs.CL cs.CV
Simple Vision-Language Math Reasoning via Rendered Text
FusionBrain Lab(融合脑实验室);HSE University(俄罗斯高等经济学院);Innopolis University(因诺波利斯大学)
本文提出一种轻量流水线,通过将LaTeX公式渲染为图像并搭配结构化思维链提示训练视觉语言模型,在数学推理基准及通用多模态任务上均取得优异性能。
2025-11-12 cs.CV cs.LG
Imperfect Vision Encoders: Efficient and Robust Tuning for Vision-Language Models
University of Cambridge(剑桥大学);Toyota Motor Europe(丰田汽车欧洲公司)
针对开源VLMs依赖冻结CLIP编码器导致图像理解错误传播的问题,提出一种选择性局部更新视觉编码器的高效鲁棒微调方法,在修正错误的同时保持整体鲁棒性并支持持续少样本更新。
2024-07-23 cs.AI cs.CL cs.CV
Vision Language Transformers: A Survey
Boise State University(博伊西州立大学)
本文综述了视觉语言Transformer的研究现状,系统梳理了基于预训练Transformer架构的视觉语言建模方法,分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Efficient Medical Vision-Language Alignment Through Adapting Masked Vision Models
School of Informatics, Xiamen University(厦门大学信息学院);Center for Smart Health, School of Nursing, The Hong Kong Polytechnic University(香港理工大学护理学院智能健康中心);Department of Biomedical Informatics, Harvard Medical School(哈佛医学院生物医学信息学系);Department of Radiology, Zhongshan Hospital (Xiamen), Fudan University(复旦大学中山医院放射科);National Institute for Data Science in Health and Medicine(医学与数据科学国家研究院);Department of Computer Science, School of Informatics, Xiamen University(厦门大学信息学院计算机科学系)
针对基于CLIP方法视觉表征不足的问题,本文提出ALTA,通过适配掩码记录建模预训练视觉模型并融合时序-多视图输入,以极低参数和计算成本实现更优医学图文对齐。
2025-06-10 cs.AI cs.CV cs.LG
Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models
Tübingen AI Center(蒂宾根人工智能中心);University of Tübingen(蒂宾根大学);EPFL(洛桑联邦理工学院)
针对大型视觉-语言模型易受视觉对抗攻击的问题,提出无监督对抗微调方案以获得鲁棒的CLIP视觉编码器,无需重训下游模型即可全面防御图像篡改隐蔽攻击。
2024-06-05 cs.AI cs.CV cs.LG
VisionZip: Longer is Better but Not Necessary in Vision Language Models
本文提出VisionZip方法,通过选择信息性视觉token提升效率并保持性能,实验显示在多种设置下性能提升至少5%,同时显著加快推理速度。
2026-03-15 cs.AI cs.CL cs.CV
Hierarchical Pre-Training of Vision Encoders with Large Language Model
University of Cincinnati(辛辛那提大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出HIVE框架,通过引入视觉编码器与大语言模型间的分层交叉注意力机制,提升视觉语言对齐,改进特征融合与表征学习,实验表明其在图像分类和多模态任务中表现优异。
2026-08-04 cs.AI cs.CL cs.CV
AutoVDC: Automated Vision Data Cleaning Using Vision-Language Models
Mercedes-Benz Research & Development North America(梅赛德斯-奔驰北美研发公司);University of Stuttgart, Institute for Artificial Intelligence(斯图加特大学人工智能研究所)
本文提出AutoVDC框架,利用视觉-语言模型自动识别视觉数据集中的错误标注,提升数据质量。通过KITTI和nuImages数据集验证,展示了方法在错误检测和数据清洗中的高性能。
2026-04-30 cs.AI cs.CV cs.LG
Words or Vision: Do Vision-Language Models Have Blind Faith in Text?
National University of Singapore(新加坡国立大学)
本研究发现视觉-语言模型在模态不一致时存在过度信任文本的“盲目信任”现象,通过分析影响因素并提出监督微调与文本增强方法有效缓解该偏见,强调需平衡训练以提升多模态鲁棒性。
2025-03-04 cs.AI cs.CL cs.CV
VisionLLaMA: A Unified LLaMA Backbone for Vision Tasks
Meituan Inc.(美团公司);Moonshot AI(月之暗面人工智能公司);Zhejiang University(浙江大学)
本文提出统一的类 LLaMA 视觉骨干网络 VisionLLaMA,以普通和金字塔形式适配二维图像,并在感知与生成任务上验证其优于现有 ViT 的性能。
2024-07-08 cs.CV
Reconfiguring the Imaging Pipeline for Computer Vision
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
深度学习的进步引发了对嵌入式计算机视觉高效硬件的研究爆炸。然而,硬件视觉加速并没有解决捕获和处理这些算法所需的图像数据的成本问题。我们研究了图像信号处理(ISP)管道在计算机视觉中的作用,以确定减少计算和节省能源的机会。关键的见解是,成像管道应该被设计为可配置的:在传统摄影模式和低功耗视觉模式之间切换,该模式产生仅适用于计算机视觉的低质量图像数据。我们使用八个计算机视觉算法和可逆流水线仿真工具来研究成像系统对视觉性能的影响。对于基于CNN和经典的视觉算法,我们观察到只有两个ISP阶段,去马赛克和伽马压缩,对任务性能至关重要。我们提出了一种新的图像传感器设计,可以弥补跳过这些阶段。传感器设计具有可调分辨率和可调模数转换器(ADC)。我们提出的成像系统的视觉模式完全禁用ISP,并配置传感器产生二次采样,低精度的图像数据。这种视觉模式可以节省约75%的基线摄影模式的平均能量,同时对视觉任务精度的影响很小。
2017-08-01 cs.CV
ToVE: Efficient Vision-Language Learning via Knowledge Transfer from Vision Experts
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院);Tencent Youtu Lab(腾讯优图实验室)
本文提出ToVE框架,通过从预训练视觉专家集合迁移知识至冻结CLIP编码器,利用门控网络动态路由专家知识并提出残差迁移与知识合并策略,在训练数据减少两个数量级下实现高效且具竞争力的视觉-语言学习。
2025-04-01 cs.CV
Large Language Models Facilitate Vision Reflection in Image Classification
本文发现提示LMM验证专用视觉模型预测可提升ImageNet等基准的识别准确率,揭示视觉反思依赖提炼的文本表示,并提出无需训练的连接器增强细粒度识别性能。
2025-08-02 cs.CV
VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models
Arm AI Research (AAIR), Arm Ltd(Arm AI Research (AAIR),Arm 公司)
针对视觉模型微缩放训练后量化误差,提出VisionMX方法,通过优化有界权重舍入和可折叠仿射激活校正,在多项视觉任务上优于直接转换和现有基线。
2026-10-05 cs.CV
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences(巴基斯坦工程与应用科学学院);Khalifa University of Science and Technology(哈利法科学技术大学);Air University(空军大学)
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构,重点探讨了其注意力机制、位置嵌入等关键特征,强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
VisionLLM: Large Language Model is also an Open-Ended Decoder for Vision-Centric Tasks
OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室OpenGVLab);SenseTime Research(商汤科技研究院);Peking University(北京大学);Nanjing University(南京大学);Tsinghua University(清华大学)
本文提出VisionLLM框架,将图像视为外语并用语言指令统一视觉与语言任务,通过大语言模型解码器实现从目标级到任务级的灵活定制,在COCO上取得超过60%的mAP,为通用视觉语言模型设立新基线。
2023-05-25 cs.CV
MOVE: A Mixture-of-Vision-Encoders Approach for Domain-Focused Vision-Language Processing
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute (AIRI)(人工智能研究院);Higher School of Economics(高等经济学院)
针对现有多模态语言模型依赖单一视觉编码器的局限,提出MOVE混合视觉编码器方法,自动将输入路由至最合适的专用预训练编码器,在多个基准上提升性能且无需高分辨率图像切片操作。
2025-02-21 cs.CV
EM-KD: Distilling Efficient Multimodal Large Language Model with Unbalanced Vision Tokens
Baidu VIS(百度视觉)
EM-KD通过改进的知识蒸馏方法,有效提升高效多模态大语言模型的视觉理解和效率。
2025-11-26 cs.CV
Vision Transformers: State of the Art and Research Challenges
National Yang Ming Chiao Tung University(国立阳明交通大学)
Transformers在自然语言处理方面取得了巨大的成功。由于Transformers具有强大的自我注意力机制,研究人员开发了视觉Transformer,用于各种计算机视觉任务,如图像识别,目标检测,图像分割,姿态估计和三维重建。本文对视觉Transformer的不同架构设计和训练技巧(包括自监督学习)的文献进行了全面的概述。我们的目标是提供一个系统的审查与开放的研究机会。
2022-07-07 cs.CV
VisionaryVR: An Optical Simulation Tool for Evaluating and Optimizing Vision Correction Solutions in Virtual Reality
University of Tübingen(蒂宾根大学);University College London(伦敦大学学院);Carl Zeiss Vision International GmbH(卡尔蔡司视觉国际有限公司)
本文提出VisionaryVR虚拟现实光学模拟工具,集成实验控制、眼动追踪、离焦模拟和问卷加载功能,用于在高度可控的VR环境中评估和优化视力矫正方案,弥合理论与应用研究之间的差距。
2023-12-01 cs.CV
A Review of 3D Object Detection with Vision-Language Models
Cornell University(康奈尔大学);University of Peloponnese(希腊皮洛斯大学);Kansas State University(堪萨斯州立大学);Universidad de las Fuerzas Armadas(武装力量大学)
本综述系统分析了基于视觉语言模型的3D目标检测,对比传统方法与现代框架,回顾关键架构与策略,并指出当前挑战与未来方向。
2025-04-25 cs.CV