Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
MEGVII Technology(旷视科技);University of Chinese Academy of Sciences(中国科学院大学);Huazhong University of Science and Technology(华中科技大学)
本文提出 Vary,通过自回归生成新视觉词汇并与 CLIP 合并,增强 LVLMs 的细粒度文档理解能力,同时保持原有性能。
2023-12-11 cs.CV
On Test-Time Scaling for Vision-Language Models
ETRO Department, Vrije Universiteit Brussel(布鲁塞尔自由大学ETRO部门);imec
本文系统研究了视觉-语言模型(LVLM)的测试时扩展方法,发现小型高性能模型受益最大,性能提升可达30%,并揭示了视觉信息在推理链早期编码后图像令牌贡献显著下降。
2026-07-03 cs.CV
SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding
State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,北京智源人工智能研究院)
针对3D视觉-语言定位中场景复杂、数据稀缺和缺乏统一框架的挑战,提出百万级数据集SceneVerse及统一预训练框架GPS,在多项3D视觉定位基准上达到SOTA并展现零样本迁移潜力。
2024-09-24 cs.AI cs.CL cs.CV
Visual Data-Type Understanding does not emerge from Scaling Vision-Language Models
University of Cambridge(剑桥大学)
本文提出视觉数据类型识别任务,构建含27种修改类型的动物图像数据集并评估39个VLM,发现模型规模化无法带来该能力,而在微调描述中加入数据类型信息可显著提升性能。
2023-12-06 cs.CL cs.CV cs.LG
Ask, Pose, Unite: Scaling Data Acquisition for Close Interactions with Vision Language Models
Stanford University(斯坦福大学);Snap Research(Snap研究部门)
本文提出利用大型视觉语言模型标注接触图并构建APU数据集,以缓解近距离交互人体网格估计的数据稀缺问题,并通过训练扩散接触先验提升对未见交互的网格估计性能。
2024-10-01 cs.AI cs.CV cs.LG
OMEGA: Optimized Multimodal Position Encoding Index Derivation with Global Adaptive Scaling for Vision-Language Models
Tianjin University(天津大学)
提出OMEGA位置编码框架,通过模态特定位置编码(MSPE)保留各模态固有结构,并引入全局自适应编码步长缩放(GAESS)对齐多模态信息密度,在多种VLM架构和VQA基准上显著提升性能。
2025-11-02 cs.CV
Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme
Shanghai Jiao Tong University (SJTU)(上海交通大学);Minimax;Fudan University(复旦大学);SII;Generative Artificial Intelligence Lab (GAIR)(生成式人工智能实验室(GAIR))
本文提出了一个透明且从零开始的视觉语言模型强化学习框架及标准化评估方案,实验发现RL在泛化上始终优于SFT,为该领域提供了可复现的基线。
2025-04-04 cs.CL cs.CV cs.LG
CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出CoME-VL框架,通过融合对比学习和自监督编码器提升视觉语言模型性能,实验显示在多个基准上优于单编码基线。
2026-04-03 cs.CV
GRPO-TTA: Test-Time Visual Tuning for Vision-Language Models via GRPO-Driven Reinforcement Learning
School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University(人工智能、光学与电子学院(iOPEN),西北工业大学)
提出GRPO-TTA方法,将GRPO应用于测试时适应,通过将类特定提示预测重构为组策略优化问题,并设计对齐奖励和分散奖励,在多种基准上优于现有方法。
2026-06-01 cs.CV cs.LG
Understanding the Effects of Distractors on Reasoning Vision-Language Models
Pohang University of Science and Technology (POSTECH)(坡山科学技术大学(POSTECH))
本文通过构建包含语义和数值维度干扰项的视觉问答数据集Idis,研究视觉干扰项如何影响视觉语言模型的测试时缩放行为,发现视觉干扰项以与文本干扰项根本不同的方式降低准确率而不增加推理长度,并提出简单提示策略缓解干扰项驱动的预测。
2026-09-15 cs.AI cs.CL cs.CV
Scaling Vision Language Models for Pharmaceutical Long Form Video Reasoning on Industrial GenAI Platform
Roche(罗氏);Accenture(埃森哲);Involead
本文提出工业GenAI框架,解决制药领域长格式视频推理问题,通过多模态架构和实证分析提升效率并揭示现有VLMs的限制。
2026-01-08 cs.CV cs.LG
ParVL: Parallel Scaling and Expandable Compute Allocation for Multimodal LLMs
本研究针对多模态大语言模型的计算分配僵化问题,提出ParVL框架,通过复用骨干参数扩展并行计算,在13B token上微调后,其多模态性能优于同配置单分支基线,且最优分配随任务变化。
2026-08-05 cs.CL cs.CV
MODIX: A Training-Free Multimodal Information-Driven Positional Index Scaling for Vision-Language Models
Peking University(北京大学)
MODIX通过动态调整位置步长,基于模态特定贡献优化多模态模型的位置编码,提升多模态推理能力。
2026-04-14 cs.AI cs.CV
Scaling Test-Time Robustness of Vision-Language Models via Self-Critical Inference Framework
Tongji University(同济大学);Computer Network Information Center, CAS(计算机网络信息中心,中国科学院);HIAS, University of Chinese Academy of Sciences(高等研究所,中国科学院大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出自批评推理框架,通过多轮反事实推理提升视觉-语言模型的鲁棒性,引入动态鲁棒性基准评估框架以应对语言偏差和敏感性问题,实验表明该方法在鲁棒性上优于基线方法。
2026-03-25 cs.CV
D-TPT: Dimensional Entropy Maximization for Calibrating Test-Time Prompt Tuning in Vision-Language Models
本文提出维度熵最大化方法(D-TPT),通过正则化文本特征分布以抑制主导维度影响,改善视觉-语言模型测试时提示调优的校准性能,提升实际部署可靠性。
2025-10-17 cs.CV cs.LG
AVIS: Adaptive Test-Time Scaling for Vision-Language Models
AI Center-Toronto, Samsung Electronics(三星电子多伦多AI中心);University of Toronto(多伦多大学);Vector Institute(向量研究所);York University(约克大学)
提出AVIS,通过轻量策略联合优化视觉上下文缩放和推理缩放,利用无训练的关键多样性剪枝和自适应自一致性,在多种基准上提升精度-计算权衡。
2026-06-11 cs.AI cs.CV
ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision Language Models
Northeastern University(东北大学);EmbodyX Inc.(EmbodyX公司);Zhejiang University(浙江大学)
提出ScAle,一种超轻量适配方法,通过学习少量标量系数调节冻结骨干网络中的注意力头和MLP激活,仅用1K可训练参数在空间推理任务上实现高达134.1%的相对精度提升。
2026-06-28 cs.AI cs.CV cs.LG
Scaling Down to Scale Up: Towards Operationally-Efficient and Deployable Clinical Models via Cross-Modal Low-Rank Adaptation for Medical Vision-Language Models
King Fahd University of Petroleum(国王法赫德石油与矿物大学);Institute for Medical Engineering(医学工程研究所);Science, Massachusetts Institute of Technology, US(科学,麻省理工学院,美国);Harvard Medical School, Harvard University, US(哈佛医学院,哈佛大学,美国);SDAIA-KFUPM Joint Research Center for Artificial Intelligence, Saudi Arabia(SDAIA-KFUPM人工智能联合研究中心,沙特阿拉伯)
通过跨模态低秩适应,MedCT-VLM在零样本分类中实现了对CT影像的高效适应,显著提升了病理分类的性能。
2025-11-29 cs.CV
Scaling Vision-Language Models Is Not Enough to Mitigate Bias
Information Technologies Institute, CERTH(CERTH信息技术研究所)
该研究通过对194个视觉-语言模型的大规模实证分析,发现扩大模型规模无法缓解偏见,训练数据属性对偏见鲁棒性更关键,架构选择效果依赖基准特性。
2026-07-31 cs.CV
Assessing Color Vision Test in Large Vision-language Models
University of Chinese Academy of Sciences(中国科学院大学);Zhejiang Lab(浙江实验室);Zhejiang University(浙江大学)
本文针对大型视觉语言模型颜色视觉能力未被充分探索的问题,定义了颜色视觉测试任务并构建了多类别、多难度数据集,同时分析了模型错误类型并提出微调策略以提升其测试表现。
2025-07-15 cs.AI cs.CV
Visual Reasoning Agent: Robust Vision Systems in Remote Sensing via Inference-Time Scaling
University of West Florida(西弗吉尼亚大学);United States Military Academy(美国军事学院)
本文提出视觉推理代理(VRA),通过迭代的Think-Critique-Act循环,结合预训练的大规模视觉-语言模型和推理模型,提升遥感任务中的视觉推理能力,实现在挑战性问题上的40.67%提升。
2026-04-20 cs.AI cs.CV cs.MA
Training Vision-Language Process Reward Models for Test-Time Scaling in Multimodal Reasoning: Key Insights and Lessons Learned
AI Singapore(AI新加坡);Nanyang Technological University(南洋理工大学)
本文探索视觉-语言过程奖励模型的设计空间,提出混合数据合成与感知聚焦监督方法,并在多模态基准上验证其能有效提升测试时扩展的推理性能。
2025-10-07 cs.AI cs.CV
Inference Compute-Optimal Video Vision Language Models
MIT(麻省理工学院);Georgia Tech(佐治亚理工学院);Meta;UC Davis(加州大学戴维斯分校)
本研究在固定推理计算预算下,通过大规模训练扫描和参数化建模,确定了视频视觉语言模型中语言模型大小、帧数和每帧视觉令牌数量的最优配置,并揭示了数据规模对最优前沿的影响,为实际选择提供了指导。
2025-05-24 cs.CL cs.CV
Scaling Up Vision-Language Pre-training for Image Captioning
Microsoft(微软)
近年来,基于视觉语言预训练(VLP)的图像描述任务的性能得到了显著提高。规模被认为是这一进步的重要因素。然而,大多数现有的工作只集中在预训练具有中等大小的Transformers(例如,12或24层),大约400万张图像。在本文中,我们提出了LEMON,一个大规模的图像captiONer,并提供了第一个实证研究的缩放行为的VLP的图像描述。我们使用最先进的VinVL模型作为我们的参考模型,该模型由图像特征提取器和Transformer模型组成,并将Transformer上下缩放,模型大小从1300万到6.75亿参数不等。在数据方面,我们进行了多达2亿的图像-文本对,这是自动收集的基础上的alt属性的图像(称为ALT 200 M)从Web上的实验。随着模型大小和预训练数据大小的增加,广泛的分析有助于表征性能趋势。我们还比较了不同的训练配方,特别是在大规模噪声数据上的训练。因此,LEMON在几个主要的图像描述基准上达到了新的技术水平,包括COCO Caption、nocaps和Conceptual Captions。我们还表明,LEMON可以产生长尾视觉概念的字幕时,在zero-shot的方式使用。
2022-03-26 cs.CL cs.CV
What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs
Meituan(美团);Tsinghua University(清华大学)
该研究提出首个跨家族的能力驱动多模态缩放定律,可通过LLM文本能力预测VLM性能,将主干选择从经验搜索转为定量决策,还揭示了LLM作为VLM主干的相关见解。
2026-11-03 cs.AI cs.CL cs.CV
Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models
Dartmouth College(达特茅斯学院);IISc Bangalore(印度科学研究所班加罗尔分校);Xero
本文提出架构采样,一种无需训练的方法,通过重用解码器层块改变前向计算路径,在冻结视觉语言模型中生成多样候选,平均提升pass@9达6.58个百分点,并改善测试时强化学习效果。
2026-10-02 cs.AI cs.CV
A Lost Opportunity for Vision-Language Models: A Comparative Study of Online Test-Time Adaptation for Vision-Language Models
University of Stuttgart(斯图加特大学)
本文系统比较 CLIP 等视觉-语言模型的在线测试时自适应方法,涵盖提示工程、提示学习及视觉-文本空间集成,并在多数据集和架构上验证其抗分布偏移效果。
2024-09-09 cs.CV
MiX: Micro-Inverted-Scaling for End-to-End Low-Bit Vision-Language Model Acceleration
Cornell Tech(康奈尔科技校区);Cornell University(康奈尔大学)
针对VLM边缘部署中微缩放崩溃问题,提出MiX格式反转微缩放范式,以共享尾数分组私有指数,配合MiX-MX框架,在4.5比特下精度不输NVFP4,面积效率提升25%,速度提升2.3-4.5倍。
2026-10-09 cs.AR cs.CV
Skip-Vision: Efficient and Scalable Acceleration of Vision-Language Models via Adaptive Token Skipping
MoE Key Lab of Artificial Intelligence, AI Institute Shanghai Jiao Tong University(人工智能大模型关键实验室,上海交通大学AI研究院)
Skip-Vision提出自适应跳过冗余视觉令牌的统一框架,通过训练阶段Skip-FFN绕过FFN层和推理阶段选择性KV缓存移除,在保持性能的同时将训练时间降低35%、推理FLOPs减少75%、延迟降低45%。
2025-07-03 cs.CV
Scaling Large Vision-Language Models for Enhanced Multimodal Comprehension In Biomedical Image Analysis
Argonne National Laboratory(阿贡国家实验室);University of Alabama(阿拉巴马大学)
本研究基于LLaVA模型微调智能助手,利用42,673篇文章和50,882个图文对训练,显著提升了低剂量放射治疗领域视觉问答任务的多模态理解能力,有效减少幻觉并增强特定领域理解。
2025-01-26 cs.AI cs.CV
In-context Prompt Learning for Test-time Vision Recognition with Frozen Vision-language Model
Beijing University of Posts and Telecommunications(北京邮电大学);Baidu Inc.(百度公司);Swansea University(斯旺西大学)
针对测试分布偏移下CLIP等预训练视觉语言模型性能下降问题,提出测试时上下文提示学习方法InCPL,通过少量标注样本作上下文、语言到视觉转换、上下文感知无监督损失及循环学习,实现冻结模型的测试时自适应,性能达SOTA。
2024-08-19 cs.CV
Not All Error Yields to Scale: Where Scaling Stops in Vision-Language Inference
Nanjing University(南京大学)
本文提出可分离定律,基于26个VLM模型在高分辨率基准上的测量,预测规模化对性能的影响,并为骨干网络大小与视觉标记数量间的计算分配提供闭式规则。
2026-10-02 cs.AI cs.CV
It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling
该研究发现视觉语言模型测试时的选择效果由解码格式而非扰动决定,提出的扰动基选择(Pgs)在控制格式后无显著收益,说明其无法作为有效选择信号。
2026-08-06 cs.AI cs.CV
Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models
Stanford University(斯坦福大学)
针对视觉-语言模型在测试时因域偏移效果下降的问题,提出测试时原型移位框架,通过动态调整类别原型弥合域差距,在15个数据集上取得最优效果且资源消耗更低。
2024-12-10 cs.AI cs.CV cs.LG
Vision-Flan: Scaling Human-Labeled Tasks in Visual Instruction Tuning
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学);University of Washington(华盛顿大学);Amazon Inc.(亚马逊公司);Meta AI;Microsoft(微软公司)
针对VLM任务多样性不足及GPT-4合成数据存在偏差的问题,构建含187个任务的Vision-Flan数据集,并提出两阶段指令微调框架,显著提升多模态性能,发现少量GPT-4数据即可对齐人类偏好。
2024-02-18 cs.CL cs.CV
FastVLM: Efficient Vision Encoding for Vision Language Models
Apple(苹果公司)
针对高分辨率下VLM视觉编码效率低的问题,提出FastVLM模型,通过新型混合视觉编码器FastViTHD实现延迟、规模与准确率的优化权衡,在多项基准上性能领先且效率大幅提升。
2025-05-15 cs.AI cs.CV cs.LG
Are Bigger Encoders Always Better in Vision Large Models?
Peking University(北京大学)
本文通过在MLLMs预训练阶段使用不同编码器和LLM尺寸进行实验,发现仅增大编码器并不一定能提升视觉语言模型性能,并分析了LLM规模与数据质量的影响及扩展规律差异。
2024-08-01 cs.CL cs.CV
Vision-aligned Latent Reasoning for Multi-modal Large Language Model
Byungwoo Jeon;Yoonwoo Jeong;Hyunseok Lee;Minsu Cho;Jinwoo Shin
本文提出视觉对齐潜在推理框架,通过动态生成视觉对齐的潜在标记,提升多模态大语言模型在长上下文理解和精确视觉感知任务中的表现。
2026-05-12 cs.CV
Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models
针对VLA模型数据扩展的瓶颈,提出以表示为中心的持续预训练方法VLAct,在多具身机器人数据上训练后,在多项基准任务中超越现有工业级系统,在未见具身迁移任务中仅用20%数据即优于全数据基线,为VLA进展提供新方向。
2026-10-07 cs.CV cs.RO
BaFTA: Backprop-Free Test-Time Adaptation For Zero-Shot Vision-Language Models
University of Southern California(南加州大学);Amazon(亚马逊公司)
针对零样本视觉-语言模型测试时自适应易训练坍缩的问题,提出无反向传播算法BaFTA,通过投影空间在线聚类估计类别质心并基于Rényi熵融合多源预测,在效果和效率上均优于现有方法。
2024-06-18 cs.CV
Unveiling Chain of Step Reasoning for Vision-Language Models with Fine-grained Rewards
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出面向视觉-语言模型的逐步推理链框架,通过步骤级数据、过程奖励模型和强化学习实现细粒度奖励评估,在多个基准上取得一致提升并揭示推理时扩展的关键特性。
2025-09-23 cs.CV
Efficient Test-Time Adaptation of Vision-Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Nanyang Technological University(南洋理工大学);University of Ottawa(渥太华大学);Carnegie Mellon University(卡内基梅隆大学)
针对视觉-语言模型测试时自适应计算密集的问题,提出免训练的动态适配器TDA,利用轻量级键值缓存与渐进式伪标签细化实现高效自适应,并引入负伪标签减轻噪声影响,显著提升了有效性与效率。
2024-03-27 cs.CV
Generalization Differences between End-to-End and Neuro-Symbolic Vision-Language Reasoning Systems
University of Southern California(南加州大学)
对于视觉和语言推理任务,完全连接主义的端到端方法和混合的神经符号方法都取得了很高的分布性能。每种范式在哪些非分布环境中表现出色?我们通过四种类型的泛化测试研究了单图像和多图像视觉问答的这个问题:一种新的多图像查询的分段组合测试,对比集,组合泛化和跨基准转移。视觉和语言端到端训练系统在所有这些测试中表现出相当大的性能下降。神经符号方法在从GQA到VQA的跨基准转换中受到的影响更大,但它们在其他泛化测试中显示出较小的准确性下降,并且它们的性能通过Few-Shot训练迅速提高。总的来说,我们的研究结果表明这两种模式的互补优势,并强调使用不同的套件的泛化测试,充分表征模型的鲁棒性分布偏移的重要性。
2022-10-26 cs.CL cs.CV
Scaling Up Computer Vision Neural Networks Using Fast Fourier Transform
Ahmedabad University(艾哈迈达巴德大学)
基于深度学习的计算机视觉领域最近一直在尝试探索更大的卷积核,以有效地扩大卷积神经网络。同时,诸如视觉Transformer的模型的新范例发现,由于它们在输入序列方面的二次复杂性,难以按比例放大到更大的更高分辨率的图像。在本报告中,快速傅立叶变换以各种方式用于提供这些问题的一些解决方案。
2023-02-02 cs.CV cs.LG
Test-Time Training for Modality Order Consistency in Vision-Language Models
University of Chicago(芝加哥大学)
研究发现视觉语言模型对图像和问题呈现顺序敏感,利用此设计测试时训练方法,缩小模态顺序差距,使两种顺序相互一致,定位顺序失败区域,证明该方法可缓解故障并提升性能。
2026-07-23 cs.CL cs.CV
Auto-scaling Vision Transformers without Training
University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Technology Sydney(悉尼科技大学);Google(谷歌)
这项工作的目标是视觉Transformer(ViTs)的自动化设计和缩放。动机来自两个痛点:1)缺乏设计和扩展ViT的有效和原则性方法; 2)训练ViT的巨大计算成本比其卷积对应物要重得多。为了解决这些问题,我们提出了As-ViT,这是一个无需训练的ViT自动扩展框架,它可以以高效和有原则的方式自动发现和扩展ViT。具体来说,我们首先设计了一个“种子”ViT拓扑结构,利用一个培训免费的搜索过程。这种极快的搜索是通过对ViT网络复杂性的全面研究来实现的,从而产生了具有地面真实准确性的强大Kendall-tau相关性。其次,从“种子”拓扑结构开始,我们通过将宽度/深度增加到不同的ViT层来自动化ViT的缩放规则。这导致在一次运行中具有不同数量的参数的一系列架构。最后,基于ViTs可以在早期训练阶段容忍粗标记化的观察,我们提出了一种渐进的标记化策略,以更快、更便宜地训练ViTs。作为一个统一的框架,As-ViT在分类(ImageNet-1 k上的top1为83.5%)和检测(COCO上的mAP为52.7%)方面实现了强大的性能,而无需任何手工制作或扩展ViT架构:端到端模型设计和扩展过程在一个V100 GPU上只需12小时。我们的代码可在https://github.com/VITA-Group/AsViT上获得。
2022-02-27 cs.CV cs.LG
Scaling Vision Transformers
Google Research(谷歌研究院)
基于注意力的神经网络,如视觉Transformer(ViT),最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素,因此,了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则,但还不知道视觉Transformer如何缩放。为了解决这个问题,我们缩放ViT模型和数据,向上和向下,并表征出错率,数据和计算之间的关系。在此过程中,我们改进了ViT的架构和训练,减少了内存消耗,提高了最终模型的准确性。因此,我们成功地训练了一个具有20亿个参数的ViT模型,该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好,例如,在ImageNet上达到84.86%的top-1准确率,每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
Scaling Capability in Token Space: An Analysis of Large Vision Language Model
School of Automation, Guangdong University of Technology(广东工业大学自动化学院);Key Laboratory of Intelligent Detection and the Internet of Things in Manufacturing, Ministry of Education(教育部智能制造智能检测与物联网重点实验室);Guangdong Provincial Key Laboratory of Intelligent Systems and Optimization Integration(广东省智能系统与优化集成重点实验室);Medical Science Data-driven Mathematics Team, RIKEN Center for Interdisciplinary Theoretical and Mathematical Sciences(RIKEN跨学科理论与数学科学中心医学科学数据驱动数学团队);Medical Data Mathematical Reasoning Special Team, RIKEN Center for Integrative Medical Sciences(RIKEN整合医学科学中心医学数据数学推理特别团队);Department of Artificial Intelligence Medicine, Chiba University(千叶大学人工智能医学系);Tensor Learning Team, RIKEN Center for Advanced Intelligence Project(RIKEN高级人工智能项目中心张量学习团队)
本研究通过理论分析和实证验证,揭示了视觉语言模型在视觉令牌数量上的扩展规律,发现不同数量的视觉令牌对应不同的扩展模式,并提出了扩展指数与视觉令牌表示相关结构的关系。
2025-11-23 cs.AI cs.LG
Sequence Length Scaling in Vision Transformers for Scientific Images on Frontier
Oak Ridge National Laboratory(橡树岭国家实验室);Indiana University Bloomington(印第安纳大学伯明顿分校);RIKEN Center for Computational Science(理化学研究所计算科学中心)
本研究提出面向ViT的分布式序列并行方法,支持百万级令牌,在2048块GPU上实现94%扩展效率,并将气候温度预测精度提升20%。
2024-04-17 cs.CV cs.LG
Scaling Vision with Sparse Mixture of Experts
Google Brain(谷歌大脑)
稀疏选通的混合专家模型网络(MoE)在自然语言处理中表现出良好的可扩展性。然而,在计算机视觉中,几乎所有的性能网络都是“密集”的,即每个输入都由每个参数处理。我们提出了一个视觉MoE(V-MoE),一个稀疏版本的视觉Transformer,这是可扩展的和最大的密集网络的竞争力。当应用于图像识别时,V-MoE与最先进的网络的性能相匹配,同时在推理时只需要一半的计算。此外,我们提出了一个扩展的路由算法,可以优先考虑每个输入的子集在整个批次,导致自适应每图像计算。这使得V-MoE能够在测试时权衡性能并顺利计算。最后,我们展示了V-MoE缩放视觉模型的潜力,并在ImageNet上训练了一个达到90.35%的15 B参数模型。
2021-06-10 cs.CV cs.LG stat.ML
Algorithmic progress in computer vision
Epoch;MIT FutureTech(麻省理工学院未来科技)
该研究基于神经缩放定律模型与Shapley值归因,分析ImageNet图像分类任务的进展来源,发现算法改进与算力缩放重要性相当,且算力增强型算法进展速度超摩尔定律两倍,每9个月减半算力需求。
2023-08-24 cs.CV cs.LG
The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling
Shibattic Inc.
本文探讨了在视觉-语言-动作模型中,离散标记化导致的压缩间隙问题,指出信息瓶颈的位置决定了模型扩展效果,而非统一增加模型或数据规模。
2026-04-03 cs.CV cs.LG cs.RO
Scaling Vision Transformers to 22 Billion Parameters
Google Research(谷歌研究院)
Transformers的扩展推动了语言模型的突破性功能。目前,最大的大语言模型(LLM)包含超过100 B的参数。视觉Transformer(ViT)已经将相同的架构引入图像和视频建模,但是这些尚未成功地缩放到几乎相同的程度;最大的密集ViT包含4 B参数(Chen等人,2022年)。我们提出了一种高效稳定的22 B参数ViT(ViT-22 B)训练方法,并对所得模型进行了各种实验。当对下游任务进行评估时(通常使用冻结特征的轻量级线性模型),ViT-22 B表现出随着规模的增加而提高的性能。我们进一步观察到规模的其他有趣的好处,包括公平性和性能之间的权衡,最先进的对齐人类视觉感知的形状/纹理偏差,并提高鲁棒性。ViT-22 B展示了视觉“LLM样”扩展的潜力,并提供了实现目标的关键步骤。
2023-02-10 cs.AI cs.CV cs.LG
Scaling Semantic Categories: Investigating the Impact on Vision Transformer Labeling Performance
New York University(纽约大学)
本文利用 Jina AI 的 CLIP 服务器和多类图像数据集,检验指数增加语义等价冗余类别对 ViT 标注准确率的影响,发现性能先升后在临界阈值后收益递减或反转。
2025-03-16 cs.AI cs.CV cs.LG