The Pitfall of Scaling Up: Uncovering and Mitigating Popularity Bias Amplification in Scaling Transformer-based Recommenders
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学)
发现扩大Transformer推荐模型规模会放大流行度偏差,通过理论和实证分析揭示注意力聚合和前馈投影导致谱坍缩是根本原因,提出SPRINT正则化方法缓解该问题,在0.05M至0.34B参数规模上实现更优的扩展行为。
2026-06-23 cs.IR cs.LG
MLPs are Hebbians: Constructing Efficient Fact-Storing MLPs for Transformers
Institute for Computational & Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Department of Computer Science and Engineering, University at Buffalo(布法罗大学计算机科学与工程系)
研究大语言模型中MLP层以最优速率存储事实知识的现象,开发首个与Transformer兼容的事实存储MLP闭式构造,具有最优存储缩放等特性,所需参数更少,还能用于事实召回任务及实现模块化事实编辑。
2026-07-14 cs.LG
KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling
StepFun
KITE通过KV不变扩展实现模型从小到大的高效训练,并降低推理成本;SST双塔解码器在可比计算下优于更大基线模型。
2026-09-24 cs.AI cs.LG
Context-Scaling versus Task-Scaling in In-Context Learning
UC San Diego(加州大学圣迭戈分校);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学布罗德研究所);Harvard University(哈佛大学);UC Berkeley(加州大学伯克利分校)
本文对比了上下文学习中的上下文扩展与任务扩展,发现标准MLPs仅具备任务扩展能力,并提出一种无key、query、value权重的简化transformer架构,通过将其特征映射输出与向量化数据拼接输入MLPs,成功实现了两种扩展能力的统一。
2024-10-16 cs.LG stat.ML
Optimal Scaling Laws for Efficiency Gains in a Theoretical Transformer-Augmented Sectional MoE Framework
Collins Aerospace(柯林斯宇航公司)
本文提出一种分段式MoE架构,通过分割嵌入维度并利用前置Transformer层保持表示,推导最优缩放定律以在硬件约束下确定专家数量,提升计算效率与可扩展性。
2025-03-26 cs.AI cs.LG
EC-DIT: Scaling Diffusion Transformers with Adaptive Expert-Choice Routing
Apple AI/ML(苹果公司人工智能与机器学习部门);Georgia Institute of Technology(佐治亚理工学院)
提出基于专家选择路由的扩散Transformer模型EC-DIT,通过自适应分配计算量处理文本与图像补丁的异构复杂度,成功扩展至970亿参数,在文本到图像对齐等指标上显著优于稠密和传统MoE模型。
2025-03-04 cs.CV cs.LG
StructuredDNA: A Bio-Physical Framework for Energy-Aware Transformer Routing
InnoDeep
StructuredDNA通过生物物理原理实现节能Transformer路由,降低能源利用密度并提升语义稳定性。
2025-12-01 cs.LG
Scaling Vision Transformers: Evaluating DeepSpeed for Image-Centric Workloads
Electrical \& Computer Eng University of Waterloo
本研究评估DeepSpeed在图像处理任务中的可扩展性,通过实验探讨分布式数据并行对训练效率和性能的影响,并为优化视觉变换器的分布式训练提供基础。
2026-02-24 cs.LG eess.SP
Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling
The School of Computer Science, China University of Geosciences, 388 Lumo Road, Wuhan, 430074, Hubei, China(中国地质大学(北京)计算机科学学院)
Nexusformer通过非线性映射解决传统Transformer扩展中的线性瓶颈,实现无损结构扩展,实验表明其在语言模型和推理任务中以更低的计算成本达到与Tokenformer相当的性能。
2026-04-21 cs.AI cs.LG
Mixture of Chapters: Scaling Learnt Memory in Transformers
IIT Kharagpur(印度理工学院Kharagpur分校);Fractal AI
本文提出学习稀疏内存银行,通过交叉注意力机制使变换器层检索存储知识,通过章节路由扩展内存容量,实验证明模型在预训练和指令微调中优于基线,展示显式关联记忆的补充能力。
2026-03-22 cs.AI cs.CL cs.LG
Scaling Sequential Recommendation Models with Transformers
Mercado Libre Inc.(美客多公司)
本研究受大语言模型缩放定律启发,利用完整Amazon Product Data数据集探索Transformer在序列推荐中的缩放规律,验证了计算最优训练可行性与下游迁移效果,为真实高维推荐场景的模型训练部署提供路线图。
2024-12-10 cs.AI cs.LG
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University(上海科技大学)
针对扩散Transformer的扩展性问题,提出搭载Expert Race灵活路由策略的Race-DiT模型,结合逐层正则化与路由相似度损失优化专家利用,在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior
Microsoft(微软公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学)
提出潜在循环Transformer(LRT),通过跨层循环潜在路径重用前一token的高层隐藏状态作为记忆,在不增加暂停token或额外深度循环的情况下,以约2倍基线计算实现并行训练,在匹配有效计算下提升语言建模损失和上下文学习能力,仅增加0.3%参数。
2026-09-02 cs.CL cs.LG
Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers
Google Research & DeepMind(谷歌研究院与深度思维)
关于Transformer架构的伸缩行为,仍然存在许多悬而未决的问题。这些扩展决策和发现可能是至关重要的,因为训练运行通常伴随着相关的计算成本,这些计算成本具有财务和/或环境影响。本文的目标是从预训练和微调Transformers中展示扩展见解。虽然Kaplan等人对Transformer语言模型的缩放行为进行了全面的研究,但范围仅限于上游(预训练)损失。因此,目前还不清楚这些发现是否转移到下游任务的背景下,pretrain-finetune范式。本文的主要发现如下:(1)我们表明,除了模型大小之外,模型形状对于下游微调也很重要,(2)缩放协议在不同的计算区域中的操作不同,(3)广泛采用的T5-base和T5-large大小是帕累托无效的。为此,我们提出了改进的缩放协议,从而我们重新设计的模型实现了类似的下游微调质量,同时与广泛采用的T5基础模型相比,参数减少了50%,训练速度加快了40%。我们公开发布了100多个不同T5配置的预训练检查点,以方便未来的研究和分析。
2022-01-30 cs.AI cs.CL cs.CV
Scaling Transformers for Low-Bitrate High-Quality Speech Coding
Stability AI(稳定性人工智能公司)
针对语音标记化任务,本研究扩展大参数Transformer架构并结合灵活有限标量量化(FSQ)瓶颈,在400或700比特/秒极低比特率下实现最先进语音质量,且在主客观测试中显著优于现有基准。
2024-11-29 cs.AI cs.LG cs.SD
Learning Rate Transfer for Hybrid Transformer-SSM Architectures
Seoul National University(首尔大学);SB Intuitions;LG AI Research(LG AI研究院);Hodoo AI
本研究探讨混合Transformer-SSM架构的学习率迁移,发现仅用μP处方即可在多种规模下实现近零LR迁移差距,归因于全局更新-权重不变性与AdamW局部平衡,并验证其跨配置及生产模型的有效性。
2026-11-06 cs.LG
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Google(谷歌)
在深度学习中,模型通常对所有输入重复使用相同的参数。混合专家模型(MoE)则不这么做,而是为每个传入的示例选择不同的参数。其结果是一个稀疏激活的模型-参数数量惊人-但计算成本恒定。然而,尽管MoE取得了一些显著的成功,但复杂性、通信成本和培训不稳定性阻碍了广泛采用--我们使用Switch Transformer解决了这些问题。我们简化了MoE路由算法和设计直观的改进模型,降低了通信和计算成本。我们提出的训练技术有助于解决不稳定性,我们首次展示了大型稀疏模型可以使用较低精度(bfloat 16)格式进行训练。我们基于T5-Base和T5-Large设计模型,以相同的计算资源获得高达7倍的预训练速度。这些改进扩展到多语言设置中,我们在所有101种语言中测量了mT5-Base版本的收益。最后,我们通过在“Colossal Clean Crawled Corpus”上预训练多达万亿个参数模型,提升了语言模型的当前规模,并实现了T5-XXL模型的4倍加速。
2022-06-16 cs.AI cs.LG
Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures
Nyun AI;Transmute AI Lab(Transmute AI实验室)
本文提出一种利用二阶损失景观信息的自动化缩放方法,在视觉Transformer中引入深度异质性,无需额外训练迭代即可联合缩放与训练,在DeiT-S上实现2.5%准确率提升和10%参数效率改进。
2024-02-19 cs.AI cs.LG cs.NE
Scaling Laws, Tabular Data and Actuarial Ratemaking Models
insureai;Bayes Business School(贝叶斯商学院)
该研究探究精算费率厘定场景下的缩放规律,对比不同模型发现TabM的数据缩放能力更强,Transformer需额外归纳偏差才能实现有效参数缩放,为该场景的模型选择提供定量指导。
2026-09-04 cs.LG q-fin.RM
Stochastic Scaling Limits and Synchronization by Noise in Deep Transformer Models
Department of Mathematics and Statistics, University of Bern (CH)(伯尔尼大学数学与统计学系);Department of Mathematics, University of Pisa (IT)(比萨大学数学系)
研究深度变换器模型中令牌层演化路径的路径收敛性,推导出描述令牌分布演化的随机偏微分方程,并证明大规模令牌下的混沌传播,同时证明噪声驱动的同步效应及平均交互能量的指数耗散。
2026-04-29 cs.LG math.PR stat.ML
Critical attention scaling in long-context transformers
Department of Mathematics, Massachusetts Institute of Technology(数学系,麻省理工学院);Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology(电气工程与计算机科学系,麻省理工学院)
该研究针对长上下文Transformer的注意力秩崩溃问题,通过分析简化模型确定关键缩放因子$\beta_n \backsim \text{log} n$,为YaRN和Qwen的注意力缩放提供理论依据,阐明对数缩放可维持长上下文下的稀疏内容自适应注意力。
2026-07-31 cs.AI cs.DM cs.LG
Generalization and Scaling Laws for Mixture-of-Experts Transformers
Univ Lyon, Lyon 2, LIRIS UMR 5205(里昂大学,里昂第二大学,LIRIS UMR 5205)
本文研究了混合专家变换器的泛化和缩放规律,通过分离输入容量与路由组合学,推导出覆盖数界,并结合标准ERM分析得出泛化界,揭示了在适当考虑活跃参数时,近似与估计的权衡。
2026-10-22 cs.AI cs.LG math.ST
Geometric and Dynamic Scaling in Deep Transformers
New York University(纽约大学);Stony Brook University(石溪大学)
本文提出流形几何变换器(MGT),通过几何约束和动态擦除机制解决深度变换器的秩崩溃问题,强调几何有效性在超深网络中的重要性。
2026-01-14 cs.AI cs.LG
Uniform Scaling Limits in AdamW-Trained Transformers
Mathematical Institute(数学研究所);University of Oxford(牛津大学)
本文研究了使用AdamW训练的变换器在深度趋近于无穷时的行为,通过将隐藏状态动态建模为相互作用粒子系统,证明了在适当缩放注意力头数下,隐藏状态和反向传播变量的联合动态以特定速率收敛到一个正向-反向ODE系统。
2026-05-11 cs.LG math.PR stat.ML
Sparse Layers are Critical to Scaling Looped Language Models
USC Information Sciences Institute(美国南加州大学信息科学研究所);Netflix(netflix公司)
研究比较了带循环和不带循环的MoE和标准Transformer,发现循环MoE模型在扩展性上优于标准模型,且循环模型在计算质量权衡中具有更好的早退性能。
2026-07-01 cs.CL cs.LG
Mechanisms of Non-Monotonic Scaling in Vision Transformers
Department of Computer Science, Boston University(计算机科学系,波士顿大学)
研究揭示了视觉变换器中深度增加导致性能非单调变化的机制,通过信息混乱指数发现信息扩散与任务性能的权衡关系。
2025-11-26 cs.AI cs.CV cs.LG
Scaling Algorithm Distillation for Continuous Control with Mamba
Akkodis Research France(法国Akkodis研究公司)
针对算法蒸馏受Transformer二次复杂度限制难以适配长序列连续控制的问题,本研究引入基于S6层的Mamba模型,在4个复杂连续元强化学习环境中验证其性能优于Transformer,且扩展长上下文可提升上下文强化学习效果,达到与在线元强化学习基线可比的水平。
2025-06-16 cs.AI cs.LG cs.RO
Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
Johns Hopkins University(约翰霍普金斯大学)
研究利用表示编码器进行生成建模时标准扩散变压器收敛失败的问题,指出根本原因是几何干扰,提出黎曼流匹配与雅可比正则化方法,使标准扩散变压器无需宽度缩放就能收敛。
2026-07-07 cs.CV cs.LG
SliceMoE: Routing Embedding Slices Instead of Tokens for Fine-Grained and Balanced Transformer Scaling
Rutgers University - New Brunswick(罗格斯大学新布朗斯维克分校)
针对令牌级MoE路由的容量瓶颈、负载失衡等问题,提出SliceMoE架构通过路由嵌入切片实现细粒度均衡扩展,经多任务实验验证其推理更快、困惑度更低且专家均衡性与可解释性更优。
2025-10-05 cs.AI cs.CL cs.LG
Efficient Diffusion Transformer Policies with Mixture of Expert Denoisers for Multitask Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);MIT(麻省理工学院)
本文提出去噪专家混合(MoDE)策略,通过稀疏专家和噪声条件路由实现参数高效扩展,在134个任务上超越现有扩散策略,减少40%活跃参数和90%推理成本,平均性能提升57%。
2024-12-17 cs.LG cs.RO
Scaling Legal AI: Benchmarking Mamba and Transformers for Statutory Classification and Case Law Retrieval
iisc.ac.in(印度理工学院)
本研究首次针对法律长上下文分类与检索任务,基准测试线性时间状态空间模型Mamba与Transformer,发现Mamba可处理数倍长度文档且性能相当,推出相关基准套件与开源资源。
2026-10-08 cs.AI cs.CY cs.LG
Representational Strengths and Limitations of Transformers
Columbia University(哥伦比亚大学);New York University(纽约大学)
本研究通过理论分析揭示了Transformer在稀疏平均任务上具有对数复杂度优势,但在三重检测任务上存在线性复杂度局限,并强调了通信复杂度在分析中的价值。
2023-11-16 cs.LG stat.ML
Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts
Apple(苹果公司)
本文提出一种移动友好的稀疏混合专家设计Mobile V-MoEs,通过整图路由和超类引导的稳定训练,在资源受限场景下使视觉Transformer在性能与效率间取得更优平衡。
2023-09-08 cs.CV cs.LG stat.ML
Effective Theory of Transformers at Initialization
Meta AI;Meta Platforms, Inc.(Meta平台公司)
本文对宽且深的Transformers的前向-后向信号传播进行有效理论分析,推导出初始化与训练超参数的宽度缩放建议,并在实际设置中成功训练了视觉和语言Transformers。
2023-04-04 cs.CL cs.LG hep-th
Focused Transformer: Contrastive Training for Context Scaling
IDEAS NCBR(IDEAS国家数字能力研究中心);University of Warsaw(华沙大学);Google DeepMind(谷歌DeepMind);Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所);xAI
本文提出聚焦Transformer(FoT),通过对比学习式训练优化(键,值)空间结构,缓解长上下文中的分心问题,并微调OpenLLaMA得到LongLLaMA,支持高达256k上下文的passkey检索。
2023-11-30 cs.AI cs.CL cs.LG
Loop-$μ$P: Residual Scaling and Hyperparameter Transfer in Looped Transformers
Tsinghua University(清华大学)
针对循环Transformer,提出残差缩放因子应为1/N而非1/√L,并推导出多层的分解参数化,实现超参数从少循环到多循环的迁移。
2026-10-20 cs.LG
Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
Department of Computer and Information Science (IDA), REAL, AIICS, Linköping University, Sweden(计算机与信息科学系(IDA)、REAL、AIICS、利厄普大学,瑞典)
本文实证比较预训练大规模时间序列模型(如Moirai、TimeGPT)与传统小规模Transformer在多个基准上的表现,揭示预训练模型的优势与局限及其适用场景。
2025-06-24 cs.LG
Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers
Idiap Research Institute(Idiap研究 institute);EPFL(瑞士联邦理工学院);BUT(布拉格技术大学);Novartis Institute of Biomedical Research(诺华生物医学研究 institute)
提出LARM模型,通过深度条件循环Transformer将循环编码器深度变为可控的测试时计算轴,结合稀疏CTC检查点、监督时钟嵌入、FiLM深度条件和延迟软后验反馈,在LibriSpeech上随推理循环次数增加提升WER,实现测试时计算缩放从自回归语言模型推理扩展到连续非自回归语音识别。
2026-06-16 cs.LG
OR-Transformer: Scaling Real-Time Decision-Making to 1,000 Items
Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学);California Institute of Technology(加州理工学院);University of Virginia(弗吉尼亚大学)
该研究针对大规模供应链补货的实时决策难题,提出OR-Transformer深度强化学习框架,其性能优于基线方法且决策时间大幅缩短,实现了千级物品规模下的实时决策。
2026-09-07 cs.LG
TQL: Scaling Q-Functions with Transformers by Preventing Attention Collapse
Stanford University(斯坦福大学)
TQL通过防止注意力崩溃,提升Transformer在强化学习中扩展价值函数的性能,实现43%的性能提升。
2026-02-01 cs.AI cs.LG
Sparse is Enough in Scaling Transformers
University of Warsaw(华沙大学);Google Research(谷歌研究院);OpenAI
大型Transformer模型在许多任务上都能产生令人印象深刻的结果,但训练或甚至微调都很昂贵,而且解码速度太慢,以至于它们的使用和研究变得遥不可及。我们通过利用稀疏性来解决这个问题。我们研究了Transformer中所有层的稀疏变体,并提出了Scaling Transformers,这是下一代Transformer模型的一个系列,它使用稀疏层来有效地扩展,并在我们扩展模型大小时比标准Transformer更快地执行非批量解码。令人惊讶的是,稀疏层足以获得与具有相同数量参数的标准Transformer相同的困惑。我们还集成了先前的稀疏性方法来注意,即使在内存有限的情况下,也可以对长序列进行快速推理。这导致性能竞争的国家的最先进的长文本摘要。
2021-11-24 cs.CL cs.LG
Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention
Technical University of Munich(慕尼黑技术大学)
针对传统图神经网络难以捕获节点长程依赖的问题,本文比较图Transformer中密集与稀疏两种注意力机制的权衡及适用场景,概述其设计挑战,为图Transformer的扩展提供参考。
2025-08-24 cs.AI cs.LG
Language Modeling using LMUs: 10x Better Data Efficiency or Improved Scaling Compared to Transformers
Applied Brain Research(应用大脑研究公司)
最近的研究表明,Transformers的语言建模任务的性能服从幂律关系模型的大小超过六个数量级。虽然Transformers表现出令人印象深刻的可扩展性,但它们的性能取决于处理大量数据,并且它们的计算和内存需求随着序列长度呈二次方增长。出于这些考虑,我们构建了一个基于Legendre内存单元的模型,该模型引入了一般的序列处理之前,并表现出$O(n)$和$O(n \ln n)$(或更好)的内存和计算的依赖性。超过三个数量级,我们表明我们的新架构达到了与Transformers相同的精度,但令牌减少了10倍。我们还表明,对于相同的训练量,我们的模型改善了Transformers器的损耗,就像Transformers改善LSTM一样。此外,我们证明,增加全球自我关注补充我们的架构和增强模型进一步提高性能。
2021-10-05 cs.CL cs.LG
DeepNet: Scaling Transformers to 1,000 Layers
Microsoft Research(微软研究院)
在本文中,我们提出了一个简单而有效的方法来稳定极深的Transformers。具体来说,我们引入了一个新的规范化函数(DeepNorm)来修改Transformer中的剩余连接,并伴随着理论推导的初始化。深入的理论分析表明,模型更新可以以稳定的方式有界。所提出的方法结合了两个世界中最好的,即,Post-LN的良好性能和Pre-LN的稳定训练,使DeepNorm成为首选。我们成功地将Transformers扩展到1,000层(即,2,500个注意力和前馈网络子层),这比之前的深度Transformers要深一个数量级。值得注意的是,在一个具有7,482个翻译方向的多语言基准测试中,我们的200层模型(3.2B参数)的性能明显优于48层最先进的模型(12 B参数)5个BLEU点,这表明了一个有希望的缩放方向。
2022-03-01 cs.CL cs.LG
Neural Scaling Laws of Transformer Operator Network
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
本研究为Transformer算子学习建立了理论框架,推导了逼近误差界和泛化幂律缩放定律,揭示了内在低维结构对收敛速率的影响,并经数值实验验证。
2026-09-29 cs.LG stat.ML
Residual Matrix Transformers: Scaling the Size of the Residual Stream
University of California Santa Cruz(加州大学圣克鲁兹分校)
本文提出Residual Matrix Transformer (RMT),通过外积记忆矩阵替换传统残差流,使残差流规模能独立扩展,在减少计算量、参数和训练数据的同时提升性能并优于传统transformer。
2025-06-28 cs.CL cs.LG
xLSTM Scaling Laws: Competitive Performance with Linear Time-Complexity
ELLIS Unit Linz, Institute for Machine Learning, JKU Linz, Austria(林茨ELLIS单位、机器学习研究所、JKU林茨,奥地利);NXAI GmbH, Linz, Austria(林茨NXAI公司,奥地利)
xLSTM在保持竞争力的同时,展现出线性时间复杂度和更优的缩放性能,优于Transformer架构。
2026-02-20 cs.LG
BlackGoose Rimer: Harnessing RWKV-7 as a Simple yet Superior Replacement for Transformers in Large-Scale Time Series Modeling
本文提出BlackGoose Rimer,将RWKV-7的时间混合与通道混合组件集成到Timer模型中,以更少参数实现1.13至43.3倍性能提升和4.5倍训练时间缩减,为大规模时间序列建模提供了优于Transformer的替代方案。
2025-03-08 cs.LG
STEM: Scaling Transformers with Embedding Modules
Carnegie Mellon University(卡内基梅隆大学);Meta AI
STEM通过嵌入模块实现变换器扩展,提升性能与可解释性
2026-01-15 cs.LG
BranchNorm: Robustly Scaling Extremely Deep Transformers
Tencent Inc(腾讯公司)
针对DeepNorm约束模型更新易导致训练不足的问题,提出BranchNorm方法,按训练阶段动态缩放Transformer非残差分支,兼顾训练稳定性与收敛性能,在多翻译任务上取得更优权衡。
2023-05-04 cs.CL cs.LG
Online Ensemble Transformer for Accurate Cloud Workload Forecasting in Predictive Auto-Scaling
ByteDance Inc.(字节跳动公司)
本文提出在线集成Transformer模型E3Former,通过协同多个子网络提升云工作负载预测精度与鲁棒性,在真实系统中将预测误差平均降低10%,并已部署于字节跳动IHPA平台,支撑超30个应用、60万以上CPU核心,资源利用率降低超40%。
2025-08-18 cs.LG
Scaling Vision Transformers
Google Research(谷歌研究院)
基于注意力的神经网络,如视觉Transformer(ViT),最近在许多计算机视觉基准测试中获得了最先进的结果。规模是获得出色结果的主要因素,因此,了解模型的缩放特性是有效设计后代的关键。虽然已经研究了缩放Transformer语言模型的规则,但还不知道视觉Transformer如何缩放。为了解决这个问题,我们缩放ViT模型和数据,向上和向下,并表征出错率,数据和计算之间的关系。在此过程中,我们改进了ViT的架构和训练,减少了内存消耗,提高了最终模型的准确性。因此,我们成功地训练了一个具有20亿个参数的ViT模型,该模型在ImageNet上达到了90.45%的top-1准确率。该模型在Few-Shot传输方面也表现良好,例如,在ImageNet上达到84.86%的top-1准确率,每个类只有10个示例。
2022-06-20 cs.AI cs.CV cs.LG
Understanding Scaling Laws with Statistical and Approximation Theory for Transformer Neural Networks on Intrinsically Low-dimensional Data
Georgia Institute of Technology(佐治亚理工学院)
针对Transformer缩放定律缺乏严格理论解释的问题,本文基于低维流形假设建立统计估计与逼近理论,证明了泛化误差遵循由数据内在维度决定的幂律,并在浅层架构下得到实验验证。
2024-11-11 cs.AI cs.CL cs.LG
Scaling Transformer to 1M tokens and beyond with RMT
MIPT(莫斯科物理技术学院);AIRI(人工智能研究所);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究提出循环记忆增强方法(RMT),使预训练Transformer在计算量线性扩展下处理长达两百万token的输入,提升语言建模困惑度,增强长期依赖处理能力。
2024-02-06 cs.AI cs.CL cs.LG