EC-DIT: Scaling Diffusion Transformers with Adaptive Expert-Choice Routing
Apple AI/ML(苹果公司人工智能与机器学习部门);Georgia Institute of Technology(佐治亚理工学院)
提出基于专家选择路由的扩散Transformer模型EC-DIT,通过自适应分配计算量处理文本与图像补丁的异构复杂度,成功扩展至970亿参数,在文本到图像对齐等指标上显著优于稠密和传统MoE模型。
2025-03-04 cs.CV cs.LG
Attention Is Not All You Need: The Importance of Feedforward Networks in Transformer Models
Johns Hopkins University(约翰霍普金斯大学)
本文通过预训练实验检验Transformer中FFN的作用,证明三层FFN且减少块数的配置能以更少参数和更短时间获得更低训练损失。
2025-05-10 cs.CL cs.LG
GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);NeuralMagic(神经魔法公司)
生成式预训练的Transformer模型,称为GPT或OPT,通过在复杂语言建模任务中的突破性性能,以及极高的计算和存储成本,使自己脱颖而出。具体而言,由于其庞大的尺寸,即使是大型,高精度GPT模型的推理也可能需要多个高性能GPU,这限制了此类模型的可用性。虽然通过模型压缩缓解这种压力的工作正在兴起,但现有压缩技术的适用性和性能受到GPT模型的规模和复杂性的限制。在本文中,我们解决这个挑战,并提出GPTQ,一个新的单次权重量化方法的基础上近似二阶信息,这是高精度和高效率。具体来说,GPTQ可以在大约4个GPU小时内使用1750亿个参数对GPT模型进行优化,将位宽降低到每权重3或4位,相对于未压缩的基线,精度下降可以忽略不计。相对于之前提出的单次量化方法,我们的方法将压缩增益提高了一倍多,保持了准确性,使我们首次能够在单个GPU内执行1750亿个参数模型,以进行生成推理。此外,我们还表明,我们的方法仍然可以提供合理的精度在极端的量化制度,其中权重被量化到2位,甚至三进制量化水平。我们的实验表明,这些改进可以利用FP16的端到端推理加速,当使用高端GPU(NVIDIA A100)时约为3.25倍,当使用更具成本效益的GPU(NVIDIA A6000)时约为4.5倍。该实现可在https://github.com/IST-DASLab/gptq上获得。
2023-03-22 cs.LG
Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT LLM on Mobile
IPLeiria(莱里亚理工学院)
针对云端大语言模型的延迟与隐私问题,提出创新推理方法,通过原生代码与模型量化,让30亿参数微调GPT大语言模型可在4GB内存移动设备端侧运行,兼具通用助手与文本转动作功能,为隐私友好的移动AI应用开辟可能。
2023-09-29 cs.AI cs.CL cs.LG
BLaST: High Performance Inference and Pretraining using BLock Sparse Transformers
ETH Zurich(苏黎世联邦理工学院);Fujitsu Pvt. Ltd.(Fujitsu私人有限公司)
BLaST通过块稀疏化方法高效剪除Transformer线性层冗余权重,实现高达95%稀疏度、精度损失极小,并显著提升推理速度与降低内存及成本。
2025-10-26 cs.DC cs.LG
LASER: Attention with Exponential Transformation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
针对Transformer中softmax注意力梯度信号微弱导致学习低效的问题,提出LASER注意力机制以增大梯度信号,在大型语言模型及视觉、语音等多模态任务上显著提升了性能与泛化能力。
2025-07-13 cs.CL cs.LG
Ouroboros: On Accelerating Training of Transformer-Based Language Models
Duke University(杜克大学);University of Pittsburgh(匹兹堡大学)
语言模型对于机器翻译和文本摘要等自然语言处理(NLP)任务至关重要。最近,通过一个基于transformer的语言模型(具有超过10亿个参数),在许多NLP领域中展示了显着的性能,验证了模型大小的好处。如果一个模型太大而无法容纳在单个计算设备中,则需要模型并行。当前的模型并行方法要么在反向传播中遭受反向锁定,要么不适用于语言模型。我们提出了第一个模型并行算法,加快了基于transformer的语言模型的训练。我们还证明了我们提出的算法是保证收敛到临界点的非凸问题。在Transformer和Transformer-XL语言模型上的大量实验表明,该算法获得了比数据并行更快的加速比,并且具有相当或更好的精度。重现实验的代码见\url{https://github.com/LaraQianYang/Ouroboros}。
2019-09-14 cs.CL cs.LG stat.ML
Large Memory Layers with Product Keys
Facebook AI Research(脸书人工智能研究院);Sorbonne Universités, UPMC Univ Paris 06(索邦大学,巴黎第六大学皮埃尔和玛丽·居里大学)
本文介绍了一种结构化存储器,它可以很容易地集成到一个神经网络。存储器的设计非常大,大大增加了架构的容量,多达十亿个参数,计算开销可以忽略不计。它的设计和访问模式是基于产品密钥,这使得快速和准确的最近邻搜索。在保持相同计算预算的同时增加参数数量的能力使整个系统在训练和测试时都能在预测精度和计算效率之间取得更好的平衡。这个内存层允许我们处理非常大规模的语言建模任务。在我们的实验中,我们考虑了一个高达300亿字的数据集,我们将我们的内存层插入到一个最先进的基于transformer的架构中。特别是,我们发现只有12层的内存增强模型优于24层的基线Transformer模型,同时在推理时间上快了两倍。我们发布我们的代码是为了重现性。
2019-12-16 cs.CL cs.LG
DeepSpeed Inference: Enabling Efficient Inference of Transformer Models at Unprecedented Scale
Microsoft Corporation(微软公司)
在过去的几年里,基于transformer的模型取得了成功,其规模和应用场景继续积极增长。当前Transformer模型的格局越来越多样化:模型大小变化很大,最大的有千亿个参数;由于专家混合引入的稀疏性,模型特征不同;目标应用场景可以是延迟关键的或面向吞吐量的;部署硬件可以是具有不同类型的存储器和存储装置等的单GPU或多GPU系统。随着Transformer模型的这种增加的多样性和快速发展的步伐,设计高性能和高效的推理系统是极具挑战性的。在本文中,我们提出了DeepSpeed Inference,这是一种用于Transformer模型推理的综合系统解决方案,可解决上述挑战。DeepSpeed Inference包括(1)多GPU推理解决方案,可在密集和稀疏Transformer模型适合聚合GPU内存时,最大限度地减少延迟,同时最大限度地提高吞吐量;(2)异构推理解决方案,除GPU内存和计算外,还利用CPU和NVMe内存,对不适合聚合GPU内存的大型模型实现高推理吞吐量。DeepSpeed Inference在面向延迟的场景中将延迟降低了高达7.3倍,在面向吞吐量的场景中将吞吐量提高了1.5倍以上。此外,它通过利用数百个GPU,在实时延迟约束下实现了万亿参数规模的推理,这是前所未有的推理规模。它可以推理比仅GPU解决方案大25倍的模型,同时提供84 TFLOPS的高吞吐量(超过A60…
2022-06-30 cs.DC cs.LG cs.PF
Lillama: Large Language Models Compression via Low-Rank Feature Distillation
LORIA(洛里亚实验室);CNRS(法国国家科学研究中心)
本文提出Lillama压缩方法,通过低秩权重局部蒸馏激活值,在单GPU上快速压缩大模型并保持高性能,适用于Transformer及非Transformer架构。
2024-12-28 cs.AI cs.LG
Pixel-Resolved Long-Context Learning for Turbulence at Exascale: Resolving Small-scale Eddies Toward the Viscous Limit
Oak Ridge National Laboratory(橡树岭国家实验室);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出多尺度分层湍流Transformer与RingX序列并行方法,在Frontier超算上实现可扩展长上下文学习,首次使AI模型能解析小尺度涡旋直至粘性耗散区。
2025-07-22 cs.LG physics.flu-dyn
Scaling Efficient LLMs
Independent(独立研究者)
本文提出递归变换器,通过结合变换器和递归网络的优势,实现了高效的大语言模型,解决了参数规模与数据规模之间的非线性关系问题。
2026-01-02 cs.CL cs.LG
CoFormer: Collaborating with Heterogeneous Edge Devices for Scalable Transformer Inference
School of Information and Electrionics, Beijing Institute of Technology(信息与电子学院,北京理工大学);School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(网络安全科学与技术学院,中山大学深圳校区);School of Computer Science, National Engineering Research Center for Multimedia Software, Wuhan University(计算机学院,多媒体软件国家工程研究中心,武汉大学);Information Technology Service Center of People’s Court, Beijing(人民法院信息技术服务中心,北京);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学)
CoFormer提出将大型Transformer分解为多个小模型并在异构边缘设备上分布式协作推理,通过DeBo算法优化分解策略与模型校准,在保持性能的同时实现显著加速、降内存与降能耗。
2025-08-28 cs.DC cs.LG cs.PF
ADAPT to Robustify Prompt Tuning Vision Transformers
Northeastern University(东北大学)
本文提出ADAPT框架,在提示微调范式下进行自适应对抗训练,仅微调约1%参数即可达到与全模型微调SOTA方法相当的约40%鲁棒准确率,解决了现有防御方法在提示微调中遭受梯度混淆和自适应攻击的问题。
2025-02-07 cs.AI cs.CV cs.LG
Neural Organ Transplantation (NOT): Checkpoint-Based Modular Adaptation for Transformer Models
神经器官移植(NOT)通过模块化检查点适应方法,在变换器模型中实现高效领域适应,显著提升性能并加快训练速度。
2026-01-20 cs.AI cs.LG
Empirical Capacity Model for Self-Attention Neural Networks
Maastricht University(马斯特里赫特大学)
本文通过常见训练算法与合成数据研究Transformer的记忆容量,提出经验容量模型ECM,用于在给定目标记忆能力时设计参数数量最优的任务专用Transformer。
2024-07-31 cs.AI cs.CL cs.LG
On the Effect of Dropping Layers of Pre-trained Transformer Models
Dalhousie University(达尔豪斯大学);Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
基于transformer的NLP模型使用数亿甚至数十亿个参数进行训练,限制了它们在计算受限环境中的适用性。虽然参数的数量通常与性能相关,但尚不清楚下游任务是否需要整个网络。受最近关于修剪和提取预训练模型的工作的启发,我们探索了在预训练模型中删除层的策略,并观察修剪对下游GLUE任务的影响。我们能够将BERT、RoBERTa和XLNet模型修剪高达40%,同时保持高达98%的原始性能。此外,我们表明,我们的修剪模型与那些使用知识蒸馏,无论是在规模和性能方面。我们的实验产生了有趣的观察结果,例如,(i)较低的层对于维持下游任务性能是最关键的,(ii)一些任务,如释义检测和句子相似性对层的丢弃更鲁棒,以及(iii)使用不同目标函数训练的模型表现出不同的学习模式和层丢弃。
2022-08-13 cs.CL cs.LG
X-Former: In-Memory Acceleration of Transformers
Purdue University(普渡大学)
由于注意力机制,Transformers在各种各样的自然语言处理(NLP)任务中取得了巨大的成功,该注意力机制为序列中的每个单词分配相对于其他单词的重要性分数。然而,这些模型非常大,往往达到数千亿个参数,因此需要大量的DRAM访问。因此,传统的深度神经网络(DNN)加速器(如GPU和TPU)在有效处理Transformers方面面临限制。基于非易失性存储器的存储器内加速器有望成为这一挑战的有效解决方案,因为它们提供高存储密度,同时在存储器阵列内执行大规模并行矩阵向量乘法。然而,注意力得分计算经常用于Transformers(与CNN和RNN不同),需要矩阵向量乘法(MVM),其中两个操作数针对每个输入动态变化。结果,传统的基于NVM的加速器在用于Transformers时招致高的写入延迟和写入能量,并且还遭受大多数NVM技术的低耐久性。为了解决这些挑战,我们提出了X-Former,一种混合内存硬件加速器,由NVM和CMOS处理元件组成,有效地执行Transformer工作负载。为了提高X-Former的硬件利用率,我们还提出了一种序列块并行算法,它重叠了两个处理单元的计算,减少了执行时间。在几个基准测试中,我们发现X-Former在延迟和能量方面比NVIDIA GeForce GTX 1060 GPU提高了85倍和7.5倍,在延迟和能量方面比最先进的内存中NVM加速器提高了10.7…
2023-03-13 cs.AR cs.LG
Transformer Model Detects Antidepressant Use From a Single Night of Sleep, Unlocking an Adherence Biomarker
Massachusetts Institute of Technology (MIT)(麻省理工学院);University of Michigan(密歇根大学);King Abdulaziz City for Science and Technology (KACST)(阿卜杜勒-阿齐兹国王科技城);University of Prishtina(普里什蒂纳大学);University of Pittsburgh Medical Center(匹兹堡大学医学中心);Massachusetts General Hospital & Harvard Medical School(麻省总医院与哈佛医学院)
研究提出首个非侵入性生物标志物,利用Transformer模型分析单夜可穿戴或无线传感器睡眠数据检测抗抑郁药摄入,在62,000夜数据中AUROC达0.84,实现居家每日依从性评估。
2025-10-11 cs.LG
Hierarchical Sparse Circuit Extraction from Billion-Parameter Language Models through Scalable Attribution Graph Decomposition
Department of CSE, Muffakham Jah College of Engineering and Technology (MJCET)(计算机科学与工程系,穆法卡姆·贾赫工程与技术学院(MJCET))
提出分层归因图分解(HAGD)方法,通过跨层编码器训练、谱粗化、GNN引导分层遍历和因果干预验证,将电路提取复杂度降至O(n² log n),在多个大模型上实现高行为保留。
2026-06-23 cs.AI cs.CL cs.LG
BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data
Universidad Politécnica de Madrid(马德里理工大学);Amazon(亚马逊公司)
本文介绍了在100K小时数据上训练的10亿参数TTS模型BASE TTS,其通过自回归Transformer和卷积解码器实现文本转语音,并展示了在文本复杂句上产生自然韵律的涌现能力。
2024-02-15 cs.CL cs.LG eess.AS
ViTok-v2: Scaling Native Resolution Auto-Encoders to 5 Billion Parameters
University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学);Stanford University(斯坦福大学);Spellbrush;Meta Superintelligence Labs(Meta超智能实验室);Georgia Institute of Technology(佐治亚理工学院)
ViTok-v2通过NaFlex实现跨分辨率和宽高比泛化,引入新的DINOv3感知损失,提升重建性能并稳定训练,达到当前最佳水平。
2026-05-06 cs.AI cs.CV cs.LG
TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models
UC Berkeley(加州大学伯克利分校);Duke University(杜克大学)
模型并行已经成为训练现代大规模深度语言模型的必要条件。在这项工作中,我们确定了一个新的和正交的维度,从现有的模型并行方法:它是可能的,以执行流水线并行在一个单一的训练序列基于transformer的语言模型由于其自回归属性。与以前的工作相比,这可以实现更细粒度的管道。基于这一核心思想,我们设计了一种高性能的令牌级流水线并行算法TeraPipe,用于基于transformer的语言模型的同步模型并行训练。我们开发了一种新的基于动态规划的算法来计算给定特定模型和集群配置的最优流水线执行方案。我们表明,与最先进的模型并行方法相比,TeraPipe可以将AWS集群上具有1750亿个参数的最大GPT-3模型的训练速度提高5.0倍,其中包含48个p3.16xlarge实例。复制代码可以在https://github.com/zhuohan123/terapipe上找到
2021-09-28 cs.CL cs.DC cs.LG
A Billion-scale Foundation Model for Remote Sensing Images
SI Analytics
本文首次构建遥感领域十亿级基础模型,通过预训练86M至2.4B不同参数规模的视觉Transformer,证明增大参数量可提升旋转目标检测与语义分割性能及数据效率,并在多个数据集上达到最优。
2024-08-12 cs.AI cs.CV cs.LG
HessFormer: Hessians at Foundation Scale
Maths Department University of Oxford(牛津大学数学系)
针对 Hessian-vector 方法难以扩展至大模型的问题,本文提出 HessFormer 软件包与分布式随机 Lanczos 求积算法,支持单节点多 GPU 计算,并用于分析 Deepseek 70B 模型的 Hessian 谱密度。
2025-05-16 cs.LG stat.ML
The Depth Delusion: Why Transformers Should Be Wider, Not Deeper
Data Science Research Lab, Department of Statistics, University of Rajshahi, Rajshahi-6205, Bangladesh.(数据科学研究实验室,统计学系,拉贾沙希大学,拉贾沙希-6205,孟加拉国)
该研究发现Transformer模型应更宽而非更深,通过分析不同架构的缩放定律,揭示了增加层数反而会增加损失的现象,展示了宽度增长对模型性能的积极影响。
2026-01-28 cs.AI cs.LG
Large-Scale Multi-omic Biosequence Transformers for Modeling Protein-Nucleic Acid Interactions
Duke University School of Medicine(杜克大学医学院);NYU Langone Health(纽约大学朗格尼医学中心);New York University(纽约大学)
OmniBioTE是一种大规模多组学生物序列变压器,通过混合蛋白质和核酸数据训练,实现了对蛋白质-核酸相互作用的高效预测和结构信息学习。
2026-01-17 cs.LG q-bio.BM
Scaling Recurrent Neural Networks to a Billion Parameters with Zero-Order Optimization
Department of Computer Science Stanford University(计算机科学系 斯坦福大学);Department of Aeronautics and Astronautics Stanford University(航空与航天系 斯坦福大学)
本文提出用零阶优化(如随机向量梯度估计)替代BPTT训练大规模RNN,在保持推理模式的同时实现十亿参数规模,收敛速度匹配或超越BPTT达19倍,内存成本大幅降低,并在多种任务中泛化性能相当或更优。
2025-05-23 cs.AI cs.LG
PreLoRA: Hybrid Pre-training of Vision Transformers with Full Training and Low-Rank Adapters
Washington State University(华盛顿州立大学);Argonne National Laboratory(阿贡国家实验室);Red Hat(红帽公司)
PreLoRA通过在训练早期全训练,后期切换至低秩适配,减少可训练参数至原大小的10%,提升吞吐量3倍,降低训练时间1.5倍及内存消耗20%。
2026-03-12 cs.LG cs.PF
Memory-Efficient Fine-Tuning of Transformers via Token Selection
Meta AI
本文提出 TokenTune 方法,通过仅对部分输入 token 反向传播并缓存其中间激活值,大幅降低 Transformer 模型微调的内存开销,且可与 LoRA 等方法结合,在数十亿参数模型的少样本任务中达到与全量微调相当的性能。
2025-01-31 cs.CL cs.LG
Comparison between transformers and convolutional models for fine-grained classification of insects
Naturalis Biodiversity Center(自然生物多样性中心);Tilburg University(蒂尔堡大学)
针对昆虫细粒度分类难题,对比全Transformer、全卷积及混合三类模型,发现混合模型准确率最优,全Transformer模型推理更快且对小样本鲁棒。
2023-07-20 cs.CV cs.LG
Scaling Generative Foundation Models for Chest Radiography with Rectified Flow Transformers
Imperial College London(帝国理工学院);Causality in Healthcare AI Hub(医疗AI因果关系中心);University of Edinburgh(爱丁堡大学);Cleveland Clinic London(克利夫兰诊所伦敦);Department of Perioperative Medicine, CHU Clermont-Ferrand(克莱蒙费朗大学医院围手术期医学科);Department of Medicine, Massachusetts General Hospital(麻省总医院医学部);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
提出首个十亿参数级胸部X光片生成基础模型,通过整流流变换器实现高保真可控合成,显著提升合成图像与真实图像的不可区分性。
2026-06-19 cs.AI cs.CV cs.LG
Power-Softmax: Towards Secure LLM Inference over Encrypted Data
IBM Research(IBM研究院)
提出HE友好的自注意力变体Power-Softmax,构建首个超十亿参数的多项式LLM,实现安全加密推理且性能媲美标准Transformer。
2024-10-12 cs.CR cs.LG
TPTT: Transforming Pretrained Transformers into Titans
针对大语言模型自注意力层二次方开销的问题,提出无需全量重训的TPTT框架,结合线性化注意力与内存门控增强预训练Transformer,在1B参数模型上实现效率与准确率提升,可低开销适配长上下文任务。
2025-08-31 cs.AI cs.CL cs.LG
Nonlinear Optical Data Transformer for Machine Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院);Versics AG(Versics股份公司)
现代机器学习模型使用越来越多的参数来训练(GPT-3的1750亿个参数)大型数据集,以获得更好的性能。越大越好已经成为常态。光学计算已经被重新唤醒,作为一种潜在的解决方案,通过光学加速器进行线性操作,同时减少电力大规模计算。然而,要实现高效的计算与光,创建和控制非线性光学,而不是电子仍然是一个挑战。本研究探讨了水库计算(RC)的方法,即14毫米长的少模波导在铌酸锂绝缘体上被用作一个复杂的非线性光学处理器。数据集在飞秒脉冲的频谱上进行数字编码,然后在波导中发射。输出频谱与输入非线性相关。我们的实验表明,一个简单的数字线性分类器与784个参数使用的输出光谱从波导作为输入增加了几个数据库的分类精度相比,非变换的数据,约10 $\%$。相比之下,需要具有40000个参数的深度数字神经网络(NN)才能达到相同的精度。将参数的数量减少因子$\sim$ 50说明紧凑的光学RC方法可以与深度数字NN同等地执行。
2022-08-19 cs.AI cs.ET cs.LG
Deep Optimizer States: Towards Scalable Training of Transformer Models Using Interleaved Offloading
Rochester Institute of Technology(罗切斯特理工学院);Illinois Institute of Technology(伊利诺伊理工学院);Argonne National Laboratory(阿贡国家实验室)
本文提出深度优化状态技术,通过交错卸载优化器状态到主机内存,提升GPU和CPU的利用效率,实验显示比现有方法快2.5倍。
2026-04-13 cs.AI cs.DC cs.ET
Inference Optimization of Foundation Models on AI Accelerators
AWS AI(亚马逊云科技人工智能部门);EPFL(洛桑联邦理工学院)
本文是一篇教程,系统介绍基于AI加速器的大语言模型等基础模型推理优化技术,涵盖注意力计算优化、Transformer架构要素以及模型压缩与快速解码策略。
2024-10-01 cs.AI cs.LG
Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
Meta AI
本文提出生成式推荐框架及 HSTU 架构,将推荐重构为序列转导任务,在 NDCG 和速度上显著超越基线,并展示万亿参数模型随计算量幂律扩展,已在线部署并提升指标 12.4%。
2024-05-06 cs.IR cs.LG
SOLO: A Single Transformer for Scalable Vision-Language Modeling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出SOLO,一种单一Transformer架构的70亿参数视觉语言模型,通过从LLM初始化、顺序预训练和指令微调的开源训练方案,解决现有LVLM的可扩展性问题,性能媲美LLaVA-v1.5-7B,尤其在视觉数学推理上表现优异。
2024-12-13 cs.CL cs.CV cs.LG
Sparse Distillation: Speeding Up Text Classification by Using Bigger Student Models
Meta AI;University of Southern California(南加州大学)
将最先进的Transformer模型提炼为轻量级学生模型是减少推理时计算成本的有效方法。学生模型通常是具有较少参数的紧凑型Transformers,而诸如自我注意等昂贵的操作仍然存在。因此,改进的推理速度对于实时或高容量用例可能仍然不令人满意。在本文中,我们的目标是通过将教师模型提取为更大,更稀疏的学生模型来进一步推动推理速度的极限-更大的是它们可以扩展到数十亿个参数;更稀疏的是大多数模型参数都是n-gram嵌入。我们在六个单句文本分类任务上的实验表明,这些学生模型平均保留了97%的Roberta-Large教师性能,同时在GPU和CPU上实现了高达600倍的推理速度。进一步的研究表明,我们的管道也是有帮助的双对分类任务,并在领域泛化设置。
2022-07-25 cs.CL cs.LG