Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
Bestpay AI Lab（贝付人工智能实验室）
Falcon提出半自回归投机解码框架，通过耦合序列注视蒸馏和定制解码树，在Vicuna和LLaMA2-Chat上实现2.91x-3.51x无损加速，超越现有方法。
2025-04-22 cs.AI cs.CL
Faster, Lighter, More Accurate: A Deep Learning Ensemble for Content Moderation
Comcast（康卡斯特）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出一种高效轻量的深度分类集成结构，利用缩减颜色特征的轻量级模型组合，在图像和视频内容审核中实现高精度与低误报，推理速度提升7.64倍，并倡导“小而多”的模型集成理念。
2023-09-10 cs.AI cs.CV cs.LG
Less is More: Lighter and Faster Deep Neural Architecture for Tomato Leaf Disease Classification
Islamic University of Technology（伊斯兰技术大学）
为了确保全球粮食安全和利益相关者的整体利益，正确检测和分类植物病害至关重要。在这方面，基于深度学习的图像分类的出现已经引入了大量的解决方案。然而，这些解决方案在低端设备中的适用性需要快速，准确和计算成本低廉的系统。提出了一种基于轻量级迁移学习的番茄叶片病害检测方法。该方法采用了一种有效的预处理方法，通过光照校正增强叶片图像，从而提高分类效果。我们的系统使用由预训练的MobileNetV2架构和分类器网络组成的组合模型提取特征，以进行有效的预测。传统的增强方法被运行时增强所取代，以避免数据泄漏并解决类不平衡问题。对PlantVillage数据集番茄叶片图像的评估表明，该架构在9.60MB的模型大小和4.87M浮点运算的情况下达到了99.30%的准确率，使其成为低端设备中实际应用的合适选择。我们的代码和型号可在https://github.com/redwankarimsony/project-tomato上获得。
2022-07-04 cs.CV cs.LG
Lighter, Better, Faster Multi-Source Domain Adaptation with Gaussian Mixture Models and Optimal Transport
CEA, List（CEA LIST）；Université Paris-Saclay（巴黎-萨克雷大学）
本文提出基于高斯混合模型与最优传输的多源域自适应框架，通过高效求解GMM间最优传输及重心计算，提出WBT和DaDiL两种策略，在四个基准上实现更快、参数更少且性能更优的结果。
2024-08-21 cs.LG stat.ML
PastForward: Faster On-Device GUI Agents via Computational Experience Reuse
PastForward通过细粒度重用计算经验加速端上GUI智能体，在单次VLM前向验证多令牌提议并跨步骤复用KV状态，实现1.63-2.36倍延迟加速且保持任务成功率。
2026-09-29 cs.AI
Multi-word Tokenization for Sequence Compression
University of Sussex（萨塞克斯大学）
本文提出多词分词器MWT，将频繁多词表达编码为单个token，在固定序列长度下提升覆盖率和性能，并通过缩短序列实现更快推理，支持早期截断加速。
2024-04-04 cs.CL cs.LG
FL-Tuning: Layer Tuning for Feed-Forward Network in Transformer
East China University of Science and Technology（华东理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）
提示微调是一种使预训练的语言模型适应下游任务的新兴方式。然而，现有的研究主要是在输入序列中添加提示。这种方法由于中间的多头自注意和前馈网络计算，使模型优化不是很顺利，不能达到预期的效果。因此，我们提出了一种新的调优方式称为层调优，旨在增加可学习的参数在Transformer层。具体而言，我们专注于前馈网络的层调谐在Transformer，即FL调谐。它在每个前馈网络的隐藏层中引入了额外的单元。我们在公共CLUE基准上进行了广泛的实验。结果表明：1）在几乎所有情况下，无论是全数据还是Few-Shot设置下，我们的FL-调谐都优于提示微调方法。特别是，与P-tuning v2相比，它在WSC 1.0上将精度提高了17.93%（全数据设置），在CLUENER上将精度提高了16.142%（Few-Shot设置）。2)我们的FL调谐更稳定，收敛速度比P调谐v2快1.17倍。3)由于只有大约3%的Transformer参数要训练，FL调整与大多数数据集上的微调相当，并且显著优于微调（例如，在WSC 1.1上的准确性提高了12.9%）。源代码可在https://github.com/genggui001/FL-Tuning上获得。
2022-06-30 cs.CL cs.LG
Accelerating Transformer Inference and Training with 2:4 Activation Sparsity
Meta
该研究利用Squared-ReLU激活的固有稀疏性，结合2:4硬件加速GPU稀疏模式，在无精度损失下将Transformer前馈网络的正反传播速度最高提升1.3倍，为大语言模型训练与推理加速提供了稀疏性方向的可行路径。
2025-03-20 cs.AI cs.LG
Sig-DEG for Distillation: Making Diffusion Models Faster and Lighter
University College London（伦敦大学学院）；JPMorganChase（摩根大通）；University of Oxford（牛津大学）；AIML Global Markets, Barclays（巴克莱证券AIML全球市场）
针对扩散模型推理计算量大的问题，提出Sig-DEG（基于签名的微分方程生成器），通过部分签名和循环结构逼近反向扩散过程，在粗时间网格蒸馏模型，推理步骤减一个数量级且生成质量具竞争力。
2026-10-15 cs.LG math.PR stat.ML
Tiny-PULP-Dronets: Squeezing Neural Networks for Faster and Lighter Inference on Multi-Tasking Autonomous Nano-Drones
University of Bologna（博洛尼亚大学）；ETH Zürich（苏黎世联邦理工学院）；Technology Innovation Institute（技术创新研究院）；Dalle Molle Institute for Artificial Intelligence（达勒·莫勒人工智能研究所）
本文提出 Tiny-PULP-Dronet 压缩方法，在保持 PULP-Dronet 飞行性能的同时将参数减少50倍、乘加运算减少27倍，为资源受限纳米无人机实现多任务智能提供轻量推理方案。
2024-07-02 cs.CV cs.LG cs.RO
A multitask deep learning model for real-time deployment in embedded systems
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
我们提出了一种多任务学习（MTL）方法，使深度学习模型更快，更轻，适用于需要同时解决多个任务的应用程序，这在嵌入式实时的【形】系统中特别有用。我们为目标检测和语义分割开发了一个多任务模型，并分析了训练过程中出现的挑战。与并行部署单任务模型相比，我们的多任务网络速度快1.6倍，重量更轻，占用的内存更少。我们的结论是，MTL有潜力提供卓越的性能，以换取更复杂的训练过程，引入了单任务模型中不存在的挑战。
2017-10-31 cs.CV cs.LG
ERASE: EaRly bAckpropagation SchEdule for Faster Training of Modern Recommendation Systems
Carnegie Mellon University（卡内基梅隆大学）；Meta Inc.（元公司）
该研究针对轻量级代理模型训练时加速器利用率低的问题，提出ERASE方案，通过分离子图反向传播与前向工作重叠，使大规模点击率模型训练吞吐量提升最高9.51%且保持性能稳定。
2026-08-20 cs.AI cs.LG
Faster feature selection with a Dropping Forward-Backward algorithm
University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
在这个大数据时代，特征选择技术已经被证明可以简化模型，使模型更易于理解，加快学习过程，变得越来越重要。在众多已发展的方法中，前向和逐步特征选择回归由于其简单和有效而仍然被广泛使用。然而，它们都涉及一次又一次地重新扫描所有未选择的特征。此外，很多时候，逐步后退的步骤被认为是不必要的，正如我们将在我们的例子中说明的那样。这些评论促使我们引入一种新的算法，与逐步过程相比，该算法可以将速度提高到65.77%，同时在所选特征的数量和错误率方面保持良好的性能。此外，我们的实验表明，特征选择程序可能是一个更好的选择高维问题的特征数量远远超过样本的数量。
2019-11-19 cs.LG stat.ML
Forward-Learned Discrete Diffusion: Learning how to noise to denoise faster
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research, Cambridge（微软研究院，剑桥）
本文提出前向学习离散扩散（FLDD），通过引入可学习的前向（噪声）过程，减少目标分布与模型分布之间的差距，实现少步生成。该方法采用非马尔可夫形式，利用可学习的边缘和后验分布，使生成过程保持因子化同时匹配噪声过程定义的目标。实验表明，在相同采样步数下，FLDD生成的样本质量优于传统离散扩散模型。
2026-05-18 cs.LG stat.ML
Training CNNs faster with Dynamic Input and Kernel Downsampling
University of Toronto（多伦多大学）
我们使用一种方法来减少卷积网络（CNN）的训练时间，对于一些小批量：a）通过下采样降低输入图像的分辨率，b）通过卷积滤波器上的池化减少前向通操作。训练以交错的方式进行;一些批次使用原始网络参数进行常规的前向和反向传播，而其他批次则使用池化滤波器和下采样输入进行前向传递。由于池化是可微的，因此池化滤波器的梯度传播到原始网络参数以进行标准参数更新。后一阶段需要更少的浮点运算和更少的存储，因为减少了特征图和过滤器的空间维度。其关键思想是，这个阶段会导致更小和近似的更新，因此学习速度更慢，但成本大大降低，然后是使用原始网络参数作为细化阶段的通道。决定下采样发生的频率和批次可以随机或确定性地完成，并且可以定义为训练超参数本身。在残差架构上的实验表明，我们可以在验证准确性损失最小的情况下，实现高达23%的训练时间减少。
2019-10-15 cs.CV cs.LG stat.ML
Hyperspherical Forward-Forward with Prototypical Representations
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU Kaiserslautern-Landau（科隆-兰道大学）
本文提出超球面前向前向算法，通过将局部目标从二元拟合任务转为多类分类问题，提升推理速度40倍，实现高效训练与推理，优于传统反向传播。
2026-04-30 cs.AI cs.LG
Wide Attention Is The Way Forward For Transformers?
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
Transformer是一个非常强大和突出的深度学习架构。在这项工作中，我们挑战了深度学习中普遍持有的信念，即更深入更好，并展示了一种替代设计方法，可以构建更广泛的关注Transformers。我们证明了宽的单层Transformer模型可以在各种自然语言处理（NLP）任务中与更深的模型竞争或优于更深的模型，当两者都是从头开始训练时。然后系统地研究了改变模型长宽比对Transformers的影响。这个比率平衡了层数和每层的注意力头数，同时保持注意力头总数和所有其他超参数不变。平均而言，在4个NLP任务和10种注意力类型中，单层宽模型的性能比深度模型高出0.3%。我们展示了一个深入的评估，并展示了宽模型需要更小的内存占用，可以在商品硬件上运行得更快，此外，这些更宽的模型也更容易解释。例如，IMDb字节级文本分类上的单层Transformer在CPU上的推理延迟比同等精度的更深层次对应物快3.1倍，并且大小是其一半。因此，我们提出了更广泛和更浅的模型，作为NLP任务上小模型的可行和理想的替代方案，并作为超越这一领域的重要研究领域。
2022-11-08 cs.LG
Accelerating Deep Learning by Focusing on the Biggest Losers
Google Brain（谷歌大脑）；BrdgAI
本文介绍了Selective-Backprop，这是一种通过在每次迭代中优先考虑高损失的示例来加速深度神经网络（DNN）训练的技术。Selective-Backprop使用训练示例的前向传递的输出来决定是否使用该示例来计算梯度和更新参数，或者立即跳到下一个示例。通过减少计算昂贵的反向传播步骤的数量，Selective-Backprop加速了训练。对CIFAR 10、CIFAR 100和SVHN在各种现代图像模型上的评估表明，选择性反向传播收敛到目标出错率的速度比标准SGD快3.5倍，比最先进的重要性采样方法快1.02- 1.8倍。通过使用过时的前向传递结果进行选择，可以实现26%的进一步加速，从而也跳过低优先级示例的前向传递。
2019-10-02 cs.LG stat.ML
Exploring Optimal Control With Observations at a Cost
Stanford University（斯坦福大学）
医疗保健文献的强化学习目前有一个趋势，为了准备临床数据集，研究人员将结转称为末次观测值结转（LOCF）值的非管理测试的最后结果，以填补空白，假设它仍然是患者当前状态的准确指标。这些值被结转，而没有保留关于这些值是如何估算的确切信息，从而导致歧义。我们的方法使用OpenAI Gym的Mountain Car对这个问题进行建模，旨在解决何时观察患者的生理状态以及如何进行部分干预，因为我们假设我们只能在观察后采取行动。到目前为止，我们已经发现，对于状态空间的最后一次观察结转实现，用跟踪自上次观察以来的时间的每个状态变量的计数器来增强状态，提高了代理的预测性能，支持“信息缺失”的概念，以及使用基于神经网络的动力学模型来预测非观察到的状态变量，而不是通过LOCF结转最后一个观察值，进一步提高了代理的性能，导致更快的收敛和减少方差。
2020-06-29 cs.AI cs.LG
Information Geometry of Orthogonal Initializations and Training
Stony Brook University（石溪大学）
最近，平均场理论已成功地用于分析宽随机神经网络的性质。它产生了一个规范性的理论，用于初始化具有正交权重的前馈神经网络，这确保了正向传播的激活和反向传播的梯度都接近$\ell_2$等距，因此训练速度快了几个数量级。尽管有很强的经验性能，但人们对关键初始化在深度神经网络优化中赋予优势的机制知之甚少。在这里，我们展示了由Fisher信息矩阵（Fisher information matrix）测量的优化景观（梯度平滑度）的最大曲率与输入输出雅可比矩阵的谱半径之间的新联系，这部分解释了为什么更多的等距网络可以更快地训练。此外，考虑到正交权重对于确保梯度范数在初始化时近似保持是必要的，我们通过实验研究了在整个训练过程中保持正交性的好处，从中我们得出结论，无论梯度的平滑度如何，权重的流形优化都表现良好。此外，由实验结果的动机，我们表明，一个低的条件数的学习速度更快的预测。
2019-06-04 cs.LG stat.ML
Online conformal inference with retrospective adjustment for faster adaptation to distribution shift
Inha University（仁荷大学）
针对在线环境数据分布变化问题，提出具有回顾性调整的在线共形推理方法，利用回归方法和高效公式追溯调整预测，经实验表明该方法能在接近标称覆盖率时减少预测区间宽度约30%，提升统计效率与适应性。
2026-07-14 cs.LG stat.ML
