Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
Improving Neural Network Quantization without Retraining using Outlier Channel Splitting
Cornell University（康奈尔大学）
量化可以改善神经网络在商用GPU和专用加速器上的执行延迟和能效。现有的大多数文献都集中在训练量化的DNN上，而这项工作则研究了在没有（重新）训练的情况下量化浮点模型的研究较少的主题。DNN权重和激活在训练后遵循钟形分布，而实际硬件使用线性量化网格。这导致在处理分布中的异常值方面的挑战。先前的工作已经通过裁剪离群值或使用专门的硬件来解决这个问题。在这项工作中，我们提出了离群通道分裂（OCS），它复制包含离群值的通道，然后将通道值减半。网络在功能上保持相同，但受影响的离群值被移向分布的中心。OCS不需要额外的培训，可以在商用硬件上工作。对ImageNet分类和语言建模的实验评估表明，OCS可以以较小的开销胜过最先进的裁剪技术。
2019-05-22 cs.LG stat.ML
DSNAS: Direct Neural Architecture Search without Parameter Retraining
University of California, Los Angeles（加州大学洛杉矶分校）；Cambridge University（剑桥大学）；SenseTime Research（商汤科技研究院）
如果NAS方法是解决方案，那么问题是什么？大多数现有的NAS方法需要两个阶段的参数优化。然而，同一架构在这两个阶段的性能相关性很差。在这项工作中，我们提出了一个新的问题定义为NAS，特定于任务的端到端，根据这一观察。我们认为，给定期望NAS方法的计算机视觉任务，该定义可以将严格定义的NAS评估减少到i）该任务的准确性和ii）最终获得具有令人满意的准确性的模型所消耗的总计算。看到大多数现有的方法不直接解决这个问题，我们提出DSNAS，一个有效的可微分NAS框架，同时优化架构和参数与低偏蒙特卡罗估计。从DSNAS派生的子网络可以直接部署，而无需参数重新训练。与两阶段方法相比，DSNAS在ImageNet上成功发现了具有相当准确度（74.4%）的网络，耗时420 GPU小时，总时间减少了34%以上。我们的实现可以在https://github.com/SNAS-Series/SNAS-Series上获得。
2020-04-01 cs.LG stat.ML
Conditional Neural Architecture Search
Georgia Institute of Technology（佐治亚理工学院）；SIEMENS Corporate Technology（西门子公司技术部）
由于性能、功耗和内存预算的差异，设计资源高效的深度神经网络（DNN）对于在边缘平台上部署深度学习解决方案至关重要。不幸的是，通常情况下，经过良好训练的ML模型不适合部署边缘平台的约束，导致模型简化和重新训练过程的长时间迭代。此外，为平台A优化的ML模型在我们将其部署到另一个平台B时通常可能不适合，从而导致模型再训练的另一次迭代。我们提出了一种条件神经架构搜索方法，使用GAN，产生可行的ML模型，为不同的平台。我们提出了一个新的工作流程来生成约束优化的DNN模型。这是将条件和对抗技术引入神经结构搜索领域的第一项工作。在CIFAR-10上用回归问题和分类问题验证了该方法。所提出的工作流程可以成功地生成资源优化的MLP或基于CNN的网络。
2020-06-06 cs.LG stat.ML
Deeper Connections between Neural Networks and Gaussian Processes Speed-up Active Learning
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（斯科尔科沃理工学院））
神经网络的主动学习方法通常基于贪婪准则，该准则最终给出用于评估的单个新设计点。这样的方法需要在一次主动学习迭代中对一批设计点进行采样的一些算法，或者在添加每个数据点之后重新训练神经网络，这在计算上是低效的。此外，神经网络的不确定性估计有时对远离训练样本的点过于自信。在这项工作中，我们提出通过高斯过程来逼近贝叶斯神经网络（BNN），这使我们能够有效地更新预测的不确定性估计，而无需重新训练神经网络，同时避免对样本点的过度自信的不确定性预测。在一系列的实验中，包括大规模的化学和物理建模问题的真实世界的数据，我们显示出所提出的方法比国家的最先进的方法的优越性。
2019-02-27 cs.LG stat.ML
Comparing Rewinding and Fine-tuning in Neural Network Pruning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
许多神经网络修剪算法进行三个步骤：训练网络完成，删除不需要的结构，压缩网络，并重新训练剩余的结构，以恢复丢失的准确性。标准的再训练技术，微调，使用小的固定学习率从其最终训练值训练未修剪的权重。在本文中，我们比较微调替代再培训技术。重绕（如Frankle等人提出的，（2019）），将未修剪的权重从早期训练中重新回到它们的值，并使用原始训练时间表从那里重新训练它们。学习率回退（我们提出的）使用与权重回退相同的学习率调度来训练未修剪的权重。这两种回卷技术的性能都优于微调，形成了与网络无关的修剪算法的基础，该算法与几种更特定于网络的最先进技术的精度和压缩比相匹配。
2020-03-05 cs.LG stat.ML
Guiding the retraining of convolutional neural networks against adversarial inputs
Universitat Politècnica de Catalunya - BarcelonaTech（加泰罗尼亚理工大学-巴塞罗那理工学院）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；University of Innsbruck（因斯布鲁克大学）
本文通过实证研究比较四种引导指标和三种再训练配置，发现从原始权重出发、仅用对抗性输入并按意外充分性指标排序进行再训练，可在较少输入下最有效地提升卷积神经网络对对抗性输入的鲁棒性。
2022-07-12 cs.AI cs.LG cs.SE
Convolutional Neural Network Simplification with Progressive Retraining
State University of Campinas（坎皮纳斯州立大学）
核修剪方法已经被提出来加速、简化和改进卷积神经网络（CNN）模型的解释。然而，简化模型的有效性往往低于原始模型。在这封信中，我们提出了新的方法的基础上，客观和主观的相关性标准的核消除在一个逐层的方式。在该过程中，仅当当前层被完全简化时，通过将权重从下一层调整到第一层并保留该过程中不涉及的后续层的权重，才重新训练CNN模型。我们称这种策略为\emph{progressive retraining}，与内核修剪方法不同，后者通常在每个简化操作后重新训练整个模型-例如，去除一个或几个核。我们的主观相关性标准利用人类识别视觉模式的能力，提高了设计师对简化过程的理解。适当的相关性标准和渐进式再训练的组合表明，我们的方法可以提高有效性与相当大的模型简化。我们还证明，我们的方法可以提供更好的结果比两个流行的和另一个从国家的最先进的使用四个具有挑战性的图像数据集。
2021-01-12 cs.CV cs.LG
Neural Networks Weights Quantization: Target None-retraining Ternary (TNT)
WeBank（微众银行）；Harbin Engineering University（哈尔滨工程大学）；University of Hyogo（兵库县立大学）；Gakushuin University（学习院大学）
深度神经网络（DNN）的权重量化已被证明是在边缘设备（如移动设备、ASIC和FPGA）上实现DNN的有效解决方案，因为它们没有足够的资源来支持涉及数百万个高精度权重和乘法累加运算的计算。本文提出了一种新的方法来压缩DNN的高精度权重向量到三进制向量，即基于余弦相似性的目标非训练三进制（TNT）压缩方法。我们的方法利用余弦相似性而不是文献中常用的欧氏距离，并成功地减少了搜索空间的大小，以找到从3N到N的最佳三元向量，其中N是目标向量的维数。因此，TNT寻找理论上最优的三元向量的计算复杂性仅为O（N log（N））。此外，我们的实验表明，当我们用高精度参数对DNN模型进行三值化时，所获得的量化模型可以表现出足够高的精度，因此不需要重新训练模型。
2019-12-18 cs.CC cs.LG
DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving
Purdue University（普渡大学）；Yahoo Research（雅虎研究院）；Google, Inc.（谷歌公司）
点击率（CTR）预测是在线展示广告中的一项重要任务。已经提出了基于嵌入的神经网络来学习通过浅层组件的显式特征交互和使用深层神经网络（DNN）组件的深层特征交互。然而，这些复杂的模型使预测推理至少慢了数百倍。为了解决生产环境中广告投放的服务延迟和内存使用率高的问题，本文提出了\emph{DeepLight}：一个从三个方面加速CTR预测的框架：1）通过显式搜索浅层组件中的信息特征交互来加速模型推理; 2）在DNN组件中修剪层内和层间级别的冗余层和参数; 3）提高嵌入层的稀疏性以保持最具鉴别力的信号。通过结合上述努力，所提出的方法在Criteo数据集上将模型推理加速了46倍，在Avazu数据集上加速了27倍，而预测精度没有任何损失。这为在广告服务生产中成功部署复杂的基于嵌入的神经网络铺平了道路。
2021-01-06 cs.IR cs.LG stat.AP
Optimizing Information Loss Towards Robust Neural Networks
Fraunhofer AISEC（弗劳恩霍夫应用安全研究所以及）
神经网络（NN）容易受到对抗性样本的影响。这样的输入与它们的良性对应物仅略有不同，但会引起被攻击NN的错误分类。制作示例所需的扰动通常可以忽略不计，甚至人类也无法察觉。为了保护基于深度学习的系统免受此类攻击，已经提出了几种对策，其中对抗训练仍然被认为是最有效的。在这里，使用对抗性示例迭代地重新训练NN，形成计算昂贵且耗时的过程，通常导致性能下降。为了克服对抗训练的缺点，同时仍然提供高级别的安全性，我们提出了一种新的训练方法，我们称之为\textit{entropic retraining}。基于信息论启发的分析，熵再训练模仿了对抗训练的效果，而不需要费力地生成对抗示例。我们的经验表明，熵再训练导致神经网络的安全性和鲁棒性显着增加，而只依赖于给定的原始数据。通过我们的原型实现，我们验证并展示了我们的方法对各种NN架构和数据集的有效性。
2020-09-29 cs.CR cs.LG stat.ML
Can Graph Neural Networks Go "Online"? An Analysis of Pretraining and Inference
Kiel University（基尔大学）；ZBW – Leibniz Information Centre for Economics（莱布尼茨经济信息中心）；University of Essex（埃塞克斯大学）
实际应用中的大规模图数据往往不是静态的，而是动态的。例如，新的节点和边随着时间出现。当前的图卷积方法是有前途的，特别是当所有图的节点和边在训练期间可用时。当在训练后插入看不见的节点和边时，尚未评估向上训练还是从头开始重新训练是优选的。我们构建了一个实验设置，在该设置中，我们在训练后插入以前看不见的节点和边，并进行有限数量的推理时期。在这个设置中，我们比较了适应预训练的图神经网络和从头开始重新训练。我们的研究结果表明，预训练的模型在看不见的节点上产生了高准确性分数，并且预训练优于从头开始重新训练。我们的实验代表了评估和开发真正的图神经网络在线变体的第一步。
2019-05-15 cs.LG stat.ML
Review Regularized Neural Collaborative Filtering
University of Utah（犹他大学）
近年来，文本感知协同过滤方法被提出来解决推荐中的基本挑战，如数据稀疏性，冷启动问题，和长尾分布。然而，许多面向文本的方法严重依赖于每个用户和项目的文本信息的可用性，这在现实场景中显然不成立。此外，专门为文本处理设计的网络结构对于在线服务是非常低效的，并且难以集成到当前系统中。在本文中，我们提出了一个灵活的神经推荐框架，命名为审查正则化推荐，简称为R3。它由一个专注于预测输出的神经协同过滤部分和一个作为正则化器的文本处理部分组成。这种模块化设计在训练阶段将文本信息作为更丰富的数据源，同时对于在线服务高度友好，因为它在服务时间不需要即时文本处理。我们的初步结果表明，通过使用一个简单的文本处理方法，它可以实现更好的预测性能比国家的最先进的文本感知方法。
2020-08-20 cs.IR cs.LG stat.ML
Serving Graph Neural Networks With Distributed Fog Servers For Smart IoT Services
Sun Yat-sen University（中山大学）
本文提出分布式实时GNN推理框架Fograph，利用多雾节点异构资源与GNN特定压缩技术，解决云端服务通信开销大的问题，实现最高5.39倍执行加速和6.84倍吞吐量提升。
2023-07-04 cs.AI cs.DC cs.LG
ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining
Brno University of Technology（布尔诺理工大学）；Technische Universität Wien (TU Wien)（维也纳技术大学）
最先进的方法采用近似计算来降低DNN硬件的能耗。近似DNN随后需要大量的重新训练，以从使用近似运算造成的准确性损失中恢复过来。然而，复杂DNN的再训练不能很好地扩展。在本文中，我们证明了可以将有效的近似引入DNN加速器的计算路径中，同时可以完全避免重新训练。ALWANN为定制的低功耗加速器提供高度优化的DNN实现，其中计算单元的数量低于DNN层的数量。首先，一个经过完全训练的DNN被转换为在卷积层中使用8位权重和8位乘法器进行操作。然后从近似乘法器库中为每个计算元件选择合适的近似乘法器，使得（i）一个近似乘法器服务于若干层，以及（ii）总分类误差和能量消耗最小化。包括乘数选择问题的优化是通过多目标优化NSGA-II算法解决的。为了完全避免DNN的计算昂贵的再训练，这通常是用来提高分类精度，我们提出了一个简单的权重更新方案，补偿采用近似乘法器引入的不准确性。所提出的方法进行评估的DNN加速器与近似乘法器从开源的“EvoApprox”库的两个架构。我们报告说，所提出的方法节省了ResNet-50卷积层乘法所需的30%的能量，而准确度仅下降了0.6%。所提出的技术和近似层可作为TensorFlow的开源扩展在https://github.com/ehw-fit/tf-approximate上获得。
2019-07-25 cs.LG cs.NE
Resiliency of Deep Neural Networks under Quantization
Seoul National University（首尔国立大学）
深度神经网络算法的硬件实现复杂度可以通过优化权值和信号的字长来大大降低。然而，浮点权重的直接量化在分配的位数小时不显示良好的性能。量化网络的再训练已经被开发来缓解这个问题。在这项工作中，分析了前馈深度神经网络（FFDNN）和卷积神经网络（CNN）的再训练效果。通过再训练控制网络复杂度，了解它们对量化网络弹性的影响。FFDNN的复杂度是通过改变每个隐藏层中的单元大小和层数来控制的，而CNN的复杂度是通过修改特征图配置来完成的。我们发现，浮点和基于再训练的三元（+1，0，-1）权重神经网络之间的性能差距存在相当数量的“复杂性有限”的网络，但差异几乎消失在完全复杂的网络，其能力是有限的训练数据，而不是由连接的数量。这项研究表明，高度复杂的DNN有能力通过再训练吸收严重权重量化的影响，但连接受限的网络弹性较低。本文还提出了有效的压缩比，以指导网络规模和精度之间的权衡时，硬件资源是有限的。
2016-01-07 cs.LG cs.NE
Cost-effective Interactive Attention Learning with Neural Attention Processes
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Yonsei University College of Medicine（延世大学医学院）；AITRICS
我们提出了一种新的交互式学习框架，我们称之为交互式注意力学习（IAL），其中人类主管交互式地操纵分配的注意力，通过更新注意力生成网络来纠正模型的行为。然而，由于缺乏人类注释，这样的模型容易过度拟合，并且需要昂贵的重新训练。此外，它几乎是不可行的，为人类的注释员，以审查对吨的实例和功能的关注。我们通过提出一种样本高效的注意力机制和一种针对实例和特征的经济高效的重新排序算法来应对这些挑战。首先，我们提出了神经注意力过程（NAP），这是一个注意力发生器，可以通过合并新的注意力水平监督来更新其行为，而无需任何重新训练。其次，我们提出了一种算法，优先考虑的实例和功能的负面影响，使模型可以产生很大的改善与最小的人的反馈。我们在来自多个领域（医疗保健，房地产和计算机视觉）的各种时间序列数据集上验证了IAL，在这些数据集上，IAL的性能显着优于传统注意力机制的基线，或者没有成本效益的重新排序，具有更少的再培训和人类模型交互成本。
2020-06-09 cs.HC cs.LG stat.ML
Improving the accuracy of physics-informed neural networks via last-layer retraining
Advanced Computing, Mathematics and Data Division, Pacific Northwest National Laboratory（太平洋西北国家实验室高级计算、数学和数据部门）
本文提出通过最后一层再训练提升PINNs精度的方法，通过后处理步骤和基础函数优化，显著降低误差并支持迁移学习。
2026-03-06 cs.LG cs.NA math.NA
Serving Recurrent Neural Networks Efficiently with a Spatial Accelerator
Stanford University（斯坦福大学）
递归神经网络（RNN）应用程序构成了AI驱动的低延迟数据中心工作负载的主要类别。大多数RNN加速的执行模型将计算图分解为BLAS内核，这导致了显着的内核间数据移动和资源利用不足。我们表明，通过支持更一般的循环结构，捕获加速器中的设计参数，它可以提高资源利用率，使用跨内核优化，而不牺牲可编程性。这样的抽象级别使得能够进行设计空间搜索，该设计空间搜索可以导致跨问题大小的范围的空间架构上的片上资源的高效使用。我们使用可配置的空间加速器使用DeepBench评估我们在这种抽象上的优化策略。我们证明，这种实现提供了30倍的性能，1.6倍的面积和2倍的功率效率相比，特斯拉V100 GPU的几何加速比，和2倍的几何加速比微软脑波实现Stratix 10 FPGA。
2019-09-26 cs.DC cs.LG cs.PF
On the Unreasonable Effectiveness of Last-layer Retraining
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）；H. Milton Stewart School of Industrial and Systems Engineering（H. Milton Stewart工业与系统工程学院）
本文研究了最后一层重训练方法在缓解虚假相关性和提升少数群体表现上的效果，发现其在不平衡数据集上仍能提升最差群体准确率，提出该效果可能源于隐含的组平衡而非神经坍塌缓解。
2026-05-13 cs.LG
Bayesian Learning of Neural Network Architectures
AI Research, Volkswagen Group（大众集团人工智能研究院）
在本文中，我们提出了一个贝叶斯方法估计结构参数的神经网络，即层的大小和网络深度。我们通过学习这些参数的具体分布来做到这一点。我们的研究结果表明，具有学习结构的规则网络可以在小数据集上更好地推广，而完全随机网络对参数初始化更鲁棒。所提出的方法依赖于标准的神经变分学习，与随机结构搜索不同，不需要重新训练模型，从而将计算开销保持在最低限度。
2019-01-27 cs.LG stat.ML
AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks
MIT（麻省理工学院）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Glasgow（格拉斯哥大学）
AdaBet通过无梯度方法选择重要层，提升深度神经网络在边缘设备上的训练效率和准确率。
2026-03-02 cs.LG
Backdoor Mitigation in Deep Neural Networks via Strategic Retraining
AUDI AG（奥迪股份公司）；University of Twente（特温特大学）
本文提出一种无需后门先验知识的策略性重训练方法，能有效移除深度神经网络中由恶意攻击或不当训练引入的后门，在多个中型示例上表现良好。
2022-12-14 cs.CR cs.LG cs.LO
Lost in Retraining: Roaming the Parameter Space of Exponential Families Under Closed-Loop Learning
Kavli Institute for Systems Neuroscience, NTNU, Trondheim, Norway；ICTP- International Centre for Theoretical Physics, Trieste, Italy；Department of Mathematics, King's College London, London, UK
本文研究指数族模型在闭环学习下的参数演化，证明最大似然估计导致收敛到放大初始偏差的吸收态，但通过最大后验估计或正则化可避免此结果。
2025-07-09 cond-mat.dis-nn cs.LG physics.data-an
GradMax: Growing Neural Networks using Gradient Information
Google Research（谷歌研究院）
神经网络的结构和参数通常是独立优化的，这需要在结构被修改时对参数进行昂贵的重新训练。在这项工作中，我们专注于增长架构，而不需要昂贵的再培训。我们提出了一种方法，在训练过程中添加新的神经元，而不影响已经学到的东西，同时提高训练动态。我们通过最大化新权重的梯度来实现后者，并通过奇异值分解（SVD）有效地找到最佳初始化。我们称这种技术为梯度最大化增长（GradMax），并在各种视觉任务和架构中证明了其有效性。
2022-06-07 cs.CV cs.LG
How I Learned to Stop Worrying and Love Retraining
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
许多神经网络修剪方法由几个迭代训练和修剪步骤组成，似乎在修剪后失去了大量的性能，然后在随后的再训练阶段恢复。Renda等人（2020）和Le & Hua（2021）的最新研究证明了学习率调度在再训练阶段的重要性，并提出了选择这种IMP时间表的具体方法（Han等人，2015年）。我们将这些发现置于Li等人（2020）关于在固定训练预算内训练模型的结果的背景下，并证明，因此，使用简单的线性学习率调度可以大大缩短再训练阶段。改进现有的再训练方法，我们还提出了一种方法来自适应地选择初始值的线性时间表。更进一步，我们提出了类似的对初始密集训练阶段施加预算，并表明由此产生的简单有效的方法能够优于更复杂或高度参数化的最先进的方法，这些方法试图在训练过程中稀疏网络。这些发现不仅推进了我们对再培训阶段的理解，而且更广泛地质疑这样一种信念，即人们应该通过将稀疏化过程纳入标准培训来避免再培训的需要并减少“硬”修剪的负面影响。
2023-03-12 cs.LG
An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks
TotalEnergies SE（道达尔能源公司）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）
深度神经网络（DNN）的集成已经实现了定性预测，但它们是计算和内存密集型的。因此，要求它们用可用的计算资源来回答繁重的请求工作量的需求正在增长。与最近关于推理服务器和推理框架的举措不同，这些举措专注于单个DNN的预测，我们提出了一个新的软件层，以提供DNN的灵活性和效率。我们的推理系统设计了几个技术创新。首先，我们提出了一个新的过程来找到设备（CPU或GPU）和DNN实例之间的良好分配矩阵。它连续运行最差拟合以将DNN分配到存储器设备中，并运行贪心算法以优化分配设置并加速集成。其次，我们设计的推理系统基于多个进程异步运行：搜索，预测和组合规则与一个有效的内部通信方案，以避免开销。实验表明，在极端情况下的灵活性和效率：它成功地服务于12个重DNN到4个GPU的合奏，相反，一个单一的DNN多线程到16个GPU。它还优于简单的基线，包括优化DNN的批量大小，在图像分类任务上加速高达2.7倍。
2022-08-30 cs.DC cs.LG
Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures
University of Applied Sciences of Southern Switzerland（瑞士南应用科学大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；Politecnico di Torino（都灵理工大学）
针对网络故障后流量分布突变导致增量模型再训练滞后的问题，提出用液体神经网络实现免再训练的自适应链路负载预测，并证明其在剧烈漂移场景下优于增量学习方法。
2024-04-08 cs.LG cs.NI
Decomposable-Net: Scalable Low-Rank Compression for Neural Networks
Toshiba Corporation（东芝公司）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
压缩DNN对于在资源受限的设备上运行的真实应用程序非常重要。然而，当训练完成后改变模型大小时，我们通常会观察到严重的性能恶化。因此，需要重新训练以恢复适合于不同设备的压缩模型的性能。在本文中，我们提出了Decomposable-Net（可分解为任何大小的网络），它允许灵活地更改模型大小而无需重新训练。我们通过奇异值分解分解DNN中的权重矩阵，并根据目标模型大小调整秩。与现有的低秩压缩方法，专门的模型到一个固定的大小，我们提出了一种新的反向传播方案，共同最大限度地减少损失的满秩和低秩网络。这使得不仅能够保持满秩网络{ \it而不进行再训练}的性能，而且能够改善多种大小的低秩网络。此外，我们引入了一个简单的标准秩选择，有效地抑制近似误差。在ImageNet分类任务的实验中，Decomposable-Net在广泛的模型大小范围内产生了卓越的准确性。特别是，与Tucker分解（$67.4\% / 0.30\times$）、训练秩修剪（$70.6\% / 0.28\times$）和通用可精简网络（$71.4\% / 0.26\times$）相比，Decomposable-Net实现了$73.2\%$与$0.27\times$ MAC和ResNet-50的top-1精度。
2021-09-29 cs.CV cs.LG stat.ML
A Multi-Criteria Automated MLOps Pipeline for Cost-Effective Cloud-Based Classifier Retraining in Response to Data Distribution Shifts
Department of Mathematics and Computer Science, University of Kinshasa（数学与计算机科学系，刚果（金）大学）
本研究提出一种多标准自动化MLOps流水线，用于在数据分布偏移时高效重训练云上分类器，提升模型准确性和鲁棒性。
2025-12-12 cs.LG
An Estimation of Personnel Food Demand Quantity for Businesses by Using Artificial Neural Networks
今天，许多公共或私人机构为在自己组织工作的人员提供专业的食品服务。关于上述服务的规划，存在一些障碍，因为在这些机构工作的人员人数普遍很多，而且这些人员由于个人或机构原因离开机构。因此，很难确定每日的食品需求，这给机构造成了成本、时间和劳动力的损失。使用统计或探试法来消除或至少最小化这些损失。在这项研究中，提出了一个人工智能模型，它估计每天的食品需求量使用人工神经网络的企业。这些数据来自一家私人机构的食堂数据库，该机构可容纳110人，每天提供膳食，并在不同级别提供服务，涵盖了过去两年（2016-2018）。该模型使用MATLAB软件包程序创建。模型的性能由回归值、平均绝对百分比误差（MAPE）和均方误差（MSE）决定。在神经网络模型的训练中，采用前馈反向传播网络结构。作为实验结果获得的最佳模型是多层（8-10-10-1）结构，分别具有0.9948的训练R比、0.9830的测试R比和0.003783的出错率。实验结果表明，该模型具有较低的出错率，较高的性能和使用人工神经网络的需求估计的积极效果。
2019-02-05 cs.LG stat.ML
Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining
Institute for Data Science in Mechanical Engineering (DSME)（机械工程数据科学研究所（DSME））；RWTH Aachen University（亚琛工业大学）
提出一种参数自适应 AMPC 架构，通过引入非线性规划的局部敏感性实现无需重训的在线调节，在资源受限 MCU 上控制真实 cartpole 系统并保证稳定性，首次展示了跨系统实例的泛化能力。
2024-06-06 cs.LG cs.SY eess.SY
Low-bit Quantization of Neural Networks for Efficient Inference
Huawei Technologies Co.（华为技术有限公司）
最近的机器学习方法使用越来越大的深度神经网络来实现各种任务中的最新结果。性能的提高是以计算和存储需求的大幅增加为代价的。这使得在有限资源硬件上的实时实现成为一项具有挑战性的任务。解决这一挑战的一种流行方法是通过神经网络量化来执行低位精度计算。然而，积极的量化通常在精度方面带来严重的损失，并且通常需要重新训练网络，或者诉诸更高的比特精度量化。在本文中，我们将线性量化任务形式化为权重和激活的最小均方误差（MMSE）问题，允许低比特精度推理，而无需进行完整的网络再训练。我们的方法的主要贡献是在网络的每一层的约束MSE问题的优化，网络参数的硬件感知分区，以及使用多个低精度量化张量的近似层。所提出的方法允许4位整数（INT 4）量化，用于在有限的硬件资源上部署预训练模型。在各种网络架构上的多个实验表明，所提出的方法产生最先进的结果，任务的准确性损失最小。
2019-03-25 cs.CV cs.LG stat.ML
Deep Networks with Fast Retraining
University of Windsor（温莎大学）；Lakehead University（湖首大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
最近的工作[1]在深度卷积神经网络（DCNN）学习中利用了Moore-Penrose（MP）逆，其通过随机梯度下降（SGD）管道实现了比DCNN更好的泛化性能。然而，由于其对超参数的高度敏感性和对计算资源的严格要求，杨的工作在实践中并没有得到太多的普及。为了增强其适用性，本文提出了一种新的MP逆的快速再训练策略。在每个训练时期中，首先使用随机学习策略，该策略控制在反向传递中训练的卷积层的数量。然后，开发了一种基于MP逆的逐批学习策略，该策略使网络能够在不访问工业规模计算资源的情况下实现，以细化密集层参数。实验结果表明，快速再训练是一种统一的策略，可用于所有DCNN。与其他学习策略相比，该学习流水线对超参数具有鲁棒性，并且计算资源的需求显著降低。[1]Y. Yang，J. Wu，X. Feng，和A. Thangarajah，“Recomputation of dense layers for the perfor-238mance improvement of dcnn，”IEEE Trans. Pattern Anal.马赫内部：2019.
2021-01-04 cs.LG
Is Oracle Pruning the True Oracle?
Westlake University（西湖大学）；Nankai University（南开大学）；ENCODE Lab, Westlake University（西湖大学ENCODE实验室）
本文通过大规模实验（37K模型）发现，对于中等规模以上的深度学习模型，Oracle剪枝选择的权重在重训练后性能与重训练前几乎无关，质疑了Oracle剪枝作为剪枝方法基础的有效性。
2026-10-27 cs.CV cs.LG
On Discprecncies between Perturbation Evaluations of Graph Neural Network Attributions
Technical University of Munich（慕尼黑工业大学）；Sharif University of Technology（谢里夫理工大学）；Harvard Medical School（哈佛医学院）；Hospital of the Ludwig-Maximilians-University (LMU) Munich（慕尼黑大学医院）
本文从重新训练视角评估图神经网络归因方法，发现GNNExplainer等表现因数据集和网络而异，建议将重新训练评估作为特定场景的工具集而非通用基准。
2024-01-01 cs.LG
Ensemble methods for neural network-based weather forecasts
Stockholm University（斯德哥尔摩大学）；Uppsala University（乌普萨拉大学）
集合天气预报通过计算集合的散布，使得能够将不确定性的度量附加到每个预报。然而，生成一个具有良好的传播误差关系的集合远非微不足道，并且已经探索了实现这一目标的各种方法-主要是在数值天气预报模型的背景下。在这里，我们的目标是将一个确定性的神经网络天气预报系统集成预报系统。我们测试了四种方法来生成集成：随机初始扰动，神经网络的再训练，在网络中使用随机辍学，并创建初始扰动与奇异向量分解。后一种方法被广泛用于数值天气预报模式，但尚未在神经网络上进行测试。从这四种方法获得的集合平均预测都击败了未扰动的神经网络预测，再训练方法产生最高的改善。然而，神经网络预报的技巧系统地低于最先进的数值天气预报模式。
2021-01-04 cs.LG physics.ao-ph
Network Pruning That Matters: A Case Study on Retraining Variants
VinAI Research（VinAI研究院）；VinUniversity
网络修剪是一种有效的方法，以减少计算费用的过参数化神经网络部署在低资源系统。最近用于重新训练修剪网络的最新技术，例如权重倒带和学习率倒带，已被证明在恢复损失的准确性方面优于传统的微调技术（Renda等人，2020年），但到目前为止，还不清楚是什么原因导致了这种表现。在这项工作中，我们进行了大量的实验，以验证和分析学习率倒带的不可思议的有效性。我们发现学习率倒带成功的原因是使用了大的学习率。在涉及大学习率的其他学习率调度中可以观察到类似的现象，1周期学习率调度（Smith等人，2019年）。通过在再训练中利用正确的学习率调度，我们证明了一个反直觉的现象，即随机修剪的网络甚至可以比系统修剪的网络（用传统方法进行微调）获得更好的性能。我们的研究结果强调了学习率调度在修剪网络再训练中的重要性-这是一个在网络修剪实施过程中经常被从业者忽视的细节。一句话总结：我们研究了不同的再训练机制的有效性，同时做修剪
2021-05-07 cs.AI cs.LG
A Sequential Concept Drift Detection Method for On-Device Learning on Low-End Edge Devices
Keio University（庆应义塾大学）
边缘AI系统的一个实际问题是，由于噪声和环境随时间的变化，训练数据集和部署环境的数据分布可能会有所不同。这种现象被称为概念漂移，这种差距会降低边缘AI系统的性能，并可能导致系统故障。为了解决这一问题，通过概念漂移检测触发神经网络模型的再训练是一种实用的方法。然而，由于可用的计算资源是严格限制在边缘设备，在本文中，我们提出了一个完全顺序的概念漂移检测方法与设备上的顺序学习技术的神经网络。在这种情况下，神经网络再训练和所提出的概念漂移检测都仅通过顺序计算来完成，以减少计算成本和存储器利用率。实验结果表明，与现有的基于批处理的检测方法相比，该方法在准确率降低3.8%~ 4.3%的同时，内存容量减少了88.9%~ 96.4%，执行时间减少了1.3%~ 83.8%.因此，神经网络再训练和所提出的概念漂移检测方法的组合在具有264 kB存储器的Raspberry Pi Pico上进行了演示。
2023-01-30 cs.AI cs.LG
LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Gongshang University（浙江工商大学）；Singapore Management University（新加坡管理大学）；Squirrel AI（松鼠AI）
针对Web服务正常模式频繁变化导致模型过时及再训练易过拟合的问题，本文提出轻量抗过拟合再训练方法LARA，将再训练形式化为凸问题并设计ruminate块利用历史数据，仅需少量新分布数据即可取得有竞争力的异常检测性能。
2024-02-23 cs.LG
Neural Network Module Decomposition and Recomposition
Fujitsu Limited（富士通有限公司）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
我们提出了一种模块化方法，从功能的角度将深度神经网络（DNN）分解为小模块，并将它们重新组合为用于其他任务的新模型。分解模块由于其小的尺寸而被期望具有可解释性和可验证性的优点。与现有的基于重用模型的研究相比，该方法不需要再训练，并且具有广泛的适用性，因为它可以很容易地与现有的功能模块相结合，例如迁移学习模型。所提出的方法使用权重掩码提取模块，并可应用于任意DNN。与现有的研究不同，它不需要对网络架构进行假设。为了提取模块，我们设计了一种学习方法和一个损失函数，以最大化模块之间的共享权重。结果，提取的模块可以被重组，而不会大幅增加尺寸。实验结果表明，该方法能够以较高的压缩比和较高的精度对DNN进行分解和重组，并且通过模块间的权值共享，优于现有方法。
2021-12-25 cs.LG
Deep Neural Network Fingerprinting by Conferrable Adversarial Examples
University of Waterloo（滑铁卢大学）
在机器学习即服务中，提供商训练深度神经网络，并为许多用户提供访问权限。托管（源）模型易受模型窃取攻击的影响，其中攻击者从对源模型的API访问中导出代理模型。对于此类攻击的事后检测，提供商需要一种健壮的方法来确定可疑模型是否是其模型的代理。我们提出了一种用于深度神经网络分类器的指纹识别方法，该方法从源模型中提取一组输入，使得只有代理人同意源模型对这些输入的分类。这些输入是可转移的对抗性示例的子类，我们称之为可赋予的对抗性示例，这些示例仅使用目标标签从源模型转移到其代理模型。我们提出了一种新的方法来生成这些可信的对抗性例子。我们提出了一个广泛的研究，我们的指纹对微调，权重修剪，再培训，再培训与不同的架构，三个模型窃取攻击从相关的工作，迁移学习，对抗训练，和两个新的自适应攻击的不可移除性。我们的指纹对蒸馏，相关的模型窃取攻击，甚至当攻击者无法访问模型提供者的数据集时的迁移学习都是鲁棒的。我们的指纹是第一种在验证替代品时达到ROC AUC为1.0的方法，而以前的指纹的ROC AUC为0.63。
2021-01-20 cs.CR cs.LG stat.ML
Training-Free Cross-Architecture Merging for Graph Neural Networks
International Institute of Information Technology, Hyderabad, India（国际信息研究所，海得拉巴，印度）
H-GRAMA提出一种无需训练的跨架构图神经网络融合方法，通过通用操作符家族实现异构模型融合，保留高精度并提升推理效率
2026-02-22 cs.LG
Lightweight machine unlearning in neural network
近年来，机器学习神经网络已经深入到人们的生活中。作为便利的代价，人们的隐私信息也存在泄露的风险。适时引入“被遗忘权”，规定个人有权基于本人同意，对个人信息处理活动撤回同意。为了解决这个问题，机器遗忘被提出，它允许模型擦除所有私有信息的记忆。以前的研究，包括再训练和增量学习来更新模型，通常会占用额外的存储空间，或者很难应用于神经网络。我们的方法只需要对目标模型的权重做一个很小的扰动，并使其朝着用剩余数据子集训练的模型的方向移动，直到完全消除未学习数据对模型的贡献。在本文中，五个数据集上的实验证明了我们的方法的有效性机器遗忘，我们的方法是15倍的速度比再训练。
2021-11-10 cs.AI cs.LG
Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation
University of Connecticut（康涅狄格大学）
网络修剪是一种广泛使用的技术，用于降低深度神经网络的计算成本和模型大小。然而，典型的三级流水线，即，训练、修剪和再训练（微调）显著地增加了总体训练路径。在本文中，我们开发了一个系统的重量修剪优化方法的基础上替代拉格朗日松弛（SLR），这是量身定制的，以克服困难所造成的离散性质的重量修剪问题，同时确保快速收敛。我们进一步加快收敛的SLR通过使用二次处罚。与其他最先进的方法相比，在训练阶段通过SLR获得的模型参数更接近其最优值。我们评估所提出的方法对图像分类任务，即，使用ImageNet的ResNet-18和ResNet-50，以及使用CIFAR-10的ResNet-18、ResNet-50和VGG-16，以及目标检测任务，即，使用COCO 2014的YOLOv 3和YOLOv 3-tiny以及使用TuSimple车道检测数据集的Ultra-Fast-Lane-Detection。实验结果表明，我们的基于SLR的权重修剪优化方法实现了更高的压缩率比国家的艺术在相同的精度要求。它还实现了高的模型精度，即使在硬修剪阶段没有再训练（减少了传统的三阶段修剪到两个阶段）。考虑到再训练时期的预算有限，我们的方法可以快速恢复模型的准确性。
2021-03-25 cs.CV cs.LG
Towards Last-layer Retraining for Group Robustness with Fewer Annotations
Georgia Institute of Technology（佐治亚理工学院）；Google DeepMind（谷歌DeepMind）
本研究提出选择性最后一层微调（SELF）方法，利用误分类或分歧构建重加权数据集，在无组标注和少量类别标注下，通过最后一层重训练显著提升最差组准确率，几乎达到DFR水平。
2023-11-15 cs.LG
Quantized Neural Network Inference with Precision Batching
我们提出了PrecisionBatching，一种量化的推理算法，用于在传统的硬件平台上以低位宽加速神经网络的执行，而不需要重新训练或重新校准。PrecisionBatching将一个神经网络分解为单个的位层，并使用快速的1位操作来累积它们，同时保持激活的完全精度。PrecisionBatching不仅有助于在低位宽（< 8位）下进行量化推理而无需重新训练/重新校准，而且1）使传统硬件平台能够以更精细的量化粒度（例如：1-16位执行）实现推理加速，以及2）通过暴露位层的数量以累积为可调参数，允许在运行时进行准确性和加速权衡。在各种应用程序（MNIST、语言建模、自然语言推理）和神经网络架构（全连接、RNN、LSTM）中，PrecisionBatching在GPU上实现了超过8倍的端到端加速，误差小于全精度基线的1%，在相同的误差容限下，比传统的8位量化推理性能高出1.5 - 2倍。
2020-02-26 cs.CV cs.LG cs.PF
Understanding Capacity-Driven Scale-Out Neural Recommendation Inference
Facebook（脸书）；Drexel University（德雷塞尔大学）；Tufts University（塔夫茨大学）
深度学习推荐模型已经发展到TB级。传统的服务方案--将整个模型加载到单个服务器--无法支持这种规模。支持这种规模的一种方法是使用分布式服务或分布式推理，它将单个大型模型的内存需求划分到多个服务器上。这项工作是系统研究社区开发新的模型服务解决方案的第一步，考虑到巨大的系统设计空间。大规模深度推荐系统是一种新的工作负载，对研究至关重要，因为它们消耗了数据中心所有推理周期的79%。为此，这项工作描述和表征了使用数据中心服务基础设施的横向扩展深度学习推荐推理。这项工作专门探讨延迟有界推理系统，相比其他最近的作品面向吞吐量的培训系统。我们发现分布式推理的延迟和计算开销主要是由于模型的静态嵌入表分布和输入推理请求的稀疏性。我们进一步评估了三个类DLRM模型的三个嵌入表映射策略，并在端到端延迟，计算开销和资源效率方面指定了具有挑战性的设计权衡。总的来说，当数据中心规模推荐模型以分布式推理方式提供服务时，我们只观察到边际延迟开销-P99延迟在最佳情况配置中仅增加1%。延迟开销很大程度上是由于使用的商品基础设施和嵌入表的稀疏性。更令人惊讶的是，我们还展示了分布式推理如何提高数据中心规模推荐服务的效率。
2020-11-11 cs.DC cs.IR cs.LG
Graph Unlearning with Efficient Partial Retraining
The Hong Kong Polytechnic University（香港理工大学）
针对图神经网络遗忘不理想数据时信息损失的问题，提出 GraphRevoker 框架，通过属性感知分片和对比子模型聚合保持模型效用，实验验证其优越性。
2024-03-13 cs.CR cs.LG
NeuralPower: Predict and Deploy Energy-Efficient Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
"卷积神经网络（CNN）进行的推理消耗了多少能量？“随着CNN在广泛的平台（从移动设备到工作站）上的日益普及，这个问题的答案引起了人们的极大关注。从延长移动设备的电池寿命到减少数据中心的能源账单，在实际训练模型之前，了解CNN在服务期间的能源效率以进行推断是很重要的。在这项工作中，我们提出了NeuralPower：一个基于稀疏多项式回归的逐层预测框架，用于预测部署在任何GPU平台上的CNN的服务能耗。鉴于CNN的架构，NeuralPower可以在整个网络的所有层上提供准确的功率和运行时间预测和细分，帮助机器学习者快速识别功率，运行时间或能源瓶颈。我们还提出了"能量精度比"（EPR）指标，以指导机器学习者选择一个节能的CNN架构，更好地权衡能源消耗和预测精度。实验结果表明，所提出的NeuralPower的预测精度优于迄今为止最好的已发表模型，准确度提高了68.5%。我们还通过预测最先进的CNN架构的运行时间、功率和能量来评估网络级预测的准确性，运行时间的平均准确率为88.24%，功率为88.34%，能量为97.21%。我们通过在不同的GPU平台和深度学习软件工具上进行测试，全面证实了NeuralPower作为机器学习器强大框架的有效性。
2017-10-15 cs.LG cs.PF stat.ML
Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs
Samsung AI Center（三星人工智能中心）；Brave Software（Brave软件公司）；University of Cambridge（剑桥大学）；Flower Labs（Flower实验室）
本文针对边缘NPU上多设备动态流式推理场景，提出早期退出感知的抢占式调度算法，并引入流体批处理和可堆叠处理单元两种硬件设计，显著提升平均延迟和尾部延迟SLO满足率。
2023-08-04 cs.AR cs.LG
Utilizing Explainable AI for improving the Performance of Neural Networks
Infineon Technologies AG（英飞凌科技股份公司）；Friedrich-Alexander-University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Technical University of Munich（慕尼黑工业大学）
如今，深度神经网络被广泛应用于对社会有直接影响的各种领域。尽管这些模型通常表现出出色的性能，但它们长期以来一直被用作黑匣子。为了解决这个问题，可解释的人工智能（XAI）一直在发展成为一个旨在提高模型透明度并增加其可信度的领域。我们提出了一个再训练管道，从XAI开始并利用最先进的技术不断改进模型预测。为此，我们使用XAI结果，即SHapley加法解释（SHAP）值，为数据样本提供特定的训练权重。这导致改进的模型训练，从而提高性能。为了对我们的方法进行基准测试，我们在现实生活和公共数据集上对其进行了评估。首先，我们在基于雷达的人员计数场景上执行该方法。之后，我们在CIFAR-10（一个公共计算机视觉数据集）上进行了测试。实验使用基于形状的再训练方法实现了4%以上的准确性w.r.t.对人数统计任务进行标准的等权重再培训。此外，在CIFAR-10上，我们基于SHAP的加权策略最终比具有相等加权样本的训练过程具有3%的准确率。
2022-10-07 cs.AI cs.LG eess.SP
Adapting Evidential Neural Networks to Test-Time Neighbor Fusion Improves Molecular Property Prediction
Department of Chemical Engineering, University of Michigan（美国密歇根大学化学工程系）；Michigan Institute for Data & AI in Society, University of Michigan（美国密歇根大学数据与社会人工智能研究所）；Department of Statistics, University of Michigan（美国密歇根大学统计系）
研究如何利用证据神经网络在测试时通过邻居融合优化分子性质预测，提出PG-EVIKAL方法，学习性质距离度量重排邻居，经实验验证该方法能降低RMSE、改善校准，还能在连续测定场景中优化预测，证明证据不确定性分解可用于测试时分子性质预测优化。
2026-07-14 cs.LG q-bio.BM stat.ML
Introducing a Generative Adversarial Network Model for Lagrangian Trajectory Simulation
Illinois Institute of Technology（伊利诺伊理工学院）；Washington University in St. Louis（圣路易斯华盛顿大学）
我们引入了一个生成对抗网络（GAN）模型来模拟浮力对抗火焰回流区中粒子的三维拉格朗日运动。GAN模型包括用作生成器的随机递归神经网络和用作卷积器的卷积神经网络。对抗性训练进行到这样的程度，即最好的训练生成器无法区分地面真相和最好的训练生成器产生的轨迹。然后，根据对模拟轨迹和地面实况进行的统计分析，对模型性能进行基准测试，以确定准确性和泛化标准。
2019-01-13 cs.CV cs.LG physics.data-an
