Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对现有机器遗忘方法需重训练或计算成本高的问题，提出无需重训练的两步式事后方法SSD，通过Fisher信息矩阵选参并按重要性抑制，性能媲美重训练方法。
2023-12-13 cs.LG
Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Google（谷歌公司）
目前在语音助理中部署的语义解析系统可能需要数周的训练。这些模型的数据集通常会收到小而频繁的更新，即数据补丁。每个补丁都需要训练一个新的模型。为了减少训练时间，可以在每个补丁上对先前训练的模型进行微调，但是幼稚的微调表现出灾难性遗忘-在数据补丁中没有表示的数据上模型性能的退化。在这项工作中，我们提出了一个简单的方法，消除了灾难性遗忘，并表明它是可能的，通过微调，在不到10%的时间内匹配从头开始训练的模型的性能。实现这一点的关键是superslip和EWC正则化。我们证明了我们的方法在Facebook TOP和SNIPS数据集的多个分割上的有效性。
2021-03-22 cs.CL cs.LG
Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Microsoft Research（微软研究院）
科学和工程中的许多重要问题，如药物设计，涉及在复杂的，高维的，结构化的输入空间上优化昂贵的黑箱目标函数。尽管机器学习技术在解决这些问题方面已经显示出前景，但是现有方法基本上缺乏样本效率。我们介绍了一种改进的高效黑盒优化方法，该方法在通过深度生成模型学习的低维连续隐流形中进行优化。与以前的方法相比，我们积极地引导生成模型来维护一个潜在的流形，这对于有效地优化目标非常有用。我们通过周期性地重新训练生成模型来实现这一点，这些生成模型是沿着优化轨迹查询的数据点，并根据目标函数值对这些数据点进行加权。这种加权再训练可以很容易地在现有方法的基础上实现，并且经验表明，它可以显着提高合成和现实世界优化问题的效率和性能。
2020-10-25 cs.LG stat.ML
Soft Actor-Critic with Inhibitory Networks for Faster Retraining
Lockheed Martin Artificial Intelligence Center (LAIC)（洛克希德·马丁人工智能中心（LAIC））；Lockheed Martin – Applied AI Team（洛克希德·马丁应用人工智能团队）；Primordial Labs（原始实验室）
在深度强化学习中，重用先前训练的模型对于加快新代理的训练至关重要。然而，目前还不清楚如何获得新的技能时，目标和限制是在冲突与以前学到的技能。此外，在再培训时，利用已经学到的知识和探索新技能之间存在内在冲突。在软行动者-批评者（SAC）方法中，可以动态地调整温度参数以加权行动熵并平衡探索$\times$利用权衡。然而，在再培训的背景下，控制单个系数可能具有挑战性，当目标相互矛盾时更是如此。在这项工作中，受神经科学研究的启发，我们提出了一种新的方法，使用抑制网络，允许单独和自适应的状态值评估，以及不同的自动熵调整。最终，我们的方法允许控制抑制来处理利用风险较小的后天行为和探索新行为以克服更具挑战性的任务之间的冲突。我们通过OpenAI Gym环境中的实验验证了我们的方法。
2022-02-08 cs.AI cs.LG cs.NE
Opportunistic Expert Activation: Batch-Aware Expert Routing for Faster Decode Without Retraining
针对 MoE 模型解码延迟受激活专家数制约的问题，提出动态重路由框架，通过批感知路由让 token 搭乘已加载专家，在无精度损失下显著降低解码延迟。
2025-11-04 cs.LG
MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without Retraining
Rice University（莱斯大学）
深度生成网络（DGN）广泛应用于生成对抗网络（GANs）、变分自编码器（VAE）及其变体中，以近似数据流形和分布。然而，由于成本或收集的方便性，训练样本通常以非均匀的方式分布在流形上。例如，CelebA数据集包含很大一部分笑脸。当从训练的DGN中采样时，这些不一致将被再现，这并不总是优选的，例如，用于公平性或数据增强。作为回应，我们开发了MaGNET，这是一种新颖的、理论上有动机的潜在空间采样器，适用于任何预先训练的DGN，它可以产生均匀分布在学习流形上的样本。我们在各种数据集和DGN上进行了一系列实验，例如，对于在FFHQ数据集上训练的最先进的StyleGAN2，通过MaGNET进行的均匀采样将分布精度和召回率提高了4.1\% \& 3.0\%，并将性别偏见降低了41.2\%，而无需标签或重新训练。由于均匀分布并不意味着均匀的语义分布，我们还分别探讨了如何生成的样本的语义属性在MAGNET采样的变化。
2022-01-21 cs.CV cs.LG
Retraining-Based Iterative Weight Quantization for Deep Neural Networks
Samsung Research（三星研究院）
模型压缩由于其在保持DNN的准确性的同时显著减少硬件资源需求的能力而获得了很多关注。模型压缩对于内存密集型递归神经网络特别有用，因为较小的内存占用不仅对于减少存储需求而且对于快速推理操作至关重要。量化被认为是一种有效的模型压缩方法，研究人员对最小化表示参数的比特数感兴趣。在这项工作中，我们引入了一种迭代技术来应用量化，呈现高压缩比，而无需对训练算法进行任何修改。在所提出的技术中，权重量化之后是用全精度权重重新训练模型。我们表明，迭代再训练产生新的权重集，可以量化，在每次迭代减少量化损失。我们还表明，量化能够有效地利用修剪，另一种有效的模型压缩方法。结合这两种方法的实施问题也得到了解决。我们的实验结果表明，使用1位量化权重的LSTM模型对于PTB数据集是足够的，而没有任何准确性下降，而以前的方法需要至少2-4位量化权重。
2018-05-29 cs.LG stat.ML
Retrain or not retrain? -- efficient pruning methods of deep CNN networks
AGH, University of Science and Technology（AGH科技大学）；Department of Electrical Engineering（电气工程系）
卷积神经网络（CNN）在图像分类、目标检测、语义分割等图像处理任务中发挥着重要作用。通常，CNN网络具有几个到几百个具有几兆字节权重的堆叠层。降低复杂性和内存占用的可能方法之一是修剪。修剪是一个删除连接网络中两个相邻层的神经元的权重的过程。当DL模型具有更高数量的卷积层时，找到具有指定精度下降的近似最优解的过程可能更加复杂。在本文中，几种方法的基础上再培训和没有再培训的描述和比较在一起。
2020-02-12 cs.LG
Efficient Bayesian Updates for Deep Active Learning via Laplace Approximations
University of Kassel（卡塞尔大学）
本文提出通过拉普拉斯近似实现高效的贝叶斯更新，用于深度主动学习中的批次选择，提高计算效率并改进模型更新性能。
2026-03-11 cs.LG
Same accuracy, twice as fast: continuous training surpasses retraining from scratch
KU Leuven（鲁汶大学）
针对新旧数据均可用的场景，提出利用先前模型和旧数据的持续训练方法，通过优化初始化、正则化、数据选择和超参数，在保持精度的同时实现高达2.7倍的计算加速。
2025-02-28 cs.CV cs.LG
ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining
Brno University of Technology（布尔诺理工大学）；Technische Universität Wien (TU Wien)（维也纳技术大学）
最先进的方法采用近似计算来降低DNN硬件的能耗。近似DNN随后需要大量的重新训练，以从使用近似运算造成的准确性损失中恢复过来。然而，复杂DNN的再训练不能很好地扩展。在本文中，我们证明了可以将有效的近似引入DNN加速器的计算路径中，同时可以完全避免重新训练。ALWANN为定制的低功耗加速器提供高度优化的DNN实现，其中计算单元的数量低于DNN层的数量。首先，一个经过完全训练的DNN被转换为在卷积层中使用8位权重和8位乘法器进行操作。然后从近似乘法器库中为每个计算元件选择合适的近似乘法器，使得（i）一个近似乘法器服务于若干层，以及（ii）总分类误差和能量消耗最小化。包括乘数选择问题的优化是通过多目标优化NSGA-II算法解决的。为了完全避免DNN的计算昂贵的再训练，这通常是用来提高分类精度，我们提出了一个简单的权重更新方案，补偿采用近似乘法器引入的不准确性。所提出的方法进行评估的DNN加速器与近似乘法器从开源的“EvoApprox”库的两个架构。我们报告说，所提出的方法节省了ResNet-50卷积层乘法所需的30%的能量，而准确度仅下降了0.6%。所提出的技术和近似层可作为TensorFlow的开源扩展在https://github.com/ehw-fit/tf-approximate上获得。
2019-07-25 cs.LG cs.NE
A Fast Post-Training Pruning Framework for Transformers
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）；Samsung Semiconductor, Inc.（三星半导体公司）
剪枝是减少Transformer模型巨大推理开销的有效方法。然而，修剪Transformers的先前工作需要重新训练模型。这可能会给模型部署增加高培训成本和高复杂性，使其难以在许多实际情况下使用。为了解决这个问题，我们提出了一个快速的训练后修剪框架Transformers，不需要任何再培训。给定资源约束和样本数据集，我们的框架使用结构化稀疏方法自动修剪Transformer模型。为了保持高精度而无需重新训练，我们引入了三种新技术：（i）轻量级掩码搜索算法，该算法根据Fisher信息找到要修剪的头部和过滤器;（ii）补充搜索算法的掩码重排;以及（iii）重建每层输出激活的掩码调整。我们将我们的方法应用于BERT基础和DistilBERT，并在GLUE和SQuAD基准测试中评估其有效性。我们的框架实现了高达2.0倍的FLOP减少和1.56倍的推理延迟加速，同时保持了< 1%的准确性损失。重要的是，我们的框架在单个GPU上不到3分钟就可以修剪Transformers，这比现有的重新训练模型的修剪方法快了两个数量级。
2022-10-17 cs.CL cs.LG
AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks
MIT（麻省理工学院）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Glasgow（格拉斯哥大学）
AdaBet通过无梯度方法选择重要层，提升深度神经网络在边缘设备上的训练效率和准确率。
2026-03-02 cs.LG
Resiliency of Deep Neural Networks under Quantization
Seoul National University（首尔国立大学）
深度神经网络算法的硬件实现复杂度可以通过优化权值和信号的字长来大大降低。然而，浮点权重的直接量化在分配的位数小时不显示良好的性能。量化网络的再训练已经被开发来缓解这个问题。在这项工作中，分析了前馈深度神经网络（FFDNN）和卷积神经网络（CNN）的再训练效果。通过再训练控制网络复杂度，了解它们对量化网络弹性的影响。FFDNN的复杂度是通过改变每个隐藏层中的单元大小和层数来控制的，而CNN的复杂度是通过修改特征图配置来完成的。我们发现，浮点和基于再训练的三元（+1，0，-1）权重神经网络之间的性能差距存在相当数量的“复杂性有限”的网络，但差异几乎消失在完全复杂的网络，其能力是有限的训练数据，而不是由连接的数量。这项研究表明，高度复杂的DNN有能力通过再训练吸收严重权重量化的影响，但连接受限的网络弹性较低。本文还提出了有效的压缩比，以指导网络规模和精度之间的权衡时，硬件资源是有限的。
2016-01-07 cs.LG cs.NE
Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）；JPMorgan Chase & Co.（摩根大通公司）
Fast-NTK提出一种基于神经正切核的参数高效遗忘算法，通过微调批归一化层或视觉提示降低计算复杂度，实现大规模模型（如8800万参数）的高效数据遗忘，性能媲美传统重训练方法。
2023-12-22 cs.LG
Rethinking Explanation Evaluation under the Retraining Scheme
Freie Universität Berlin（柏林自由大学）
针对再训练方案ROAR评估结果与解释器理论基础矛盾的问题，本研究识别符号问题为关键因素，重构评估过程并提出新变体，提升评估效率与可靠性，为解释器性能分析提供新视角。
2025-11-11 cs.LG
Towards Last-layer Retraining for Group Robustness with Fewer Annotations
Georgia Institute of Technology（佐治亚理工学院）；Google DeepMind（谷歌DeepMind）
本研究提出选择性最后一层微调（SELF）方法，利用误分类或分歧构建重加权数据集，在无组标注和少量类别标注下，通过最后一层重训练显著提升最差组准确率，几乎达到DFR水平。
2023-11-15 cs.LG
Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks
Purdue University（普渡大学）；Yale University（耶鲁大学）
现代深度网络具有数百万到数十亿个参数，这导致在训练期间以及在资源受限的边缘设备上进行推理期间对内存和能量的要求很高。因此，已经提出了删除深度网络中不太重要的权重的修剪技术，从而减少了它们的内存和计算需求。修剪通常在训练原始网络之后执行，然后进行进一步的再训练以补偿修剪期间发生的准确性损失。反复重复修剪和重新训练过程，直到达到准确性和效率之间的最佳折衷。然而，这种迭代再训练增加了网络的整体训练复杂性。在这项工作中，我们提出了一个动态修剪同时训练过程，其中我们在训练过程中修剪深度网络的卷积层的过滤器，从而排除了单独重新训练的需要。我们使用三种不同的预先存在的修剪策略来评估我们的动态修剪，即基于激活的修剪，随机修剪和基于L1归一化的修剪。我们在CIFAR 10上训练的VGG-16的结果表明，L1归一化在本工作中探索的所有技术中提供了最佳性能，与原始网络相比，在修剪80%的过滤器后，准确度下降不到1%。我们进一步评估了CIFAR 100上基于L1归一化的剪枝机制。结果表明，在训练时进行修剪会产生一个压缩的网络，与原始网络相比，在修剪50%的过滤器后几乎没有准确性损失，并且在高修剪率（>80%）下损失约5%。与10个epochs的再训练相比，CIFAR 10，CIFAR 100和ImageNet训练期间的计算和内存访问数量减少了41%。
2020-03-05 cs.LG stat.ML
Deep Reinforcement Learning for Equity Trading: Benchmarking Actor-Critic Methods with Forward Retraining
本研究基准测试五种深度强化学习actor-critic方法在股票交易中的表现，发现DDPG收益最高但风险大，TD3和SAC平衡更佳，前向再训练可提升部分方法，并揭示了端到端DRL与预测驱动策略的收益-风险权衡。
2026-09-29 cs.AI cs.CE cs.LG
Backdoor Mitigation in Deep Neural Networks via Strategic Retraining
AUDI AG（奥迪股份公司）；University of Twente（特温特大学）
本文提出一种无需后门先验知识的策略性重训练方法，能有效移除深度神经网络中由恶意攻击或不当训练引入的后门，在多个中型示例上表现良好。
2022-12-14 cs.CR cs.LG cs.LO
Guiding the retraining of convolutional neural networks against adversarial inputs
Universitat Politècnica de Catalunya - BarcelonaTech（加泰罗尼亚理工大学-巴塞罗那理工学院）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；University of Innsbruck（因斯布鲁克大学）
本文通过实证研究比较四种引导指标和三种再训练配置，发现从原始权重出发、仅用对抗性输入并按意外充分性指标排序进行再训练，可在较少输入下最有效地提升卷积神经网络对对抗性输入的鲁棒性。
2022-07-12 cs.AI cs.LG cs.SE
Automated Tuning for Diffusion Inverse Problem Solvers without Generative Prior Retraining
Department of Electrical \& Computer Engineering, University of Minnesota, MN, USA；Center for Magnetic Resonance Research, University of Minnesota, MN, USA
提出零样本自适应扩散采样（ZADS）方法，通过测试时自监督优化数据保真权重，无需重训练扩散先验即可在任意噪声计划下实现高保真MRI重建。
2025-09-11 cs.AI cs.CV cs.LG
Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience
Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；Hanoi University of Science and Technology（河内科技大学）；Griffith University（格里菲斯大学）；Humboldt-Universitat zu Berlin（柏林洪堡大学）
Fast-FedUL提出一种免训练的联邦遗忘方法，通过分析目标客户端影响并系统移除其痕迹，无需重训练，理论保证上界，实验显示高效移除且主任务准确率高达98%，速度快1000倍。
2024-05-28 cs.AI cs.DC cs.ET
Backdoor Attacks against Transfer Learning with Pre-trained Deep Learning Models
Monash University（莫纳什大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织 Data61）；University of Melbourne（墨尔本大学）
迁移学习通过微调将预先训练好的\textit{Teacher}模型的学习知识迁移到大数据集上，为可行且快速地定制精确的\textit{Student}模型提供了一种有效的解决方案。迁移学习中使用的许多预先训练的教师模型都是公开的，并由公共平台维护，这增加了它们对后门攻击的脆弱性。在本文中，我们利用可公开访问的教师模型的知识，在图像和时间序列数据上展示了对迁移学习任务的后门威胁，旨在击败三种常见的防御：\textit{pruning-based}，\textit{retraining-based}和\textit{input pre-processing-based defenses}。具体地，（A）基于排名的选择机制，用于在击败\textit{pruning-based}和/或\textit{retraining-based defenses}的同时加速后门触发器生成和扰动过程。(B)提出了自动编码器供电的触发生成，以产生能够击败\textit{input pre-processing-based defense}的鲁棒触发，同时保证所选神经元能够被显著激活。(C)防御感知再训练，以使用反向工程模型输入来生成所述操纵模型。我们对真实世界图像、大脑磁共振成像（MRI）数据和心电图（ECG）学习系统上的学生模型发起有效的错误分类攻击。实验表明，我们的增强攻击可以保持$98.4\%$和$…
2020-03-12 cs.CR cs.LG
Olica: Efficient Structured Pruning of Large Language Models without Retraining
Center of Statistical Research, School of Statistics（统计研究中心、统计学与数据科学学院）；New Cornerstone Science Laboratory, Southwestern University of Finance（新基石科学实验室、西南财经大学）
本文提出无需重训练的LLM结构化剪枝框架Olica，通过PCA正交分解压缩MHA并以SVD线性校准FFN残差，显著降低资源消耗且性能优异。
2025-06-10 cs.CL cs.LG
Deep learning model compression using network sensitivity and gradients
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cadence Design Systems Inc.（楷登电子公司）
深度学习模型压缩是深度学习模型边缘部署的一个重要改进领域。鉴于模型的大小及其相应的功耗不断增加，在不显著降低模型性能的情况下降低模型大小和计算要求至关重要。在本文中，我们提出了模型压缩算法的非再训练和再训练条件。在第一种情况下，由于无法访问原始数据或缺乏必要的计算资源而只能访问现成的模型，模型的再训练是不可行的，我们提出了Bin & Quant算法，用于使用网络参数的敏感性来压缩深度学习模型。这导致语音命令和控制模型的13倍压缩和DeepSpeech2模型的7倍压缩。在第二种情况下，当模型可以重新训练和最大的压缩是需要的精度可以忽略不计的损失，我们提出了我们的新的梯度加权k均值聚类算法（GWK）。该方法使用梯度来识别给定聚类中的重要权重值，并将质心推向这些值，从而赋予敏感权重重要性。我们的方法有效地将乘积量化与EWGS[1]算法相结合，用于量化模型的子1位表示。我们在CIFAR10数据集上测试了我们的GWK算法，包括ResNet20，ResNet56，MobileNetv2等一系列模型，并在量化模型上显示了35倍的压缩，与浮点模型相比，准确度的绝对损失小于2%。
2022-10-11 cs.CV cs.LG
Quantune: Post-training Quantization of Convolutional Neural Networks using Extreme Gradient Boosting for Fast Deployment
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）
为了对一系列资源受限的目标采用卷积神经网络（CNN），有必要通过执行量化来压缩CNN模型，由此将精度表示转换为较低比特表示。为了克服诸如训练数据集的敏感性、高计算要求和大时间消耗之类的问题，已经提出了不需要再训练的后训练量化方法。此外，为了在不进行再训练的情况下补偿精度下降，以前关于后训练量化的研究提出了几种补充方法：校准、方案、裁剪、粒度和混合精度。为了生成具有最小误差的量化模型，有必要研究这些方法的所有可能组合，因为它们中的每一个都是互补的，并且CNN模型具有不同的特性。然而，穷举或启发式搜索要么太耗时，要么是次优的。为了克服这一挑战，我们提出了一种称为Quantune的自动调谐器，它构建了一个梯度树提升模型，以加速搜索量化配置并减少量化误差。我们评估和比较Quantune与随机，网格，和遗传算法。实验结果表明，Quantune将量化的搜索时间减少了约36.5倍，在六个CNN模型中的准确性损失为0.07~0.65%，包括脆弱的模型（MobileNet，SqueezeNet和ShuffleNet）。为了支持多个目标并采用不断发展的量化工作，Quantune作为一个开源项目在一个成熟的深度学习编译器上实现。
2022-02-21 cs.LG
Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation
University of Connecticut（康涅狄格大学）
网络修剪是一种广泛使用的技术，用于降低深度神经网络的计算成本和模型大小。然而，典型的三级流水线，即，训练、修剪和再训练（微调）显著地增加了总体训练路径。在本文中，我们开发了一个系统的重量修剪优化方法的基础上替代拉格朗日松弛（SLR），这是量身定制的，以克服困难所造成的离散性质的重量修剪问题，同时确保快速收敛。我们进一步加快收敛的SLR通过使用二次处罚。与其他最先进的方法相比，在训练阶段通过SLR获得的模型参数更接近其最优值。我们评估所提出的方法对图像分类任务，即，使用ImageNet的ResNet-18和ResNet-50，以及使用CIFAR-10的ResNet-18、ResNet-50和VGG-16，以及目标检测任务，即，使用COCO 2014的YOLOv 3和YOLOv 3-tiny以及使用TuSimple车道检测数据集的Ultra-Fast-Lane-Detection。实验结果表明，我们的基于SLR的权重修剪优化方法实现了更高的压缩率比国家的艺术在相同的精度要求。它还实现了高的模型精度，即使在硬修剪阶段没有再训练（减少了传统的三阶段修剪到两个阶段）。考虑到再训练时期的预算有限，我们的方法可以快速恢复模型的准确性。
2021-03-25 cs.CV cs.LG
Spuriosity Rankings for Free: A Simple Framework for Last Layer Retraining Based on Object Detection
Sharif University of Technology（谢里夫理工大学）
本文提出一种利用开放词汇目标检测对图像虚假程度进行自动排序的框架，无需人工监督即可筛选干净子集用于最后一层重训练，并在ImageNet-1k上验证了其有效性。
2023-10-31 cs.CV cs.LG
A Scalable and Generalized Deep Learning Framework for Anomaly Detection in Surveillance Videos
University of Technology（技术大学）；Queensland University of Technology（昆士兰科技大学）；Mustansiriyah University（穆斯坦西里亚大学）；University of Thi-Qar（济加尔大学）
本文提出一种结合迁移学习、模型融合与多任务分类的通用深度学习框架，无需为新任务从头重训即可在多个监控视频异常检测数据集上取得高准确率，首次解决该领域的泛化难题。
2024-07-17 cs.AI cs.CV cs.LG
Revisiting hard thresholding for DNN pruning
DNN修剪最常见的方法是对网络权重进行硬阈值处理，然后进行再训练以恢复任何丢失的准确性。最近开发的智能修剪算法使用DNN对各种成本函数的训练集的响应来确定冗余的网络权重，从而减少准确性下降，并可能减少重新训练时间。对于总的修剪时间（修剪时间+再训练时间）的实验，我们表明，硬阈值，然后再训练仍然是最有效的方式，减少网络参数的数量。然而，智能修剪算法仍然具有优势时，再训练是不可能的。在这种情况下，我们提出了一种新的智能修剪算法的基础上凸函数优化的差异，并表明它往往是数量级的速度比竞争的方法，同时实现最低的分类精度退化。此外，我们从理论上研究了硬阈值对DNN精度的影响。我们发现，准确性下降增加与其余的网络深度从修剪层。我们还发现了潜在的维度之间的联系的训练数据流形和网络的鲁棒性硬阈值。
2019-05-21 cs.AI cs.LG stat.ML
Is Oracle Pruning the True Oracle?
Westlake University（西湖大学）；Nankai University（南开大学）；ENCODE Lab, Westlake University（西湖大学ENCODE实验室）
本文通过大规模实验（37K模型）发现，对于中等规模以上的深度学习模型，Oracle剪枝选择的权重在重训练后性能与重训练前几乎无关，质疑了Oracle剪枝作为剪枝方法基础的有效性。
2026-10-27 cs.CV cs.LG
Neural Networks Weights Quantization: Target None-retraining Ternary (TNT)
WeBank（微众银行）；Harbin Engineering University（哈尔滨工程大学）；University of Hyogo（兵库县立大学）；Gakushuin University（学习院大学）
深度神经网络（DNN）的权重量化已被证明是在边缘设备（如移动设备、ASIC和FPGA）上实现DNN的有效解决方案，因为它们没有足够的资源来支持涉及数百万个高精度权重和乘法累加运算的计算。本文提出了一种新的方法来压缩DNN的高精度权重向量到三进制向量，即基于余弦相似性的目标非训练三进制（TNT）压缩方法。我们的方法利用余弦相似性而不是文献中常用的欧氏距离，并成功地减少了搜索空间的大小，以找到从3N到N的最佳三元向量，其中N是目标向量的维数。因此，TNT寻找理论上最优的三元向量的计算复杂性仅为O（N log（N））。此外，我们的实验表明，当我们用高精度参数对DNN模型进行三值化时，所获得的量化模型可以表现出足够高的精度，因此不需要重新训练模型。
2019-12-18 cs.CC cs.LG
Accumulated Polar Feature-based Deep Learning for Efficient and Lightweight Automatic Modulation Classification with Channel Compensation Mechanism
National Taiwan University（台湾大学）
在下一代通信中，大规模机器类型通信（mMTC）对基站造成严重负担。为了解决这样的问题，自动调制分类（AMC）可以通过盲识别调制类型而无需握手来帮助减少信令开销。因此，它在未来的智能调制解调器中扮演着重要的角色。新兴的深度学习（DL）技术将智能存储在网络中，从而获得比传统方法更优越的性能。然而，传统的基于DL的方法遭受沉重的训练开销、存储器开销和计算复杂性，这严重阻碍了资源有限场景的实际应用，诸如车辆到万物（V2X）应用。此外，在现有技术中还没有研究在时变衰落信道下的在线再训练的开销。在这项工作中，提出了一个累积的极性特征为基础的DL与信道补偿机制，以应付上述问题。首先，仿真结果表明，从具有历史数据信息的极域学习特征可以接近最优性能，同时将训练开销减少99.8倍。其次，提出的基于神经网络的信道估计器（NN-CE）可以学习信道响应，并补偿失真的信道与13%的改善。此外，在应用这种轻量级NN-CE在时变衰落信道中，提出了两种有效的在线再训练机制，这可以减少传输开销和再训练开销分别为90%和76%。最后，在一个公开数据集上对该方法的性能进行了评估，并与现有技术进行了比较，以证明其高效性和轻便性。
2020-02-07 cs.LG eess.SP
Constitutive parameterized deep energy method for solid mechanics problems with random material parameters
National Center for Applied Mathematics, Tianjin University（天津大学国家应用数学中心）；School of Mechanical and Aerospace Engineering, Jilin University（吉林大学机械与航空航天工程学院）
本文提出CPDEM方法，通过参数化能量密度函数处理固体力学中连续多参数变化问题，实现零样本实时推断。
2026-10-15 cs.LG
Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging
Wuhan University（武汉大学）；Northeastern University（东北大学）；Sun Yat-sen University（中山大学）；Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）
针对模型按序到达时传统同时合并内存高、任务干扰强的问题，提出无需训练的正交投影与自适应缩放持续合并方法，在 CLIP-ViT 上提升平均准确率 5-8%。
2025-01-16 cs.LG
BK-SDM: A Lightweight, Fast, and Cheap Version of Stable Diffusion
Nota Inc.（Nota公司）；Captions Research（Caption研究院）
本文提出 BK-SDM，通过 U-Net 块剪枝与特征蒸馏，在少量算力和数据下压缩 Stable Diffusion，保持零样本生成竞争力并支持边缘部署。
2024-12-02 cs.LG
Feature Fitted Online Conformal Prediction for Deep Time Series Forecasting Model
College of Transportation Tongji University（同济大学交通运输学院）
针对深度时间序列点预测模型在线不确定性量化难题，提出利用预训练模型特征拟合残差的轻量保形预测方法，无需重训即可保证覆盖并缩短区间。
2025-05-13 cs.AI cs.LG
Learning to Prune Deep Neural Networks via Layer-wise Optimal Brain Surgeon
Nanyang Technological University（南洋理工大学）
如何开发苗条而准确的深度神经网络已经成为现实世界应用的关键，特别是对于那些在嵌入式系统中使用的应用。虽然沿着这条研究路线的先前工作已经显示出一些有希望的结果，但大多数现有方法要么无法显著压缩经过良好训练的深度网络，要么需要对修剪后的深度网络进行大量的再训练过程，以重新提高其预测性能。在本文中，我们提出了一种新的分层修剪方法的深度神经网络。在我们提出的方法中，每个单独的层的参数被修剪独立的基础上的二阶导数的逐层误差函数相对于相应的参数。我们证明了修剪后的最终预测性能下降是有界的重建误差在每一层造成的线性组合。因此，可以保证只需要对修剪后的网络进行轻微的再训练过程就可以恢复其原始的预测性能。我们在基准数据集上进行了大量的实验，以证明我们的修剪方法与几种最先进的基线方法相比的有效性。
2017-11-09 cs.CV cs.LG cs.NE
CBR -- Boosting Adaptive Classification By Retrieval of Encrypted Network Traffic with Out-of-distribution
Ariel University（阿里尔大学）
本文提出CBR方法，基于ANN检索实现加密流量分类，无需重训练即可动态识别新类别，性能接近随机森林，可作为现有分类器的补充。
2024-03-17 cs.CR cs.LG cs.NI
FastODT: A tree-based framework for efficient continual learning
Masaryk University（马萨里克大学）；Czech Republic（捷克共和国）；Warsaw University of Technology（华沙技术大学）；Poland（波兰）；Mycroft Mind；New York University（纽约大学）；New York, NY, USA（纽约市，纽约州，美国）；Analog AI；Abu Dhabi, UAE（阿布扎赫，阿联酋）
本文提出一种基于树的框架，通过Hoeffding界控制树的生长，实现高效持续学习，实验表明其在能源和环境传感时间序列基准上性能优异，计算效率高。
2026-02-27 cs.AI cs.LG
Efficient Logit-based Knowledge Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment
Zhejiang University（浙江大学）
针对SNNs因固定时间步导致的部署灵活性差与准确率下降问题，提出一种新型蒸馏框架，无需特定重训练即可优化全范围时间步性能，并在多个数据集上达到SOTA。
2025-05-28 cs.LG q-bio.NC
Fast, Scale-Adaptive, and Uncertainty-Aware Downscaling of Earth System Model Fields with Generative Machine Learning
Technical University Munich（慕尼黑工业大学）；Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）；Institute of Atmospheric Physics, Chinese Academy of Sciences（中国科学院大气物理研究所）；University of Exeter（埃克塞特大学）
针对地球系统模型高分辨率模拟计算昂贵且现有降尺度方法需重训、外推差的问题，提出零样本一致性模型，高效生成概率降尺度场，以低计算成本优于扩散模型并泛化至未见气候。
2025-02-26 cs.CV cs.LG physics.ao-ph
Hardware-aware training for large-scale and diverse deep learning inference workloads using in-memory computing-based accelerators
IBM Research（IBM研究院）
模拟存内计算（AIMC）--一种很有前途的深度学习工作负载节能加速方法--计算矩阵向量乘法（MVMs），但由于非理想性通常是非确定性或非线性的，因此只能近似计算。与常规浮点（FP）实现相比，这可能不利地影响可实现的深度神经网络（DNN）推理准确性。虽然之前已经建议重新训练以提高鲁棒性，但之前的工作仅探索了少数DNN拓扑，使用不同且过于简化的AIMC硬件模型。在这里，我们使用硬件感知（HWA）训练来系统地检查AIMC在多个DNN拓扑中的多个常见人工智能（AI）工作负载的准确性，并研究对广泛的非理想性的敏感性和鲁棒性。通过引入一个新的和高度现实的AIMC交叉模型，我们显着改善早期的再培训方法。我们发现，许多不同拓扑结构的大规模DNN，包括卷积神经网络（CNN），递归神经网络（RNN）和Transformers，实际上可以成功地重新训练，以显示AIMC的等精度。我们的研究结果进一步表明，向输入或输出添加噪声的AIMC非理想性，而不是权重，对DNN精度的影响最大，并且RNN对所有非理想性都特别鲁棒。
2023-02-16 cs.ET cs.LG
Conditional Neural Architecture Search
Georgia Institute of Technology（佐治亚理工学院）；SIEMENS Corporate Technology（西门子公司技术部）
由于性能、功耗和内存预算的差异，设计资源高效的深度神经网络（DNN）对于在边缘平台上部署深度学习解决方案至关重要。不幸的是，通常情况下，经过良好训练的ML模型不适合部署边缘平台的约束，导致模型简化和重新训练过程的长时间迭代。此外，为平台A优化的ML模型在我们将其部署到另一个平台B时通常可能不适合，从而导致模型再训练的另一次迭代。我们提出了一种条件神经架构搜索方法，使用GAN，产生可行的ML模型，为不同的平台。我们提出了一个新的工作流程来生成约束优化的DNN模型。这是将条件和对抗技术引入神经结构搜索领域的第一项工作。在CIFAR-10上用回归问题和分类问题验证了该方法。所提出的工作流程可以成功地生成资源优化的MLP或基于CNN的网络。
2020-06-06 cs.LG stat.ML
Certified Guidance for Planning with Deep Generative Models
University of Trieste（的里雅斯特大学）；King’s Colledge London（伦敦国王学院）
本文提出可认证引导方法，无需重新训练即可修改深度生成模型，利用神经网络验证技术探索潜在空间，确保生成输出以概率1满足信号时序逻辑规范，在四个基准上验证了其优于现有未认证引导方法。
2025-01-22 cs.LG stat.ML
Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks
RWTH Aachen University（亚琛工业大学）
深度神经网络（DNN）部署在边缘设备上生成的数据附近的最大挑战是它们的大小，即，存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长，DNN的能量效率成比例地增加。然而，较低的字长通常会导致精度下降。为了抵消这种影响，量化的DNN被重新训练。不幸的是，训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题，我们提出了一个后训练量化流程，而不需要再培训。为此，我们研究了不同的量化选项。此外，我们的分析系统地评估了减少词长度的权重和激活的影响，揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关，并适用于均匀量化，允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下，我们量化到8位的精度超过了浮点精度。
2022-10-14 cs.AI cs.CV cs.LG
Fast Power system security analysis with Guided Dropout
UPSud（巴黎第十一大学）；Inria TAU（法国国家信息与自动化研究所TAU团队）；Université Paris-Saclay（巴黎萨克雷大学）；ChaLearn；RTE（法国电力传输公司）
我们提出了一种新的方法来有效地计算负荷流（给定的生产，消费和电网拓扑结构的电网的稳态），取代传统的模拟器的基础上微分方程求解器。我们使用一个深度前馈神经网络训练的负荷流预先计算的模拟。我们的架构允许训练一个网络上所谓的“n-1”问题，其中负荷流量进行评估，为每一个可能的线路断开，然后概括为“n-2”的问题，而无需重新训练（一个明显的优势，因为问题的组合性质）。为此，我们开发了一种与“dropout”相似的技术，我们将其命名为“引导dropout”。
2018-01-30 cs.LG stat.ML
Ensemble learning and iterative training (ELIT) machine learning: applications towards uncertainty quantification and automated experiment in atom-resolved microscopy
UT-Battelle, LLC（UT-Battelle有限责任公司）
深度学习已经成为跨成像学科快速特征提取的首选技术，允许将数据流快速转换为感兴趣的特征的空间或时空阵列。然而，深度学习在实验领域的应用通常受到实验之间的分布漂移的限制，其中针对一组成像条件训练的网络对于不同的成像条件变得次优。这种限制在寻求自动化实验设置时特别严格，其中由于需要人为干预和相关的人工干预，再训练或迁移学习变得不切实际。在这里，我们探索了原子分辨电子显微镜中深度学习特征提取的可重复性，并引入了基于集成学习和迭代训练的工作流程，以大大提高特征检测。这种方法既允许将不确定性量化纳入深度学习分析，也允许快速自动化实验工作流程，其中重新训练网络以补偿由于成像条件的细微变化而导致的分布外漂移，从而取代了人工操作员或从集合中编程选择网络。这种方法可以进一步应用于其他成像领域的机器学习工作流程，包括光学和化学成像。
2021-01-22 cs.LG physics.data-an
Deep Neural Network Fingerprinting by Conferrable Adversarial Examples
University of Waterloo（滑铁卢大学）
在机器学习即服务中，提供商训练深度神经网络，并为许多用户提供访问权限。托管（源）模型易受模型窃取攻击的影响，其中攻击者从对源模型的API访问中导出代理模型。对于此类攻击的事后检测，提供商需要一种健壮的方法来确定可疑模型是否是其模型的代理。我们提出了一种用于深度神经网络分类器的指纹识别方法，该方法从源模型中提取一组输入，使得只有代理人同意源模型对这些输入的分类。这些输入是可转移的对抗性示例的子类，我们称之为可赋予的对抗性示例，这些示例仅使用目标标签从源模型转移到其代理模型。我们提出了一种新的方法来生成这些可信的对抗性例子。我们提出了一个广泛的研究，我们的指纹对微调，权重修剪，再培训，再培训与不同的架构，三个模型窃取攻击从相关的工作，迁移学习，对抗训练，和两个新的自适应攻击的不可移除性。我们的指纹对蒸馏，相关的模型窃取攻击，甚至当攻击者无法访问模型提供者的数据集时的迁移学习都是鲁棒的。我们的指纹是第一种在验证替代品时达到ROC AUC为1.0的方法，而以前的指纹的ROC AUC为0.63。
2021-01-20 cs.CR cs.LG stat.ML
Online Bayesian Imbalanced Learning with Bregman-Calibrated Deep Networks
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）
OBIL通过解耦似然比估计与类先验假设，实现在线适应分布变化，无需重新训练，在医疗诊断等场景中优于现有方法。
2026-02-08 cs.CL cs.LG
Optimizing Information Loss Towards Robust Neural Networks
Fraunhofer AISEC（弗劳恩霍夫应用安全研究所以及）
神经网络（NN）容易受到对抗性样本的影响。这样的输入与它们的良性对应物仅略有不同，但会引起被攻击NN的错误分类。制作示例所需的扰动通常可以忽略不计，甚至人类也无法察觉。为了保护基于深度学习的系统免受此类攻击，已经提出了几种对策，其中对抗训练仍然被认为是最有效的。在这里，使用对抗性示例迭代地重新训练NN，形成计算昂贵且耗时的过程，通常导致性能下降。为了克服对抗训练的缺点，同时仍然提供高级别的安全性，我们提出了一种新的训练方法，我们称之为\textit{entropic retraining}。基于信息论启发的分析，熵再训练模仿了对抗训练的效果，而不需要费力地生成对抗示例。我们的经验表明，熵再训练导致神经网络的安全性和鲁棒性显着增加，而只依赖于给定的原始数据。通过我们的原型实现，我们验证并展示了我们的方法对各种NN架构和数据集的有效性。
2020-09-29 cs.CR cs.LG stat.ML
Multi-Agent Deep Reinforcement Learning for Cost- and Delay-Sensitive Virtual Network Function Placement and Routing
Beijing University of Posts and Telecommunications（北京邮电大学）；SUTD（新加坡科技设计大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织（CSIRO））；NTU（南洋理工大学）
提出了一种基于多智能体深度强化学习（MADRL）的联合虚拟网络功能（VNF）布局和路由（P&R）方法，该方法可以同时提供多个具有差异化需求的服务请求。服务请求的不同要求反映在对延迟和成本敏感的因素上。我们首先构造一个VNF P&R问题，以联合最小化服务延迟和资源消耗成本的加权和，这是NP完全的。然后，联合VNF P&R问题被解耦为两个迭代子任务：布局子任务和路由子任务。每个子任务由多个并发并行顺序决策过程组成。通过引入深度确定性策略梯度方法和多智能体技术，设计了一个MADRL-P&R框架来完成这两个子任务。新的联合奖励和内部奖励机制，提出了匹配的布局和路由子任务的目标和约束。我们还提出了基于参数迁移的模型再训练方法来处理不断变化的网络拓扑结构。通过实验验证，建议MADRL-P&R框架是优于其替代品的服务成本和延迟，并提供了更高的灵活性，个性化的服务需求。基于参数迁移的模型再训练方法在网络拓扑结构变化不大的情况下能有效地加速收敛。
2022-06-24 cs.AI cs.LG cs.NI
NeuRecover: Regression-Controlled Repair of Deep Neural Networks with Training History
Fujitsu Limited（富士通有限公司）；National Institute of Informatics（国立信息学研究所）
鉴于对包括安全关键型应用在内的实际应用的需求日益增长，提高深度神经网络（DNN）质量的系统技术至关重要。关键的挑战来自于更新DNN的可控性。为了纠正某些行为而进行的再培训通常会对其他行为产生破坏性影响，导致回归，即，更新后的DNN在原始DNN正确处理输入的情况下失败。这个问题是至关重要的，当工程师需要调查的安全或信任的密集保证活动的失败。DNN的基于搜索的修复技术有可能通过仅对DNN内部的“负责参数”进行本地化更新来解决这一挑战。然而，潜力还没有被探索，以实现足够的可控性，以抑制回归DNN修复任务。在本文中，我们提出了一种新的DNN修复方法，该方法利用训练历史来判断哪些DNN参数应该改变或不应该改变以抑制回归。我们将该方法实现到一个名为NeuRecover的工具中，并使用三个数据集对其进行评估。我们的方法优于现有的方法，实现往往不到四分之一，甚至在某些情况下，十分之一，回归的数量。我们的方法是特别有效的，当维修要求是严格的，以修复特定的故障类型。在这种情况下，我们的方法显示出稳定的低回归率（<2%），在许多情况下，这是再训练引起的回归的十分之一。
2022-03-04 cs.LG cs.NE cs.SE
