Knowledge Distillation for Efficient Sequences of Training Runs
Harvard University(哈佛大学);MosaicML(MosaicML公司)
在许多实际场景中,如超参数搜索或使用新数据进行持续再训练,相关的训练运行会按顺序执行多次。目前的做法是从零开始独立地训练这些模型。我们研究了利用知识蒸馏(KD)的计算投资在以前的运行,以减少未来的运行成本的问题。我们发现,增加未来的运行与KD从以前的运行大大减少了训练这些模型所需的时间,即使考虑到KD的开销。我们用两种策略改进了这些结果,这两种策略将KD的开销减少了80-90%,对准确性的影响最小,并且在总体成本上有巨大的帕累托改进。我们的结论是KD是一个很有前途的途径,以减少成本昂贵的准备工作,在实践中训练最终模型之前。
2023-03-11 cs.CV cs.LG
Variance-Based Pruning for Accelerating and Compressing Trained Networks
Automated Driving Research, Robert Bosch GmbH(罗伯特·博世有限公司自动驾驶研究);Institute for Signal Processing, University of Lübeck(吕贝克大学信号处理研究所)
本文提出基于方差的剪枝方法,通过激活统计信息选择神经元进行剪枝,减少训练成本并保持性能,实验显示在ImageNet-1k任务中DeiT-Base模型剪枝后性能仍达70%以上,仅需10轮微调即可恢复99%精度,同时降低MACs和模型大小。
2026-04-01 cs.CV cs.LG
Activation Density driven Energy-Efficient Pruning in Training
Department of Electrical Engineering Yale University(耶鲁大学电气工程系)
神经网络修剪和适当的再训练可以产生比原始网络具有相当少的参数的网络,并且具有相当的准确度。典型的修剪方法需要大型的、经过充分训练的网络作为起点,从这个起点开始,它们执行时间密集型的迭代修剪和再训练过程,以恢复原始的准确性。我们提出了一种新的修剪方法,在训练过程中实时修剪网络,减少整体训练时间,以实现高效的压缩网络。我们引入了基于激活密度的分析,以确定网络每层的最佳相对大小或压缩。我们的方法是架构不可知的,允许它被用于各种各样的系统。对于CIFAR-10,CIFAR-100和TinyImageNet上的VGG-19和ResNet 18,我们获得了非常稀疏的网络(在最好的情况下,参数减少到$200 \times$,推理计算操作减少到$60 \times$以上),其准确度与基线网络相当。通过在训练过程中定期减少网络大小,我们实现了比以前提出的修剪方法更短的总训练时间。此外,与完全从头开始训练的基线网络相比,使用我们提出的方法在不同时期训练压缩网络在接近等精度下产生训练计算复杂度的显著降低($1.6\times$到$3.2\times$更低)。
2020-10-12 cs.CV cs.LG cs.NE
TiC-CLIP: Continual Training of CLIP Models
Apple(苹果公司);Carnegie Mellon University(卡内基梅隆大学)
该研究提出了首批网络规模的时间持续学习基准TiC-DataComp等,用于训练视觉-语言模型,并发现基于重演的持续训练方法可将计算量减少2.5倍。
2024-03-21 cs.CL cs.CV cs.LG
Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models
University of Texas at Austin(德克萨斯大学奥斯汀分校);JPMorgan Chase & Co.(摩根大通公司)
Fast-NTK提出一种基于神经正切核的参数高效遗忘算法,通过微调批归一化层或视觉提示降低计算复杂度,实现大规模模型(如8800万参数)的高效数据遗忘,性能媲美传统重训练方法。
2023-12-22 cs.LG
Continual Learning for Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
虚假音频攻击成为说话人确认系统的主要威胁。虽然目前的检测方法已经取得了可喜的成果,在特定的情况下,他们遇到的困难,看不见的欺骗数据。为纳入新数据,从零开始进行了微调和再培训。然而,微调会导致先前数据的性能下降。重新训练需要大量的时间和计算资源。此外,在某些情况下,由于隐私原因,以前的数据不可用。针对上述问题,本文提出了一种基于连续学习的无遗忘伪检测方法,使模型能够增量地学习新的欺骗攻击。在损失函数中引入知识蒸馏损失,以保持原模型的记忆。假设真实语音在不同场景中的分布是一致的,额外的嵌入相似性损失被用作另一个约束,以进一步进行正样本对齐。实验在ASVspoof2019数据集上进行。实验结果表明,该方法的平均等出错率相对降低了81.62%。
2021-04-15 cs.LG cs.SD eess.AS
Data Attribution for Text-to-Image Models by Unlearning Synthesized Images
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);UC Berkeley(加州大学伯克利分校)
针对文本到图像模型的数据归因需反复重训练、成本过高的问题,本文提出模拟反学习合成图像并依据损失偏差识别影响训练样本的高效方法,且经金标准重训练验证优于已有方法。
2025-02-20 cs.CV cs.LG
Towards Scalable Exact Machine Unlearning Using Parameter-Efficient Fine-Tuning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google DeepMind(谷歌DeepMind);Columbia University(哥伦比亚大学);Google Research(谷歌研究院)
为解决精确机器遗忘中重训组件成本高昂的问题,提出S3T框架,利用参数高效微调实现参数隔离,通过停用受影响层高效完成数据删除,并在多数据序列上训练以提升性能和处理更多删除请求。
2025-03-03 cs.LG
HLQ: Fast and Efficient Backpropagation via Hadamard Low-rank Quantization
POSTECH(浦项科技大学)
针对反向传播优化易影响收敛的难题,提出HLQ策略,对激活梯度做4位哈达玛量化、权重梯度做哈达玛低秩近似,在训练与微调中实现显著内存节省和加速,且精度损失极小。
2024-06-21 cs.CV cs.LG
Continual Learning Strategies for 3D Engineering Regression Problems: A Benchmarking Study
Massachusetts Institute of Technology(麻省理工学院)
针对工程数据演变导致模型需整合新知识但重新训练成本高的问题,本研究将持续学习引入工程设计,通过在五个工程数据集上构建九个CL基准测试多种CL方法,发现Replay策略性能接近重新训练且训练时间减半。
2025-04-16 cs.AI cs.CE cs.LG
Multi-Scale Convolutional LSTM with Transfer Learning for Anomaly Detection in Cellular Networks
Instituto de Telecomunicações(电信研究所);Universidade de Aveiro(阿威罗大学);Data Machine Elite(数据机器精英公司)
本研究提出融合迁移学习的多尺度卷积LSTM用于蜂窝网络异常检测,结合EDA和SMOTE处理类别不平衡,微调模型仅20轮就在新数据集达95%准确率,大幅降低训练成本。
2024-09-30 cs.LG cs.NI
Continual Learning for Food Category Classification Dataset: Enhancing Model Adaptability and Performance
School of Computer Engineering(计算机工程学院);KIIT University(KIIT大学)
本文提出基于文本引导的连续学习框架,用于食品分类,使模型能逐步更新以适应新类别,提升适应性和性能,应用于饮食监控和个性化营养规划。
2026-03-20 cs.LG
LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学)
针对大语言模型频繁更新导致旧LoRA权重失效、重训练成本高的问题,提出模块化方法LoRASuite,通过转移矩阵、层与注意力头分配及小规模微调实现高效适配,性能优于全规模重训练且大幅降低资源消耗。
2025-05-17 cs.AI cs.CL cs.LG
Preserving Fairness in AI under Domain Shift
University of Southern California(南加州大学)
用于确保AI公平性的现有算法使用单次训练策略,其中AI模型在具有敏感属性的注释训练数据集上进行训练,然后进行使用。这种训练策略在具有平稳分布的问题中是有效的,其中训练和测试数据都来自同一分布。然而,它是脆弱的,相对于输入空间中的分布变化,可能会发生在初始训练阶段。因此,数据的时间依赖性可能会在模型预测中引入偏差。使用新的注释数据集从头开始进行模型再训练是一种幼稚的解决方案,既昂贵又耗时。我们开发了一种算法,以适应一个公平的模型,以保持公平的域转移下,只使用新的未注释的数据点。我们将这种学习设置重新定义为无监督的领域自适应问题。我们的算法是基于更新的模型,使内部表示的数据保持公正,尽管在输入空间中的分布变化。我们提供了广泛的实证验证三个广泛采用的公平数据集,以证明我们的算法的有效性。
2023-01-29 cs.LG
Online Continual Learning of End-to-End Speech Recognition Models
Carnegie Mellon University(卡内基梅隆大学)
持续学习,也被称为终身学习,旨在不断地从新的数据中学习,因为它变得可用。虽然先前的研究在自动语音识别的持续学习集中在多个不同的语音识别任务的模型的适应,在本文中,我们提出了一个实验设置\textit{online continual learning}自动语音识别的一个单一的任务。特别关注的情况下,额外的训练数据为同一个任务变得越来越可用随着时间的推移,我们证明了执行增量模型更新到端到端的语音识别模型的有效性与在线梯度情景记忆(GEM)的方法。此外,我们表明,通过在线持续学习和选择性采样策略,我们可以保持类似于从头开始重新训练模型的准确性,同时需要显着降低计算成本。我们还验证了我们的方法与自监督学习(SSL)功能。
2022-07-11 cs.AI cs.LG cs.SD
Can Graph Neural Networks Go "Online"? An Analysis of Pretraining and Inference
Kiel University(基尔大学);ZBW – Leibniz Information Centre for Economics(莱布尼茨经济信息中心);University of Essex(埃塞克斯大学)
实际应用中的大规模图数据往往不是静态的,而是动态的。例如,新的节点和边随着时间出现。当前的图卷积方法是有前途的,特别是当所有图的节点和边在训练期间可用时。当在训练后插入看不见的节点和边时,尚未评估向上训练还是从头开始重新训练是优选的。我们构建了一个实验设置,在该设置中,我们在训练后插入以前看不见的节点和边,并进行有限数量的推理时期。在这个设置中,我们比较了适应预训练的图神经网络和从头开始重新训练。我们的研究结果表明,预训练的模型在看不见的节点上产生了高准确性分数,并且预训练优于从头开始重新训练。我们的实验代表了评估和开发真正的图神经网络在线变体的第一步。
2019-05-15 cs.LG stat.ML
À-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting
AWS AI Labs(AWS人工智能实验室);UCLA(加州大学洛杉矶分校)
我们介绍了点菜提示微调(APT),一个基于变换的计划,调整提示不同的数据,使他们可以任意组成的推理时间。可以在不同的设备上、在不同的时间、以及在不同的分布或域上隔离地训练各个提示。此外,每个提示仅包含有关其在训练期间暴露的数据子集的信息。在推理过程中,可以根据任意选择的数据源组装模型,我们称之为“点菜式学习”。点菜式学习使得能够构建特定于每个用户的个人访问权和偏好的定制模型。我们可以通过简单地添加或删除相应的提示来添加或删除模型中的信息,而无需从头开始重新训练。我们证明,点菜建立的模型实现的准确性在$5\%$的模型训练的工会各自的来源,具有可比的成本方面的培训和推理时间。对于持续学习基准Split CIFAR-100和CORe 50,我们实现了最先进的性能。
2023-02-15 cs.AI cs.CL cs.CV
A Scalable and Generalized Deep Learning Framework for Anomaly Detection in Surveillance Videos
University of Technology(技术大学);Queensland University of Technology(昆士兰科技大学);Mustansiriyah University(穆斯坦西里亚大学);University of Thi-Qar(济加尔大学)
本文提出一种结合迁移学习、模型融合与多任务分类的通用深度学习框架,无需为新任务从头重训即可在多个监控视频异常检测数据集上取得高准确率,首次解决该领域的泛化难题。
2024-07-17 cs.AI cs.CV cs.LG
Advanced Clustering Framework for Semiconductor Image Analytics Integrating Deep TDA with Self-Supervised and Transfer Learning Techniques
Intel Corporation(英特尔公司);DataRefiner
本文提出一种融合深度拓扑数据分析、自监督学习与迁移学习的高级聚类框架,用于半导体图像的无监督缺陷识别与过程监控,并在合成及开源数据集上验证了其有效性。
2025-05-05 cs.AI cs.CV cs.ET
Continual Learning for non-stationary regression via Memory-Efficient Replay
atlanTTic - ICLAB - Universidade de Vigo, Escola de Enxeñaría de Telecomunicación, Campus Universitario(atlanTTic - ICLAB - 维戈大学,电信工程学院,大学校区);Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)(加利西亚电信技术中心(GRADIANT));Facultade de Informática, Universidade de Santiago de Compostela(圣地亚哥-德孔波斯特拉大学计算机学院)
本文提出了一种基于原型的生成回放框架,用于在线任务无关的持续回归,通过自适应输出空间离散化模型减少遗忘并提高稳定性。
2026-02-10 cs.LG stat.ML
In-Place Test-Time Training
Peking University(北京大学)
本文提出了一种无需重新训练的就地测试时间训练框架,通过调整MLP块的最终投影矩阵实现模型在推理时的动态更新,提升大语言模型在长上下文任务中的性能。
2026-04-07 cs.AI cs.CL cs.LG
Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Google(谷歌公司)
目前在语音助理中部署的语义解析系统可能需要数周的训练。这些模型的数据集通常会收到小而频繁的更新,即数据补丁。每个补丁都需要训练一个新的模型。为了减少训练时间,可以在每个补丁上对先前训练的模型进行微调,但是幼稚的微调表现出灾难性遗忘-在数据补丁中没有表示的数据上模型性能的退化。在这项工作中,我们提出了一个简单的方法,消除了灾难性遗忘,并表明它是可能的,通过微调,在不到10%的时间内匹配从头开始训练的模型的性能。实现这一点的关键是superslip和EWC正则化。我们证明了我们的方法在Facebook TOP和SNIPS数据集的多个分割上的有效性。
2021-03-22 cs.CL cs.LG
A hybrid framework for effective and efficient machine unlearning
Ocean University of China(中国海洋大学);Cyberspace Institute of Advanced Technology, Guangzhou University(广州大学先进网络空间研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Guangzhou ShiZhen Information Technology Co., LTD(广州实真信息技术有限公司)
本文提出一种机器遗忘混合框架,通过估计撤销引起的重新训练工作量,自适应选择精确重训练或直接修改参数,在保证准确性的同时将遗忘效率提升1.5至8倍。
2024-12-19 cs.LG
UnAct: Gradient-Free Unlearning via Targeted Activation Intervention
Gaash Lab(Gaash实验室);National Institute of Technology Srinagar(斯利那加国立理工学院)
UnAct是一种无梯度的类别遗忘方法,仅通过前向传播和激活干预即可高效遗忘,在数据稀缺时优于现有方法,且保持高保留准确率。
2026-10-06 cs.CV cs.LG
Hard to Forget: Poisoning Attacks on Certified Machine Unlearning
School of Computing and Information Systems(计算与信息系统学院);University of Melbourne(墨尔本大学);Department of Computer Science(计算机科学系);Amherst College(阿默斯特学院)
删除权要求从组织持有的数据中删除用户信息,并对下游产品(如学习模型)进行严格解释。从头开始重新训练,忽略特定用户的数据,完全消除了它对结果模型的影响,但计算成本很高。机器“不学习”减轻了完全重新训练的成本:相反,模型是增量更新的,可能只需要在近似误差累积时进行重新训练。在未学习和再训练模型的不可重复性上,隐私保证已经取得了快速进展,但目前的形式主义并没有对计算进行实际限制。在本文中,我们演示了攻击者如何利用这种疏忽,突出了一个新的攻击面引入了机器遗忘。我们认为攻击者的目的是增加数据删除的计算成本。我们得出并实证调查中毒攻击认证的机器遗忘,战略设计的训练数据触发完全再训练时删除。
2022-02-10 cs.CR cs.LG
Train Smarter, Not Harder: Switching Signal-Guided Training in Active Learning
Faculty of Data and Decision Sciences, Technion(以色列理工学院数据与决策科学学院)
提出HybridAL,通过监控在线稳定化信号在主动学习中自适应地从重新训练切换到微调,在保持宏F1不劣的同时节省高达49%的训练时间并改善校准性能。
2026-09-09 cs.CL cs.LG
Guiding the retraining of convolutional neural networks against adversarial inputs
Universitat Politècnica de Catalunya - BarcelonaTech(加泰罗尼亚理工大学-巴塞罗那理工学院);Universidad Nacional Autónoma de México(墨西哥国立自治大学);University of Innsbruck(因斯布鲁克大学)
本文通过实证研究比较四种引导指标和三种再训练配置,发现从原始权重出发、仅用对抗性输入并按意外充分性指标排序进行再训练,可在较少输入下最有效地提升卷积神经网络对对抗性输入的鲁棒性。
2022-07-12 cs.AI cs.LG cs.SE
PeTeR: Post-Training Robustification of Probabilistic Circuits
School of Computing and Augmented Intelligence Arizona State University(计算与增强智能学院亚利桑那州立大学)
研究针对概率电路学习易过拟合和泛化能力弱的问题,提出PeTeR这一无需数据的训练后框架,可使预训练概率电路抵御分布变化,实证评估显示该框架能有效增强模型对随机和对抗性扰动的鲁棒性,性能良好。
2026-07-13 cs.LG
A SISA-based Machine Unlearning Framework for Power Transformer Inter-Turn Short-Circuit Fault Localization
Graduate Student Member, IEEE(IEEE研究生会员);Member, IEEE(IEEE会员);Senior Member, IEEE(IEEE高级会员)
本文提出基于SISA的机器去学习框架,用于电力变压器匝间短路故障定位,通过分片和隔离技术减少重新训练时间,同时保持诊断准确性。
2026-03-07 cs.LG cs.SY eess.SY
$\nabla τ$: Gradient-based and Task-Agnostic machine Unlearning
Sapienza University of Rome(罗马第一大学)
本文提出了一种基于梯度的与任务无关的机器遗忘框架$\ abla τ$,通过对遗忘数据应用自适应梯度上升、对保留数据使用标准梯度下降,无需调整超参数即可高效遗忘高达30%的训练数据,且在不损害模型准确率的前提下性能优于现有方法。
2024-03-21 cs.AI cs.CL cs.CV
LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty
University of Amsterdam(阿姆斯特丹大学);Centre for Research & Technology Hellas(希腊研究中心与技术中心);Archimedes/Athena RC(阿基米德/雅典娜研究中心)
提出LoTUS方法,通过平滑预测概率至信息论界限来消除训练样本影响,避免从头重训练,在Transformer和ResNet18模型上超越现有方法,并引入RF-JSD指标用于实际评估。
2026-06-06 cs.AI cs.CV cs.LG
Compact Language Models via Pruning and Knowledge Distillation
NVIDIA(英伟达)
本文提出通过剪枝与知识蒸馏压缩LLM,使用少于3%的训练数据重新训练,以2-4倍压缩Nemotron-4模型,节省1.8倍计算成本,并提升MMLU分数达16%。
2024-11-04 cs.AI cs.CL cs.LG
Improved Group Robustness via Classifier Retraining on Independent Splits
Northeastern University(东北大学)
本文提出一种基于训练数据独立划分重训练分类器的简单方法,仅依赖单个超参数即可有效提升深度神经网络的最差组性能,且在图像和文本分类基准上优于 group DRO 和 JTT 等基线。
2023-07-28 cs.LG
DP2Unlearning: An Efficient and Guaranteed Unlearning Framework for LLMs
Universitat Rovira i Virgili, Department of Computer Engineering(罗维拉-维格利大学计算机工程系);Mathematics, CYBERCAT-Center for Cybersecurity Research of Catalonia(数学,加泰罗尼亚网络安全研究中心)
本文提出 DP2Unlearning 框架,通过在 ε-差分隐私保护的文本数据上训练 LLM,以约一半成本实现具有形式化保证的高效遗忘,并在遗忘后保持模型效用。
2025-07-18 cs.AI cs.LG
AI Model Disgorgement: Methods and Choices
AWS AI(亚马逊云科技人工智能部门)
本文针对大规模ML模型训练数据缺陷难以通过重训练修复的问题,提出了一种适用于现代ML系统的模型 disgorgement(消除不当数据及其对模型影响)方法分类体系,探讨了无需从头重训即可消除数据影响的技术。
2023-04-07 cs.CR cs.LG
Train Separately, Merge Together: Modular Post-Training with Mixture-of-Experts
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校);Allen Institute for AI(人工智能研究院)
本文提出BAR方法,通过独立训练领域专家并采用专家混合架构实现高效更新,避免了传统重训练的高成本和性能下降问题,实验显示其在多个领域任务中表现优异。
2026-10-20 cs.LG
Editable Concept Bottleneck Models
Provable Responsible AI and Data Analytics (PRADA) Lab(可证明的负责任AI与数据分析(PRADA)实验室);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shanghai Jiao Tong University(上海交通大学);The University of Auckland(奥克兰大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心(AIP));Arizona State University(亚利桑那州立大学);Stony Brook University(石溪大学)
针对概念瓶颈模型在需要修改数据或概念时难以高效重训的问题,提出可编辑概念瓶颈模型(ECBMs),利用影响函数的闭式近似支持三个层级的数据移除,无需从头训练,实验验证了其高效性与适应性。
2025-02-01 cs.AI cs.CV cs.LG
Machine unlearning via GAN
机器学习模型,尤其是深度模型,可能会无意中记住有关其训练数据的信息。恶意攻击者可以通过成员推断攻击或模型反演攻击对模型进行攻击,从而窃取训练数据的某些属性。一些法规,如欧盟的GDPR,制定了“被遗忘的权利”来保护用户的数据隐私,增强了个人对其数据的主权。因此,从训练模型中去除训练数据信息已成为一个关键问题。在本文中,我们提出了一种基于GAN的算法来删除深度模型中的数据,与从头开始重新训练相比,它显著提高了删除速度,特别是在复杂的场景中。我们在五个常用的数据集上进行了实验,实验结果表明了我们的方法的有效性。
2021-11-22 cs.AI cs.LG
Controllable Concept Bottleneck Models
本文提出可控概念瓶颈模型,通过支持多层次的模型编辑功能,实现无需重新训练的高效可编辑CBMs,以适应动态变化的环境需求。
2026-01-01 cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出OOO框架,通过解耦探索与利用策略,利用离线重训练缓解在线RL中的探索偏差,显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks
SKLOIS, Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所智能信息处理实验室);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
机器遗忘对于保证模型安全和保护用户隐私具有重要意义。此外,许多法律条文明确规定,用户有权要求模型提供者从训练集中删除自己的数据,即被遗忘权。遗忘数据的简单方法是从头开始重新训练模型,这在现代深度神经网络中变得非常耗时和资源消耗。通过重构模型或训练数据的其他非学习方法努力在开销和模型可用性之间获得平衡。在本文中,我们提出了一种称为DeepObliviate的方法,可以有效地实现机器遗忘,而无需修改正常的训练模式。我们的方法通过将中间模型存储在硬盘上来改进原始训练过程。给定一个要遗忘的数据点,我们首先量化它在存储模型中留下的时间剩余记忆。受影响的模型将被重新训练,我们根据剩余记忆的趋势决定何时终止重新训练。最后,我们通过结合重新训练的模型和未受影响的模型来缝合未学习的模型。我们在五个数据集和深度学习模型上广泛评估了我们的方法。与从零开始再培训的方法相比,我们的方法可以达到99.0%,95.0%,91.9%,96.7%,准确率为74.1%,$\times$为66.7 $\times$,75.0 $\times$,33.3 $\times$,29.4 $\times$,13.7 $\times$在MNIST、SVHN、CIFAR-10、Purchase和ImageNet数据集。与最先进的unlearning方法相比,我们提高了5.8%的准确率,32.5 $\times$预测加速,并在这些数…
2021-05-13 cs.AI cs.CR cs.LG
Semantic and Visual Similarities for Efficient Knowledge Transfer in CNN Training
Orkis(奥基斯);EURECOM(欧洲通信学院)
近年来,表示学习方法已经扰乱了许多多媒体计算任务。在这些方法中,深度卷积神经网络(CNN)在一些受约束的图像分类任务上已经明显达到了人类水平的专业知识。尽管如此,从零开始训练CNN来完成新任务或简单的新数据是复杂而耗时的。最近,迁移学习已经成为一种有效的方法,通过只重新训练最后一个分类层,使预训练的CNN适应新的数据和类别。本文的重点是改进这一过程,以便在图像分类微调的情况下更好地在CNN架构之间传输知识,以实现更快的训练。这是通过组合和转移补充权重,基于源和目标类之间的相似性考虑。该研究包括语义和基于内容的相似性之间的比较,并强调了初始性能和训练速度的提高,以及在有限的训练样本可用时的卓越长期性能。
2019-09-13 cs.CV cs.LG cs.MM
PUMA: Performance Unchanged Model Augmentation for Training Data Removal
Borealis AI
保留训练模型的性能,同时去除标记的训练数据点的独特特征是具有挑战性的。最近的研究通常建议使用剩余的训练数据从头开始重新训练模型,或者通过在标记的数据点上恢复模型优化来改进模型。不幸的是,除了计算效率低之外,这些方法不可避免地损害了结果模型的泛化能力,因为它们不仅删除了唯一的特征,而且还丢弃了共享的(可能是贡献的)信息。为了解决性能下降的问题,本文提出了一种新的方法称为性能不变的模型增强~(PEM-A)。所提出的CNOAA框架明确地模拟每个训练数据点对模型的泛化能力的影响,相对于各种性能标准。然后,它通过最佳地重新加权剩余数据来补充删除标记数据的负面影响。为了证明PUMA框架的有效性,我们在实验中将其与多种最先进的数据删除技术进行了比较,其中我们表明PUMA可以有效且高效地删除标记训练数据的独特特征,而无需重新训练模型1)欺骗成员攻击,2)抵抗性能下降。此外,由于CNOAA在其操作过程中估计数据的重要性,我们表明它可以比现有方法更有效地调试错误标记的数据点。
2022-03-02 cs.LG stat.ML
Understanding Machine Unlearning Through the Lens of Mode Connectivity
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
该研究首次通过模式连通性视角探究机器遗忘,发现遗忘模型多位于连通盆地,MCU可揭示模型隐私差异,其集成能提升泛化与鲁棒性,且平滑性关联遗忘难度。
2026-08-04 cs.AI cs.CL cs.CV
Forget or Fine-tune? A Comparative Study of Machine Unlearning Strategies for Noisy Label Correction
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
本研究对比五种机器遗忘策略在不同噪声类型数据集上的效果,发现策略适配噪声结构,为噪声标签修正的机器遗忘策略选择提供实用指南。
2026-09-01 cs.AI cs.LG
On Foundation Models for Temporal Point Processes to Accelerate Scientific Discovery
Lamarr Institute(拉马尔研究所);Fraunhofer IAIS(弗劳恩霍夫人工智能研究所);University of Bonn(波恩大学);JetBrains Research(JetBrains研究)
本文提出一种用于时间点过程的基础模型,通过训练大量模拟事件序列,实现对新科学数据的快速分析与微调,从而加速科学发现。
2026-01-20 cs.LG
Understanding Machine Unlearning Through the Lens of Mode Connectivity
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
研究通过模式连通性视角理解模型遗忘,引入MCU并评估,发现遗忘模型处于连通盆地,训练动态会影响,同一盆地模型隐私指标有别,遗忘非线性,近似遗忘方法与重新训练不同,基于MCU的集成可提升泛化和鲁棒性。
2026-08-04 cs.AI cs.CL cs.LG
GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning
University of Tokyo(东京大学);Toyota Central Research Laboratory(丰田中央研究所);University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院);National Institute of Advanced Industrial Science and Technology(国家工业科学与技术研究院)
提出GUDA方法,利用机器遗忘近似反事实模型,通过似然评分规则(ELBO)量化组别影响,实现高效的分组训练数据归因。
2026-06-01 cs.AI cs.LG
Eternal Sunshine of the Spotless Net: Selective Forgetting in Deep Networks
UCLA(加州大学洛杉矶分校)
我们探讨了选择性遗忘用于训练深度神经网络的数据的特定子集的问题。虽然被遗忘的数据的影响可以从网络的输出中隐藏起来,但仍然可以通过深入探索其权重来收集见解。我们提出了一种方法“擦洗”的权重清洁的信息,一组特定的训练数据。该方法不需要从头开始重新训练,也不需要访问最初用于训练的数据。相反,权重被修改,使得权重的任何探测函数与应用于在没有要被遗忘的数据的情况下训练的网络的权重的相同函数不可区分。该条件是差分隐私的一种较弱的推广形式。利用与随机梯度下降的稳定性相关的思想,我们引入了权重中剩余信息量的上限,即使对于深度神经网络也可以有效地估计。
2020-03-31 cs.LG stat.ML
Differentially Private Decoding in Large Language Models
Amazon Alexa AI(亚马逊Alexa人工智能部门)
最近的大规模自然语言处理(NLP)系统使用预先训练的大语言模型(LLM)在大规模和多样化的语料库作为一个开端。在实践中,通过对特定于任务的数据集进行微调,预先训练的模型可以适应各种任务。LLM虽然有效,但已被证明可以记住训练数据的实例,从而潜在地揭示在预训练期间处理的私人信息。潜在的泄漏可能进一步传播到LLM被微调的下游任务。另一方面,隐私保护算法通常涉及从头开始重新训练,这对于LLM来说非常昂贵。在这项工作中,我们提出了一个简单,易于解释,计算量小的扰动机制,应用于一个已经训练好的模型在解码阶段。我们的扰动机制是模型不可知的,可以与任何LLM结合使用。我们提供的理论分析表明,所提出的机制是差分私人,和实验结果显示的隐私效用权衡。
2022-09-08 cs.CL cs.LG
MobText-SISA: Efficient Machine Unlearning for Mobility Logs with Spatio-Temporal and Natural-Language Data
The University of Osaka(大阪大学);RIKEN Center for Computational Science(理化学研究所计算科学中心);Tanta University(塔塔大学)
MobText-SISA通过扩展SISA训练方法,实现对异构时空数据的高效机器反学习,保持预测精度并优于随机分片方法,为城市规模的多模态移动数据隐私合规分析提供基础。
2025-08-27 cs.LG
Modyn: Data-Centric Machine Learning Pipeline Orchestration
ETH Zurich(苏黎世联邦理工学院);IT University of Copenhagen(哥本哈根信息技术大学);Technical University of Munich(慕尼黑工业大学)
Modyn是一个以数据为中心的端到端机器学习平台,通过声明式管道抽象支持持续训练,引入复合模型概念衡量性能,并实证分析数据选择与触发策略对准确率的影响。
2025-01-24 cs.AI cs.DB cs.DC
Coefficient-to-Basis Network: A Fine-Tunable Operator Learning Framework for Inverse Problems with Adaptive Discretizations and Theoretical Guarantees
Florida State University(佛罗里达州立大学);Hong Kong Baptist University(香港浸会大学);Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
本文提出系数到基网络C2BNet,通过微调预训练模型适应不同离散化,降低反问题求解成本,并给出低维结构下的逼近与泛化误差界,数值实验验证了其在精度与效率上的优势。
2025-03-11 cs.LG
Probabilistic Retrofitting of Learned Simulators
The Polymathic AI Collaboration(多智AI协作体);University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
提出一种训练高效的策略,通过连续排序概率得分(CRPS)将预训练的确定性模型改造为概率模型,无需从头训练,适用于多种架构,在多个动力系统上显著提升预测性能。
2026-06-23 cs.AI cs.CE cs.LG