Parameter-Efficient Checkpoint Merging via Metrics-Weighted Averaging
Tensorplex Labs(Tensorplex实验室);Twelve Labs
本文针对参数高效微调(PEFT)提出指标加权平均(MWA)方法,根据训练损失或步数对模型检查点进行加权合并,仅需一个超参数,实验表明该方法优于均匀合并基线,最高提升5%准确率。
2025-04-23 cs.LG
Growing Together: Modeling Human Language Learning With n-Best Multi-Checkpoint Machine Translation
The University of British Columbia(不列颠哥伦比亚大学);Sauder School of Business(尚德商学院)
我们描述了我们提交给2020年Duolingo语言教育同声翻译和释义共享任务(STAPLE)(Mayhew等人,2020年)。我们在不同的训练阶段查看MT模型(即,检查点)作为不同级别的人类学习者。因此,我们采用来自同一模型的多个检查点的集合来生成具有不同流畅度的翻译序列。对于我们的最佳模型,我们从每个检查点采样n个最佳序列(n=10),波束宽度=100。我们在官方英语到葡萄牙语共享任务测试数据上使用6个检查点模型集成实现了37.57个宏F1,优于21.30个宏F1的基线Amazon翻译系统,并最终证明了我们直观方法的实用性。
2020-06-07 cs.CL cs.LG stat.ML
Efficient Knowledge Distillation from Model Checkpoints
Tsinghua University(清华大学)
知识蒸馏是在大而强的模型(教师)的指导下学习紧凑模型(学生)的有效途径。经验上,教师和学生模型的表现之间存在着很强的相关性,人们普遍认为,高绩效的教师是首选。因此,从业者倾向于使用一个训练有素的网络或他们的合奏作为老师。在本文中,我们做了一个有趣的观察,一个中间模型,即,与完全收敛模型相比,训练过程中间的检查点通常充当更好的教师,尽管前者的准确性要低得多。更令人惊讶的是,来自同一训练轨迹的几个中间模型的弱快照集合在用作教师时,可以胜过独立训练和完全收敛的模型的强集合。我们发现,这种现象可以部分解释的信息瓶颈原理:中间模型的特征表示可以有更高的互信息的输入,从而包含更多的“暗知识”的有效蒸馏。在此基础上,提出了一种基于任务相关互信息最大化的最优中间教师选择算法。实验验证了该方法的有效性和适用性。
2022-10-12 cs.AI cs.LG
Check-N-Run: A Checkpointing System for Training Deep Learning Recommendation Models
Facebook, Inc(Facebook公司);USC(南加州大学)
检查点在训练长时间运行的机器学习(ML)模型中起着重要作用。检查点获取ML模型的快照并将其存储在非易失性存储器中,以便它们可以用于从故障中恢复,以确保快速的训练进度。此外,它们还用于在线训练,以通过持续学习提高推理预测的准确性。由于模型大小较大且不断增加,检查点频率通常会受到存储写入带宽和容量的影响。当在远程存储上维护检查点时,就像许多工业设置一样,它们也会受到网络带宽的检查。我们提出了Check-N-Run,这是一个可扩展的检查点系统,用于在Facebook上训练大型ML模型。虽然Check-N-Run适用于长时间运行的机器学习作业,但我们专注于检查点推荐模型,这是目前最大的机器学习模型,模型大小为TB。Check-N-Run使用两种主要技术来解决大小和带宽挑战。首先,它应用增量检查点,跟踪和检查模型的修改部分。增量检查点在推荐模型的上下文中特别有价值,在推荐模型中,每次迭代只更新一小部分模型(存储为嵌入表)。其次,Check-N-Run利用量化技术显著减少检查点大小,而不会降低训练精度。这些技术允许Check-N-Run在Facebook的真实世界模型上将所需的写入带宽减少6- 17倍,将所需的容量减少2.5- 8倍,从而显著提高检查点功能,同时降低总拥有成本。
2021-05-04 cs.IR cs.LG
Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors
Shanghai Jiao Tong University(上海交通大学);Northeastern University(东北大学)
本文提出自集成保护(SEP)方法,利用训练检查点梯度生成始终无法被正确分类的扰动数据,以极低计算成本实现类似多模型集成的数据保护效果,显著降低攻击者模型准确率。
2023-04-12 cs.CR cs.LG stat.ML
Don't stop me now: How Validation Criteria Affect Checkpoint Selection and Early Stopping
University of Naples Federico II(那不勒斯费德里科二世大学);University of Salerno(萨莱诺大学)
本文研究了模型参数选择中验证标准的影响,发现基于损失的验证比基于准确率的更稳定,建议避免使用早停策略选择参数。
2026-09-29 cs.AI cs.LG
FastPersist: Accelerating Model Checkpointing in Deep Learning
Microsoft DeepSpeed(微软DeepSpeed)
针对深度学习训练优化重计算轻I/O导致检查点写入慢的问题,提出FastPersist框架,通过NVMe优化、多SSD并行写入及计算重叠技术,实现最高116倍的检查点加速与近乎零开销的逐迭代检查点保存。
2024-06-19 cs.AI cs.DC cs.LG
What Will Post-Training Fix? Per-Problem Gains Are Shared Across Independent RL Runs, and Existing Checkpoints Predict Them Better Than A Priori Signals
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Zhongguancun Academy(中关村学院)
本研究通过大规模强化学习后训练实验发现,逐问题增益在独立运行间高度共享,但先验信号预测力弱,而现有检查点能更准确预测新运行的改进,并提议噪声上限作为评估标准。
2026-10-06 cs.LG
Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning Model Ensembling
Huazhong University of Science and Technology(华中科技大学)
对深度学习模型进行集成是推动其在新场景中实现的捷径,可以避免从零开始调优神经网络、损失和训练算法。然而,很难通过一次训练收集足够准确和多样的模型。本文提出了自动集成(AE)算法,通过自适应学习率调度算法自动收集深度学习模型的检查点并集成。该方法的优点是通过一次训练调度学习率,使模型收敛于各种局部最优。当局部最优解的数量趋于饱和时,所有收集的检查点用于集成。我们的方法是通用的,它可以适用于各种场景。在多个数据集和神经网络上的实验结果表明,该方法是有效的和有竞争力的,特别是在少样本学习方面。此外,我们提出了一种方法来衡量模型之间的距离。这样就可以保证采集模型的准确性和多样性。
2020-12-03 cs.LG stat.ML
ExCP: Extreme LLM Checkpoint Compression via Weight-Momentum Joint Shrinking
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Science and Technology of China(中国科学技术大学)
针对 LLM 训练检查点存储开销问题,提出 ExCP 框架,通过相邻残差、权重-动量联合收缩和非均匀量化实现近无损极致压缩。
2024-06-17 cs.LG
Mashup Learning: Faster Finetuning by Remixing Past Checkpoints
Mashup Learning通过整合历史检查点提升模型适应新任务的准确率,并显著减少训练步骤和时间。
2026-03-10 cs.AI cs.LG
Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories
Tongji University(同济大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
研究潜在推理方法的忠实度问题,通过对输入和潜在推理步骤做特定编辑与补丁,追踪不同范式在训练检查点间忠实度演变,发现其受训练阶段和答案格式影响。
2026-11-05 cs.CL cs.LG
Crash-Consistent Checkpointing for AI Training on macOS/APFS
Independent Researcher(独立研究者)
本文针对 macOS/APFS 上 AI 训练提出 crash 一致性检查点方法,通过三种写入模式提升检查点可靠性,实验表明其能高效检测损坏并降低误报,性能开销显著。
2025-11-23 cs.LG cs.OS
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
Google Research(谷歌研究院);University of Southern California(南加利福尼亚大学)
本文提出GQA(分组查询注意力),一种介于多头与多查询注意力之间的键值头配置,并给出利用5%预训练计算将现有检查点升级为GQA的方法,在保持接近多头注意力的质量下获得与MQA相当的速度。
2023-12-23 cs.CL cs.LG
PHOENIX: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint
Rutgers University(罗格斯大学);George Mason University(乔治·马歇尔大学)
提出DeadPool,利用非关键路径内存检查点和通信器重建协议实现零开销热替换,在无故障时无额外开销,故障时40秒内恢复,支持高达512 GPU和65B参数模型。
2026-07-08 cs.DC cs.LG
Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification
Amazon(亚马逊);Massachusetts Institute of Technology(麻省理工学院)
本研究提出中心化残差特征方法,通过移除残差训练产生的共享身份对齐组件,对比残差块特有结构得到谱系分数,可高效准确验证开源权重语言模型检查点的谱系
2026-09-24 cs.CL cs.LG
To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning
HSE University(高等经济大学);Technical University of Munich (TUM)(慕尼黑工业大学);Constructor University, Bremen(不来梅康斯特大学)
本文研究从单个预训练模型微调得到的集成多样性受限问题,提出改进的StarSSE方法,通过更好地探索预训练盆地来提升集成质量和模型汤效果。
2024-01-15 cs.LG stat.ML
MoC-System: Efficient Fault Tolerance for Sparse Mixture-of-Experts Model Training
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出 MoC-System,通过部分专家检查点机制和两级异步检查点管理,在保持模型精度的前提下,将稀疏 MoE 模型训练中的检查点开销最高降低 98.9%。
2025-04-09 cs.DC cs.LG
Optimal Gradient Checkpoint Search for Arbitrary Computation Graphs
Carnegie Mellon University(卡内基梅隆大学)
深度神经网络(DNN)在现代图像/视频数据库上训练时需要巨大的GPU内存。不幸的是,GPU内存在物理上是有限的,这限制了图像分辨率和批处理大小,这些图像分辨率和批处理大小可以用于训练以获得更好的DNN性能。与需要物理升级GPU的解决方案不同,梯度检查点(GCP)训练将计算转换为超出现有GPU硬件的更多内存。GCP只存储中间张量的子集,称为梯度检查点(GC),在向前。然后在向后期间,进行额外的局部向前以计算丢失的张量。总的训练内存成本变为(1)梯度检查点的内存成本和(2)本地转发的最大内存成本之和。为了实现最大的内存截止,需要最优算法来选择GC。现有的GCP方法要么依赖于GC的手动输入,要么依赖于线性计算图(LCG)上基于几何学的GC搜索,并且不能应用于任意计算图(ACG)。在本文中,我们提出的理论和优化算法GC选择,第一次,适用于ACG和实现最大的内存截止。大量的实验表明,我们的方法不仅优于现有的方法(仅适用于LCG),并适用于一个庞大的家庭的LCG和ACG网络,如Alexnet,VGG,ResNet,Densenet,Inception Net和高度复杂的DNN通过网络架构搜索。我们的工作使ACG上的GCP训练成为可能,并以适度的时间开销(约30%-50%)切断高达80%的训练记忆。码可用
2021-03-18 cs.DC cs.LG stat.ML
Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
训练大型、深度神经网络以使其收敛可能是极其昂贵的。因此,通常只有一小部分流行的密集模型在不同的上下文和任务中被重用。越来越多的稀疏激活模型,试图从计算成本解耦模型的大小,正在成为一个有吸引力的替代密集模型。尽管稀疏模型在质量和计算成本方面更有效,但在大规模领域中从头开始训练仍然是数据饥渴和昂贵的。在这项工作中,我们提出了稀疏升级循环-一种简单的方法,通过从密集的检查点初始化稀疏激活的混合专家模型来重用沉没的训练成本。我们发现,稀疏升级的T5 Base、Large和XL语言模型以及视觉Transformer Base和Large模型在SuperGLUE和ImageNet上的性能分别显著优于其密集对应模型,仅使用初始密集预训练沉没成本的约50%。升级后的模型也优于从头开始训练的稀疏模型,其初始密集预训练计算预算为100%。
2023-02-17 cs.CL cs.CV cs.LG
WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training
Ling Team, Ant Group(蚂蚁集团灵团队);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高岭人工智能学院)
提出WSM框架,通过检查点合并替代学习率衰减,在多个基准测试中显著优于WSD方法并提升微调性能。
2025-08-11 cs.CL cs.LG
Neural Organ Transplantation (NOT): Checkpoint-Based Modular Adaptation for Transformer Models
神经器官移植(NOT)通过模块化检查点适应方法,在变换器模型中实现高效领域适应,显著提升性能并加快训练速度。
2026-01-20 cs.AI cs.LG
Pre-training interventions, ex post facto: Grafting model beliefs across checkpoints
ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学);MATS;Astra Fellowship(Astra 奖学金);George Washington University(乔治华盛顿大学)
提出嫁接方法,在预训练检查点训练SDF适配器并应用于后训练模型,以低成本实现预训练干预,减少现实漂移并保持信念强度。
2026-10-02 cs.AI cs.CL cs.LG
Fast and Accurate Probing of In-Training LLMs' Downstream Performances
Southern University of Science and Technology(南方科技大学);Huawei(华为)
本文提出一种高效准确的训练中LLM下游性能评估方法,通过轻量级探针预测模型在下游任务上的表现,减少计算延迟并提升评估效率。
2026-11-09 cs.AI cs.LG
Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory
Peter Grünberg Institut(彼得·格林贝格研究所);FZ Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学);ESI Algiers(阿尔及尔电子与信息技术学院)
针对稀疏RNN和SNN,提出双重检查点梯度策略,利用IPU分布式内存,减少重计算开销,实现超10倍序列长度或4倍网络规模的训练,仅微小时间开销。
2024-12-16 cs.AR cs.LG cs.NE
Optimal checkpointing for heterogeneous chains: how to train deep neural networks with limited memory
INRIA(法国国家信息与自动化研究院)
本文介绍了一种新的激活检查点方法,该方法可以在使用反向传播算法训练深度神经网络时显着减少内存使用。与来自自动微分文献的检查点技术类似,它包括动态选择在训练阶段保存的前向激活,然后自动重新计算先前记录的那些丢失的激活。我们提出了一个原始的计算模型,它结合了两种类型的激活节省:要么只存储层输入,要么记录产生输出的操作的完整历史(这需要更多的内存,但在反向阶段需要更少的重新计算),我们提供了一个算法来计算该模型的最佳计算序列。本文还描述了一个PyTorch实现,它处理整个链,处理任何内部层可能任意复杂的顺序DNN,并根据给定内存限制计算的最佳检查点策略自动执行。通过大量的实验,我们表明,我们的实现始终优于现有的检查点-ING方法的一大类网络,图像大小和批量大小。
2019-11-27 cs.DC cs.LG cs.NE
Colossal-Auto: Unified Automation of Parallelization and Activation Checkpoint for Large-scale Models
HPC-AI Technology Inc.(潞晨科技);Fudan University(复旦大学);National University of Singapore(新加坡国立大学)
近年来,大规模模型在各个领域都表现出了最先进的性能。然而,训练这样的模型需要各种技术来解决诸如GPU之类的设备上的有限计算能力和存储器的问题。一些常用的技术包括流水线并行、张量并行和激活检查点。虽然现有的工作集中在寻找有效的分布式执行计划(Zheng et al. 2022)和激活检查点调度(Herrmann et al. 2019,Beaumont et al. 2021),但还没有提出联合优化这两个计划的方法。此外,提前编译在很大程度上依赖于准确的内存和计算开销估计,这通常是耗时和误导的。现有的训练系统和机器学习流水线或者物理地执行每个操作数,或者利用缩放的输入张量来估计存储器使用。为了解决这些挑战,我们引入了一个系统,可以联合优化分布式执行和梯度检查点计划。此外,我们还提供了一个易于使用的符号分析器,可以以最小的时间成本为任何PyTorch模型生成内存和计算统计数据。我们的方法允许用户在给定的硬件上并行化他们的模型训练,并以最小的代码更改为基础。源代码可在Colossal-AI GitHub或https://github.com/hpcaitech/ColossalAI上公开获取
2023-02-22 cs.AI cs.DC cs.LG
Recycling Scraps: Improving Private Learning by Leveraging Intermediate Checkpoints
Google(谷歌)
本研究提出利用训练中间检查点聚合的通用框架,在不增加隐私成本的前提下提升差分隐私机器学习的准确率与方差表现,并探索了DP模型预测方差的估计方法。
2024-09-17 cs.CR cs.LG
Early Weight Averaging meets High Learning Rates for LLM Pre-training
UT Austin(德克萨斯大学奥斯汀分校);UCL(伦敦大学学院);Google DeepMind(谷歌DeepMind)
针对大语言模型预训练成本高的问题,提出结合高学习率与大间隔采样检查点的早期权重平均训练方案,在多规模模型和数据集上验证其优于传统方法及EMA、SWA基线,可加速收敛并提升泛化性。
2023-12-11 cs.AI cs.CL cs.LG
Sharpen Before You Adapt: Data-Free Entry-State Sharpening for Test-Time Reinforcement Learning
提出在测试时强化学习前进行数据无关的入口状态锐化,以入口熵为控制信号,实验表明可显著提升TTRL的适配效率与最终性能。
2026-10-02 cs.LG
Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts
ustc(中国科学技术大学);msra(微软亚洲研究院);stju(上海交通大学);xmu(厦门大学)
本文提出正交增长策略,通过优化专家混合模型的深度和宽度,提升LLM预训练效率,实验证明在相同计算预算下,模型准确率提升10.6%。
2026-05-15 cs.LG
DHA: Learning Decoupled-Head Attention from Transformer Checkpoints via Adaptive Heads Fusion
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Baidu Inc.(百度公司)
针对大语言模型中多头注意力推理成本高的问题,提出解耦头注意力DHA机制,通过自适应头分组与相似头线性融合将MHA检查点转换为DHA模型,以极低预训练预算实现性能与效率的更优平衡,训练速度与性能表现优于GQA。
2024-12-07 cs.AI cs.CL cs.LG
GPU Memory Usage Optimization for Backward Propagation in Deep Network Training
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);Department of Computer Science and Information Engineering, National Taiwan University(台湾大学资讯工程学系)
针对深度网络训练中卷积层中间数据导致的 GPU 显存压力,本文形式化检查点选择问题,先提出 O(n³) 动态规划算法,再结合实验追踪修正目标函数,给出 O(n) 最优重计算检查点选择算法。
2025-02-18 cs.DS cs.LG
Does Scaling Reinforcement Learning Really Require More Training?
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
本研究提出策略空间扩展方法SURGE,利用强化学习历史中的检查点组合生成更强策略,无需额外训练或推理计算,在数学和编码基准上超越原生最优检查点。
2026-10-07 cs.AI cs.LG
Lossless Compression for LLM Tensor Incremental Snapshots
IBM Research, Almaden Research Center(IBM研究院,阿姆德恩研究中心)
本文分析 LLM 训练检查点张量的可压缩性,提出基于 byte-grouping 与 Huffman 编码的 LMC,在压缩率优于 BZ2 的同时显著提速。
2025-05-14 cs.LG
Stop Wasting My Time! Saving Days of ImageNet and BERT Training with Latest Weight Averaging
Centre for Artificial Intelligence(人工智能中心);University College London(伦敦大学学院)
在大型数据集上训练视觉或语言模型可能需要几天甚至几周的时间。我们发现,平均k个最新检查点的权重,每个检查点都是在一个epoch结束时收集的,可以在损失和准确性方面加快训练进度,相当于在ImageNet上训练ResNet 50和在WikiText-103上训练RoberTa-Base模型时分别节省约68和约30 GPU小时。我们还提供了代码和模型检查点轨迹来重现结果,并促进了重用历史权重以加快收敛的研究。
2022-10-06 cs.AI cs.LG stat.ML
Fault Tolerance in Iterative-Convergent Machine Learning
Petuum Inc.(Petuum公司);Carnegie Mellon University(卡内基梅隆大学)
机器学习(ML)训练算法由于其迭代收敛性质而通常具有固有的自校正行为。最近的系统利用这一特性,通过放松执行的一致性并允许在训练期间自校正计算错误,来实现在不可靠的计算环境中的适应性和效率。然而,这样的系统的行为仅对于特定类型的计算误差(诸如由陈旧、降低的精度或不稳定性引起的那些)和特定类型的训练算法(诸如随机梯度下降)才被很好地理解。在本文中,我们开发了一个通用的框架来量化计算误差对迭代收敛算法的影响,并使用这个框架来设计新的策略,基于检查点的容错。我们的框架在训练过程中对模型参数的任意扰动的迭代成本产生了最坏情况的上限。我们的系统,SCAR,采用的策略,减少迭代成本上限,由于从检查点恢复时所产生的扰动。我们表明,与传统的基于检查点的容错相比,SCAR可以减少78% - 95%的部分故障的迭代成本在各种ML模型和训练算法。
2018-10-17 cs.LG stat.ML
CPR: Understanding and Improving Failure Tolerant Training for Deep Learning Recommendation with Partial Recovery
Facebook AI(Facebook人工智能);Carnegie Mellon University(卡内基梅隆大学)
本文提出并优化了一个推荐模型的部分恢复训练系统CPR。CPR放宽了一致性要求,当节点在训练期间发生故障时,使未发生故障的节点能够在不加载检查点的情况下继续进行,从而改善了与故障相关的开销。本文是第一个在我们的知识范围内对部分恢复应用于推荐模型进行数据驱动的深入分析,并确定了准确性和性能之间的权衡。受分析的启发,我们提出了CPR,一个部分恢复训练系统,可以减少训练时间,并保持所需的模型精度水平,通过(1)估计部分恢复的好处,(2)选择适当的检查点保存间隔,(3)优先保存更频繁访问的参数的更新。CPR的两种变体CPR-MFU和CPR-SSU在模拟生产规模群集的故障模式和开销的配置上,与完全恢复相比,将检查点相关开销从8.2-8.5%降低到0.53-0.68%。在显著降低开销的同时,CPR实现了与更昂贵的完全恢复方案相当的模型质量,使用Criteo的Ads CTR数据集训练最先进的推荐模型。我们的初步研究结果还表明,CPR可以加快在真正的生产规模集群上的训练,而不会显着降低准确性。
2020-11-05 cs.DC cs.LG
MoE-PHDS: One MoE checkpoint for flexible runtime sparsity
Apple, Inc.(苹果公司);University of California, San Diego(加州大学圣地亚哥分校)
本文提出 MoE-PHDS 轻量 SFT 方法,使单个 MoE 检查点可在推理时调节全局 top-k 稀疏度,并在多个模型上达到或超过专用 oracle。
2025-09-27 cs.AI cs.LG
Trajectory Soup: Pushing the Compute-Scaling Frontier of LLM Mid-training via Diverse Trajectories
Ant Group(蚂蚁集团);Shanghai Jiao Tong University(上海交通大学)
轨迹汤通过将中期训练预算分配到多个独立分支并平均合并最强检查点,超越了串行饱和,扩展了算力前沿,提升了聚合下游性能。
2026-09-30 cs.AI cs.CL cs.LG
Estimating Training Data Influence by Tracing Gradient Descent
Google(谷歌)
我们介绍了一种称为TracIn的方法,该方法计算训练样本对模型预测的影响。其思想是跟踪在训练过程中,每当使用感兴趣的训练样本时,测试点上的损失如何变化。我们通过以下方式提供TracIn的可扩展实现:(a)精确计算的一阶梯度近似,(b)标准训练过程的保存检查点,以及(c)深度神经网络的樱桃采摘层。与以前提出的方法相比,TracIn实现简单;它所需要的只是处理梯度、检查点和损失函数的能力。该方法是通用的。它适用于使用随机梯度下降或其变体训练的任何机器学习模型,与架构,领域和任务无关。我们期望该方法在研究和改进训练数据的过程中广泛使用。
2020-11-14 cs.LG stat.ML
The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification
人工神经网络已经成功地应用于各种机器学习任务,包括图像识别、语义分割和机器翻译。然而,很少有研究充分调查的人工神经网络的合奏。在这项工作中,我们研究了多种广泛使用的集成方法,包括未加权平均,多数投票,贝叶斯最优分类器和(离散)超级学习器,用于图像识别任务,深度神经网络作为候选算法。我们设计了几个实验,候选算法是相同的网络结构,不同的模型检查点在一个单一的训练过程中,网络结构相同,但训练多次随机,和网络结构不同。此外,我们进一步研究了神经网络的过度自信现象,以及它对集成方法的影响。在我们所有的实验中,超级学习者在这项研究中的所有集成方法中取得了最好的性能。
2017-04-05 cs.CV cs.LG stat.ME
Adaptive Checkpoint Adjoint Method for Gradient Estimation in Neural ODE
Yale University(耶鲁大学);Yale School of Medicine(耶鲁医学院)
神经常微分方程(NODE)最近引起了越来越多的关注;然而,它们在基准任务(例如图像分类)上的经验性能明显劣于离散层模型。我们证明了其性能较差的解释是现有梯度估计方法的不准确性:伴随方法在反向模式积分中具有数值误差;朴素方法直接通过ODE求解器反向传播,但在搜索最佳步长时会遇到冗余的深度计算图。我们提出了自适应检查点伴随(ACA)方法:在自动微分中,ACA应用轨迹检查点策略,将正向模式轨迹记录为反向模式轨迹以保证精度; ACA删除浅层计算图的冗余组件; ACA支持自适应求解器。在图像分类任务中,与伴随方法和朴素方法相比,ACA在一半的训练时间内实现了一半的错误率;用ACA训练的NODE在准确率和重测信度方面都优于ResNet。在时间序列建模方面,ACA优于竞争方法。最后,在一个例子中的三体问题,我们表明节点与ACA可以结合物理知识,以达到更好的精度。我们提供了ACA的PyTorch实现:\url{https://github.com/juntang-zhuang/torch-ACA}。
2020-06-03 cs.LG stat.ML
TailSFT: Filtered Fine-Tuning Improves Post-Training Performance
University of California San Diego(加州大学圣迭戈分校);Microsoft Research NYC(微软研究院纽约分部)
本文提出TailSFT过滤式微调算法,可提升模型后强化学习性能,在OLMo-3 7B上数学与代码评估pass@16最高提17%,后续GRPO的pass@1最高提4%,还引入轻量诊断方法识别适用场景。
2026-08-27 cs.AI cs.LG
PHLoRA: data-free Post-hoc Low-Rank Adapter extraction from full-rank checkpoint
Amazon AGI(亚马逊人工智能研究院)
PHLoRA是一种无需训练数据或梯度,通过计算基础模型与微调模型权重差的低秩分解来提取低秩适配器的方法,为满秩检查点提供了可扩展且低成本的推理路径。
2025-09-13 cs.AI cs.LG
Generative Modeling of Weights: Generalization or Memorization?
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
该研究检验了四种代表性权重生成模型的能力,发现其主要通过记忆训练检查点合成权重,性能未超简单基线,指出数据有限等可能成因,强调生成式模型应用于新领域需更严谨的设计与评估。
2025-10-03 cs.CV cs.LG
QAM: Quadratic-Accurate Checkpoint Merging via Sequential Consistency
University of Wisconsin – Madison(威斯康星大学麦迪逊分校);Baidu Inc.(百度公司);University of Arizona(亚利桑那大学);University of Toronto(多伦多大学);Wilfrid Laurier University(威尔弗里德·劳里埃大学);York University(约克大学)
本文提出二次精确合并(QAM)方法,通过检查点索引矩条件实现与序列参考二阶一致的合并,证明固定长度GD历史无法达到o(h^3)端点误差,而QAM达到最优O(h^3)界,并在真实模型上验证其长窗口优势。
2026-09-29 cs.AI cs.LG
Efficient, Accurate and Stable Gradients for Neural ODEs
University of Bath(巴斯大学)
该研究提出一类代数可逆ODE求解器,在训练神经ODE时能计算精确梯度,并在时间、内存开销及数值稳定性上严格优于现有递归检查点与可逆架构。
2025-01-29 cs.LG stat.ML
RFG: Self-Improving Diffusion Large Language Models with Reward-Free Guidance
Stanford University(斯坦福大学)
本文提出无奖励引导框架 RFG,通过增强型与参考 dLLM 的对数似然比隐式参数化过程奖励,实现免训练的测试时推理扩展,实验显示最高 9.2% 的准确率提升。
2026-10-06 cs.CL cs.LG
Reward Observability and the Limits of Offline Checkpoint Selection in RSSM World Models
提出一套基于最优控制理论的结构化验证时诊断指标,用于从离线检查点中预测潜在世界模型的闭环性能,其中复合奖励可观测性分数(CROF)在LunarLander任务上有效选择检查点,显著提升MPC和基于模型的强化学习性能。
2026-10-09 cs.AI cs.LG cs.SY
When, Why, and Which Pretrained GANs Are Useful?
Yandex(Yandex(扬德克斯))
文献已经提出了几种方法来在新数据集上微调预训练的GANs,与从头开始训练相比,这通常会导致更高的性能,特别是在有限的数据范围内。然而,尽管GAN预训练具有明显的经验优势,但其内部机制并未得到深入分析,对其作用的理解也不完全清楚。此外,重要的实际细节,例如,选择适当的预先训练的GAN检查点目前没有严格的基础,并且通常通过试错来确定。这项工作旨在剖析GAN微调的过程。首先,我们证明了通过预训练的检查点初始化GAN训练过程主要影响模型的覆盖率,而不是单个样本的保真度。其次,我们明确描述了预训练的生成器和判别器如何对微调过程做出贡献,并解释了先前关于预训练两者的重要性的证据。最后,作为我们分析的直接实际益处,我们描述了一个简单的配方来选择最适合于微调特定目标任务的适当GAN检查点。重要的是,对于大多数目标任务,ImageNet预训练的GAN尽管视觉质量很差,但似乎是微调的绝佳起点,类似于判别式计算机视觉模型的典型预训练场景。
2022-03-10 cs.CV cs.LG
Leto: Fast In-Place Recovery for LLM Training on Surviving Hardware
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Leto利用幸存硬件实现原地恢复,通过保留模型状态和影子预初始化,显著加速LLM训练故障恢复,提升有效训练时间。
2026-10-02 cs.DC cs.LG
FLOP-Efficient Training: Early Stopping Based on Test-Time Compute Awareness
Ascend Team, Huawei Technologies, Toronto, Canada(华为技术有限公司,多伦多,加拿大);University of Waterloo, Waterloo, Canada(滑铁卢大学,滑铁卢,加拿大)
本文提出了一种基于测试时间计算意识的高效训练方法,通过提前停止算法减少训练计算量,同时保持或提升模型准确性。
2026-01-04 cs.CL cs.LG
Test Case Prioritization for DNNs via Neural Collapse Instability
Beijing University of Posts and Telecommunications(北京邮电大学)
研究针对深度神经网络在安全关键领域部署时,有限测试预算下模型验证成本高的问题,提出 NCIP 框架,利用跨检查点预测变异性取代绝对置信度,通过特定组件选择检查点及对测试输入排序,实验表明该框架在早期故障发现方面性能优于基线。
2026-07-23 cs.AI cs.LG cs.SE