Bayesian Lottery Ticket Hypothesis
Scientific Computing Center (SCC)（科学计算中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Helmholtz AI（海德堡人工智能研究所）
本文研究了贝叶斯神经网络中的彩票票假说，发现稀疏子网络在精度上可与原始网络相当，并探讨了稀疏训练算法和剪枝策略。
2026-02-21 cs.CV cs.LG
Lottery Tickets Are Not Deployment Tickets
该研究在部署层面发现，虽彩票票等稀疏模型可匹配密集模型准确率，但行为仍有差异，替换会改变7%-10%的决策，凸显干净准确率认证的局限性，明确稀疏模型替换现有模型的实际挑战。
2026-07-30 cs.CV cs.LG
Rare Gems: Finding Lottery Tickets at Initialization
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Petuum, Inc（Petuum公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通过耗时的“训练、修剪、重新训练”方法，可以将大型神经网络修剪到其原始大小的一小部分，而精度损失很小。Frankle和Carbin推测，我们可以通过训练“彩票”来避免这种情况，即，在初始化时发现的特殊稀疏子网络，可以训练到高精度。然而，Frankle等人和Su等人的后续工作提出了具体的证据，表明当前用于在初始化时找到可训练网络的算法无法进行简单的基线比较，例如，训练随机稀疏子网络。找到与简单基线相比训练更好的准确性的彩票仍然是一个悬而未决的问题。在这项工作中，我们解决了这个开放的问题，提出宝石矿工发现彩票在初始化击败当前基线。Gem-Miner发现彩票可训练的准确性具有竞争力或优于迭代幅度修剪（IMP），并且可以更快地达到$19\times$。
2022-06-02 cs.AI cs.CV cs.LG
Sanity Checks for Lottery Tickets: Does Your Winning Ticket Really Win the Jackpot?
Northeastern University（东北大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Midea Group（美的集团）；Michigan State University（密歇根州立大学）
在文献中，关于实验设置和确定“中奖票”的标准一直存在争议和不一致。为了调和这一点，我们重新定义了彩票假说，并给出了更全面、更严格的条件。在我们的新定义下，我们展示了具体的证据来澄清在主要的DNN架构和/或应用程序中是否存在获胜者。通过大量的实验，我们对中奖彩票和各种实验因素之间的相关性进行了定量分析，并对我们的观察模式进行了实证研究。我们发现，关键的训练超参数，如学习率和训练时期，以及架构特征，如容量和剩余连接，都与是否以及何时可以识别中奖彩票高度相关。基于我们的分析，我们总结了一个指导方针的参数设置方面的具体架构特点，我们希望能催化的研究进展的主题彩票假说。我们的代码可在https://github.com/boone891214/sanity-check-LTH上公开获取。
2021-10-26 cs.AI cs.CV cs.LG
Towards Understanding Iterative Magnitude Pruning: Why Lottery Tickets Win
KU Leuven（鲁汶大学）
彩票假说指出，稀疏子网络存在于随机初始化的密集网络中，这些网络可以被训练到与它们所在的密集网络相同的精度。然而，随后的工作未能在大规模模型上复制这一点，并且需要倒带到早期的稳态，而不是初始化。我们表明，通过使用一种相对于线性模式连接稳定的训练方法，大型网络也可以完全回到初始化。我们随后对普通视觉任务的实验有力地支持了Evci等人（2020 b）的假设，即彩票只是重新训练到相同的区域（尽管不一定是同一个盆地）。这些结果意味着，如果没有之前通过迭代幅度修剪进行的密集训练，现有的彩票就不可能被发现，这对彩票假设的使用提出了质疑。
2021-06-13 cs.LG
Transferability of Winning Lottery Tickets in Neural Network Differential Equation Solvers
本研究将中奖彩票假说扩展到哈密顿神经网络微分方程求解器，发现彩票可在不同系统间迁移，且迁移准确性受积分时间影响，并用重整化群理论分析系统普适性。
2023-06-16 cs.LG
Data Level Lottery Ticket Hypothesis for Vision Transformers
Northeastern University（东北大学）；Western Digital Research（西部数据研究院）；Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；Clemson University（克莱姆森大学）
本文将彩票票假设从权重级推广到视觉Transformer的输入图像块级，提出Data-LTH-ViTs，证明存在信息量高的图像块子集（中奖票）可使ViT从头训练达到与使用全部图像块相近的准确率，并通过DeiT、LV-ViT和Swin Transformer实验验证了该理论。
2023-05-29 cs.CV cs.LG
Convolutional and Residual Networks Provably Contain Lottery Tickets
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
彩票假说继续对小规模深度神经网络的探索产生深远的实际影响，这些网络可以以具有竞争力的性能解决现代深度学习任务。这些彩票是通过修剪大型随机初始化的神经网络来识别的，这些神经网络的架构与其应用一样多样化。然而，证明它们存在的理论见解主要集中在具有ReLU激活函数的深度全连接前馈网络上。我们证明，也可以配备几乎任意的激活函数的卷积和残留层组成的现代架构可以包含彩票具有很高的概率。
2022-05-04 cs.AI cs.LG
The Differentially Private Lottery Ticket Mechanism
Simon Fraser University（西蒙弗雷泽大学）
我们提出了差分私人彩票机制（DPLTM）。基于彩票假说的端到端差异化私人培训范式。使用“高质量的赢家”，通过我们的自定义评分功能选择，DPLTM显着提高了隐私效用权衡超过国家的最先进的。我们表明，DPLTM收敛速度更快，允许提前停止与减少隐私预算消耗。我们进一步表明，从DPLTM票是跨数据集，域和架构可转移。我们对几个公共数据集的广泛评估为我们的主张提供了证据。
2020-02-16 cs.LG stat.ML
Gradient Flow in Sparse Neural Networks and How Lottery Tickets Win
Google（谷歌）；University of Calgary（卡尔加里大学）；Facebook（脸书）
稀疏神经网络（NN）可以使用一小部分计算/存储来进行推理，从而与密集NN的泛化相匹配，并且还具有实现高效训练的潜力。然而，从随机初始化中天真地训练非结构化稀疏NN会导致显着更差的泛化，彩票（LT）和动态稀疏训练（DST）是显着的例外。通过我们对训练过程中梯度流的分析，我们试图回答：（1）为什么从随机初始化训练非结构化稀疏网络表现不佳;（2）是什么让LT和DST成为例外？我们发现，稀疏神经网络在初始化时梯度流很差，并证明了使用稀疏感知初始化的重要性。此外，我们发现DST方法在训练过程中比传统的稀疏训练方法显著改善了梯度流。最后，我们表明，LT不改善梯度流，而他们的成功在于重新学习的修剪解决方案，他们来自-然而，这是在学习新的解决方案的成本。
2022-03-16 cs.CV cs.LG
Exploring the Lottery Ticket Hypothesis with Explainability Methods: Insights into Sparse Network Performance
Boston University（波士顿大学）
本研究利用Grad-CAM和PCBMs方法，探索彩票假说中剪枝网络性能变化的原因，发现剪枝导致概念和像素不一致，从而造成性能下降。
2023-07-07 cs.CV cs.LG
Juvenile state hypothesis: What we can learn from lottery ticket hypothesis researches?
University of Science and Technology of China（中国科学技术大学）
彩票假说的提出揭示了网络结构与初始参数的关系以及神经网络的学习潜力。原始的彩票假设在训练收敛后进行修剪和权重重置，暴露出遗忘学习知识和潜在的高训练成本的问题。因此，我们提出了一种策略，结合了神经网络结构搜索的思想与修剪算法，以减轻这个问题。该算法在已有的彩票子网络上搜索并扩展网络结构，递归地产生新的彩票。这允许训练和修剪过程继续而不影响性能。这种递归方式可以得到一个新的中奖子网络，具有更深的网络结构，更好的泛化能力和更好的测试性能。该方法可以解决：修剪后子网络训练困难或性能下降，忘记原始彩票假设的权重，以及在未给出最终网络结构时难以生成中奖彩票子网络。我们在MNIST和CIFAR-10数据集上验证了这一策略。并将其与近年来类似的生物学现象和相关彩票假说研究联系起来后，进一步提出一个新的假说来讨论哪些因素可以留住一个网络少年，即，在训练期间影响神经网络的学习潜力或泛化性能的那些可能因素。
2021-09-08 cs.LG
Efficient Lottery Ticket Finding: Less Data is More
University of Science and Technology of China（中国科学技术大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
彩票假设（LTH）揭示了密集网络中存在中奖彩票（稀疏但关键的子网络），可以在与随机初始化隔离的情况下进行训练，以匹配后者的准确性。然而，找到中奖彩票需要在训练-修剪-再训练过程中进行繁重的计算，特别是在大规模数据集上（例如，ImageNet），限制了它们的实际好处。本文探索了一种更有效地找到彩票的新视角，只使用一个特别选择的数据子集，称为剪枝感知临界集（PrAC集），而不是使用完整的训练集。PrAC集的概念受到最近观察的启发，即深度网络的样本在训练过程中很难记住，或者在修剪过程中很容易忘记。因此，假设PrAC集可以捕获密集模型中最具挑战性和信息量最大的示例。我们观察到，通过在非常紧凑的PrAC集上训练和修剪密集网络，可以找到高质量的中奖彩票，这可以大大节省彩票查找过程的训练迭代。广泛的实验验证了我们的建议在不同的数据集和网络架构。具体来说，在CIFAR-10、CIFAR-100和Tiny ImageNet上，我们将有效PrAC集定位在其训练集大小的35.32%~78.19%。在此基础上，我们可以获得相应密集网络的相同竞争获胜门票，但分别节省高达82.85%~ 92.77%，63.54%~ 74.92%和76.14%~86.56%的训练迭代。至关重要的是，我们发现的PrAC集是可重用的不同的网络架构，这可以摊销额外的成本，找到PrAC集，产生一个实用的制度，有效的彩票发现。
2021-06-06 cs.AI cs.CV cs.LG
Membership Inference Attacks on Lottery Ticket Networks
University of Maryland（马里兰大学）
彩票假说的脆弱性还没有从成员推断攻击的范围内进行研究。通过这项工作，我们是第一个经验表明，彩票网络同样容易受到成员推断攻击。成员推断攻击（Membership Inference Attack，MIA）是一种判断数据样本是否属于训练模型的训练集的过程。成员推断攻击可能会泄露有关可用于定向攻击的训练数据的关键信息。最近的深度学习模型通常具有非常大的内存占用和与训练和推断相关的高计算成本。彩票假设用于修剪网络，以找到较小的子网络，这些子网络至少在类似迭代次数的测试准确性方面与原始模型的性能相匹配。我们使用CIFAR-10、CIFAR-100和ImageNet数据集来执行图像分类任务，并观察到攻击精度相似。我们还看到，攻击精度直接根据数据集中的类数量和网络的稀疏性而变化。我们证明了这些攻击是可转移的模型，具有很高的准确性。
2021-08-07 cs.CR cs.CV cs.LG
Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask
Uber（优步）；Uber AI（优步人工智能）
Frankle和Carbin最近的“彩票假说”论文表明，创建稀疏网络的简单方法（保持大权重）可以从头开始训练模型，但只有从相同的初始权重开始。这些网络的性能通常超过非稀疏基础模型的性能，但原因尚不清楚。在本文中，我们研究了彩票（LT）算法的三个关键组成部分，每个组成部分可能会有很大的变化，而不会影响整体结果。阐明这些因素可以为LT网络的性能带来新的见解。我们展示了为什么将权重设置为零很重要，符号是如何让重新初始化的网络训练的，以及为什么掩蔽的行为像训练。最后，我们发现了Supermasks的存在，可以将其应用于未经训练的随机初始化网络，以产生性能远远优于机会的模型（MNIST为86%，CIFAR-10为41%）。
2020-03-03 cs.CV cs.LG stat.ML
LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
Georgia Institute of Technology（佐治亚理工学院）
本文提出 LOTUS 方法，通过数据彩票票选择与稀疏剪枝加速视觉 Transformer 训练，在保持准确率的同时显著降低计算需求。
2024-05-01 cs.AI cs.CV cs.LG
Bespoke vs. Prêt-à-Porter Lottery Tickets: Exploiting Mask Similarity for Trainable Sub-Network Finding
Facebook AI Research（Facebook人工智能研究院）；Brown University（布朗大学）
在过参数化网络中对稀疏可训练子网络的观察-也称为彩票（LT）-促使人们对它们的可训练性，可伸缩性，唯一性和泛化特性进行了研究。在28个组合的图像分类任务和架构，我们发现通过不同的迭代修剪技术发现的LT的连接结构的差异，从而反驳他们的独特性和连接紧急掩码结构的选择修剪。此外，我们提出了一种基于共识的方法来生成精制彩票。这种彩票去噪过程基于这样的原则，即在不同任务中始终不被修剪的参数更可靠地识别重要的子网络，能够以并行的方式选择架构的有意义的部分，同时快速丢弃额外的参数，而不需要进一步的修剪迭代。我们成功地训练了这些子网络，使其性能与普通彩票相当。
2020-07-06 cs.LG stat.ML
You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership
University of Science and Technology of China（中国科学技术大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
尽管在许多应用场景中取得了巨大的成功，但随着时间的推移，使用深度学习的训练和推理成本也在迅速增加。彩票假设（LTH）作为一个有前途的框架出现，以利用一个特殊的稀疏子网（即，中奖彩票）而不是用于训练和推理的完整模型，这可以在不牺牲性能的情况下降低成本。然而，LTH的主要资源瓶颈是找到中奖票的稀疏掩码的非凡成本。这使得发现的中奖彩票成为业主的宝贵资产，突出了保护其版权的必要性。我们的设置增加了一个新的层面，最近飙升的兴趣，防止知识产权（IP）侵犯的深度模型和验证他们的所有权，因为他们采取业主的大量/独特的资源来开发或训练。虽然现有的方法探索加密的权重或预测，我们研究了一种独特的方式来利用稀疏的拓扑信息来执行彩票验证，通过开发几个基于图形的签名，可以嵌入作为凭证。通过进一步结合基于触发集的方法，我们的建议可以在白盒和黑盒验证场景。通过大量的实验，我们证明了在CIFAR-10和CIFAR-100上的不同模型（ResNet-20，ResNet-18，ResNet-50）中彩票验证的有效性。具体来说，我们的验证被证明是强大的删除攻击，如模型微调和修剪，以及一些歧义攻击。我们的代码可在https://github.com/VITA-Group/NO-stealing-LTH上获得。
2021-10-30 cs.CR cs.LG
When Layers Play the Lottery, all Tickets Win at Initialization
Escola Politécnica, Universidade de São Paulo（圣保罗大学理工学院）；Institute of Computing, University of Campinas（坎皮纳斯大学计算机研究所）
本文从层剪枝视角研究彩票假说，提出在初始化时发现获胜层子网络，无需训练稠密网络，显著加速训练并减少高达51%碳排放，且对对抗样本和分布外样本具有鲁棒性。
2024-03-19 cs.LG
Lottery Tickets in Linear Models: An Analysis of Iterative Magnitude Pruning
University of Oxford（牛津大学）
我们分析了彩票假设arXiv：1803.03635v5背后的修剪过程，迭代幅度修剪（IMP），当应用于梯度流训练的线性模型时。我们首先提出充分的条件下，IMP修剪这些功能，具有最小的投影到数据的统计结构的功能。在此之后，我们探索IMP作为稀疏估计的方法。
2021-07-05 cs.LG stat.ML
Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）；Tsinghua University（清华大学）
用有限的真实图像数据训练生成对抗网络（GANs）通常会导致性能恶化和模型崩溃。为了克服这一挑战，我们受到最新观察的启发，人们可以发现独立可训练和高度稀疏的子网络（又名，彩票）。将其视为归纳先验，我们提出了一个全新的角度来进行数据高效的GAN训练：首先使用真实图像的小训练集从原始GAN中识别彩票;然后通过重用相同的集合来专注于训练稀疏子网络。我们发现我们的协调框架提供正交增益现有的真实图像数据增强方法，我们还提出了一个新的特征级增强，可以与他们一起应用。综合实验证实了我们提出的框架的有效性，在各种GAN架构（SNGAN，BigGAN和StyleGAN-V2）和不同的数据集（CIFAR-10，CIFAR-100，Tiny-ImageNet，ImageNet和多个Few-Shot生成数据集）。代码可在https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training上获得。
2021-10-22 cs.AI cs.CV cs.LG
Playing the lottery with rewards and multiple languages: lottery tickets in RL and NLP
Facebook AI Research（脸书人工智能研究院）
彩票假说提出，深度神经网络（DNN）的过度参数化通过增加“幸运”子网络初始化的概率来帮助训练，而不是帮助优化过程（Frankle & Carbin，2019）。有趣的是，这种现象表明DNN的初始化策略可以得到大幅改进，但彩票假设之前只在自然图像任务的监督学习中进行过测试。在这里，我们评估“中奖票”初始化是否存在于两个不同的领域：自然语言处理（NLP）和强化学习（RL）。对于NLP，我们检查了循环LSTM模型和大规模Transformer模型（Vaswani et al.，2017年）的报告。对于RL，我们分析了一些离散动作空间任务，包括经典控制和像素控制。与沃金监督图像分类一致，我们确认中奖票初始化通常优于参数匹配的随机初始化，即使在NLP和RL的极端修剪率下。值得注意的是，我们能够找到Transformers的获胜门票初始化，使模型的三分之一大小，以实现几乎相同的性能。总之，这些结果表明，彩票假设并不局限于自然图像的监督学习，而是代表了DNN中更广泛的现象。
2020-02-25 cs.AI cs.LG cs.NE
SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）；Oracle Health and AI（甲骨文健康与人工智能部门）
本文提出SuperTickets，通过联合架构搜索和参数剪枝的二合一训练方案直接从超网络中识别高效DNNs及其彩票子网络，无需重训练即可实现更优的准确率与效率权衡，并具备跨任务迁移能力。
2025-03-03 cs.CV cs.LG
Data-dependent Pruning to find the Winning Lottery Ticket
Eötvös Loránd University（厄特沃什·罗兰大学）；Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）
彩票假说假设一个新初始化的神经网络包含一个小的子网络，可以单独训练，以实现与完整网络相似的性能。我们的论文探讨了几种替代方案，以寻找这样的子网络。我们的结论是，将数据相关的组件到修剪标准的形式的梯度的训练损失-在SNIP方法中所做的-一贯提高现有的修剪算法的性能。
2020-06-25 cs.LG stat.ML
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University（杜克大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习是一种流行的分布式机器学习范例，具有增强的隐私性。它的主要目标是学习一个全球模型，为尽可能多的参与者提供良好的性能。该技术正在快速发展，面临许多尚未解决的挑战，其中包括统计异质性（即，非IID）和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中，我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架，通过利用彩票假设。在LotteryFL中，每个客户端学习彩票网络（即，基本模型的子网络），并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同，每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸，通信成本可以显著降低。为了支持我们框架的训练和评估，我们考虑特征分布偏差、标签分布偏差和数量偏差，基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明，LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
Lottery Ticket Preserves Weight Correlation: Is It Desirable or Not?
Midea Group（美的集团）；Northeastern University（东北大学）；Didi Chuxing（滴滴出行）；Snap Inc.（Snap公司）；Michigan State University（密歇根州立大学）
在深度模型压缩中，最近的发现“彩票假说”（LTH）（Frankle & Carbin，2018）指出，可能存在一张中奖彩票（即，适当修剪的子网络以及原始权重初始化），其可以实现比原始密集网络有竞争力的性能。然而，在许多情况下观察这种获胜属性并不容易，例如，即使它有利于训练原始密集模型，也使用相对较大的学习率。在这项工作中，我们调查了获胜属性背后的基本条件和基本原理，并发现其根本原因主要是由于初始化权重和最终训练权重之间的相关性时，学习率是不够大。因此，获胜属性的存在与DNN预训练不足相关，并且对于训练有素的DNN来说不太可能发生。为了克服这一限制，我们提出了“修剪和微调”的方法，始终优于彩票稀疏训练相同的修剪算法和相同的总训练时期。在不同数据集上对多个深度模型（VGG，ResNet，MobileNet-v2）进行了广泛的实验，以证明我们的建议。
2021-07-18 cs.AI cs.CV cs.LG
Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network
Center for Applied Scientific Computing（应用科学计算中心）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
最近，Frankle & Carbin（2019）证明，随机初始化的密集网络包含子网络，一旦找到，可以训练这些子网络，以达到与训练的密集网络相当的测试精度。然而，找到这些高性能的可训练子网络是昂贵的，需要训练和修剪权重的迭代过程。本文提出（并证明）一个更强的多奖彩票假说：一个充分过参数化的具有随机权值的神经网络包含多个子网络（中奖彩票），其（a）具有与具有学习的权重的密集目标网络相当的准确性（奖品1），（b）不需要任何进一步的训练来实现奖品1（奖品2），以及（c）对于极端形式的量化是鲁棒的（即，二进制权重和/或激活）（奖3）。这为简单地通过修剪和量化随机加权的全精度神经网络来学习紧凑但高度精确的二进制神经网络提供了新的范例。我们还提出了一种寻找多奖彩票（MPTs）的算法，并通过在CIFAR-10和ImageNet数据集上进行一系列实验来测试它。实证结果表明，随着模型的深入和广泛，多奖彩票开始达到类似（有时甚至更高）的测试准确性，与经过权重训练的大得多的全精度彩票相比。在没有更新权重值的情况下，我们的MPTS-1/32不仅设置了新的二进制权重网络最先进的（SOTA）Top-1准确率-在CIFAR-10上为94.8%，在ImageNet上为74.03%-而且分别比全精度同行高出1.78%和0.76%。此外，我们的MPT-1/1在CIFAR-10上实现了二进制神经网络的SOTA Top-…
2021-03-17 cs.CV cs.LG
Exploring the Performance of Pruning Methods in Neural Networks: An Empirical Study of the Lottery Ticket Hypothesis
University of Cambridge（剑桥大学）
在本文中，我们探讨了不同的修剪方法的彩票假设的背景下的性能。我们比较了L1非结构化修剪，Fisher修剪和随机修剪在不同网络架构和修剪场景下的性能。实验包括一次和迭代修剪的评价，在修剪过程中的网络中的权重移动的检查，不同宽度的网络上的修剪方法的比较，以及当网络变得非常稀疏的方法的性能分析。此外，我们提出并评估了一种新的方法，有效地计算Fisher剪枝，称为批量Fisher剪枝。
2023-03-26 cs.LG
KS-Lottery: Finding Certified Lottery Tickets for Multilingual Language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 KS-Lottery 方法，利用 Kolmogorov-Smirnov Test 分析微调前后参数分布偏移，以识别多语言微调中极为有效的 LLM 参数小子集，理论上保证其性能与全量微调相当，实验发现微调 LLaMA 的 18 个 token 嵌入即可达到微调翻译性能。
2024-06-03 cs.AI cs.CL cs.LG
Sifting out the features by pruning: Are convolutional networks the winning lottery ticket of fully connected ones?
Laboratoire de Physique de l’École normale supérieure, ENS, Université PSL（巴黎高等师范学院物理实验室，巴黎高等师范学院，巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université de Paris（巴黎大学）
剪枝方法可以大大减少人工神经网络的大小，而不会损害它们的性能。在某些情况下，他们甚至可以发现子网络，当孤立地训练时，匹配或超过其密集同行的测试准确性。在这里，我们研究的归纳偏见，修剪印记在这样的“中奖彩票”。专注于视觉任务，我们分析了一个简单的全连接网络（FCN）的迭代幅度修剪所产生的架构。我们证明了幸存的节点连接在输入空间中是局部的，并且以让人想起卷积网络（CNN）中发现的模式组织。我们研究了数据和任务在塑造修剪子网络的架构中所扮演的角色。我们的研究结果表明，FCNs的中奖彩票显示CNN的关键特征。这种自动网络简化过程恢复CNN设计中“手工制作”的关键特征的能力表明了对其他数据集和任务的有趣应用，以便发现新的和有效的架构归纳偏差。
2021-05-14 cs.CV cs.LG stat.ML
Lottery Tickets with Nonzero Biases
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
强彩票假说认为，修剪随机初始化的深度神经网络可以为使用随机梯度下降的深度学习提供一种计算效率高的替代方案。然而，常见的参数初始化方案和存在性证明都集中在零偏网络上，从而放弃了修剪的潜在普适逼近性质。为了填补这一空白，我们将多个初始化方案和存在性证明扩展到非零偏差，包括ReLU激活函数的显式“外观线性”方法。这些不仅能够实现真正的正交参数初始化，而且还减少了潜在的修剪错误。在标准基准数据的实验中，我们进一步强调了非零偏置初始化方案的实际好处，并提出了理论上启发的扩展国家的最先进的强彩票修剪。
2022-06-07 cs.AI cs.LG
Insights into the Lottery Ticket Hypothesis and Iterative Magnitude Pruning
Indian Institute of Technology Delhi（印度理工学院德里分校）；Bharti School of Telecommunication Technology and Management（巴蒂电信技术与管理学院）；Foundation for Innovation and Technology Transfer（创新与技术转移基金会）；On Semiconductors (India)（安森半导体（印度）公司）；Cadence Design Systems（楷登电子公司）；Indian National Science Academy (INSA)（印度国家科学院）
本文通过实证研究迭代幅度剪枝各阶段解的体积/几何特征与损失景观特性，为彩票假设中初始化的重要性及剪枝原理提供了深入见解。
2024-06-25 cs.LG
Successfully Applying the Stabilized Lottery Ticket Hypothesis to the Transformer Architecture
RWTH Aachen University（亚琛工业大学）
稀疏模型需要更少的存储内存，并通过减少必要的FLOP数量来实现更快的推理。这与使用神经网络的时间关键计算和设备上计算都相关。稳定彩票假设指出，网络可以在没有或很少的训练迭代之后被修剪，使用基于未修剪的收敛模型计算的掩码。在Transformer架构和WMT 2014英语到德语和英语到法语的任务中，我们证明了稳定的彩票修剪在高达85%的稀疏度水平上与幅度修剪相似，并提出了一种新的修剪技术组合，该组合在更高的稀疏度水平上优于所有其他技术。此外，我们确认，参数的初始符号，而不是它的具体值是成功的训练的主要因素，并表明幅度修剪可以用来找到中奖彩票。
2020-07-03 cs.CL cs.LG
Communication-Efficient and Personalized Federated Lottery Ticket Learning
Yonsei University（延世大学）；Korea Maritime and Ocean University（韩国海洋大学）；Deakin University（迪肯大学）；University of Oulu（奥卢大学）
彩票假说（LTH）声称，深度神经网络（即，地面网络）包含多个子网络（即，中奖票），其中的每一个都表现出与地面网络相同的精确推理能力。联邦学习（FL）最近已被应用于LotteryFL中，以分布式方式发现此类中奖彩票，显示出比Vanilla FL更高的准确性多任务学习。尽管如此，LotteryFL依赖于下行链路上的单播传输，并忽略了缓解掉队者，质疑可扩展性。出于这一动机，在这篇文章中，我们提出了一个个性化的和通信效率的联邦彩票学习算法，创造细胞，利用下行链路广播的通信效率。此外，它利用了一种新的用户分组方法，从而在FL和彩票学习之间交替，以减少掉队者。数值模拟验证了CELL在CIFAR-10数据集下收敛之前，可以实现高达3.6%的个性化任务分类准确率和4.3倍的总通信成本。
2021-04-26 cs.IT cs.LG cs.NI
Multi-trial Neural Architecture Search with Lottery Tickets
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
神经结构搜索（NAS）在最近的图像识别任务中取得了重大进展。大多数现有的NAS方法应用受限的搜索空间，这限制了搜索模型的上限性能。为了解决这个问题，我们提出了一个新的搜索空间命名为MobileNet 3-MT。MobileNet 3-MT在网络的各个维度上减少了人类的先验知识，容纳了更多的潜在候选者。为了在这个具有挑战性的搜索空间中进行搜索，我们提出了一种高效的基于多尝试进化的NAS方法，称为MENAS。具体来说，我们通过逐步修剪种群中的模型来加速进化搜索过程。每个模型的训练都提前停止，并由其彩票（探索的最佳修剪网络）取代。通过这种方式，避免了繁琐网络的完整训练管道，并自动生成更高效的网络。在ImageNet-1 K、CIFAR-10和CIFAR-100上的大量实验结果表明，MENAS达到了最先进的性能。
2022-12-03 cs.CV cs.LG cs.NE
The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
神经网络修剪技术可以减少训练网络的参数数量超过90%，减少存储需求，提高推理的计算性能，而不影响精度。然而，当代的经验是，修剪产生的稀疏架构很难从一开始就进行训练，这将类似地提高训练性能。我们发现，一个标准的修剪技术自然地发现子网络的初始化，使他们能够有效地训练。基于这些结果，我们提出了“彩票假设”：密集的、随机初始化的前馈网络包含子网络（“中奖彩票”），这些子网络在孤立训练时，在类似的迭代次数中达到了与原始网络相当的测试精度。我们发现的中奖彩票赢得了初始化彩票：它们的连接具有初始权重，使训练特别有效。我们提出了一个算法来识别中奖彩票和一系列的实验，支持彩票假设和这些偶然的初始化的重要性。我们一直发现，中奖彩票的大小不到MNIST和CIFAR 10的几种全连接和卷积前馈架构的10-20%。超过这个大小，我们发现的中奖彩票比原始网络学习得更快，并达到更高的测试精度。
2019-03-04 cs.AI cs.LG cs.NE
Proving the Lottery Ticket Hypothesis: Pruning is All You Need
School of Computer Science, Hebrew University（希伯来大学计算机科学学院）；Weizmann Institute of Science（魏茨曼科学研究所）
彩票假设（Frankle and Carbin，2018）指出，随机初始化的网络包含一个小的子网络，当孤立训练时，可以与原始网络的性能竞争。我们证明了一个更强有力的假设（正如Ramanujan等人所解释的那样，2019），表明对于每个有界分布和每个具有有界权重的目标网络，具有随机权重的充分过参数化神经网络包含与目标网络具有大致相同精度的子网络，无需任何进一步训练。
2020-02-03 cs.LG stat.ML
On the Existence of Universal Lottery Tickets
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；MIT（麻省理工学院）
彩票假说证明了大型随机初始化深度神经网络的稀疏子网络的存在，这些子网络可以在孤立的情况下成功训练。最近的工作通过实验观察到，其中一些票证实际上可以在各种任务中重复使用，暗示了某种形式的通用性。我们正式这个概念，并从理论上证明，不仅这样的通用门票存在，但他们也不需要进一步的培训。我们的证明引入了一些与强彩票修剪相关的技术创新，包括子集和结果的扩展以及利用更高深度的策略。我们显式稀疏构造的泛函数家族可能是独立的兴趣，因为它们突出了由单变量卷积架构引起的代表性好处。
2022-03-16 cs.AI cs.LG stat.ML
The Elastic Lottery Ticket Hypothesis
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）；Tsinghua University（清华大学）
彩票假说（LTH）引起了人们对识别稀疏可训练子网络或中奖彩票的强烈关注，这些子网络可以单独训练，以实现与完整模型相似甚至更好的性能。尽管已经做出了许多努力，但识别此类中奖彩票的最有效方法仍然是基于迭代幅度的修剪（IMP），这在计算上是昂贵的，并且必须对每个不同的网络进行彻底的运行。一个很自然的问题是：我们能否将一个网络中的中奖彩票“转换”到另一个具有不同架构的网络中，在一开始就为后者提供中奖彩票，而不需要重新做昂贵的IMP？解决这个问题不仅与有效的“一次性”中奖彩票发现有关，而且在理论上也对发现网络中固有的可扩展稀疏模式具有吸引力。我们在CIFAR-10和ImageNet上进行了广泛的实验，并提出了各种策略来调整从同一模型家族的不同网络中找到的中奖彩票（例如，ResNets）。基于这些结果，我们阐述了弹性彩票假说（E-LTH）：by mindfully用心replicating复制（或删除）和重新排序一个网络的层，其对应的中奖彩票可能会被拉伸（或挤）到一个子网中，（或浅）网络来自同一个家庭，其性能与IMP直接发现的后者的中奖票几乎相同的竞争力。我们还广泛地比较了E-LTH与修剪-at-初始化和动态稀疏训练方法，并讨论了E-LTH对不同模型族，层类型和跨数据集的通用性。代码可在https://github.com/VITA-Group/ElasticLTH上获得。
2021-10-28 cs.AI cs.CV cs.LG
Studying the Consistency and Composability of Lottery Ticket Pruning Masks
MIT EECS（麻省理工学院电气工程与计算机科学系）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
幅度修剪是一种常用的，有效的技术，以识别稀疏的子网在很小的成本精度。在这项工作中，我们问一个特定的架构的准确性，稀疏性权衡是否可以通过组合修剪信息在多个运行的训练。从共享的ResNet-20初始化开始，我们使用CIFAR-10上的不同SGD数据命令训练几个网络副本（\emph{siblings}）。虽然兄弟姐妹的修剪掩码并不比偶然性更相似，但在几个共享预训练时期后开始兄弟姐妹训练会显着增加修剪重叠。然后，我们选择一个子网络，要么（1）在任何兄弟（掩码联合）中接受所有幸存的修剪权重，要么（2）只接受所有兄弟（掩码交集）中幸存的修剪权重。得到的子网络被重新训练。引人注目的是，我们发现并集和交集掩码的表现非常相似。这两种方法都匹配单次幅度修剪基线的准确性-稀疏性权衡，即使当我们组合来自多达$k = 10$兄弟的掩码时。
2021-04-30 cs.CV cs.LG
Doge Tickets: Uncovering Domain-general Language Models by Playing Lottery Tickets
Beijing Institute of Technology（北京理工大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
过度参数化模型，通常是预训练的语言模型（LM），由于其较小的学习偏差而显示出吸引人的表达能力。然而，LM的巨大学习能力也可能导致较大的学习方差。在一个试点研究中，我们发现，当面对多个域，一个关键部分的参数表现出乎意料地在特定领域的方式，而其他人表现在一个域一般的。受这种现象的启发，我们首次证明了域一般参数可以支持域一般LM，它可以从原始LM导出。为了揭示域一般LM，我们建议通过玩彩票（称为道奇票）来识别域一般参数。为了干预彩票，我们提出了一个域一般的分数，它描述了如何域不变的参数是通过将其与方差。在Amazon、Mnli和OntoNotes数据集上进行了综合实验。结果表明，与一系列有竞争力的基线相比，道奇门票获得了改进的领域泛化。分析结果进一步提示了域通用参数的存在和doge票证的性能一致性。
2022-09-19 cs.CL cs.LG
Dual Lottery Ticket Hypothesis
Northeastern University（东北大学）；Santa Clara University（圣克拉拉大学）；Meta Research（Meta研究院）
充分利用神经网络的学习能力需要过参数化的稠密网络。另一方面，直接训练稀疏神经网络通常会导致不令人满意的性能。彩票假说（LTH）为研究稀疏网络训练和保持其容量提供了一个新的视角。具体地说，它声称通过迭代幅度修剪和保持有希望的可训练性（或者我们说处于可训练状态）找到的随机初始化网络中存在中奖彩票。在这项工作中，我们将LTH的中奖彩票视为处于可训练状态的子网络，并将其性能作为我们的基准，然后从互补的方向阐述双彩票假说（DLTH）：从随机初始化的稠密网络中随机选择子网络可以转化为可训练的条件，并且与LTH相比具有令人钦佩的性能-给定彩票池中的随机彩票可以被转换成中奖彩票。具体来说，通过使用均匀随机选择的子网络来表示一般情况下，我们提出了一个简单的稀疏网络训练策略，随机稀疏网络变换（Random Sparse Network Transformation，简称RNN），以证实我们的DLTH。具体地说，我们引入了一个正则化项，以借用学习能力，并实现信息挤出的权重将被掩盖。在完成随机选择的子网络的转换后，我们进行定期微调，以使用与LTH和其他强基线的公平比较来评估模型。在几个公共数据集上的大量实验以及与竞争方法的比较验证了我们的DLTH以及所提出的模型的有效性。本文的工作有望为稀疏网络训练的未来研究开辟新的方向。我们的代码可在https://github.com/yueb17/DLTH上获得。
2022-03-08 cs.LG
Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis
Huazhong University of Science and Technology（华中科技大学）
与数据中心的服务器相比，联邦学习中的边缘设备通常具有更有限的计算和通信资源。最近，先进的模型压缩方法，如彩票假设，已经在联邦学习上实现，以减少模型大小和通信成本。然而，后门攻击可能会危及其在联邦学习场景中的实现。恶意边缘设备使用中毒的私有数据训练客户端模型，并将参数上传到中心，在不知情的聚合优化后向全局共享模型嵌入后门。在推理阶段，带有后门的模型将具有特定触发器的样本分类为一个目标类别，而清洁样本的推理精度略有下降。在这项工作中，我们的经验表明，彩票模型同样容易受到后门攻击的原始密集模型，和后门攻击可以影响提取的门票的结构。基于票据之间的相似性，我们为联邦学习提供了一种可行的防御后门攻击的各种数据集。
2021-09-22 cs.CR cs.LG
Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出Instant Soup剪枝（ISP），通过弱掩码生成与聚合在单次遍历中低成本生成彩票质量子网络，在CLIP和BERT上验证有效性。
2023-06-18 cs.CV cs.LG
One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers
Facebook AI Research（Facebook人工智能研究院）
彩票初始化的成功（Frankle和Carbin，2019）表明，只要网络被适当初始化，就可以训练小型稀疏网络。不幸的是，找到这些“中奖票”初始化是计算昂贵的。一个潜在的解决方案是在各种数据集和优化器中重用相同的中奖彩票。然而，中奖彩票初始化的一般性仍然不清楚。在这里，我们试图通过为一个训练配置（优化器和数据集）生成获胜票并评估它们在另一个配置上的性能来回答这个问题。也许令人惊讶的是，我们发现，在自然图像域中，中奖彩票初始化在各种数据集上都是通用的，包括Fashion MNIST、SVHN、CIFAR-10/100、ImageNet和Places 365，其性能通常接近于在同一数据集上生成的中奖彩票。此外，使用较大数据集生成的中奖彩票始终比使用较小数据集生成的彩票传输得更好。我们还发现，中奖票的初始化推广到具有高性能的优化器。这些结果表明，由足够大的数据集生成的中奖彩票初始化包含更广泛地适用于神经网络的归纳偏差，这改善了许多设置中的训练，并为开发更好的初始化方法提供了希望。
2019-10-27 cs.LG cs.NE stat.ML
Toy Combinatorial Interpretability Models Reveal Lottery Tickets in Early Feature Space
Tel-Aviv University（特拉维夫大学）；MIT and Red Hat AI（麻省理工学院和红帽AI）
本文研究了彩票彩票假说在早期特征空间中的表现，通过组合玩具模型揭示了彩票彩票在特征空间中的保留对象，表明彩票彩票结构由隐藏的特征空间几何而非权重空间子网络身份决定。
2026-05-18 cs.LG
Evaluating Lottery Tickets Under Distributional Shifts
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Facebook Assistant
彩票假说表明，大型的、过度参数化的神经网络由小的、稀疏的子网络组成，这些子网络可以单独训练，以达到类似（或更好）的测试精度。然而，所得到的稀疏子网络的初始化和推广最近被称为问题。我们的工作重点是评估稀疏子网络的初始化下的分布移位。具体来说，我们调查在何种程度上在源域中获得的稀疏子网络可以重新训练隔离在一个不同的目标域。此外，我们研究了不同的初始化策略在传输时的效果。我们的实验表明，通过彩票训练获得的稀疏子网络不会简单地过拟合到特定的域，而是反映了可以在多个域中利用的深度神经网络的归纳偏差。
2019-10-28 cs.CL cs.LG
Diverse Lottery Tickets Boost Ensemble from a Single Pretrained Model
Tohoku University（东北大学）；Preferred Networks Inc（Preferred Networks公司）；RIKEN（理化学研究所）
集成是一种流行的方法，用于提高性能作为最后的手段。然而，从单个预训练模型中集成多个模型并不是很有效;这可能是由于集成成员之间缺乏多样性。本文提出了Multi-Ticket Ensemination，它对单个预训练模型的不同子网络进行微调并将它们集成。我们的经验表明，中奖彩票子网络产生更多样化的预测比密集的网络，他们的合奏在某些任务上优于标准合奏。
2022-05-24 cs.CL cs.LG
Rigging the Lottery: Making All Tickets Winners
Google Brain（谷歌大脑）；DeepMind（深度思维）
由于空间或推理时间的限制，许多应用需要稀疏神经网络。在训练密集网络以产生用于推理的稀疏网络方面有大量的工作，但这将最大可训练稀疏模型的大小限制为最大可训练密集模型的大小。在本文中，我们介绍了一种方法，训练稀疏神经网络与一个固定的参数计数和一个固定的计算成本在整个训练，而不牺牲精度相对于现有的密集到稀疏的训练方法。我们的方法通过使用参数幅度和不频繁的梯度计算来更新稀疏网络的拓扑结构。我们表明，这种方法需要更少的浮点运算（FLOPs），以达到给定的精度水平相比，以前的技术。我们在各种网络和数据集上展示了最先进的稀疏训练结果，包括ResNet-50，Imagenet-2012上的MobileNets和WikiText-103上的RNN。最后，我们提供了一些见解，为什么允许拓扑结构在优化过程中改变可以克服局部极小时遇到的拓扑结构保持静态。我们工作中使用的代码可以在github.com/google-research/rigl中找到。
2021-07-23 cs.CV cs.LG stat.ML
Iterative Magnitude Pruning as a Renormalisation Group: A Study in The Context of The Lottery Ticket Hypothesis
本文研究彩票票假设中的迭代幅度剪枝，揭示中奖票的普适性，并将其与物理学重整化群理论相联系，以深化对剪枝机制的理解。
2023-08-06 cs.LG stat.ML
Successfully Applying Lottery Ticket Hypothesis to Diffusion Model
Visa（维萨公司）；University of Tulsa（塔尔萨大学）；Carnegie Mellon University（卡内基梅隆大学）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
本文首次将彩票票据假说应用于扩散模型，发现90%-99%稀疏度的子网络仍能保持性能，并提出在不同层使用不同稀疏度寻找中奖票据，从而获得更省存储和计算量的稀疏子模型。
2023-10-28 cs.LG
Sparse Transfer Learning via Winning Lottery Tickets
Palantir Technologies（帕兰提尔科技公司）；Princeton University（普林斯顿大学）
Frankle和Carbin（2019）最近提出的彩票假说表明，过度参数化的深度网络的性能是由于随机初始化用一小部分有利的权重为网络播种。这些权重在整个训练过程中保持其主导地位-在非常真实的意义上，这个子网络在初始化过程中“赢得了彩票”。作者通过非结构化幅度修剪找到了子网络，去除了85-95%的参数，训练以类似的速度达到与原始网络相同的精度，他们称之为中奖。在本文中，我们将彩票假说扩展到各种迁移学习任务。我们表明，稀疏的子网络与大约90-95%的权重删除实现（往往超过）在几个现实的设置原始密集网络的准确性。我们通过将通过修剪CIFAR-10找到的稀疏表示转移到SmallNORB和FashionMNIST进行对象识别任务来实验验证这一点。
2019-12-16 cs.LG cs.NE stat.ML
Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win
University of Vienna（维也纳大学）
本文从理论上研究图神经网络中彩票 ticket 假设，提出并证明强表达力彩票 ticket 假设，表明稀疏初始化 GNN 保持表达力可加速收敛并提升泛化，为 LTH 与 GNN 研究提供新理论基础。
2025-06-04 cs.LG
Data-Efficient Double-Win Lottery Tickets from Robust Pre-training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
预训练作为各种下游任务的迁移学习的广泛采用的起点。最近对彩票假设（LTH）的研究表明，这种巨大的预训练模型可以被极其稀疏的子网络（也称为“稀疏子网络”）所取代。匹配子网络）而不牺牲可转移性。然而，实际的安全关键应用通常会提出比标准传输更具挑战性的要求，这也要求这些子网克服对抗性漏洞。在本文中，我们提出了一个更严格的概念，即双赢彩票，其中来自预训练模型的定位子网络可以独立地转移到不同的下游任务上，以在标准和对抗训练机制下达到相同的标准和鲁棒的泛化，就像完整的预训练模型一样。我们全面研究了各种预训练机制，发现强大的预训练往往会制作出比标准同行性能更好的稀疏双赢彩票。例如，在下游CIFAR-10/100数据集上，我们使用ImageNet的标准、快速对抗和对抗预训练识别出双赢匹配子网络，稀疏度分别为89.26%/73.79%、89.26%/79.03%和91.41%/83.22%。此外，我们观察到，在实际数据有限的情况下（例如，1%和10%）下游方案。我们的研究结果表明，彩票方案以及数据限制传输设置放大了鲁棒预训练的好处。代码可在https://github.com/VITA-Group/Double-Win-LTH上获得。
2022-06-09 cs.AI cs.LG
