GANs Can Play Lottery Tickets Too
University of Science and Technology of China（中国科学技术大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
深度生成对抗网络（GANs）在许多场景中越来越受欢迎，但在资源受限的现实世界应用中通常会遇到高参数复杂性的问题。然而，GANs的压缩很少被探索。一些工作表明，由于GANs臭名昭著的训练不稳定性，严格地应用压缩技术通常会导致不满意的结果。与此同时，彩票假设在判别模型上取得了普遍的成功，在定位稀疏匹配子网络时能够隔离训练到完整的模型性能。在这项工作中，我们首次研究了这种可训练匹配子网络在深度GANs中的存在性。对于一系列GANs，我们肯定会找到67%-74%稀疏度的匹配子网络。我们观察到，有或没有修剪的匹配子网络的存在和质量有轻微的影响，而初始化的权重中使用的修剪起着重要的作用。然后，我们展示了这些子网络对看不见的任务的强大可转移性。此外，大量的实验结果表明，我们发现的子网络在图像生成（例如SN GAN）和图像到图像转换GANs（例如CycleGAN）方面都大大优于以前最先进的GAN压缩方法。代码可在https://github.com/VITA-Group/GAN-LTH上获得。
2021-05-31 cs.AI cs.CV cs.LG
Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data
Samsung AI Center Warsaw, Poland（三星AI中心华沙波兰）；Institute of Fundamental Technological Research, Polish Academy of Sciences, Poland（基础技术研究所波兰科学院）
本研究提出彩票路由框架，通过自适应子网络提升剪枝效果，实现更模块化的深度学习模型。
2026-01-29 cs.AI cs.CV cs.LG
Meta-ticket: Finding optimal subnetworks for few-shot learning within randomly initialized neural networks
NTT Computer and Data Science Laboratories, NTT Corporation（NTT公司NTT计算机与数据科学实验室）；Kyoto University（京都大学）
神经网络的少样本学习是用少量数据训练神经网络的一个重要问题。主要的挑战是如何避免过拟合，因为过参数化的NN很容易过拟合到如此小的数据集。以前的工作（例如Finn等人的MAML 2017）通过元学习来应对这一挑战，元学习通过使用各种任务来学习如何从一些数据中学习。另一方面，避免过拟合的一种常规方法是通过赋予稀疏NN结构（如计算机视觉中的卷积层）来限制假设空间。然而，尽管这种手动设计的稀疏结构对于足够大的数据集是样本有效的，但它们仍然不足以用于少样本学习。那么下面的问题自然会出现：（1）我们能否找到有效的稀疏结构的少样本学习的元学习？(2)它在元泛化方面会带来什么好处？在这项工作中，我们提出了一种新的元学习方法，称为元票，找到最佳的稀疏子网络的少样本学习随机初始化的神经网络。我们通过经验验证，元票成功地发现了稀疏的子网络，可以为每个给定的任务学习专门的功能。由于这种任务智能自适应能力，与基于MAML的方法相比，Meta-ticket实现了更好的元泛化，特别是对于大型NN。代码可在以下网址获得：https://github.com/dchiji-ntt/meta-ticket
2023-02-09 cs.AI cs.LG cs.NE
Evaluating Lottery Tickets Under Distributional Shifts
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Facebook Assistant
彩票假说表明，大型的、过度参数化的神经网络由小的、稀疏的子网络组成，这些子网络可以单独训练，以达到类似（或更好）的测试精度。然而，所得到的稀疏子网络的初始化和推广最近被称为问题。我们的工作重点是评估稀疏子网络的初始化下的分布移位。具体来说，我们调查在何种程度上在源域中获得的稀疏子网络可以重新训练隔离在一个不同的目标域。此外，我们研究了不同的初始化策略在传输时的效果。我们的实验表明，通过彩票训练获得的稀疏子网络不会简单地过拟合到特定的域，而是反映了可以在多个域中利用的深度神经网络的归纳偏差。
2019-10-28 cs.CL cs.LG
Lottery Pools: Winning More by Interpolating Tickets without Increasing Training or Inference Cost
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Liverpool（利物浦大学）
本文提出 Lottery Pools 方法，通过对迭代幅度剪枝识别出的相邻稀疏子网络权重进行简单插值，在不增加训练或推理成本的前提下生成更强的子网络，在分布内外场景中显著提升了性能。
2023-04-04 cs.AI cs.LG
The Quest for Winning Tickets in Low-Rank Adapters
Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学）；Monash University（墨尔本大学）
研究发现低秩适配器中存在稀疏子网络，提出Partial-LoRA方法可高效减少参数并提升性能。
2025-12-27 cs.LG
Beyond Next-Token Prediction: An RLVR Proof of Concept for Tool-Use Agents on Atlassian Workflows
Centific
针对企业SaaS工作流中LLM因目标不匹配导致的静默失败，提出在目标环境中直接应用可验证奖励强化学习（RLVR），在五个合成Jira/Confluence环境中训练Qwen模型，将平均奖励从0.35-0.92提升至0.95-1.00。
2026-07-03 cs.AI
When BERT Plays the Lottery, All Tickets Are Winning
Zoho Labs（Zoho实验室）；Zoho Corporation（Zoho公司）；Copenhagen University（哥本哈根大学）；Univ. of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
大型的基于transformer的模型被证明可以简化为更少数量的自我注意头和层。我们认为这种现象的彩票假说的角度来看，使用结构化和幅度修剪。对于微调的BERT，我们表明，（a）它是可能的，以找到子网络实现的性能与完整的模型，（b）类似大小的子网络从模型的其余部分进行采样表现较差。引人注目的是，通过结构化修剪，即使是最差的子网络也仍然具有高度的可训练性，这表明大多数预训练的BERT权重都是潜在有用的。我们还研究了“好”的子网络，看看他们的成功是否可以归因于优越的语言知识，但发现他们不稳定，并没有解释有意义的自我注意模式。
2020-10-24 cs.CL cs.LG
The EarlyBird Gets the WORM: Heuristically Accelerating EarlyBird Convergence
College of Computing（计算机学院）；Georgia Tech（佐治亚理工学院）
针对Early Bird假设方法忽略搜索末期静态非重要神经元组的问题，提出WORM方法通过截断其梯度加速彩票识别，提升剪枝鲁棒性并可推广至transformers等大模型。
2024-12-11 cs.AI cs.LG
Dual Lottery Ticket Hypothesis
Northeastern University（东北大学）；Santa Clara University（圣克拉拉大学）；Meta Research（Meta研究院）
充分利用神经网络的学习能力需要过参数化的稠密网络。另一方面，直接训练稀疏神经网络通常会导致不令人满意的性能。彩票假说（LTH）为研究稀疏网络训练和保持其容量提供了一个新的视角。具体地说，它声称通过迭代幅度修剪和保持有希望的可训练性（或者我们说处于可训练状态）找到的随机初始化网络中存在中奖彩票。在这项工作中，我们将LTH的中奖彩票视为处于可训练状态的子网络，并将其性能作为我们的基准，然后从互补的方向阐述双彩票假说（DLTH）：从随机初始化的稠密网络中随机选择子网络可以转化为可训练的条件，并且与LTH相比具有令人钦佩的性能-给定彩票池中的随机彩票可以被转换成中奖彩票。具体来说，通过使用均匀随机选择的子网络来表示一般情况下，我们提出了一个简单的稀疏网络训练策略，随机稀疏网络变换（Random Sparse Network Transformation，简称RNN），以证实我们的DLTH。具体地说，我们引入了一个正则化项，以借用学习能力，并实现信息挤出的权重将被掩盖。在完成随机选择的子网络的转换后，我们进行定期微调，以使用与LTH和其他强基线的公平比较来评估模型。在几个公共数据集上的大量实验以及与竞争方法的比较验证了我们的DLTH以及所提出的模型的有效性。本文的工作有望为稀疏网络训练的未来研究开辟新的方向。我们的代码可在https://github.com/yueb17/DLTH上获得。
2022-03-08 cs.LG
Winning the Lottery by Preserving Network Training Dynamics with Concrete Ticket Search
本文提出Concrete Ticket Search算法，通过优化子网络发现问题，在保持高准确率的同时显著降低计算成本，优于现有方法。
2025-12-08 cs.AI cs.CV cs.LG
Data-dependent Pruning to find the Winning Lottery Ticket
Eötvös Loránd University（厄特沃什·罗兰大学）；Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）
彩票假说假设一个新初始化的神经网络包含一个小的子网络，可以单独训练，以实现与完整网络相似的性能。我们的论文探讨了几种替代方案，以寻找这样的子网络。我们的结论是，将数据相关的组件到修剪标准的形式的梯度的训练损失-在SNIP方法中所做的-一贯提高现有的修剪算法的性能。
2020-06-25 cs.LG stat.ML
Finding Stable Subnetworks at Initialization with Dataset Distillation
UC San Diego（加利福尼亚大学圣迭戈分校）
本研究探索数据集蒸馏对神经网络剪枝的影响，在迭代幅度剪枝内循环用蒸馏数据生成初始化时的稀疏子网络，以150倍少的样本匹配传统彩票票号性能，发现不稳定初始化中也存在稳定子网络，且能实现更高稀疏度。
2025-03-23 cs.LG
Forget-free Continual Learning with Soft-Winning SubNetworks
KAIST（韩国科学技术院）
受正则化彩票假说（RLTH）的启发，该假说指出，竞争性光滑（非二进制）子网络存在于一个密集的网络中的持续学习任务，我们研究了两个建议的基于架构的持续学习方法，顺序学习和选择自适应二进制（WSN）和非二进制软子网（SoftNet）为每个任务。WSN和SoftNet共同学习与每个任务相关联的子网络的正则化模型权重和任务自适应非二进制掩码，同时尝试通过重用先前子网络的权重来选择要激活的一小组权重（中奖票）。我们提出的无线传感器网络和软网络是固有的免疫灾难性遗忘，因为每个选定的子网络模型不侵犯其他子网络的任务增量学习（TIL）。在TIL中，每个中奖彩票产生的二进制掩码被编码成一个N位二进制数字掩码，然后使用霍夫曼编码进行压缩，以使网络容量与任务数量呈次线性增长。令人惊讶的是，在推理步骤中，通过向所获取的WSN的背景注入小噪声（保持WSN的前景）而生成的软网为TIL中的未来任务提供了出色的前向传输能力。SoftNet在Few-Shot Class Incremental Learning（FSCIL）中的一些示例中显示了其在正则化参数以解决过拟合方面优于WSN的有效性。
2023-03-27 cs.AI cs.CV cs.LG
The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
神经网络修剪技术可以减少训练网络的参数数量超过90%，减少存储需求，提高推理的计算性能，而不影响精度。然而，当代的经验是，修剪产生的稀疏架构很难从一开始就进行训练，这将类似地提高训练性能。我们发现，一个标准的修剪技术自然地发现子网络的初始化，使他们能够有效地训练。基于这些结果，我们提出了“彩票假设”：密集的、随机初始化的前馈网络包含子网络（“中奖彩票”），这些子网络在孤立训练时，在类似的迭代次数中达到了与原始网络相当的测试精度。我们发现的中奖彩票赢得了初始化彩票：它们的连接具有初始权重，使训练特别有效。我们提出了一个算法来识别中奖彩票和一系列的实验，支持彩票假设和这些偶然的初始化的重要性。我们一直发现，中奖彩票的大小不到MNIST和CIFAR 10的几种全连接和卷积前馈架构的10-20%。超过这个大小，我们发现的中奖彩票比原始网络学习得更快，并达到更高的测试精度。
2019-03-04 cs.AI cs.LG cs.NE
The Lottery Ticket Hypothesis for Pre-trained BERT Networks
University of Texas at Austin（得克萨斯大学奥斯汀分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
在自然语言处理（NLP）中，像BERT这样的巨大的预训练模型已经成为一系列下游任务训练的标准起点，类似的趋势也出现在深度学习的其他领域。与此同时，对彩票假设的研究表明，NLP和计算机视觉的模型包含较小的匹配子网络，能够单独训练到完全准确并转移到其他任务。在这项工作中，我们结合这些观察来评估这种可训练，可转移的子网络是否存在于预先训练的BERT模型中。对于一系列下游任务，我们确实找到了40%到90%稀疏度的匹配子网络。我们在（预先训练的）初始化时发现这些子网络，这与之前的NLP研究不同，因为它们只在经过一定量的训练后才会出现。在掩蔽语言建模任务（用于预训练模型的相同任务）中发现的子网络普遍转移;在其他任务中发现的子网络以有限的方式转移。随着大规模预训练成为深度学习中越来越重要的范式，我们的研究结果表明，主要的彩票观察结果在这种情况下仍然是相关的。代码可在https://github.com/VITA-Group/BERT-Tickets获得。
2020-10-18 cs.CL cs.LG cs.NE
Diverse Lottery Tickets Boost Ensemble from a Single Pretrained Model
Tohoku University（东北大学）；Preferred Networks Inc（Preferred Networks公司）；RIKEN（理化学研究所）
集成是一种流行的方法，用于提高性能作为最后的手段。然而，从单个预训练模型中集成多个模型并不是很有效;这可能是由于集成成员之间缺乏多样性。本文提出了Multi-Ticket Ensemination，它对单个预训练模型的不同子网络进行微调并将它们集成。我们的经验表明，中奖彩票子网络产生更多样化的预测比密集的网络，他们的合奏在某些任务上优于标准合奏。
2022-05-24 cs.CL cs.LG
Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks
Rice University（莱斯大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文首次在未经训练的随机初始化 DNN 中发现兼具稀疏高效与天生鲁棒性的 RST 子网络，并提出 R2S 随机切换防御，为对抗鲁棒性和彩票假设提供新视角。
2025-01-04 cs.LG
Proving the Lottery Ticket Hypothesis: Pruning is All You Need
School of Computer Science, Hebrew University（希伯来大学计算机科学学院）；Weizmann Institute of Science（魏茨曼科学研究所）
彩票假设（Frankle and Carbin，2018）指出，随机初始化的网络包含一个小的子网络，当孤立训练时，可以与原始网络的性能竞争。我们证明了一个更强有力的假设（正如Ramanujan等人所解释的那样，2019），表明对于每个有界分布和每个具有有界权重的目标网络，具有随机权重的充分过参数化神经网络包含与目标网络具有大致相同精度的子网络，无需任何进一步训练。
2020-02-03 cs.LG stat.ML
On the Sparsity of the Strong Lottery Ticket Hypothesis
Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；King’s College London（伦敦国王学院）
针对强彩票假设（SLTH）现有研究无法保证子网络稀疏性的局限，本文通过证明随机固定大小子集和问题的紧界，首次在经典网络场景下给出带稀疏性保证的SLTH证明。
2024-10-31 cs.AI cs.LG stat.ML
Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）；Tsinghua University（清华大学）
用有限的真实图像数据训练生成对抗网络（GANs）通常会导致性能恶化和模型崩溃。为了克服这一挑战，我们受到最新观察的启发，人们可以发现独立可训练和高度稀疏的子网络（又名，彩票）。将其视为归纳先验，我们提出了一个全新的角度来进行数据高效的GAN训练：首先使用真实图像的小训练集从原始GAN中识别彩票;然后通过重用相同的集合来专注于训练稀疏子网络。我们发现我们的协调框架提供正交增益现有的真实图像数据增强方法，我们还提出了一个新的特征级增强，可以与他们一起应用。综合实验证实了我们提出的框架的有效性，在各种GAN架构（SNGAN，BigGAN和StyleGAN-V2）和不同的数据集（CIFAR-10，CIFAR-100，Tiny-ImageNet，ImageNet和多个Few-Shot生成数据集）。代码可在https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training上获得。
2021-10-22 cs.AI cs.CV cs.LG
You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Twente（特温特大学）；University of Liverpool（利物浦大学）
本文首次发现未训练的稀疏GNN子网络可匹配完全训练密集网络的性能，并缓解过度平滑问题，支持更深层架构，且在分布外检测和鲁棒性上表现优异。
2024-02-04 cs.LG
Stabilizing the Lottery Ticket Hypothesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Cambridge（剑桥大学）；Element AI；University of Toronto（多伦多大学）；Vector Institute
剪枝是一种成熟的技术，用于在训练后从神经网络中删除不必要的结构，以提高推理性能。最近的一些结果已经探索了在初始化时修剪的可能性，以在训练期间提供类似的好处。特别是，“彩票假说”认为，典型的神经网络包含小的子网络，可以在相当数量的步骤中训练到类似的精度。这一说法的证据是，基于迭代幅度修剪（IMP）的程序可靠地追溯到小视觉任务中的子网络。然而，IMP在更深的网络上失败，并且提出的在训练之前修剪或训练修剪的网络的方法遇到类似的缩放限制。在本文中，我们认为这些努力在更深层次的网络上一直在挣扎，因为它们专注于在初始化时精确修剪。我们修改了IMP，以搜索可以在训练早期（0.1%到7%）而不是在迭代0时通过修剪获得的子网络。通过这种变化，它可以找到更深层网络的小型子网（例如，Resnet-50上的80%稀疏度），可以完成训练过程，以匹配原始网络在更具挑战性的任务（例如，ImageNet）。在IMP在迭代0失败的情况下，延迟修剪的准确性好处在最早的训练迭代中迅速增加。为了解释这些行为，我们研究了子网络的“稳定性”，发现随着精度的提高，IMP子网络训练的参数更接近于整个网络的参数，并且在面对梯度噪声时具有更好的一致性。这些结果为在训练早期修剪大规模网络的机会以及彩票假设背后的行为提供了新的见解
2020-07-20 cs.CV cs.LG stat.ML
Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot
Yuanpei College, Peking University（北京大学元培学院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Department of Electrical Engineering, Princeton University（普林斯顿大学电气工程系）；Zhongguancun Haihua Institute for Frontier Information Technology（中关村海华前沿信息技术研究院）；Key Laboratory of Machine Perception, MOE, School of EECS, Peking University（北京大学信息科学技术学院机器感知教育部重点实验室）
网络修剪是一种以最小的性能下降来减少测试时计算资源需求的方法。修剪算法的传统智慧表明：（1）修剪方法利用来自训练数据的信息来找到好的子网络;（2）修剪网络的架构对于良好的性能至关重要。在本文中，我们对最近几种非结构化剪枝方法进行了上述信念的健全性检查，并惊讶地发现：（1）一组旨在找到随机初始化网络的良好子网络的方法（我们称之为“初始票”），几乎不利用来自训练数据的任何信息;（2）对于这些方法得到的剪枝网络，在保持每层保留权值总数不变的同时，随机改变每层保留权值，并不影响最终性能。这些发现启发我们为每一层选择一系列简单的\emph{data-independent}修剪比率，并相应地随机修剪每一层以获得一个子网（我们称之为“随机票”）。实验结果表明，我们的zero-shot随机票优于或达到类似的性能相比，现有的“初始票”。此外，我们确定了一个现有的修剪方法，通过我们的健全性检查。我们将随机票中的比率与该方法混合，提出了一种新的方法，称为“混合票”，实现了进一步的改进。(Our代码可在https：//github.com/JingtongSu/sanity-checking-pruning上公开获取）
2020-10-22 cs.LG stat.ML
Can We Find Strong Lottery Tickets in Generative Models?
Laboratory of Advanced Imaging Technology (LAIT), Ulsan National Institute of Science and Technology (UNIST)（先进成像技术实验室（LAIT），蔚山国立科学技术院（UNIST））；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Naver AI Lab（Naver AI 实验室）
是的在本文中，我们研究了生成模型中的强彩票，即在没有任何权重更新的情况下实现良好生成性能的子网络。神经网络修剪被认为是模型压缩的主要基石，以减少计算和存储成本。不幸的是，生成模型的剪枝尚未得到广泛的研究，所有现有的剪枝算法都存在权重训练成本过高、性能下降、泛化能力有限或训练复杂等问题。为了解决这些问题，我们建议通过时刻匹配分数找到一个强大的彩票。我们的实验结果表明，即使只剩下10%的权重，发现的子网络也可以表现得与训练的稠密模型相似或更好。据我们所知，我们是第一个在生成模型中证明强彩票存在的人，并提供了一个算法来稳定地找到它。我们的代码和补充材料是公开的。
2022-12-16 cs.CV cs.LG
The Elastic Lottery Ticket Hypothesis
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）；Tsinghua University（清华大学）
彩票假说（LTH）引起了人们对识别稀疏可训练子网络或中奖彩票的强烈关注，这些子网络可以单独训练，以实现与完整模型相似甚至更好的性能。尽管已经做出了许多努力，但识别此类中奖彩票的最有效方法仍然是基于迭代幅度的修剪（IMP），这在计算上是昂贵的，并且必须对每个不同的网络进行彻底的运行。一个很自然的问题是：我们能否将一个网络中的中奖彩票“转换”到另一个具有不同架构的网络中，在一开始就为后者提供中奖彩票，而不需要重新做昂贵的IMP？解决这个问题不仅与有效的“一次性”中奖彩票发现有关，而且在理论上也对发现网络中固有的可扩展稀疏模式具有吸引力。我们在CIFAR-10和ImageNet上进行了广泛的实验，并提出了各种策略来调整从同一模型家族的不同网络中找到的中奖彩票（例如，ResNets）。基于这些结果，我们阐述了弹性彩票假说（E-LTH）：by mindfully用心replicating复制（或删除）和重新排序一个网络的层，其对应的中奖彩票可能会被拉伸（或挤）到一个子网中，（或浅）网络来自同一个家庭，其性能与IMP直接发现的后者的中奖票几乎相同的竞争力。我们还广泛地比较了E-LTH与修剪-at-初始化和动态稀疏训练方法，并讨论了E-LTH对不同模型族，层类型和跨数据集的通用性。代码可在https://github.com/VITA-Group/ElasticLTH上获得。
2021-10-28 cs.AI cs.CV cs.LG
Studying the Consistency and Composability of Lottery Ticket Pruning Masks
MIT EECS（麻省理工学院电气工程与计算机科学系）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
幅度修剪是一种常用的，有效的技术，以识别稀疏的子网在很小的成本精度。在这项工作中，我们问一个特定的架构的准确性，稀疏性权衡是否可以通过组合修剪信息在多个运行的训练。从共享的ResNet-20初始化开始，我们使用CIFAR-10上的不同SGD数据命令训练几个网络副本（\emph{siblings}）。虽然兄弟姐妹的修剪掩码并不比偶然性更相似，但在几个共享预训练时期后开始兄弟姐妹训练会显着增加修剪重叠。然后，我们选择一个子网络，要么（1）在任何兄弟（掩码联合）中接受所有幸存的修剪权重，要么（2）只接受所有兄弟（掩码交集）中幸存的修剪权重。得到的子网络被重新训练。引人注目的是，我们发现并集和交集掩码的表现非常相似。这两种方法都匹配单次幅度修剪基线的准确性-稀疏性权衡，即使当我们组合来自多达$k = 10$兄弟的掩码时。
2021-04-30 cs.CV cs.LG
Playing Lottery Tickets with Vision and Language
Microsoft Corporation（微软公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）
大规模的预训练最近彻底改变了视觉和语言（VL）的研究。LXMERT和UNITER等型号在广泛的VL任务中显著提升了最先进的水平。然而，这些模型中的大量参数阻碍了它们在实践中的应用。与此同时，彩票假说（LTH）的研究表明，深度神经网络包含小的匹配子网络，在孤立训练时，这些子网络可以达到与密集网络相当甚至更好的性能。在这项工作中，我们进行了第一次实证研究，以评估这种可训练的子网络是否也存在于预训练的VL模型中。我们使用UNITER作为主要测试平台（同时在LXMERT和ViLT上进行测试），整合了7个具有代表性的VL任务进行实验，包括视觉问答、视觉常识推理、视觉蕴涵、指称表达理解、图文检索、GQA和NLVR $^2$。通过综合分析，我们总结了我们的主要发现如下。（$i$）很难找到与完整模型的性能严格匹配的子网。然而，我们可以找到“放松”的中奖彩票在50%-70%的稀疏度，保持99%的完全准确性。（$ii$）通过特定任务修剪找到的子网络可以很好地转移到其他任务，而在60%/70%稀疏度的预训练任务上找到的子网络则普遍转移，在所有任务上平均匹配98%/96%的完全准确度。（$iii$）除了UNITER之外，LXMERT、ViLT等其他机型也可以玩彩票。然而，我们可以为ViLT实现的最高稀疏性远远低于LXMERT和UNITER（30% vs. 70%）。（$iv$）LTH在使用其他训练方法（例…
2021-12-14 cs.CL cs.CV cs.LG
Successfully Applying Lottery Ticket Hypothesis to Diffusion Model
Visa（维萨公司）；University of Tulsa（塔尔萨大学）；Carnegie Mellon University（卡内基梅隆大学）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
本文首次将彩票票据假说应用于扩散模型，发现90%-99%稀疏度的子网络仍能保持性能，并提出在不同层使用不同稀疏度寻找中奖票据，从而获得更省存储和计算量的稀疏子模型。
2023-10-28 cs.LG
On the Existence of Universal Lottery Tickets
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；MIT（麻省理工学院）
彩票假说证明了大型随机初始化深度神经网络的稀疏子网络的存在，这些子网络可以在孤立的情况下成功训练。最近的工作通过实验观察到，其中一些票证实际上可以在各种任务中重复使用，暗示了某种形式的通用性。我们正式这个概念，并从理论上证明，不仅这样的通用门票存在，但他们也不需要进一步的培训。我们的证明引入了一些与强彩票修剪相关的技术创新，包括子集和结果的扩展以及利用更高深度的策略。我们显式稀疏构造的泛函数家族可能是独立的兴趣，因为它们突出了由单变量卷积架构引起的代表性好处。
2022-03-16 cs.AI cs.LG stat.ML
Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network
Center for Applied Scientific Computing（应用科学计算中心）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
最近，Frankle & Carbin（2019）证明，随机初始化的密集网络包含子网络，一旦找到，可以训练这些子网络，以达到与训练的密集网络相当的测试精度。然而，找到这些高性能的可训练子网络是昂贵的，需要训练和修剪权重的迭代过程。本文提出（并证明）一个更强的多奖彩票假说：一个充分过参数化的具有随机权值的神经网络包含多个子网络（中奖彩票），其（a）具有与具有学习的权重的密集目标网络相当的准确性（奖品1），（b）不需要任何进一步的训练来实现奖品1（奖品2），以及（c）对于极端形式的量化是鲁棒的（即，二进制权重和/或激活）（奖3）。这为简单地通过修剪和量化随机加权的全精度神经网络来学习紧凑但高度精确的二进制神经网络提供了新的范例。我们还提出了一种寻找多奖彩票（MPTs）的算法，并通过在CIFAR-10和ImageNet数据集上进行一系列实验来测试它。实证结果表明，随着模型的深入和广泛，多奖彩票开始达到类似（有时甚至更高）的测试准确性，与经过权重训练的大得多的全精度彩票相比。在没有更新权重值的情况下，我们的MPTS-1/32不仅设置了新的二进制权重网络最先进的（SOTA）Top-1准确率-在CIFAR-10上为94.8%，在ImageNet上为74.03%-而且分别比全精度同行高出1.78%和0.76%。此外，我们的MPT-1/1在CIFAR-10上实现了二进制神经网络的SOTA Top-…
2021-03-17 cs.CV cs.LG
Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出Instant Soup剪枝（ISP），通过弱掩码生成与聚合在单次遍历中低成本生成彩票质量子网络，在CLIP和BERT上验证有效性。
2023-06-18 cs.CV cs.LG
Bayesian Lottery Ticket Hypothesis
Scientific Computing Center (SCC)（科学计算中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Helmholtz AI（海德堡人工智能研究所）
本文研究了贝叶斯神经网络中的彩票票假说，发现稀疏子网络在精度上可与原始网络相当，并探讨了稀疏训练算法和剪枝策略。
2026-02-21 cs.CV cs.LG
Linear Mode Connectivity and the Lottery Ticket Hypothesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Element AI；University of Toronto（多伦多大学）；Vector Institute
我们研究神经网络是否在不同的SGD噪声样本下优化到相同的线性连接最小值（例如，随机数据顺序和扩充）。我们发现，标准视觉模型在训练早期以这种方式对SGD噪声变得稳定。从那时起，优化的结果被确定为一个线性连接的区域。我们使用这种技术来研究迭代幅度修剪（IMP），这是彩票假设工作中使用的程序，用于识别可以隔离训练到完全准确的子网络。我们发现，这些子网络只有在对SGD噪声稳定时才能达到完全准确性，这要么发生在小规模设置（MNIST）的初始化阶段，要么发生在大规模设置（ResNet-50和ImageNet上的Inception-v3）的早期训练阶段。
2020-07-18 cs.LG cs.NE stat.ML
Towards Understanding Iterative Magnitude Pruning: Why Lottery Tickets Win
KU Leuven（鲁汶大学）
彩票假说指出，稀疏子网络存在于随机初始化的密集网络中，这些网络可以被训练到与它们所在的密集网络相同的精度。然而，随后的工作未能在大规模模型上复制这一点，并且需要倒带到早期的稳态，而不是初始化。我们表明，通过使用一种相对于线性模式连接稳定的训练方法，大型网络也可以完全回到初始化。我们随后对普通视觉任务的实验有力地支持了Evci等人（2020 b）的假设，即彩票只是重新训练到相同的区域（尽管不一定是同一个盆地）。这些结果意味着，如果没有之前通过迭代幅度修剪进行的密集训练，现有的彩票就不可能被发现，这对彩票假设的使用提出了质疑。
2021-06-13 cs.LG
The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Michigan State University（密歇根州立大学）
计算机视觉世界在各种预训练模型中重新获得了热情，包括经典的ImageNet监督预训练和最近出现的自监督预训练，如simplink和MoCo。预先训练的权重通常会促进广泛的下游任务，包括分类，检测和分割。最新的研究表明，预训练受益于巨大的模型容量。我们在此好奇地问：在预训练之后，预训练的模型真的必须保持其下游可移植性吗？在本文中，我们通过彩票假设（LTH）的镜头来检查监督和自我监督的预训练模型。LTH识别高度稀疏的匹配子网络，这些子网络可以从（几乎）零开始隔离训练，但仍然达到完整模型的性能。我们扩展了LTH的范围，并质疑匹配子网络是否仍然存在于预训练的计算机视觉模型中，这些模型具有相同的下游传输性能。我们广泛的实验传达了一个总体积极的信息：从ImageNet分类，simpletion和MoCo获得的所有预训练权重中，我们始终能够以59.04%到96.48%的稀疏度定位这些匹配的子网络，这些子网络普遍转移到多个下游任务，与使用完整的预训练权重相比，其性能没有下降。进一步的分析表明，从不同的预训练发现的子网络往往会产生不同的掩模结构和扰动灵敏度。我们的结论是，在计算机视觉的训练前范式中，核心LTH观察结果通常仍然相关，但在某些情况下需要进行更微妙的讨论。代码和预训练模型将在https://github.com/VITA-Group/CV_LTH_Pre-training上提供。
2021-03-29 cs.CV cs.LG cs.NE
Towards Scalable Lottery Ticket Networks using Genetic Algorithms
LMU Munich（慕尼黑大学）
本研究探索使用遗传算法识别强彩票子网络，在二分类和多分类任务中无需梯度信息即实现优于当前最先进方法的准确率和稀疏度，并论证了扩展至复杂架构时需适当评估指标。
2025-08-12 cs.LG cs.NE
SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）；Oracle Health and AI（甲骨文健康与人工智能部门）
本文提出SuperTickets，通过联合架构搜索和参数剪枝的二合一训练方案直接从超网络中识别高效DNNs及其彩票子网络，无需重训练即可实现更优的准确率与效率权衡，并具备跨任务迁移能力。
2025-03-03 cs.CV cs.LG
The Strong Lottery Ticket Hypothesis for Multi-Head Attention Mechanisms
本文从理论上证明随机初始化的多头注意力机制在隐藏维度足够大时以高概率包含可逼近任意目标MHA的强彩票票，并将该结论推广到无归一化层的Transformer，同时通过实验验证逼近误差随隐藏维度增加呈指数下降。
2025-11-06 cs.AI cs.LG
Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets
本文提出多项式过参数化卷积神经网络中存在结构化强彩票彩票票，通过数学工具证明了结构化子网络能近似更小网络，为SLTH提供了亚指数界。
2026-03-10 cs.LG math.CO math.PR
Iterative Magnitude Pruning as a Renormalisation Group: A Study in The Context of The Lottery Ticket Hypothesis
本文研究彩票票假设中的迭代幅度剪枝，揭示中奖票的普适性，并将其与物理学重整化群理论相联系，以深化对剪枝机制的理解。
2023-08-06 cs.LG stat.ML
Winning Lottery Tickets in Neural Networks via a Quantum-Inspired Classical Algorithm
The University of Tokyo（东京大学）；RIKEN AIP and CyberAgent（日本科学技术研究院AIP与CyberAgent）
本文提出一种量子启发的经典算法，用于在大规模神经网络中选择稀疏子网络，通过优化概率分布实现多项式时间复杂度，优于传统方法。
2026-05-13 cs.LG quant-ph stat.ML
A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis
École Normale Supérieure, PSL（巴黎高等师范学院（PSL大学））；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
强彩票假说（SLTH）规定了在一个充分过参数化（密集）的神经网络中存在一个子网络，当随机初始化并且没有任何训练时，它可以达到完全训练的目标网络的精度。最近的作品达库尼亚等。2022年; Burkholz 2022证明了SLTH可以扩展到翻译等变网络-即CNN-与密集网络中的SLTs所需的相同水平的过度参数化。然而，现代神经网络能够结合的不仅仅是平移对称性，并且开发通用的等变架构，如旋转和置换已经成为一个强大的设计原则。在本文中，我们推广的SLTH功能，保持组$G$的行动-即$G$ -等变网络-并证明，以高概率，可以近似任何$G$ -等变网络的宽度和深度固定的修剪随机初始化overparametrized $G$-等变网络的$G$-等变子网。我们进一步证明，我们规定的overparametrization方案是最佳的，并提供了一个下界的有效参数的数量作为一个函数的容错性。我们发展了我们的理论，为大范围的群体，包括子组的欧几里德PDMATHAMN和对称组$G \leq \mathcal{S}_n$ -使我们能够找到SLTs的MLP，CNN，$\text{E}(2)$ -可操纵CNN，和置换等变网络作为我们的统一框架的具体实例。从经验上讲，我们通过修剪过参数化的$\text{E}(2)$ -可操纵CNN、$k$ -阶GNN和消息传递GNN来验证我们的理论，以匹配训练的目标网络的性能。
2023-02-16 cs.LG
Investigating the Lottery Ticket Hypothesis for Variational Quantum Circuits
Institute of Informatics, LMU Munich（慕尼黑大学信息学院）
本文研究了彩票假设在变分量子线路中的应用，发现通过剪枝保留部分参数的中奖彩票能在减少参数缓解贫瘠高原现象的同时保持或提升性能。
2025-09-14 cs.AI cs.LG quant-ph
A Unifying Relational Perspective on Expressive Lottery Tickets
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学学院）；Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院）；CeMM Research Center for Molecular Medicine of the Austrian Academy of Sciences（奥地利科学院CeMM分子医学研究中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦大学玛丽女王学院电子工程与计算机科学学院）；Research Network Data Science, University of Vienna（维也纳大学数据科学研究网络）
该研究将强表达能力彩票票假设推广至多关系和时序领域，证明参数充足的关系型图神经网络含维持1-RWL表达能力的稀疏子网络，还通过实验验证相关概率下界并分析预训练表达能力与模型性能的关联。
2026-08-20 cs.LG stat.ML
The Lottery Ticket Hypothesis for Object Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
识别任务，例如对象识别和关键点估计，近年来已被广泛采用。这些任务的大多数最先进的方法都使用深度网络，这些网络计算成本高，内存占用量大。这使得在低功耗嵌入式设备上部署这些系统变得非常困难。因此，在这种模型中减少存储需求和计算量的重要性是至关重要的。最近提出的彩票假说（LTH）指出，在大型数据集上训练的深度神经网络包含较小的子网络，其性能与密集网络相当。在这项工作中，我们进行了第一次实证研究调查LTH模型修剪的背景下，目标检测，实例分割，和关键点估计。我们的研究表明，从ImageNet预训练中获得的彩票不能很好地转移到下游任务中。我们提供了关于如何在不同的子任务上找到高达80%的整体稀疏度的彩票而不会导致性能下降的指导。最后，我们分析了经过训练的票据在各种任务属性（如对象大小、频率和检测难度）方面的行为。
2021-04-19 cs.CV cs.LG
Weisfeiler and Leman Go Gambling: Why Expressive Lottery Tickets Win
University of Vienna（维也纳大学）
本文从理论上研究图神经网络中彩票 ticket 假设，提出并证明强表达力彩票 ticket 假设，表明稀疏初始化 GNN 保持表达力可加速收敛并提升泛化，为 LTH 与 GNN 研究提供新理论基础。
2025-06-04 cs.LG
Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization
Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心）；JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Hong Kong Baptist University（香港浸会大学）
针对OOD泛化中分布噪声误导优化的问题，提出EVIL方法，通过探索并剔除对分布偏移敏感的变体参数，寻找相对稳定的不变参数以构建鲁棒子网络，在DomainBed上有效提升了多种主流方法的泛化能力。
2023-10-25 cs.CV cs.LG
Unmasking the Lottery Ticket Hypothesis: What's Encoded in a Winning Ticket's Mask?
Meta AI；MosaicML（MosaicML公司）；Google Research（谷歌研究院）；Mila（米拉人工智能研究所）
现代深度学习涉及训练昂贵的、高度过度参数化的网络，从而激发了对稀疏网络的搜索，这些网络仍然可以被训练到与完整网络相同的精度（即匹配）。迭代幅度修剪（IMP）是一种最先进的算法，可以找到这种高度稀疏的匹配子网络，称为中奖彩票。IMP通过训练的迭代循环进行操作，掩蔽最小幅度权重，倒回早期训练点并重复。尽管它很简单，但IMP何时以及如何找到中奖彩票的基本原则仍然难以捉摸。特别是，在训练结束时找到的IMP掩码向训练开始时的重绕网络传达了什么有用的信息？SGD如何允许网络提取这些信息？为什么需要迭代修剪？我们根据错误景观的几何形状来开发答案。首先，我们发现，$\unicode{x2014}$在较高的稀疏$\unicode{x2014}$对修剪网络在连续的修剪迭代连接的线性路径零错误障碍，当且仅当他们是匹配的。这表明在训练结束时找到的掩码传达与匹配子级集合的期望线性连接模式相交的轴向子空间的身份。其次，我们证明了SGD可以利用这些信息，因为它具有很强的鲁棒性：尽管在训练早期存在很强的扰动，但它可以返回到这种模式。第三，我们展示了在训练结束时误差景观的平坦性如何确定在IMP的每次迭代中可以修剪的权重比例的限制。最后，我们展示了IMP中再训练的作用是找到一个具有新的小权重的网络来修剪。总的来说，这些结果通过揭示错误景观几何的基本作用，朝着揭开中奖彩票存在的神秘面纱的方向取得了进展。
2022-10-06 cs.AI cs.LG stat.ML
Strong Lottery Ticket Hypothesis with $\varepsilon$--perturbation
Rice University（莱斯大学）
强彩票假说（LTH）声称在一个足够大的、随机初始化的神经网络中存在一个子网络，该子网络在不需要训练的情况下逼近某个目标神经网络。我们将强LTH文献的理论保证扩展到更类似于原始LTH的场景，通过将预训练步骤中的权重变化推广到初始化周围的一些扰动。特别是，我们专注于以下开放的问题：通过允许一个$\varepsilon$规模的扰动的随机初始权重，我们可以减少在强LTH的候选网络的过度参数化的要求？此外，SGD的权重变化是否与一组良好的扰动相一致？我们回答第一个问题，首先扩展的理论结果子集和允许扰动的候选人。应用这一结果的神经网络设置，我们表明，这样的$\varepsilon$扰动减少了过参数化的要求强LTH。为了回答第二个问题，我们通过实验表明，通过投影SGD实现的扰动权重在强LTH修剪下表现出更好的性能。
2022-10-29 cs.AI cs.IT cs.LG
You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership
University of Science and Technology of China（中国科学技术大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
尽管在许多应用场景中取得了巨大的成功，但随着时间的推移，使用深度学习的训练和推理成本也在迅速增加。彩票假设（LTH）作为一个有前途的框架出现，以利用一个特殊的稀疏子网（即，中奖彩票）而不是用于训练和推理的完整模型，这可以在不牺牲性能的情况下降低成本。然而，LTH的主要资源瓶颈是找到中奖票的稀疏掩码的非凡成本。这使得发现的中奖彩票成为业主的宝贵资产，突出了保护其版权的必要性。我们的设置增加了一个新的层面，最近飙升的兴趣，防止知识产权（IP）侵犯的深度模型和验证他们的所有权，因为他们采取业主的大量/独特的资源来开发或训练。虽然现有的方法探索加密的权重或预测，我们研究了一种独特的方式来利用稀疏的拓扑信息来执行彩票验证，通过开发几个基于图形的签名，可以嵌入作为凭证。通过进一步结合基于触发集的方法，我们的建议可以在白盒和黑盒验证场景。通过大量的实验，我们证明了在CIFAR-10和CIFAR-100上的不同模型（ResNet-20，ResNet-18，ResNet-50）中彩票验证的有效性。具体来说，我们的验证被证明是强大的删除攻击，如模型微调和修剪，以及一些歧义攻击。我们的代码可在https://github.com/VITA-Group/NO-stealing-LTH上获得。
2021-10-30 cs.CR cs.LG
A Survey of Lottery Ticket Hypothesis
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Auburn University（奥本大学）；Nankai University（南开大学）；Australian National University（澳大利亚国立大学）；University of Tulsa（塔尔萨大学）
本文首次从多角度综述彩票假设（LTH）的研究进展，指出其有效性及效率、可扩展性等开放问题，并开发平台以促进实验与基线比较。
2024-03-12 cs.LG cs.NE
Playing the Lottery With Concave Regularizers for Sparse Trainable Neural Networks
本文提出一类基于凹正则化松弛二值掩码的新方法，用于高效寻找彩票假设中的中奖稀疏子网络，理论分析结合实验证明其优于现有算法。
2025-01-19 cs.AI cs.LG
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University（杜克大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习是一种流行的分布式机器学习范例，具有增强的隐私性。它的主要目标是学习一个全球模型，为尽可能多的参与者提供良好的性能。该技术正在快速发展，面临许多尚未解决的挑战，其中包括统计异质性（即，非IID）和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中，我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架，通过利用彩票假设。在LotteryFL中，每个客户端学习彩票网络（即，基本模型的子网络），并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同，每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸，通信成本可以显著降低。为了支持我们框架的训练和评估，我们考虑特征分布偏差、标签分布偏差和数量偏差，基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明，LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
