Rare Gems: Finding Lottery Tickets at Initialization
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Petuum, Inc（Petuum公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通过耗时的“训练、修剪、重新训练”方法，可以将大型神经网络修剪到其原始大小的一小部分，而精度损失很小。Frankle和Carbin推测，我们可以通过训练“彩票”来避免这种情况，即，在初始化时发现的特殊稀疏子网络，可以训练到高精度。然而，Frankle等人和Su等人的后续工作提出了具体的证据，表明当前用于在初始化时找到可训练网络的算法无法进行简单的基线比较，例如，训练随机稀疏子网络。找到与简单基线相比训练更好的准确性的彩票仍然是一个悬而未决的问题。在这项工作中，我们解决了这个开放的问题，提出宝石矿工发现彩票在初始化击败当前基线。Gem-Miner发现彩票可训练的准确性具有竞争力或优于迭代幅度修剪（IMP），并且可以更快地达到$19\times$。
2022-06-02 cs.AI cs.CV cs.LG
Sign-In to the Lottery: Reparameterizing Sparse Training From Scratch
CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息 security 研究所）
针对从头稀疏训练性能差距问题，提出动态重参数化方法 Sign-In 诱导符号翻转，正交于稠密到稀疏训练，提升性能并揭示开放挑战。
2025-10-23 cs.CV cs.LG
Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning
Illinois Institute of Technology（伊利诺伊理工学院）；Texas State University（德克萨斯州立大学）；Shandong University（山东大学）
随着深度学习近年来取得的巨大成功，人们迫切需要高效的网络压缩算法来释放智能手机或平板电脑等边缘设备的潜在计算能力。然而，最优网络修剪是一个非平凡的任务，在数学上是一个NP难问题。以前的研究人员将训练修剪后的网络解释为购买彩票。在本文中，我们研究了基于幅度的剪枝（MBP）方案，并通过对深度学习模型的傅立叶分析从一个新的角度对其进行分析，以指导模型设计。除了利用傅立叶变换解释MBP的泛化能力外，我们还提出了一种新的两阶段剪枝方法，其中一个阶段是获得剪枝后网络的拓扑结构，另一个阶段是利用频域上从低到高的知识蒸馏重新训练剪枝后的网络以恢复能力。在CIFAR-10和CIFAR-100上的大量实验表明，与其他传统的MBP算法相比，我们的新的基于傅立叶分析的MBP的优越性。
2022-01-30 cs.AI cs.CV
LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
Georgia Institute of Technology（佐治亚理工学院）
本文提出 LOTUS 方法，通过数据彩票票选择与稀疏剪枝加速视觉 Transformer 训练，在保持准确率的同时显著降低计算需求。
2024-05-01 cs.AI cs.CV cs.LG
SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）；Oracle Health and AI（甲骨文健康与人工智能部门）
本文提出SuperTickets，通过联合架构搜索和参数剪枝的二合一训练方案直接从超网络中识别高效DNNs及其彩票子网络，无需重训练即可实现更优的准确率与效率权衡，并具备跨任务迁移能力。
2025-03-03 cs.CV cs.LG
Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）；Tsinghua University（清华大学）
用有限的真实图像数据训练生成对抗网络（GANs）通常会导致性能恶化和模型崩溃。为了克服这一挑战，我们受到最新观察的启发，人们可以发现独立可训练和高度稀疏的子网络（又名，彩票）。将其视为归纳先验，我们提出了一个全新的角度来进行数据高效的GAN训练：首先使用真实图像的小训练集从原始GAN中识别彩票;然后通过重用相同的集合来专注于训练稀疏子网络。我们发现我们的协调框架提供正交增益现有的真实图像数据增强方法，我们还提出了一个新的特征级增强，可以与他们一起应用。综合实验证实了我们提出的框架的有效性，在各种GAN架构（SNGAN，BigGAN和StyleGAN-V2）和不同的数据集（CIFAR-10，CIFAR-100，Tiny-ImageNet，ImageNet和多个Few-Shot生成数据集）。代码可在https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training上获得。
2021-10-22 cs.AI cs.CV cs.LG
Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning
Politecnico di Torino（都灵理工大学）
提出基于NTK理论的初始化剪枝算法PX，通过解析NTK迹的上界保留关键参数，在高稀疏度下找到彩票子网络，大幅降低计算与训练成本。
2024-06-03 cs.AI cs.CV
Multi-trial Neural Architecture Search with Lottery Tickets
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
神经结构搜索（NAS）在最近的图像识别任务中取得了重大进展。大多数现有的NAS方法应用受限的搜索空间，这限制了搜索模型的上限性能。为了解决这个问题，我们提出了一个新的搜索空间命名为MobileNet 3-MT。MobileNet 3-MT在网络的各个维度上减少了人类的先验知识，容纳了更多的潜在候选者。为了在这个具有挑战性的搜索空间中进行搜索，我们提出了一种高效的基于多尝试进化的NAS方法，称为MENAS。具体来说，我们通过逐步修剪种群中的模型来加速进化搜索过程。每个模型的训练都提前停止，并由其彩票（探索的最佳修剪网络）取代。通过这种方式，避免了繁琐网络的完整训练管道，并自动生成更高效的网络。在ImageNet-1 K、CIFAR-10和CIFAR-100上的大量实验结果表明，MENAS达到了最先进的性能。
2022-12-03 cs.CV cs.LG cs.NE
Studying the Consistency and Composability of Lottery Ticket Pruning Masks
MIT EECS（麻省理工学院电气工程与计算机科学系）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
幅度修剪是一种常用的，有效的技术，以识别稀疏的子网在很小的成本精度。在这项工作中，我们问一个特定的架构的准确性，稀疏性权衡是否可以通过组合修剪信息在多个运行的训练。从共享的ResNet-20初始化开始，我们使用CIFAR-10上的不同SGD数据命令训练几个网络副本（\emph{siblings}）。虽然兄弟姐妹的修剪掩码并不比偶然性更相似，但在几个共享预训练时期后开始兄弟姐妹训练会显着增加修剪重叠。然后，我们选择一个子网络，要么（1）在任何兄弟（掩码联合）中接受所有幸存的修剪权重，要么（2）只接受所有兄弟（掩码交集）中幸存的修剪权重。得到的子网络被重新训练。引人注目的是，我们发现并集和交集掩码的表现非常相似。这两种方法都匹配单次幅度修剪基线的准确性-稀疏性权衡，即使当我们组合来自多达$k = 10$兄弟的掩码时。
2021-04-30 cs.CV cs.LG
Lottery Ticket Preserves Weight Correlation: Is It Desirable or Not?
Midea Group（美的集团）；Northeastern University（东北大学）；Didi Chuxing（滴滴出行）；Snap Inc.（Snap公司）；Michigan State University（密歇根州立大学）
在深度模型压缩中，最近的发现“彩票假说”（LTH）（Frankle & Carbin，2018）指出，可能存在一张中奖彩票（即，适当修剪的子网络以及原始权重初始化），其可以实现比原始密集网络有竞争力的性能。然而，在许多情况下观察这种获胜属性并不容易，例如，即使它有利于训练原始密集模型，也使用相对较大的学习率。在这项工作中，我们调查了获胜属性背后的基本条件和基本原理，并发现其根本原因主要是由于初始化权重和最终训练权重之间的相关性时，学习率是不够大。因此，获胜属性的存在与DNN预训练不足相关，并且对于训练有素的DNN来说不太可能发生。为了克服这一限制，我们提出了“修剪和微调”的方法，始终优于彩票稀疏训练相同的修剪算法和相同的总训练时期。在不同数据集上对多个深度模型（VGG，ResNet，MobileNet-v2）进行了广泛的实验，以证明我们的建议。
2021-07-18 cs.AI cs.CV cs.LG
Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出Instant Soup剪枝（ISP），通过弱掩码生成与聚合在单次遍历中低成本生成彩票质量子网络，在CLIP和BERT上验证有效性。
2023-06-18 cs.CV cs.LG
Gaining the Sparse Rewards by Exploring Lottery Tickets in Spiking Neural Network
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Beijing University of Technology（北京工业大学）
本文研究脉冲神经网络中的彩票 Ticket（SLTs）以实现极致能效，提出专为脉冲 Transformer 定制的稀疏算法，通过 Patch 数量、ConvPEP 权重及激活层的多层级稀疏，在轻微性能下降下实现极致稀疏，助力机器人等设备部署节能网络。
2024-09-20 cs.CV cs.NE
Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network
Center for Applied Scientific Computing（应用科学计算中心）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
最近，Frankle & Carbin（2019）证明，随机初始化的密集网络包含子网络，一旦找到，可以训练这些子网络，以达到与训练的密集网络相当的测试精度。然而，找到这些高性能的可训练子网络是昂贵的，需要训练和修剪权重的迭代过程。本文提出（并证明）一个更强的多奖彩票假说：一个充分过参数化的具有随机权值的神经网络包含多个子网络（中奖彩票），其（a）具有与具有学习的权重的密集目标网络相当的准确性（奖品1），（b）不需要任何进一步的训练来实现奖品1（奖品2），以及（c）对于极端形式的量化是鲁棒的（即，二进制权重和/或激活）（奖3）。这为简单地通过修剪和量化随机加权的全精度神经网络来学习紧凑但高度精确的二进制神经网络提供了新的范例。我们还提出了一种寻找多奖彩票（MPTs）的算法，并通过在CIFAR-10和ImageNet数据集上进行一系列实验来测试它。实证结果表明，随着模型的深入和广泛，多奖彩票开始达到类似（有时甚至更高）的测试准确性，与经过权重训练的大得多的全精度彩票相比。在没有更新权重值的情况下，我们的MPTS-1/32不仅设置了新的二进制权重网络最先进的（SOTA）Top-1准确率-在CIFAR-10上为94.8%，在ImageNet上为74.03%-而且分别比全精度同行高出1.78%和0.76%。此外，我们的MPT-1/1在CIFAR-10上实现了二进制神经网络的SOTA Top-…
2021-03-17 cs.CV cs.LG
Uncovering Critical Features for Deepfake Detection through the Lottery Ticket Hypothesis
Cognitive Links（认知链接）；Apurba-NSU R&D Lab（Apurba-NSU研发实验室）；Monash University（墨尔本大学）；United International University（国际联合大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文利用彩票票假设研究深度伪造检测网络中的关键子网络，提出基于LTH的迭代幅度剪枝方法，在MesoNet、CNN-5和ResNet-18上验证了高稀疏度下保持性能并具备跨数据集迁移能力。
2025-07-21 cs.AI cs.CV
Playing Lottery Tickets with Vision and Language
Microsoft Corporation（微软公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）
大规模的预训练最近彻底改变了视觉和语言（VL）的研究。LXMERT和UNITER等型号在广泛的VL任务中显著提升了最先进的水平。然而，这些模型中的大量参数阻碍了它们在实践中的应用。与此同时，彩票假说（LTH）的研究表明，深度神经网络包含小的匹配子网络，在孤立训练时，这些子网络可以达到与密集网络相当甚至更好的性能。在这项工作中，我们进行了第一次实证研究，以评估这种可训练的子网络是否也存在于预训练的VL模型中。我们使用UNITER作为主要测试平台（同时在LXMERT和ViLT上进行测试），整合了7个具有代表性的VL任务进行实验，包括视觉问答、视觉常识推理、视觉蕴涵、指称表达理解、图文检索、GQA和NLVR $^2$。通过综合分析，我们总结了我们的主要发现如下。（$i$）很难找到与完整模型的性能严格匹配的子网。然而，我们可以找到“放松”的中奖彩票在50%-70%的稀疏度，保持99%的完全准确性。（$ii$）通过特定任务修剪找到的子网络可以很好地转移到其他任务，而在60%/70%稀疏度的预训练任务上找到的子网络则普遍转移，在所有任务上平均匹配98%/96%的完全准确度。（$iii$）除了UNITER之外，LXMERT、ViLT等其他机型也可以玩彩票。然而，我们可以为ViLT实现的最高稀疏性远远低于LXMERT和UNITER（30% vs. 70%）。（$iv$）LTH在使用其他训练方法（例…
2021-12-14 cs.CL cs.CV cs.LG
Stabilizing the Lottery Ticket Hypothesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Cambridge（剑桥大学）；Element AI；University of Toronto（多伦多大学）；Vector Institute
剪枝是一种成熟的技术，用于在训练后从神经网络中删除不必要的结构，以提高推理性能。最近的一些结果已经探索了在初始化时修剪的可能性，以在训练期间提供类似的好处。特别是，“彩票假说”认为，典型的神经网络包含小的子网络，可以在相当数量的步骤中训练到类似的精度。这一说法的证据是，基于迭代幅度修剪（IMP）的程序可靠地追溯到小视觉任务中的子网络。然而，IMP在更深的网络上失败，并且提出的在训练之前修剪或训练修剪的网络的方法遇到类似的缩放限制。在本文中，我们认为这些努力在更深层次的网络上一直在挣扎，因为它们专注于在初始化时精确修剪。我们修改了IMP，以搜索可以在训练早期（0.1%到7%）而不是在迭代0时通过修剪获得的子网络。通过这种变化，它可以找到更深层网络的小型子网（例如，Resnet-50上的80%稀疏度），可以完成训练过程，以匹配原始网络在更具挑战性的任务（例如，ImageNet）。在IMP在迭代0失败的情况下，延迟修剪的准确性好处在最早的训练迭代中迅速增加。为了解释这些行为，我们研究了子网络的“稳定性”，发现随着精度的提高，IMP子网络训练的参数更接近于整个网络的参数，并且在面对梯度噪声时具有更好的一致性。这些结果为在训练早期修剪大规模网络的机会以及彩票假设背后的行为提供了新的见解
2020-07-20 cs.CV cs.LG stat.ML
Winning the Lottery by Preserving Network Training Dynamics with Concrete Ticket Search
本文提出Concrete Ticket Search算法，通过优化子网络发现问题，在保持高准确率的同时显著降低计算成本，优于现有方法。
2025-12-08 cs.AI cs.CV cs.LG
The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network
Sun Yat-sen University（中山大学）；Purdue University（普渡大学）；Northwestern University（西北大学）；Nanyang Technological University（南洋理工大学）
最近，许多即插即用的自注意模块（SAM）被提出来通过利用深度卷积神经网络（CNN）的内部信息来增强模型泛化。一般来说，以前的工作忽略了在哪里插件SAM，因为它们理所当然地将SAM单独与整个CNN骨干的每个块连接起来，导致计算成本和参数数量随着网络深度的增长而增加。然而，我们根据经验发现并验证了一些违反直觉的现象：（a）将SAM连接到所有块可能并不总是带来最大的性能提升，连接到部分块甚至会更好;（b）将SAM添加到CNN可能并不总是带来性能提升，相反，它甚至可能损害原始CNN主干的性能。因此，我们阐明并证明了自我注意网络的彩票假说：一个完整的自我注意网络包含一个具有稀疏自我注意连接的子网络，它可以（1）加速推理，（2）减少额外的参数增量，（3）保持准确性。除了经验证据，这一假设也得到了我们的理论证据的支持。此外，我们提出了一种简单而有效的基于重复学习的方法来搜索门票，即，满足上述三个条件的连接方案。在广泛使用的基准数据集和流行的自注意网络上进行的大量实验表明了该方法的有效性。此外，我们的实验表明，我们的搜索票有能力转移到一些视觉任务，如，人群计数和细分。
2022-07-16 cs.AI cs.CV cs.LG
Calibrating the Rigged Lottery: Making All Tickets Reliable
Texas A&M University（得克萨斯农工大学）；North Carolina State University（北卡罗来纳州立大学）；Purdue University（普渡大学）
尽管稀疏训练已成功用于各种资源有限的深度学习任务中，以节省内存，加速训练并减少推理时间，但所产生的稀疏模型的可靠性仍未得到探索。以前的研究表明，深度神经网络往往过于自信，我们发现稀疏训练加剧了这个问题。因此，校准稀疏模型对于可靠的预测和决策至关重要。在本文中，我们提出了一种新的稀疏训练方法，以产生稀疏模型与改进的置信度校准。与以前只使用一个掩码来控制稀疏拓扑的研究相比，我们的方法使用两个掩码，包括确定性掩码和随机掩码。前者通过利用权重和梯度的大小有效地搜索和激活重要权重。而后者带来了更好的探索，并通过随机更新找到更合适的权重值。理论上，我们证明了我们的方法可以被看作是一个概率深高斯过程的分层变分逼近。在多个数据集、模型结构和稀疏性上的大量实验表明，该方法将ECE值降低了47.8%，同时保持甚至提高了准确性，而计算和存储负担仅略有增加。
2023-03-01 cs.AI cs.CV cs.LG
SmileyNet -- Towards the Prediction of the Lottery by Reading Tea Leaves with AI
Constructor University Bremen（不来梅康斯特大学）；School of Computer Science and Engineering（计算机科学与工程学院）
本文提出具有情绪激励机制的神经网络SmileyNet，通过读茶叶模拟预测抛硬币，准确率达72%，优于ResNet-34和YOLOv5，并展示其组合用于预测彩票的潜力。
2024-07-31 cs.AI cs.CV cs.CY
The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Michigan State University（密歇根州立大学）
计算机视觉世界在各种预训练模型中重新获得了热情，包括经典的ImageNet监督预训练和最近出现的自监督预训练，如simplink和MoCo。预先训练的权重通常会促进广泛的下游任务，包括分类，检测和分割。最新的研究表明，预训练受益于巨大的模型容量。我们在此好奇地问：在预训练之后，预训练的模型真的必须保持其下游可移植性吗？在本文中，我们通过彩票假设（LTH）的镜头来检查监督和自我监督的预训练模型。LTH识别高度稀疏的匹配子网络，这些子网络可以从（几乎）零开始隔离训练，但仍然达到完整模型的性能。我们扩展了LTH的范围，并质疑匹配子网络是否仍然存在于预训练的计算机视觉模型中，这些模型具有相同的下游传输性能。我们广泛的实验传达了一个总体积极的信息：从ImageNet分类，simpletion和MoCo获得的所有预训练权重中，我们始终能够以59.04%到96.48%的稀疏度定位这些匹配的子网络，这些子网络普遍转移到多个下游任务，与使用完整的预训练权重相比，其性能没有下降。进一步的分析表明，从不同的预训练发现的子网络往往会产生不同的掩模结构和扰动灵敏度。我们的结论是，在计算机视觉的训练前范式中，核心LTH观察结果通常仍然相关，但在某些情况下需要进行更微妙的讨论。代码和预训练模型将在https://github.com/VITA-Group/CV_LTH_Pre-training上提供。
2021-03-29 cs.CV cs.LG cs.NE
One Loop, Two Gains: Can Active Learning win the Lottery for Free?
University of Technology Graz（格拉茨技术大学）；Know-Center Research GmbH（诺中心研究有限公司）；Institute of Visual Computing（视觉计算研究所）
提出改进与剪枝（I&P）方法，将迭代幅度剪枝融入主动学习重训练循环，以几乎零额外成本获得稀疏中奖彩票，在高达95%稀疏度下保持准确率，并缓解深度主动学习的计算瓶颈。
2026-09-10 cs.AI cs.CV cs.LG
