Large-scale Dataset Pruning with Dynamic Uncertainty
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Peking University(北京大学);University of Technology Sydney(悉尼科技大学)
本文提出结合预测不确定性与训练动态的大规模数据集剪枝方法,在 ImageNet-1K/21K 及 Swin Transformer、ConvNeXt 上实现25%无损剪枝并优于现有方法。
2024-06-14 cs.CV cs.LG
Exploring the Trade-Off Between Structured Pruning and Fault Tolerance in Deep Neural Networks for Space Applications
Magics Technologies;KU Leuven(鲁汶大学);Flanders Make
本文实证研究深度神经网络宽度与容错性的权衡,发现结构化剪枝虽增加单次推理故障敏感性,但缩短执行时间可抵消风险,实现节能降延迟且不损可靠性,为空间AI系统设计提供指导。
2026-10-19 cs.LG
Mitigating Catastrophic Forgetting in Large Language Models with Forgetting-aware Pruning
Ant Group(蚂蚁集团)
提出遗忘感知剪枝度量(FAPM),通过任务向量与预训练参数比率量化灾难性遗忘并融入剪枝标准,在八个数据集上实现仅0.25%遗忘和99.67%下游准确率,无需修改训练或架构。
2025-09-10 cs.LG
Exploring Weight Importance and Hessian Bias in Model Pruning
University of California, Riverside(加州大学河滨分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
模型修剪是构建紧凑且计算效率高的机器学习模型的必要步骤。好的剪枝算法的一个关键特征是它精确地量化了模型权重的相对重要性。虽然模型修剪有着丰富的历史,但即使对于涉及线性模型或浅层神经网络的相对简单的问题,我们仍然没有完全掌握修剪机制。在这项工作中,我们提供了一个原则性的探索修剪建立在一个自然的概念的重要性。对于线性模型,我们证明了这种重要性的概念是由协方差缩放捕获的,协方差缩放连接到著名的基于Hessian的修剪。然后,我们推导出渐近公式,使我们能够精确地比较不同的修剪方法的性能。对于神经网络,我们证明了重要性可以与较大的幅度和适当的初始化是至关重要的幅度为基础的修剪。具体来说,我们确定的设置中,权重变得更重要,尽管变得更小,这反过来又导致了灾难性的失败幅度为基础的修剪。我们的研究结果还阐明,隐式正则化的Hessian结构的形式有一个催化剂的作用,在确定重要的权重,这决定了修剪性能。
2020-06-19 cs.LG stat.ML
Exploring Federated Pruning for Large Language Models
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学);Sun Yat-sen University(中山大学);Guangming Laboratory(光明实验室);Hangzhou Dianzi University(杭州电子科技大学)
针对现有LLM剪枝需公开校准样本、不适用于隐私敏感场景的问题,提出联邦剪枝框架FedPrLLM,通过客户端共享本地剪枝掩码实现隐私保护的协同剪枝,并通过实验确定了该框架下的最优剪枝方案。
2025-05-19 cs.AI cs.LG
Output-aware Residual Stream Pruning for Large Language Models
Vanderbilt University(范德比尔特大学)
提出一种敏感性感知的残差流剪枝方法,通过输出KL散度的二阶近似和谱上界,将子空间选择简化为特征分解,在多个指令微调模型上优于仅基于激活的剪枝,提升困惑度和下游任务性能。
2026-10-02 cs.LG
Junk DNA Hypothesis: Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs
University of Surrey;Eindhoven University of Technology;University of Texas at Austin;Intel Labs;University of Oxford
该研究提出垃圾DNA假说,指出LLM预训练权重中存在关键知识,修剪小权重会单调损害困难下游任务性能,且即使允许持续训练也无法弥补损失。
2026-04-30 cs.AI cs.LG
Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models
Databricks;MIT(麻省理工学院);DatologyAI
本文研究了使用小型语言模型基于 perplexity 进行数据剪枝的有效性,发现其能显著提升大模型下游任务性能并减少预训练步骤,且在过训练和数据受限场景下同样有效。
2024-05-30 cs.CL cs.LG
Exploring Vision Neural Network Pruning via Screening Methodology
Department of Statistics(统计学系);Florida State University(佛罗里达州立大学);GPU ML Accelerator Team(GPU ML 加速器团队);Qualcomm Inc.(高通公司)
本文提出一种通过统计分析组件显著性进行剪枝的框架,减少存储和计算需求,同时保持模型精度,适用于全连接网络和卷积网络。
2026-04-29 cs.LG stat.ML
One-Shot Pruning for Fast-adapting Pre-trained Models on Devices
University of Technology Sydney(悉尼科技大学)
本文提出一种可扩展的一次性剪枝方法,利用相似任务的剪枝知识生成分数掩码,从预训练模型中提取可快速适应新任务的子网络,在CNNs和ViT上以更少的训练迭代实现了优于主流剪枝基线的准确率与效率。
2023-07-10 cs.CV cs.LG
Learning from Complexity: Exploring Dynamic Sample Pruning of Spatio-Temporal Training
HKUST(GZ)(香港科技大学(广州))
本文提出ST-Prune方法,通过动态样本修剪提升时空预测任务的训练效率和模型性能。
2026-03-02 cs.AI cs.LG stat.ML
To prune, or not to prune: exploring the efficacy of pruning for model compression
Stanford University(斯坦福大学);Google Inc.(谷歌公司)
模型修剪试图在深度神经网络的各种连接矩阵中引入稀疏性,从而减少模型中非零值参数的数量。最近的报告(Han等人,2015; Narang等人,2017年)修剪深度网络的成本只有边际损失的准确性,并实现了相当大的减少模型的大小。这暗示了这些实验中的基线模型可能在一开始就被严重过度参数化的可能性,并且模型压缩的可行替代方案可能是简单地减少隐藏单元的数量,同时保持模型的密集连接结构,从而在模型大小和准确性方面暴露出类似的权衡。我们在资源受限环境中的节能推理的背景下研究了这两种不同的模型压缩路径,并提出了一种新的渐进修剪技术,该技术简单而直接,可以在各种模型/数据集上应用,只需最小的调整,并且可以无缝地融入训练过程。我们比较了大的,但修剪模型(大稀疏)和它们的较小,但密集(小密集)具有相同的内存占用的准确性。在广泛的神经网络架构(深度CNN,堆叠LSTM和seq 2seq LSTM模型)中,我们发现大型稀疏模型始终优于小型密集模型,并在准确性损失最小的情况下实现非零参数数量减少10倍。
2017-11-13 cs.LG stat.ML
Weight, Block or Unit? Exploring Sparsity Tradeoffs for Speech Enhancement on Tiny Neural Accelerators
Bose Corp.(博士音响公司);University of Oldenburg(奥尔登堡大学)
我们探索网络稀疏化策略,目的是将神经语音增强(SE)压缩到新一代基于低功耗微控制器的神经加速器(microNPU)的最佳配置。我们研究了三种独特的稀疏结构:权重修剪,块修剪和单元修剪,并讨论了它们的优点和缺点时,适用于SE。我们专注于计算吞吐量,内存占用和模型质量之间的相互作用。我们的方法支持上述所有三种结构,并联合学习整数量化权重和稀疏性。此外,我们展示了离线幅度为基础的修剪整数量化模型作为性能基线。虽然有效的语音增强是一个活跃的研究领域,我们的工作是第一个应用块修剪SE和第一个解决SE模型压缩的microNPU的上下文中。使用权重修剪,我们表明我们能够将已经紧凑的模型的内存占用从3.7MB压缩到87kB,同时仅损失0.1 dB SDR的性能。我们还显示了6.7倍的计算加速比,使用块修剪时相应的SDR下降仅为0.59 dB SDR。
2021-11-09 cs.LG cs.SD eess.AS
Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation
Northwestern University(西北大学)
现有的修剪深度神经网络的方法集中于去除训练网络的不必要的参数,并且之后对模型进行微调以找到恢复训练模型的初始性能的好的解决方案。与其他工作不同,我们的方法特别注意压缩模型中的解的质量和通过修剪神经元的推理计算时间。该算法通过探索Hessian的谱半径来指导压缩模型的参数朝向更平坦的解,从而在看不见的数据上产生更好的泛化。此外,该方法不与预先训练的网络一起工作,并且同时执行训练和修剪。我们的结果表明,它改善了神经元压缩的最先进的结果。该方法能够实现非常小的网络,在不同的神经网络模型的精度下降很小。
2021-11-16 cs.LG
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
Stanford University(斯坦福大学);NVIDIA(英伟达);Tsinghua University(清华大学)
稀疏性通过跳过零来帮助降低深度神经网络的计算复杂性。利用稀疏性被列为下一代DNN加速器(如TPU)的高优先级。稀疏性的结构,即,修剪的粒度影响硬件加速器设计的效率以及预测的准确性。粗粒度修剪创建规则的稀疏模式,使其更适合硬件加速,但保持相同的精度更具挑战性。在本文中,我们定量地衡量稀疏规律性和预测精度之间的权衡,提供了如何保持准确性,同时有更多的结构化稀疏模式的见解。我们的实验结果表明,粗粒度的修剪可以实现类似于非结构化修剪的稀疏率,而不会损失准确性。此外,由于索引节省效果,粗粒度修剪能够获得比细粒度稀疏在相同的精度阈值更好的压缩比。基于最近的稀疏卷积神经网络加速器(SCNN),我们的实验进一步证明,与细粒度稀疏相比,粗粒度稀疏节省了约2倍的内存引用。由于存储器访问比算术运算贵两个数量级以上,稀疏结构的规则性导致更有效的硬件设计。
2017-06-05 cs.LG stat.ML
Exploring Gradient Flow Based Saliency for DNN Model Compression
City University of Hong Kong(香港城市大学);Baidu USA LLC(百度美国有限责任公司)
模型修剪旨在减少深度神经网络(DNN)模型大小或计算开销。传统的模型修剪方法,例如评估DNN的通道重要性的l-1修剪,过于关注每个通道的局部分析,并利用整个特征的幅度,而忽略了其与每个卷积操作后的批量归一化(BN)和ReLU层的相关性。为了克服这些问题,本文从梯度流的角度提出了一种新的模型剪枝方法。具体来说,我们首先基于泰勒展开,通过整合BN层和ReLU激活函数的影响,从理论上分析了沟道的影响。然后,建议在BN层中合并缩放参数和移位参数的一阶Talyor多项式,以有效地指示DNN中的通道的重要性。在图像分类和图像去噪两个任务上的综合实验证明了所提出的新理论和方案的优越性。代码可在https://github.com/CityU-AIM-Group/GFBS上获得。
2021-10-24 cs.CV cs.LG
Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning
The Hong Kong Polytechnic University(香港理工大学)
最近的研究表明,即使是高度偏置的稠密网络也包含一个无偏的子结构,可以实现比原始模型更好的分布外(OOD)泛化。现有的工作通常使用模块化风险最小化(MRM)与域外数据搜索的不变子网络。这样的范例可能会带来两个潜在的弱点:1)不公平,由于在训练期间对域外数据的观察不足;以及2)次优OOD泛化,由于对整个数据分布的特征非目标模型修剪。在本文中,我们提出了一种新的虚假目标模型剪枝框架,称为SFP,自动探索不变的子结构,而不涉及上述弱点。具体来说,SFP在训练过程中使用我们理论上验证的任务丢失来识别分布(ID)特征,在此基础上,SFP可以执行ID目标模型修剪,删除对ID特征具有强依赖性的分支。值得注意的是,通过衰减虚假特征到模型空间的投影,SFP可以将模型学习推向不变特征,并将其从环境特征中提取出来,从而设计出最佳的OOD泛化。此外,我们还进行了详细的理论分析,提供了合理性保证和证明框架的OOD结构通过模型稀疏性,并首次揭示了如何高度偏置的数据分布影响模型的OOD推广。在各种面向对象数据集上的大量实验表明,SFP可以显著优于基于结构和非结构的面向对象泛化SOTA,准确率分别提高了4.72%和23.35%。
2022-12-19 cs.AI cs.LG stat.ML
Exploring Token Pruning in Vision State Space Models
Northeastern University(东北大学);University of Georgia(佐治亚大学);Harvard University(哈佛大学)
本文针对视觉状态空间模型提出专用令牌剪枝方法,通过剪枝感知的隐藏状态对齐和适配SSM的令牌重要性评估,在保持性能的同时显著降低计算量。
2024-09-27 cs.AI cs.CV cs.LG
Optimizing AD Pruning of Sponsored Search with Reinforcement Learning
Baidu(百度)
工业赞助式搜索系统在逻辑上可以分为三个模块:关键词匹配、广告检索和排名。在广告检索期间,广告候选者呈指数增长。具有高商业价值的查询可能检索到大量广告候选,使得排名模块无法负担。由于有限的延迟和计算资源,候选者必须更早地被修剪。假设我们设置一条修剪线,将SSS分为两部分:上游和下游。我们要解决的问题是:如何从上游提供的$N$候选项中挑选出最好的$K$项,以最大化整个系统的收益。由于下游产业的复杂性和更新速度快,在这个问题中,一个关键的限制是选择方案应适应下游。在本文中,我们提出了一种新的无模型强化学习方法来解决这个问题。我们的方法认为下游作为一个黑箱环境,和代理顺序选择项目,并最终进入下游,收入将估计和作为奖励,以改善选择政策。据我们所知,这是第一次从下游适应的角度考虑系统优化。这也是第一次使用强化学习技术来解决这个问题。这一思想已经在百度赞助搜索系统中得到了成功的实现,并且在线长时间的A/B测试显示收入有了显著的提高。
2020-08-05 cs.IR cs.LG stat.ML
SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
Qwen Team, Alibaba Inc.(通义实验室,阿里公司);MBZUAI;KAUST(卡士大学)
本文研究了在大规模预训练中如何应用剪枝和知识蒸馏技术,探讨了剪枝在初始化方面的优势、专家压缩对最终模型的影响以及训练策略的有效性,最终将Qwen3-Next-80A3B压缩到23A2B模型并保持竞争力。
2026-05-18 cs.AI cs.CL cs.LG
Exploring The Neural Burden In Pruned Models: An Insight Inspired By Neuroscience
University of Science and Technology of China(中国科学技术大学);China Mobile(SuZhou)Software Technology Co.,Ltd.(中国移动(苏州)软件技术有限公司)
受神经科学启发,提出Neural Burden概念以解释训练期间剪枝导致的性能下降,并设计了一种通用且有效的方法来缓解该问题。
2024-07-27 cs.CV cs.LG cs.NE
Pruning Pre-trained Language Models Without Fine-Tuning
Beihang University(北京航空航天大学);Tencent(腾讯);Zhongguancun Laboratory(中关村实验室)
针对预训练语言模型剪枝中微调冗余的问题,提出静态模型剪枝(SMP),仅利用第一阶信息进行剪枝以适配下游任务,并设计新掩码函数和训练目标,在多稀疏度下显著优于基线且参数效率更高。
2023-05-16 cs.CL cs.LG
Pruning Convolutional Neural Networks with Self-Supervision
Facebook AI Research(脸书人工智能研究院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
在没有监督的情况下训练的卷积神经网络接近于有监督的预训练的性能,但有时会以更高数量的参数为代价。从这些大型无监督convnets中提取子网络并保持性能是特别感兴趣的,以使它们的计算强度更低。典型的修剪方法在任务的训练期间操作,同时试图保持修剪后的网络在同一任务上的性能。然而,在自监督特征学习中,训练目标对下游任务的表示可转移性是不可知的。因此,为这个目标保留性能并不能确保修剪后的子网络仍然有效地解决下游任务。在这项工作中,我们研究了使用标准的修剪方法,主要是为监督学习,网络训练没有标签(即自我监督任务)。我们发现,在标签上重新训练时,使用或不使用标签获得的修剪掩码达到了相当的性能,这表明修剪对于自监督学习和监督学习的操作类似。有趣的是,我们还发现修剪保留了自监督子网络表示的传输性能。
2020-01-10 cs.CV cs.LG cs.NE
Reweighted Proximal Pruning for Large-Scale Language Representation
Northeastern University(东北大学);MIT-IBM Watson AI Lab, IBM Research(IBM研究院 MIT-IBM沃森人工智能实验室);United States Federal Aviation Administration(美国联邦航空管理局)
最近,预先训练的语言表示成为自然语言理解社区的支柱,例如,BERT。这些预先训练的语言表示可以在广泛的下游任务中创建最先进的结果。随着性能的持续显著提高,这些预先训练的神经模型的大小和复杂性继续迅速增加。有没有可能压缩这些大规模的语言表示模型?修剪后的语言表征将如何影响下游的多任务迁移学习目标?在本文中,我们提出了重新加权邻近修剪(RPP),一个新的修剪方法专门设计的大规模语言表示模型。通过在SQuAD和GLUE基准测试集上的实验,我们证明了近端剪枝的BERT在高剪枝率下对预训练任务和下游多个微调任务都保持了高的准确率。RPP提供了一个新的视角来帮助我们分析大规模语言表征可能学习什么。此外,RPP使得可以在一系列不同的设备上部署大型的最先进的语言表示模型,例如BERT(例如,在线服务器、移动电话和边缘设备)。
2019-12-23 cs.CL cs.LG cs.NE
A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文提出首个可证明高效的微调MoE模型专家剪枝方法,通过优先剪枝路由器l2范数变化较小的专家,在保证测试准确率的同时显著减少模型规模与计算需求,并在VMoE等大型视觉模型上验证有效。
2024-05-30 cs.LG
Adapting by Pruning: A Case Study on BERT
使预训练的神经模型适应下游任务已成为获得高质量模型的标准做法。在这项工作中,我们提出了一种新的模型自适应范式,通过修剪进行自适应,修剪预训练模型中的神经连接以优化目标任务的性能;所有剩余的连接都保持其权重不变。我们制定适应修剪作为一个可微损失的优化问题,并提出了一个有效的算法来修剪模型。我们证明了该算法在标准假设下是接近最优的,并应用该算法来适应BERT的一些GLUE任务。结果表明,我们的方法可以修剪高达50%的权重在BERT,同时产生类似的性能相比,微调完整的模型。我们还比较了我们的方法与其他国家的最先进的修剪方法,并研究其所获得的子网络的拓扑差异。
2021-05-07 cs.CL cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University(北京航空航天大学);The Institute of Acoustics of the Chinese Academy of Sciences(中国科学院声学研究所);Microsoft(微软)
稀疏混合专家模型(MoE)模型是强大的大规模预训练,并取得了可喜的成果,由于其模型容量。然而,由于参数数以万亿计,MoE很难部署在云或移动环境中。MoE的推理需要专家并行,这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务,这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中,我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法,逐步下降的目标下游任务的非专业专家,它保留了MoE的好处,同时减少MoE模型到一个单一的专家密集模型。我们的实验表明,微调的单专家模型可以保留99.3%的利益,从MoE在六种不同类型的任务,同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
The Road to On-board Change Detection: A Lightweight Patch-Level Change Detection Network via Exploring the Potential of Pruning and Pooling
Tsinghua University(清华大学)
针对星上计算资源受限问题,提出轻量级补丁级变化检测网络LPCDNet,通过通道剪枝和特征压缩快速筛除未变化补丁,在Jetson AGX Orin上速度超1000帧/秒,内存成本降低60%以上。
2023-10-16 cs.CV cs.LG
Exploring the Limits of Large Scale Pre-training
Google Research(谷歌研究院)
大规模机器学习的最新发展表明,通过适当地扩大数据、模型大小和训练时间,人们可能会观察到预训练的改进将有利地转移到大多数下游任务。在这项工作中,我们系统地研究这种现象,并建立,因为我们增加上游的准确性,下游任务的性能饱和。特别是,我们研究了视觉Transformer,MLP混合器和ResNets的4800多个实验,参数数量从1000万到100亿不等,在最大规模的可用图像数据(JFT,ImageNet21 K)上进行训练,并在20多个下游图像识别任务上进行评估。我们提出了一个下游性能模型,反映了饱和现象,并捕捉上游和下游任务的性能的非线性关系。深入研究,以了解引起这些现象的原因,我们表明,我们观察到的饱和行为是密切相关的方式表示通过模型的层演变。我们展示了一个更极端的场景,其中上游和下游的性能相互矛盾。也就是说,为了获得更好的下游性能,我们需要损害上游精度。
2021-10-05 cs.AI cs.CV cs.LG
Exploring the Impact of a Transformer's Latent Space Geometry on Downstream Task Performance
University of Montana(蒙大拿大学);College of Business, University of Montana(蒙大拿大学商学院);R. Ken Coit College of Pharmacy, University of Arizona(亚利桑那大学R. Ken Coit药学院)
本研究探究Transformer潜空间几何特征与下游任务性能的关联,发现量化单元密度与GLUE平均性能强相关,可用于预测非标准BERT类模型性能,为降低预训练需求提供新思路。
2024-06-18 cs.CL cs.LG
MultiPruner: Balanced Structure Removal in Foundation Models
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本研究针对大型预训练模型免训练剪枝问题,在BlockPruner基础上提出MultiPruner,通过残差块、MLP通道、注意力头三维迭代细粒度剪枝恢复结构平衡,兼顾压缩率与下游零样本准确率,在多类模型上验证了优势。
2025-01-17 cs.AI cs.LG
Systematic Characterization of Minimal Deep Learning Architectures: A Unified Analysis of Convergence, Pruning, and Quantization
School of Computing, Newcastle University(新castle大学计算机学院);VSB-Technical University of Ostrava(奥斯特拉瓦技术大学);Queen Mary University of London(伦敦女王玛丽大学);University of Florida(佛罗里达大学);University of Catania(卡塔尼亚大学)
本文通过系统分析深度学习架构的收敛性、剪枝和量化特性,揭示了最小可学习参数与模型稳定性之间的关系,为图像分类任务中的紧凑模型设计提供了指导。
2026-01-25 cs.CV cs.LG
On the Effect of Dropping Layers of Pre-trained Transformer Models
Dalhousie University(达尔豪斯大学);Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
基于transformer的NLP模型使用数亿甚至数十亿个参数进行训练,限制了它们在计算受限环境中的适用性。虽然参数的数量通常与性能相关,但尚不清楚下游任务是否需要整个网络。受最近关于修剪和提取预训练模型的工作的启发,我们探索了在预训练模型中删除层的策略,并观察修剪对下游GLUE任务的影响。我们能够将BERT、RoBERTa和XLNet模型修剪高达40%,同时保持高达98%的原始性能。此外,我们表明,我们的修剪模型与那些使用知识蒸馏,无论是在规模和性能方面。我们的实验产生了有趣的观察结果,例如,(i)较低的层对于维持下游任务性能是最关键的,(ii)一些任务,如释义检测和句子相似性对层的丢弃更鲁棒,以及(iii)使用不同目标函数训练的模型表现出不同的学习模式和层丢弃。
2022-08-13 cs.CL cs.LG
Exploring Task Performance with Interpretable Models via Sparse Auto-Encoders
The University of Sheffield(谢菲尔德大学);Tianjin University(天津大学);University of Manchester(曼彻斯特大学);Kyushu University(九州大学);City University of Hong Kong(香港城市大学)
本研究利用稀疏自编码器分解大型语言模型,提取单语义特征以识别内部误解,并通过自动重构提示词提升数学推理和隐喻检测等下游任务性能。
2025-07-08 cs.CL cs.LG
Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning
Michigan State University(密歇根州立大学);Cisco Research(思科研究院);University of Minnesota, Twin City(明尼苏达大学双城分校);UC Santa Barbara(加州大学圣巴巴拉分校)
针对迁移学习中的数据集剪枝问题,提出label mapping和feature mapping两种新方法,可剪枝40%-80%源数据且不损失下游性能,实现2-5倍预训练加速。
2023-11-18 cs.AI cs.LG
Exploring the Role of Task Transferability in Large-Scale Multi-Task Learning
New York University(纽约大学);AWS AI(AWS人工智能);AWS AI Labs(AWS人工智能实验室)
最近的工作发现,具有大量不同任务的多任务训练可以均匀地提高看不见的目标任务的下游性能。相反,关于任务可转移性的文献已经确定,中间任务的选择会严重影响下游任务的绩效。本研究旨在探讨多任务表示学习中任务规模和任务关联性的影响。我们发现,平均而言,增加多任务学习的规模,就任务的数量而言,确实会比较小的多任务设置更好地学习表示。然而,如果目标任务是提前知道的,那么在较小的相关任务集合上进行训练与大规模多任务训练相比具有竞争力,并且计算成本降低。
2022-07-12 cs.CL cs.LG
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
最近,微调预训练的语言模型(例如,多语言BERT)到下游跨语言任务的转换已经显示出有希望的结果。然而,微调过程不可避免地改变了预训练模型的参数,并削弱了其跨语言能力,这导致了次优性能。为了缓解这个问题,我们利用持续学习来保留预训练模型的原始跨语言能力,当我们微调它到下游任务时。实验结果表明,我们的微调方法可以更好地保持跨语言能力的预训练模型在句子检索任务。我们的方法在zero-shot跨语言词性标注和命名实体识别任务上也取得了比其他微调基线更好的性能。
2020-10-04 cs.CL cs.LG
Beyond Efficiency: Molecular Data Pruning for Enhanced Generalization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Tongji University(同济大学)
针对分子任务中预训练模型下传统数据剪枝不兼容的问题,本文提出无源数据剪枝框架 MolPeg,通过双模型损失差异评分样本信息量,在多个下游任务上超越现有方法,即使剪枝 60-70% 数据仍优于全量训练。
2024-09-02 cs.AI cs.LG q-bio.BM
Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出Instant Soup剪枝(ISP),通过弱掩码生成与聚合在单次遍历中低成本生成彩票质量子网络,在CLIP和BERT上验证有效性。
2023-06-18 cs.CV cs.LG
PADA: Pruning Assisted Domain Adaptation for Self-Supervised Speech Representations
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);University of Maryland, College Park(马里兰大学帕克分校)
针对自监督语音模型过拟合源域的问题,提出PADA框架,通过跨域任务相关剪枝(CD-TAW)清零冗余权重,在2小时Switchboard数据上实现最高20.6%的相对WER改进。
2023-05-13 cs.CL cs.LG cs.SD
Exploring Fluent Query Reformulations with Text-to-Text Transformers and Reinforcement Learning
The Vanguard Group(先锋集团);University of Toronto(多伦多大学)
查询重构的目的是将嘈杂或模糊的文本序列转换为更接近自然语言问题的连贯文本序列。这是为了防止错误在面向客户端的管道中传播,并促进与用户的更好沟通。此外,在下游环境(如问答)中,当重新措辞的查询作为输入时,保持性能至关重要。我们表明,在以前的框架(AQA),试图改变RL算法不会带来显着的好处,无论是奖励收购或序列流畅性。相反,我们利用一个查询重构文本到文本的Transformer(QRT 5),并应用基于策略的RL算法来进一步推动这个重构器,并通过生成奖励获取查询轨迹来获得更好的下游答案。QRT 5在RL中显示出更好的样本效率,以实现与先前方法相同的QA性能水平。它可以基于查询良构性评估生成更具可读性的重构,并可以推广到样本外数据。我们的框架被证明是灵活的,允许奖励信号来自不同的下游环境,如意图分类。
2021-07-04 cs.AI cs.CL cs.LG
Exploring Efficient-tuning Methods in Self-supervised Speech Models
National Taiwan University(国立台湾大学);Amazon AI(亚马逊人工智能)
在这项研究中,我们的目标是探索有效的语音自监督学习的调整方法。最近的研究表明,自监督学习(SSL)可以学习不同的语音任务的强大的表示。然而,为每个下游任务微调预训练模型是参数效率低下的,因为SSL模型非常大,有数百万个参数。适配器是NLP中常用的轻量级模块,用于解决这个问题。在下游任务中,SSL模型的参数被冻结,并且只训练适配器。由于缺乏研究,一般探索适配器的自我监督语音任务的有效性,我们打算通过在预训练的语音SSL模型中添加各种适配器模块来填补这一空白。我们表明,性能的奇偶校验可以实现超过90%的参数减少,并讨论了有效的调整技术的优点和缺点。这是第一次全面调查各种适配器类型的语音任务。
2023-01-30 cs.LG cs.SD eess.AS
The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning
提出图灵测试网络(TTN)作为任务无关的“裁判”,通过对抗性交互在数据集上下文中评估伪标签,无需监督或重训练即可提升标签准确性,并实现零样本任务迁移。
2026-07-01 cs.AI cs.CV cs.LG
Enhancing Vision-Language Model Pre-training with Image-text Pair Pruning Based on Word Frequency
Radboud University(拉德堡德大学)
提出无需元数据、依据词频剪枝高频词图文对的 WFPP 方法,通过均衡词频分布并结合全量数据微调,提升 CLIP 等 VLM 的下游性能与预训练效率。
2024-12-10 cs.AI cs.CL cs.CV
Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本研究提出定向结构化剪枝与动态批次加载技术,将LLaMA2-7B剪枝为1.3B/2.7B参数的Sheared-LLaMA系列,性能优于同等规模开源模型,算力仅为从头训练的3%,为低成本构建高性能小模型提供新路径。
2024-04-11 cs.AI cs.CL cs.LG