GraSS: Scalable Data Attribution with Gradient Sparsification and Sparse Projection
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Womp Labs(Womp实验室);Carnegie Mellon University(卡内基梅隆大学)
针对基于梯度的数据归因方法逐样本梯度计算成本高、可扩展性受限的问题,提出利用梯度固有稀疏性的GraSS算法及线性层变体FactGraSS,实现亚线性复杂度,在十亿级模型上吞吐量较最优基线最高提升165%。
2025-10-28 cs.AI cs.LG
Large-scale semi-supervised learning with online spectral graph sparsification
Inria Lille – Nord Europe(Inria里尔–北欧)
本文提出Sparse-HFS算法,通过O(n polylog(n))空间和O(m polylog(n))时间高效解决半监督学习问题。
2026-10-06 cs.LG stat.ML
Connectivity-Guided Sparsification of 2-FWL GNNs: Preserving Full Expressivity with Improved Efficiency
针对2-FWL高阶图神经网络计算复杂度高、现有提速方法损失表达能力的问题,提出Co-Sparsify连通性引导稀疏化框架,在保留完整2-FWL表达力的同时削减冗余计算,在多个基准上取得最优性能。
2025-11-16 cs.AI cs.LG
Distributed Link Sparsification for Scalable Scheduling Using Graph Neural Networks (Journal Version)
Department of Electrical and Computer Engineering, Rice University(电气与计算机工程系,里士满大学);DEVCOM Army Research Laboratory (ARL)(陆军研究实验室(ARL))
针对密集无线网络中分布式链路调度开销大的问题,提出基于图神经网络的分布式链路稀疏化方案,通过离线约束无监督学习调整竞争阈值,在保持网络容量的同时降低开销,实验验证了其有效性。
2025-09-05 cs.DM cs.LG cs.NI
Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification
Institute of Communications Engineering, National Tsing Hua University(国立清华大学通信工程研究所);University of Electronic Science and Technology of China(电子科技大学);Singapore University of Technology and Design(新加坡科技设计大学);Yonsei University(延世大学)
针对非凸非光滑联邦学习中通信效率与隐私保护的冲突,提出带双向模型稀疏化和差分隐私保证的联邦原始-对偶算法,并通过收敛分析与真实数据实验验证其优越性。
2024-04-03 cs.LG
Complement Sparsification: Low-Overhead Model Pruning for Federated Learning
New Jersey Institute of Technology(新泽西理工学院)
联邦学习(FL)是一种隐私保护的分布式深度学习范例,涉及大量的通信和计算工作,这对于资源受限的移动和IoT设备是一个问题。模型修剪/稀疏化开发了可以解决这个问题的稀疏模型,但是现有的稀疏化解决方案不能同时满足服务器和客户端之间的低双向通信开销、客户端处的低计算开销以及良好的模型准确性的要求,在FL假设下,服务器不能访问原始数据来微调修剪的模型。我们提出了补充稀疏化(CS),修剪机制,满足所有这些要求,通过在服务器和客户端完成的互补和协作修剪。在每一轮,CS创建一个全局稀疏模型,其中包含捕获所有客户端的一般数据分布的权重,而客户端创建局部稀疏模型,其中权重从全局模型中删除,以捕获局部趋势。为了提高模型性能,这两种类型的互补稀疏模型在每一轮中被聚合为密集模型,然后在迭代过程中对其进行修剪。CS在服务器和客户端的vanilla FL之上只需要很少的计算开销。我们证明,CS是香草FL的近似,因此,其模型表现良好。我们评估CS实验与两个流行的FL基准数据集。CS实现大幅减少双向通信,同时实现性能与香草FL。此外,CS优于基线修剪机制FL。
2023-03-10 cs.AI cs.DC cs.LG
Feather: An Elegant Solution to Effective DNN Sparsification
School of ECE, NTUA(希腊国家技术大学电气与计算机工程学院)
提出Feather稀疏训练模块,利用直通估计器、新阈值算子和梯度缩放技术,在标准训练中实现高效稳健的DNN稀疏化,在ImageNet上以ResNet-50达到最先进的Top-1准确率。
2023-10-03 cs.LG
Sparsified Secure Aggregation for Privacy-Preserving Federated Learning
University of California, Riverside(加州大学河滨分校)
安全聚合是隐私保护联邦学习中的一种流行协议,它允许模型聚合,而不会公开单个模型。另一方面,传统的安全聚合协议会产生显著的通信开销,这可能成为现实世界中带宽受限应用的主要瓶颈。为了解决这一挑战,在这项工作中,我们提出了一个轻量级的梯度稀疏化框架的安全聚合,其中服务器从大量的用户学习稀疏化的本地模型更新的聚合,但不学习个别参数。我们的理论分析表明,所提出的框架可以显着减少安全聚合的通信开销,同时确保相当的计算复杂性。我们进一步确定了由于稀疏化的隐私和通信效率之间的权衡。我们的实验表明,与传统的安全聚合基准相比,我们的框架将通信开销降低了7.8倍,同时还将挂钟训练时间加快了1.13倍。
2021-12-23 cs.CR cs.DC cs.IT
Efficient Distributed Training through Gradient Compression with Sparsification and Quantization Techniques
Washington State University(华盛顿州立大学);Amazon(亚马逊)
本研究探究稀疏化(top-k、DGC)和量化(QSGD)梯度压缩对分布式训练的影响,发现50倍压缩的top-k和DGC可提升性能、减少通信时间,保守稀疏化具正则化效果,为分布式训练超参数调优提供参考。
2024-12-07 cs.LG cs.MM
SAL: Selective Adaptive Learning for Backpropagation-Free Training with Sparsification
ROCK AI(ROCK人工智能)
SAL通过选择性参数激活与自适应区域划分,实现无反向传播的高效训练,提升分类性能并适用于大规模深度模型。
2026-01-29 cs.AI cs.LG
Near-Optimal Sparse Allreduce for Distributed Deep Learning
Department of Computer Science, ETH Zurich(计算机科学系,苏黎世联邦理工学院)
本文提出 O$k$-Top$k$ 方案,通过渐近最优的稀疏 allreduce 算法与去中心化 SGD 结合,并利用阈值估计高效选择 top-$k$ 梯度,在保持模型精度的同时显著提升分布式深度学习训练吞吐量和可扩展性。
2025-08-21 cs.DC cs.LG
Neural Network Pruning as Spectrum Preserving Process
New Jersey Institute of Technology(新泽西理工学院)
针对神经网络剪枝缺乏统一理论基础的问题,该研究提出权重剪枝本质是保持矩阵谱的稀疏化过程,设计了专用剪枝算法并通过实验验证,为剪枝提供了统一视角并提升了模型可解释性。
2023-07-18 cs.LG cs.NE
The Convergence of Sparsified Gradient Methods
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);KTH(瑞典皇家理工学院)
通过随机梯度下降(SGD)对大规模机器学习模型(特别是深度神经网络)进行分布式训练正变得越来越普遍。已经提出了几种减少通信的方法,如量化、大批量方法和梯度稀疏化。到目前为止,梯度稀疏化方法-其中每个节点按大小对梯度进行排序,并且只传递分量的子集,在本地累积其余分量-被称为产生一些最大的实际收益。这种方法可以将每步的通信量减少多达三个数量级,同时保持模型的准确性。然而,这一系列的方法目前还没有理论依据。这就是我们在本文中要解决的问题。我们证明,在分析假设下,稀疏梯度的幅度与局部误差校正提供了收敛保证,凸和非凸光滑的目标,数据并行SGD。主要的见解是,稀疏化方法隐式地保持了陈旧更新的最大影响的界限,这要归功于按大小选择。我们的分析和实证验证也表明,这些方法确实需要分析条件收敛良好,证明现有的算法。
2018-09-27 cs.DC cs.LG stat.ML
SAU: Sparsity-Aware Unlearning for LLMs via Gradient Masking and Importance Redistribution
School of Computer Science and Artificial Intelligence, Wuhan University of Technology(武汉理工大学计算机科学与人工智能学院);University of California San Diego(加州大学圣地亚哥分校)
本文提出SAU方法,通过梯度掩码和重要性再分配解决稀疏模型中反学习效果下降问题,提升模型遗忘能力并保持实用性。
2026-04-01 cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning
HKUST(香港科技大学);WeBank(微众银行);Tsinghua University(清华大学)
同态加密(HE)是一种很有前途的隐私保护技术,用于跨筒仓联邦学习(FL),其中组织对分散的数据进行协作模型训练。尽管有很强的隐私保证,一般的HE方案导致显着的计算和通信开销。之前的工作使用批量加密来解决这个问题,但它在减轻通信开销方面仍然不是最佳的,并且与稀疏化技术不兼容。在本文中,我们提出了FLASHE,一个HE计划量身定制的跨筒仓FL。为了捕获的安全性和功能的最低要求,FLASHE下降的非对称密钥的设计,只涉及模加操作与随机数。根据是否容纳稀疏化技术,FLASHE在计算效率方面使用不同的方法进行优化。我们已经在FATE上实现了FLASHE作为一个可插拔模块,FATE是一个跨竖井FL的工业平台。与明文训练相比,FLASHE稍微增加了$\leq6\%$的训练时间,而没有通信开销。
2021-09-29 cs.CR cs.DC cs.LG
Scalable Topology-Preserving Graph Coarsening: Concepts and Algorithms
Department of Computer Science, Beijing Institute of Technology(北京理工大学计算机科学系)
针对现有拓扑保持图粗化方法时间复杂度高的问题,提出基于代数拓扑的图强坍缩和图边坍缩概念的可扩展拓扑保持图粗化(STPGC),通过三种新算法消除主导节点和边,严格保持拓扑特征,并证明其保持GNN感受野,加速GNN训练。
2026-05-29 cs.LG
Partitioning sparse deep neural networks for scalable training and inference
University of Warwick(华威大学)
最先进的深度神经网络(DNN)具有显著的计算和数据管理要求。训练数据和模型的大小都在持续增加。稀疏化和修剪方法被证明是有效的,在DNN中删除大部分连接。由此产生的稀疏网络提出了独特的挑战,以进一步提高深度学习中训练和推理的计算效率。用于训练稀疏DNN的随机梯度下降(SGD)算法中的前馈(推断)和反向传播步骤都涉及连续的稀疏矩阵向量乘法(SpMV)。我们首先介绍了一个分布式内存并行SpMV为基础的SGD算法的解决方案,以提高其可扩展性。并行化方法是基于权值矩阵的逐行划分,权值矩阵表示连续层之间的神经元连接。然后,我们提出了一种新的超图模型划分权重矩阵,以减少总的通信量,并确保处理器之间的计算负载平衡。在稀疏DNN上进行的实验表明,所提出的解决方案是高效和可扩展的。通过利用所提出的矩阵划分方案,我们的解决方案的性能进一步显着提高。
2021-04-23 cs.AI cs.DC cs.LG
SPRITE: A Scalable Privacy-Preserving and Verifiable Collaborative Learning for Industrial IoT
Indian Institute of Engineering Science and Technology, Shibpur(希布尔印度工程科学与技术学院);University of New South Wales(新南威尔士大学)
最近,协作学习被广泛应用于工业物联网(IIoT)中生成的敏感数据建模。它使大量设备能够通过与服务器协作来集体训练全局模型,同时将数据集保持在它们各自的场所。然而,现有的方法受到高开销的限制,并且还可能遭受恶意服务器返回的伪造的聚合结果。因此,我们提出了一种可扩展、隐私保护和可验证的协作学习(SPRITE)算法,用于训练IIoT的线性和逻辑回归模型。我们的目标是通过引入雾作为中间件来减轻资源受限的IIoT设备的负担和对云的信任依赖。SPRITE采用阈值秘密共享来保证隐私保护和对IIoT设备丢失的鲁棒性,而可验证的加性同态秘密共享则确保模型聚合期间的可验证性。我们在一个诚实但好奇的环境中证明了SPRITE的安全性,在这个环境中,云是不值得信任的。我们通过理论开销分析和在具有两个真实工业数据集的IIoT用例上进行的广泛测试床实验,验证了SPRITE的可扩展性和轻量级。对于大规模工业设置,SPRITE在线性和逻辑回归方面的性能分别比竞争对手提高了65%和55%,同时将IIoT设备的通信开销降低了90%。
2022-03-22 cs.CR cs.DC cs.LG
An Efficient and Scalable Graph Condensation with Structure-Preserving
Southwest University(西南大学)
提出一种解耦节点压缩与图结构生成的保结构图压缩方法(SP-ESGC),通过热核特征传播和混合聚类策略实现高效图压缩,并利用预训练边预测器生成可迁移的结构模式,在保持高计算效率的同时提升跨GNN架构的泛化能力。
2026-05-29 cs.LG
Function Preserving Projection for Scalable Exploration of High-Dimensional Data
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
我们提出了功能保持投影(FPP),一个可扩展的线性投影技术发现可解释的关系,在高维数据。传统的降维方法旨在最大限度地保留数据集的全局和/或局部几何结构。然而,在实践中,人们通常更感兴趣的是确定如何通过数据来解释一个或多个用户选择的响应函数。为了直观地将响应与数据联系起来,FPP构建了优化的2D线性嵌入,以揭示响应函数的可解释但潜在的非线性模式。更具体地说,FPP旨在(i)产生人类可解释的嵌入;(ii)捕获非线性关系;(iii)允许同时使用多个响应函数;以及(iv)扩展到数百万个样本。在真实世界的数据集上使用FPP,人们可以获得关于大规模数据中高维关系的全新见解,这是使用现有降维方法无法实现的。
2019-09-25 cs.LG cs.NE stat.ML
Towards Scalable and Privacy-Preserving Deep Neural Network via Algorithmic-Cryptographic Co-design
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Macquarie University(麦考瑞大学);JZTData Technology(金智塔科技);Peking University(北京大学);East China Normal University(华东师范大学)
深度神经网络(DNN)在各种现实世界的应用中取得了显著的进展,特别是当提供了丰富的训练数据时。然而,数据隔离已成为当前的一个严重问题。现有的工作建立隐私保护DNN模型从算法的角度或密码学的角度。前者主要将DNN计算图在数据持有者之间或数据持有者与服务器之间拆分,具有良好的可扩展性,但存在准确性损失和潜在的隐私风险。相比之下,后者利用耗时的密码技术,具有很强的隐私保证,但可扩展性差。在本文中,我们提出了SPNN-一个可扩展和隐私保护的深度神经网络学习框架,从算法-密码学的角度。从算法的角度来看,我们将DNN模型的计算图分为两部分,即,由数据持有者执行的私有数据相关计算,以及委托给具有高计算能力的服务器的其余繁重计算。从加密的角度来看,我们建议使用两种类型的加密技术,即,秘密共享和同态加密,用于隔离的数据持有者私下地和合作地进行与私有数据相关的计算。此外,我们在分散的设置中实现SPNN,并引入用户友好的API。在真实数据集上的实验结果表明了SPNN的优越性。
2022-02-21 cs.CR cs.LG
DataLens: Scalable Privacy Preserving Training via Gradient Compression and Aggregation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zürich(苏黎世联邦理工学院)
深度神经网络(DNN)最近的成功取决于大规模数据集的可用性;然而,在此类数据集上进行训练通常会对敏感的训练信息带来隐私风险。在本文中,我们的目标是探索生成模型和梯度稀疏的权力,并提出了一个可扩展的隐私保护生成模型DATALENS。与允许教师对一维预测进行投票的标准PATE隐私保护框架相比,对高维梯度向量进行投票在隐私保护方面具有挑战性。由于需要降维技术,我们需要在(1)隐私保护的改善和(2)SGD收敛的减缓之间进行微妙的权衡。为了解决这个问题,我们利用通信有效的学习,并提出了一种新的噪声压缩和聚合方法TOPAGG相结合的top-k压缩降维与相应的噪声注入机制。我们从理论上证明了DATALENS框架保证了其生成数据的差分隐私,并分析了其收敛性。为了证明DATALENS的实际使用,我们对包括MNIST,Fashion-MNIST和高维CelebA在内的各种数据集进行了广泛的实验,我们表明,DATALENS显着优于其他基线DP生成模型。此外,我们适应提出的TOPAGG方法,这是DATALENS中的关键构建模块之一,DP SGD训练,并表明它能够实现更高的效用比国家的最先进的DP SGD方法在大多数情况下。我们的代码可在https://github.com/AI-secure/DataLens上公开获取。
2022-03-28 cs.CR cs.LG
A Scalable Approach for Privacy-Preserving Collaborative Machine Learning
University of Southern California (USC)(南加利福尼亚大学);University of California, Riverside(加州大学河滨分校)
我们考虑一个协作学习场景,其中多个数据所有者希望联合训练逻辑回归模型,同时保持他们的个人数据集对其他各方的隐私。我们提出了COPML,一个完全分散的训练框架,同时实现了可扩展性和隐私保护。COPML的核心思想是对单个数据集进行安全编码,以便在多方之间有效地分配计算负载,并以分布式方式对安全编码的数据执行训练计算和模型更新。我们提供了COPML的隐私分析,并证明其收敛性。此外,我们的实验表明,COPML可以实现显着的加速训练的基准协议。我们的协议提供了强大的统计隐私保证,对勾结各方(对手)与无限的计算能力,同时实现了$16\times$加速的训练时间对基准协议。
2020-11-03 cs.CR cs.IT cs.LG
Orchestrating Heterogeneous Experts: A Scalable MoE Framework with Anisotropy-Preserving Fusion
Institute of Intelligent Technology, Alibaba International Digital Commerce Group(智能技术研究所,阿里巴巴国际数字商务集团)
本文提出一种可扩展的MoE框架,通过协调异质专家并保持各向异性融合,提升跨境电子商务搜索相关性建模性能。
2026-02-03 cs.AI cs.IR cs.LG
Harnessing Wireless Channels for Scalable and Privacy-Preserving Federated Learning
Deakin University(迪肯大学);University of Oulu(奥卢大学)
无线连接对于实现可扩展的联邦学习(FL)至关重要,但无线信道给模型训练带来了挑战,其中信道随机性会干扰每个工人的模型更新,而多个工人的更新在有限的带宽下会产生严重干扰。为了解决这些挑战,在这项工作中,我们制定了一个新的约束优化问题,并提出了一个FL框架利用无线信道扰动和干扰,以提高隐私,带宽效率和可扩展性。该算法基于模拟传输和交替方向乘法器(ADMM),被称为模拟联邦ADMM(A-FADMM)。在A-FADMM中,所有工作者通过模拟传输使用单个通道将其模型更新上传到参数服务器(PS),在此期间,所有模型都被扰动并通过空中聚合。这不仅节省了通信带宽,而且还对包括诚实但好奇的PS在内的任何窃听者隐藏了每个工作者的确切模型更新轨迹,从而保护了数据隐私,免受模型反演攻击。我们正式证明的收敛性和隐私保证的A-FADMM凸函数下的时变信道,并数值显示的有效性A-FADMM噪声信道和随机非凸函数,在收敛速度和可扩展性,以及通信带宽和能源效率。
2020-11-17 cs.IT cs.LG cs.NI
Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models
USC(南加州大学);MIT(麻省理工学院)
基于计算统计推断的抽样问题,我们为谱图理论和数值分析中的一个基本问题开发了一个近似最优算法。给定一个$n\times n$ SDDM矩阵${\bf \mathbf{M}}$,和一个常数$-1 \leq p \leq 1$,我们的算法给出了有效的访问稀疏$n\times n$线性算子$\tilde{\mathbf{C}}$,使$${\mathbf{M}}^{p} \approx \tilde{\mathbf{C}} \tilde{\mathbf{C}}^\top.$$的解决方案是基于因子分解${\bf \mathbf{M}}$到一个简单的和稀疏的矩阵,使用平方和频谱稀疏化的产品。对于具有$m$非零条目的${\mathbf{M}}$,我们的算法在$m$中以接近线性的方式工作,并且在具有$m$处理器的并行机上以多对数深度工作。这给出了第一个仅需要近似线性功和$n$ i.i.d.的采样算法。随机单变量高斯样本以生成i.i.d.具有SDDM精度矩阵的$n$维高斯随机场的随机样本。对于高斯随机场的这个自然子类的采样,它在随机性方面是最优的,在工作量和并行复杂度方面几乎是最优的。此外,我们的采样算法可以直接推广到具有SDD精度矩阵的高斯随机场。
2014-10-20 cs.DS cs.LG cs.NA
Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering
Johns Hopkins University(约翰斯·霍普金斯大学);Beijing University of Posts and Telecommunications(北京邮电大学)
现有技术的子空间聚类方法基于将每个数据点表示为其他数据点的线性组合,同时用$\ell_1$、$\ell_2$或核范数正则化系数矩阵。保证$\ell_1$正则化给出子空间保持亲和性(即,来自不同子空间的点之间没有连接),但是簇可以不连接。$\ell_2$和核范数正则化通常会改善连通性,但仅对独立子空间给出子空间保持亲和性。混合的$\ell_1$、$\ell_2$和核范数正则化提供了子空间保持和连通性属性之间的平衡,但这是以增加的计算复杂性为代价的。本文研究了弹性网络正则化子($\ell_1$和$\ell_2$范数的混合)的几何结构,并利用它导出了一个可证明正确的和可扩展的有效集方法来寻找最佳系数。我们的几何分析还提供了一个理论上的理由和几何解释之间的平衡的连通性(由于$\ell_2$正则化)和子空间保持(由于$\ell_1$正则化)属性的弹性网络子空间聚类。实验结果表明,该方法不仅具有最佳的聚类性能,而且能够有效地处理大规模数据集。
2016-05-09 cs.CV cs.LG stat.ML
Scalable and Sparsity-Aware Privacy-Preserving K-means Clustering with Application to Fraud Detection
Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
K-means是实践中使用最广泛的聚类模型之一。由于数据隔离的问题和对模型性能的高要求,如何联合构建多方实用、安全的K-means已成为业界众多应用的重要课题。这方面的现有工作主要有两类。第一种类型具有效率优势,但信息泄露会带来潜在的隐私风险。第二种是可证明安全的,但效率低下,甚至无助于大规模的数据稀疏场景。在本文中,我们提出了一个新的框架,有效的稀疏意识的K-均值有三个特点。首先,我们的框架分为数据独立的离线阶段和更快的在线阶段,离线阶段允许预先计算几乎所有的加密操作。第二,我们在在线和离线阶段利用矢量化技术。第三,我们采用稀疏矩阵乘法的数据稀疏的情况下,以进一步提高效率。我们在三个合成数据集上进行了全面的实验,并将我们的模型部署在现实世界的欺诈检测任务中。我们的实验结果表明,与最先进的解决方案相比,我们的模型在运行时间和通信大小方面都具有竞争力的性能,特别是在稀疏数据集上。
2022-08-12 cs.CR cs.LG
Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit
Johns Hopkins University(约翰斯·霍普金斯大学)
基于$\ell_1$、$\ell_2$或核范数正则化的子空间聚类方法由于其简单性、理论保证和经验成功而变得非常流行。然而,正则化子的选择可以极大地影响理论和实践。例如,保证$\ell_1$正则化给出子空间保持亲和性(即,在来自不同子空间的点之间没有连接)在广泛的条件下(例如,任意子空间和损坏的数据)。然而,它需要解决一个大规模的凸优化问题。另一方面,$\ell_2$和核范数正则化提供了有效的封闭形式解,但是需要非常强的假设来保证子空间保持亲和性,例如,独立的子空间和未损坏的数据。本文研究了一种基于正交匹配追踪的子空间聚类方法。我们表明,该方法是计算效率和保证在广泛的条件下,给一个子空间保持亲和力。在合成数据上的实验验证了理论分析的正确性,并在手写数字和人脸聚类中的应用表明,该方法在准确率和效率之间取得了最佳的平衡。
2016-05-05 cs.CV cs.LG stat.ML
FastSecAgg: Scalable Secure Aggregation for Privacy-Preserving Federated Learning
University of California Berkeley(加州大学伯克利分校)
最近对联邦学习的攻击表明,将训练数据保存在客户端设备上并不能提供足够的隐私,因为客户端共享的模型参数可能会泄露有关其训练数据的信息。“安全聚合”协议使服务器能够以保护隐私的方式聚合客户端的模型。然而,现有的安全聚合协议会产生很高的计算/通信成本,特别是当模型参数的数量大于参与迭代的客户端的数量时-这是联邦学习中的典型场景。在本文中,我们提出了一个安全的聚合协议,FastSecAgg,这是有效的计算和通信方面,和强大的客户端辍学。FastSecAgg的主要组成部分是一个新的多秘密共享方案,FastShare,基于快速傅立叶变换(FFT),这可能是独立的利益。FastShare是信息理论上安全的,并实现了秘密数量,隐私阈值和丢包容忍之间的权衡。利用FastShare的能力,我们证明了FastSecAgg(i)在诚实但好奇的情况下,可以防止服务器与客户端的某个常数部分(例如$\sim10\%$)的“任意”子集合谋;(ii)可以容忍客户端的某个常数部分(例如$\sim10\%$)的“随机”子集的丢失. FastSecAgg实现显着更小的计算成本比现有的计划,同时实现相同的(有序)的通信成本。此外,它还保证了针对自适应对手的安全性,这些对手可以在协议执行期间动态地执行客户端损坏。
2020-09-23 cs.CR cs.IT cs.LG