Decentralized Clustering and Linking by Networked Agents
我们考虑多任务网络上的分散聚类和估计问题,其中代理推断和跟踪不同的模型。代理事先不知道哪个模型正在生成自己的数据。他们也不知道他们邻居中的哪些代理属于同一个集群。我们提出了一个分散的聚类算法,旨在识别和形成集群的代理相似的目标,并在指导合作,以提高推理性能。所提出的技术的一个关键特征是将学习和聚类任务集成到一个单一的策略中。我们分析的过程中的性能,并表明,I型和II型的错误概率呈指数衰减到零的步长参数。虽然在聚类过程中忽略了不同目标的代理之间的联系,但我们仍然展示了如何利用这些联系在整个网络中传递关键信息,以提高性能。仿真结果表明,与其他有用的技术相比,所提出的方法的性能。
2016-10-28 cs.MA math.OC stat.ML
Performance Analysis of Spectral Clustering on Compressed, Incomplete and Inaccurate Measurements
University of California, Davis(加州大学戴维斯分校)
本文结合压缩感知和矩阵完成的距离保持测量与鲁棒谱聚类,分析了亲和矩阵微小误差对谱坐标和聚类能力的影响,并将双类谱聚类的扰动结果推广到多类聚类。
2010-11-03 cs.CV cs.NA math.FA
Decentralized Reinforcement Learning for Multi-Agent Multi-Resource Allocation via Dynamic Cluster Agreements
Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);IRISA(法国雷恩信息与自动化系统研究所)
本文提出了一种基于动态聚类的去中心化强化学习方法,用于多智能体多资源分配问题,实现了更稳定和鲁棒的协调性能。
2026-02-11 cs.LG stat.ML
Adaptive Step-Size Methods for Compressed SGD
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
压缩随机梯度下降(SGD)算法最近被提出来解决分布式和分散式优化问题中的通信瓶颈,例如在联邦机器学习中出现的那些。现有的压缩SGD算法假设使用非自适应步长(恒定或递减)来提供理论收敛保证。通常,步长在实践中根据数据集和学习算法进行微调,以提供良好的经验性能。这种微调在许多学习场景中可能是不切实际的,因此使用自适应步长来研究压缩SGD是有意义的。受先前工作的启发,SGD的自适应步长方法训练神经网络有效地在未压缩的设置,我们开发了一个自适应步长方法压缩SGD。特别是,我们引入了一个缩放技术的下降步骤压缩SGD,我们用它来建立秩序的最优收敛速度凸光滑和强凸光滑的目标下的插值条件和非凸目标下的强增长条件。我们还通过仿真例子表明,如果没有这种缩放,算法可能无法收敛。我们提出了针对真实世界数据集的深度神经网络的实验结果,并将我们提出的算法的性能与文献中先前提出的压缩SGD方法进行了比较,并在ResNet-18,ResNet-34和DenseNet架构上证明了CIFAR-100和CIFAR-10数据集在各种压缩级别上的性能改进。
2022-07-20 cs.LG stat.ML
Accelerate Support Vector Clustering via Spectrum-Preserving Data Compression
JD Logistics(京东物流)
本文提出一种保谱数据压缩框架,通过压缩数据保留聚类属性,实现支持向量聚类的大幅加速,在Pendigits和USPS上分别获得100倍和115倍加速且聚类质量更优。
2023-05-14 cs.AI cs.LG stat.ML
SQuARM-SGD: Communication-Efficient Momentum SGD for Decentralized Optimization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);US Army Research Lab(美国陆军研究实验室)
在本文中,我们提出并分析了SQuARM-SGD,一个通信效率高的算法,用于在网络上分散训练大规模机器学习模型。在SQuARM-SGD中,每个节点使用Nesterov的动量执行固定数量的本地SGD步骤,然后将稀疏化和量化的更新发送到受本地可计算触发标准调节的邻居。我们为一般(非凸)和凸光滑目标提供了算法的收敛保证,据我们所知,这是第一次对压缩分散SGD进行动量更新的理论分析。我们证明了SQuARM-SGD的收敛速度与vanilla SGD相匹配。我们的经验表明,包括动量更新SQuARM-SGD可以导致更好的测试性能比目前的最先进的不考虑动量更新。
2021-10-11 cs.DC cs.LG stat.ML
A Study of Clustering Techniques and Hierarchical Matrix Formats for Kernel Ridge Regression
University of Michigan(密歇根大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了内存效率和可扩展的算法,用于机器学习的内核方法。使用分层矩阵近似的内核矩阵的内存需求,浮点运算的数量,和执行时间大大减少相比,标准的密集线性代数例程。我们考虑了一般的$\mathcal{H}$矩阵层次格式以及层次半可分(HSS)矩阵。此外,我们研究了几种预处理和聚类技术对层次矩阵压缩的影响。输入的有效聚类导致压缩效率提高十倍。这些算法是使用STRUMPACK求解器库实现的。这些结果证实,-正确调整的超参数-分类使用核岭回归与压缩矩阵不失去预测精度相比,确切的-未压缩-核矩阵,我们的方法可以扩展到$\mathcal{O}(1M)$数据集,其中计算与完整的内核矩阵变得过于昂贵。我们目前的数值实验在分布式内存环境中高达1,024处理器的NERSC的科里超级计算机使用众所周知的数据集的机器学习社区,范围从8到784。
2018-03-27 cs.LG stat.ML
PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning
EPFL(洛桑联邦理工学院)
有损梯度压缩已成为克服机器学习模型集中协调分布式训练中通信瓶颈的实用工具。然而,在任意连接的网络上使用压缩通信进行分散训练的算法更加复杂,需要额外的内存和超参数。我们介绍了一个简单的算法,直接压缩相邻工人之间的模型差异使用低秩线性压缩器应用于模型差异。受集中式深度学习的PowerSGD算法的启发,该算法使用幂迭代步骤来最大化每比特传输的信息。我们证明了我们的方法不需要额外的超参数,收敛速度比以前的方法,是渐近独立的网络和压缩。开箱即用,这些压缩器在一系列深度学习基准测试中的表现与最先进的调优压缩算法不相上下。
2020-10-19 cs.DC cs.LG math.OC
Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection
Hong Kong Baptist University(香港浸会大学)
分布式学习技术(如联邦学习)使多个工作人员能够一起训练机器学习模型,以减少总体训练时间。然而,目前的分布式训练算法(集中式或分散式)遭受多个低带宽工作者(也在集中式架构下的服务器上)的通信瓶颈。尽管分散式算法通常比集中式算法具有更低的通信复杂性,但是对于具有低网络带宽的工作者,它们仍然遭受通信瓶颈。为了在保持收敛性能的同时处理通信问题,我们引入了一种新的分散式训练算法,该算法具有以下主要特点:1)在训练过程中不需要参数服务器来维护模型,这避免了对任何单个节点的通信压力。2)每个工作者在每一轮通信中只需要与一个对等体进行通信,并且具有高度压缩的模型,这可以显着减少工作者上的通信流量。我们从理论上证明,我们的稀疏化算法仍然保持收敛特性。3)每个工作者在不同的通信回合动态地选择其对等体以更好地利用带宽资源。我们进行实验与卷积神经网络对32名工人,以验证我们提出的算法相比,现有的七种方法的有效性。实验结果表明,该算法显著降低了通信量,并且通常选择相对高带宽的节点。
2020-02-22 cs.DC cs.LG stat.ML
Anytime Hierarchical Clustering
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种新的任何时候层次聚类方法,迭代变换任意初始层次结构的配置上的测量沿着一个序列的树,我们证明了一个固定的数据集必须终止于一个链的嵌套分区,满足自然的同质性要求。每个递归步骤重新编辑树,以便改进与许多常用的(例如,单个、平均、完全)连接功能。作为一种替代标准的批处理算法,我们提出了数值证据表明,适当的适应这种方法可以产生分散的,可扩展的算法适用于分布式/并行计算的聚类层次结构和在线跟踪聚类树适用于大型,动态变化的数据库和异常检测。
2014-04-13 cs.IR cs.LG stat.ML
BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
通信效率已被广泛认为是多智能体或联邦环境中大规模分散式机器学习应用的瓶颈。为了解决通信瓶颈,已经有许多努力来设计用于分散式非凸优化的通信压缩算法,其中客户端仅允许通过预定义的图拓扑与其邻居通信少量量化信息(aka比特)。尽管付出了巨大的努力,但非凸设置中的最先进算法仍然遭受与其未压缩对应物相比更慢的收敛速率$O((G/T)^{2/3})$的困扰,其中$G$测量不同客户端之间的数据异质性,并且$T$是通信轮数。本文提出了BEER,它采用了梯度跟踪的通信压缩,并表明它的收敛速度更快的$O(1/T)$。通过匹配速率而不压缩,即使在任意数据异构性下,这也显著提高了最先进的速率。数值实验也证实了我们的理论,并确认BEER在数据异构制度的实际优势。
2022-10-14 cs.DC cs.DS cs.LG
Compressed Subspace Learning Based on Canonical Angle Preserving Property
Tsinghua University(清华大学)
子空间联合(UoS)是一种描述数据底层低维结构的流行模型。UoS结构的精细细节可以用子空间之间的正则角(也称为主角)来描述,这是相对子空间位置的众所周知的表征。本文证明了具有Johnson-Lindenstrauss(JL)性质的随机投影以压倒性的概率近似保持子空间之间的标准角。这一结果表明,随机投影近似地保持了UoS结构。受这一结果的启发,我们提出了一个压缩子空间学习(CSL)的框架,它能够从数据的UoS结构中提取有用的信息,大大降低了维度。我们证明了CSL在各种子空间相关的任务,如子空间可视化,主动子空间检测,子空间聚类的有效性。
2019-07-24 cs.IT cs.LG math.IT
A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data
Carnegie Mellon University(卡内基梅隆大学)
子空间聚类是将未标记的数据点划分为多个簇的问题,使得一个簇内的数据点近似位于低维线性子空间上。在许多实际应用中,由于测量、计算或隐私等方面的限制,待聚类数据点的维数被压缩。本文研究了一种流行的子空间聚类算法稀疏子空间聚类(SSC)的理论性质,建立了稀疏子空间聚类在降维数据上的形式化成功条件。我们的分析适用于最一般的完全确定性模型,其中每个子空间内的底层子空间和数据点都是确定性定位的,并且还适用于各种降维技术(例如,高斯随机投影,均匀子采样,草图),落入子空间嵌入框架(Meng & Mahoney,2013; Avron等人,2014年)。最后,我们将我们的分析应用于差分私有SSC算法,并建立了所提出的方法的隐私和效用保证。
2016-10-24 cs.LG stat.ML
Communication Compression for Decentralized Training
Department of Computer Science, University of Rochester(罗切斯特大学计算机科学系);Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Tencent AI Lab(腾讯AI实验室)
本文研究了在高延迟和低带宽网络中结合通信压缩与去中心化技术以实现鲁棒训练系统的问题,提出了两种新的压缩策略并证明了其收敛性。
2019-01-31 cs.DC cs.LG cs.SY
BETULA: Numerically Stable CF-Trees for BIRCH Clustering
TU Dortmund University(多特蒙德工业大学)
BIRCH聚类是一种广为人知的聚类方法,它影响了许多后续的研究和商业产品。BIRCH的主要贡献是聚类特征树(CF树),它是输入数据的压缩表示。当新数据到达时,树最终被重建以增加压缩。然后,使用树的叶子进行聚类。由于采用了数据压缩的方法,该方法具有很好的可扩展性。这个想法已经被用于例如k-means,数据流和基于密度的聚类。BIRCH使用的聚类特征是简单的汇总统计量,可以很容易地用新数据更新:点数、线性和和平方值之和。不幸的是,如何在BIRCH中使用平方和很容易导致灾难性的取消。我们引入了一个替换集群功能,它没有这个数值问题,维护成本也不会高得多,而且它使许多计算更简单,因此更有效。这些聚类特征也可以很容易地用于BIRCH的其他工作,例如流数据的算法。在实验中,我们演示了数值问题,并比较了原始算法的性能相比,改进的聚类特征。
2020-06-23 cs.DS cs.LG stat.ML
Patient Clustering Improves Efficiency of Federated Machine Learning to predict mortality and hospital stay time using distributed Electronic Medical Records
Academy of Arts and Design, Tsinghua University(清华大学美术学院);Massachusetts Institute of Technology(麻省理工学院)
电子病历(EMR)支持机器学习算法的开发,用于预测疾病发生率、患者对治疗的反应以及其他医疗保健事件。但到目前为止,大多数算法都是集中式的,很少考虑到EMR的分散、非完全独立分布(非IID)和隐私敏感特性,这些特性会使数据汇集、共享和学习变得复杂。为了应对这一挑战,我们引入了基于社区的联邦机器学习(CBFL)算法,并在非IID ICU EMR上对其进行了评估。我们的算法将分布式数据聚类为具有临床意义的社区,这些社区捕获了类似的诊断和地理位置,并为每个社区学习了一个模型。在整个学习过程中,数据被保存在医院的本地,而本地计算的结果被汇总在服务器上。评估结果表明,CBFL优于基线FL算法的受试者工作特征曲线下的面积(ROC AUC),精确召回曲线下的面积(PR AUC),医院和服务器之间的通信成本。此外,社区的绩效差异可以用社区与其他社区的差异来解释。
2019-03-22 cs.LG stat.ML
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法,以节省计算和通信开销。设计了一种分散广义交替方向乘子算法,用于并行求解目标函数。理论性质推导,以保证模型的一致性和算法收敛。数值实验结果表明,该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI
Semisupervised Clustering by Queries and Locally Encodable Source Coding
College of Information and Computer Sciences, University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
信源编码是信息论中数据压缩的规范问题。在可局部编码的信源编码中,每个压缩比特仅依赖于输入的几个比特。在本文中,我们表明,最近流行的半监督聚类模型是等效的本地可编码源编码。在这个模型中,任务是执行未标记元素的多类标记。一开始,我们可以并行地向一个oracle提出一组简单的查询,后者为这些查询提供(可能是错误的)二进制答案。查询不能涉及两个以上的元素(或固定的常量)。现在,所有元素的标记(或聚类)必须基于嘈杂的查询答案来执行。目标是恢复所有正确的标签,同时最大限度地减少此类查询的数量。与本地可编码源代码的等价性使我们能够找到各种场景中所需查询数量的下限。我们提供查询方案的基础上成对的“相同的集群”查询和成对的与查询,并显示可证明的性能保证每个计划。
2020-11-09 cs.IT cs.LG math.IT
Compressive Mining: Fast and Optimal Data Mining in the Compressed Domain
真实世界的数据通常包含重复和周期性的模式。这表明它们可以仅使用适当基的几个系数(例如,傅立叶、小波等)。然而,当数据使用不同的系数集表示时,距离估计仍然是一个很大程度上未探索的领域。这项工作研究的优化问题,获得\emph{tightest}下/上界的欧几里德距离时,每个数据对象是潜在的压缩使用一组不同的正交系数。我们的技术导致更紧密的距离估计,这转化为更准确的搜索,学习和挖掘操作\textit{directly}在压缩域。我们制定的问题,估计上/下限的距离作为一个优化问题。我们建立了最优解的性质,并利用理论分析开发了一个快速算法来获得问题的\emph{exact}解决方案。建议的解决方案提供了最严格的估计的$L_2$ -范数或相关性。我们表明,典型的数据分析操作,如k-NN搜索或k-Means聚类,可以更准确地使用建议的压缩和距离重建技术。我们比较它与许多其他流行的压缩和重建技术,包括随机投影和PCA为基础的技术。我们强调了一个令人惊讶的结果,即当数据在某些基础上高度稀疏时,我们的技术甚至可能优于基于PCA的压缩。这项工作的贡献是通用的,因为我们的方法适用于任何顺序或高维数据,以及用于底层数据压缩方案的任何正交数据变换。
2014-05-22 cs.DS cs.IT math.IT