Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions
FedCRef是一种针对去中心化数据分布的无监督联邦学习方法,通过本地聚类、模型交换和协作优化提高聚类准确性,适用于多簇-客户端场景,实现高达95%的准确率。
2026-01-08 cs.LG
Decentralized adaptive clustering of deep nets is beneficial for client collaboration
RISE Research Institutes of Sweden(瑞典RISE研究院);KTH Royal Institute of Technology(KTH皇家理工学院)
我们研究了在去中心化的点对点环境中训练个性化的深度学习模型的问题,重点关注客户端之间数据分布不同以及不同客户端具有不同本地学习任务的环境。我们研究了协变量和标签偏移,我们的贡献是一个算法,为每个客户端找到有益的合作的基础上,对本地任务的相似性估计。我们的方法不依赖于超参数,这是很难估计,如客户端集群的数量,而是不断适应网络拓扑结构,使用软集群分配的基础上一种新的自适应八卦算法。我们测试所提出的方法在各种设置中的数据是不独立的,相同的客户端之间的分布。实验评估表明,该方法比以前的国家的最先进的算法,这个问题的设置,以及处理以前的方法失败的情况下,执行更好。
2022-10-31 cs.LG
Wasserstein Convergence of ODE-Based Samplers in Decentralized Diffusion Model via Velocity Field Decomposition
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Zhejiang University(浙江大学);Tencent(腾讯)
针对去中心化扩散模型中随机专家切换的ODE采样,通过速度场分解建立Wasserstein-2距离下的收敛保证,证明N步离散化以O(N^{-1/2}+ε)速率收敛。
2026-09-29 cs.AI cs.LG
Personalized Federated Heat-Kernel Enhanced Multi-View Clustering via Advanced Tensor Decomposition Techniques
Independent Researcher(独立研究者)
本文提出基于高级张量分解技术的个性化联邦热核增强多视图聚类方法,通过改进的数学模型和算法设计提升聚类效果并保障数据隐私。
2026-01-01 cs.DC cs.LG
MATCHA: Speeding Up Decentralized SGD via Matching Decomposition Sampling
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
该研究提出MATCHA算法,通过匹配分解采样在去中心化SGD中实现误差与运行时间的双赢,验证了其在各种数据集和深度神经网络上的有效性,证明其比传统去中心化SGD快5倍。
2019-11-18 cs.LG cs.SY eess.SY
Multi-Agent Cross-Entropy Method with Monotonic Nonlinear Critic Decomposition
School of Computing Technologies, RMIT University(计算技术学院,皇家墨尔本理工大学)
多智能体交叉熵方法结合单调非线性批评分解,通过提高高价值联合动作的概率来解决集中-分散不匹配问题,并在连续和离散动作基准上表现优异。
2025-11-26 cs.LG cs.MA
Decentralized Reinforcement Learning for Multi-Agent Multi-Resource Allocation via Dynamic Cluster Agreements
Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);IRISA(法国雷恩信息与自动化系统研究所)
本文提出了一种基于动态聚类的去中心化强化学习方法,用于多智能体多资源分配问题,实现了更稳定和鲁棒的协调性能。
2026-02-11 cs.LG stat.ML
Clustering Patients with Tensor Decomposition
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institut Català de la Salut(加泰罗尼亚卫生研究所)
在本文中,我们提出了一种无监督聚类的高维二进制数据的方法,特别侧重于电子医疗记录。我们提出了一个强大的和有效的启发式来面对这个问题,使用张量分解。我们提出的原因,这种方法是最好的任务,如聚类病人的记录,更常用的基于距离的方法。我们在两个医疗记录数据集上运行该算法,获得了有临床意义的结果。
2017-08-29 cs.LG stat.ML
From Mixing to Tearing: Graph Decomposition in Decentralized Optimization via Message Passing
Purdue University(普渡大学)
本文提出一种基于消息传递的图分解框架,通过联合设计优化子问题和通信实现去中心化优化,并给出首个实例GATE及其轻量变体GATE-S,证明了线性收敛性并验证了效率。
2026-10-15 cs.LG math.OC
CUR Decompositions, Similarity Matrices, and Subspace Clustering
本文提出了一种利用CUR分解解决子空间聚类问题的通用框架,通过构造相似矩阵实现无噪声情况下的精确聚类,并展示了如何通过CUR分解生成多种相似矩阵以处理噪声数据,同时推导出两种已知的子空间聚类方法。
2018-12-11 cs.CV cs.LG cs.NA
Tucker-O-Minus Decomposition for Multi-view Tensor Subspace Clustering
University of Electronic Science and Technology of China(电子科技大学)
由于张量分解具有挖掘自我表征信息潜在结构的能力,不同的张量分解方法被应用于低秩多视图聚类(LRMVC)模型中,取得了显著的效果。然而,目前的方法遭受一系列的问题,这些张量分解,如不平衡的矩阵化方案,旋转敏感性,不足的相关捕获等。这些都将导致LRMVC不能充分获取全局信息,这与多视图聚类的目标背道而驰。为了缓解这些问题,我们提出了一种新的张量分解称为塔克O-减分解(TOMD)的多视图聚类。具体来说,基于塔克格式,我们还采用了O-减结构,它由一个圆圈和一个有效的桥梁连接两个每周相关的因素。通过这种方式,Tucker格式的核心张量被替换为具有更平衡结构的O-minus架构,并且将实现捕获全局低秩信息的能力的增强。同时,所提出的TOMD也为自表征张量提供了更紧凑和更强大的表征能力。采用乘子交替方向法求解TOMD-MVC模型。在6个基准数据集上的数值实验表明,该方法在F值、查准率、查全率、归一化互信息、调整后的rand指数和查准率等方面都具有较好的性能.
2022-10-23 cs.LG
A Decentralized Quasi-Newton Method for Dual Formulations of Consensus Optimization
University of Pennsylvania(宾夕法尼亚大学)
本文考虑了网络中每个节点都可以访问聚合费用函数的不同被加数的共识最优化问题。节点试图最小化聚合费用函数,而它们只与它们的邻居交换信息。我们修改的对偶分解方法,将曲率校正的启发Broyden-Fletcher-Goldfarb-Shanno(BFGS)拟牛顿法。由此产生的双D-BFGS方法是一个完全分散的算法,其中节点通过满足割线条件近似自己和邻居的曲率信息。双D-BFGS是在共识最优化问题的兴趣是不良态,使一阶分散方法无效,并在其中二阶信息是不容易获得的,使分散二阶方法不可行。异步实现的讨论和收敛的D-BFGS建立正式的同步和异步实现。性能优势相对于其他分散算法的数值。
2016-03-23 cs.DC cs.LG math.OC
Sublinear Time and Space Algorithms for Correlation Clustering via Sparse-Dense Decompositions
Rutgers University(罗格斯大学)
我们提出了一种新的方法来解决(最小分歧)的相关聚类,结果在次线性算法与高效的时间和空间复杂度为这个问题。特别是,我们获得了以下算法的$n$ -顶点$(+/-)$ -标记的图形$G$:-一个次线性时间算法,以高概率返回一个恒定的近似聚类的$G$在$O(n\log^2{n})$时间假设访问的邻接列表的$(+)$ -标记的边缘$G$(这几乎是二次方快于甚至读取输入一次)。以前,没有次线性时间算法是已知的这个问题的任何乘法近似保证。--半流算法,其以高概率返回$G$在$O(n\log{n})$空间中的恒定近似聚类和在图$G$的边缘上的单次通过(该存储器几乎是输入大小的二次方)。以前,没有一个单遍算法与$o(n^2)$空间是已知的这个问题的任何近似保证。我们的方法的主要成分是一个新的连接到稀疏密集图分解,广泛用于图着色文献。据我们所知,这种连接是这些分解超出图着色的第一个应用,特别是相关聚类问题,可以独立的兴趣。
2021-09-29 cs.DS cs.LG
Maximum Margin Clustering for State Decomposition of Metastable Systems
Department of Mathematics \& Computer Science, Free University of Berlin, Arnimallee 6, 14195 Berlin, Germany
本文提出最大边际不稳定聚类方法,将不稳定状态分解转化为半监督学习问题,利用大边际技术寻找最优分解,无需相空间离散化,并通过模拟示例验证其有效性。
2014-12-31 cs.LG cs.NA cs.SY
KCoreMotif: An Efficient Graph Clustering Algorithm for Large Networks by Exploiting k-core Decomposition and Motifs
China University of Geosciences (Beijing)(中国地质大学(北京));University of Naples Federico II(那不勒斯费德里科二世大学)
聚类分析在无线传感器网络、在线社交网络等复杂网络的信任评估中得到了广泛的应用。谱聚类是图结构数据(网络)最常用的算法之一。然而,传统的谱聚类本质上是难以与大规模的网络,由于它需要计算昂贵的矩阵操作的事实。为了处理大型网络,在本文中,我们提出了一个有效的图聚类算法,KCoreMotif,专门针对大型网络,利用k-核心分解和图案。所提出的聚类算法背后的基本思想是在k-核心子图上执行高效的基于模体的谱聚类算法,而不是在整个图上。更具体地说,(1)我们首先对大输入网络进行k-核心分解;(2)然后对顶部k-核心子图进行基于模体的谱聚类;(3)将其余(k-1)-核心子图中的剩余顶点分组到先前找到的聚类中;最后获得大输入网络的期望聚类。为了评估所提出的图聚类算法KCoreMotif的性能,我们使用传统的和基于模体的谱聚类算法作为基线,并比较我们的算法与他们的18组真实世界的数据集。比较结果表明,该算法对大型网络具有较高的准确性和有效性,可进一步用于评估大型网络的簇内和簇间信任度。
2020-08-21 cs.LG cs.SI stat.ML
Distributed Bayesian Matrix Decomposition for Big Data Mining and Clustering
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences(中国科学院动物进化与遗传前沿交叉卓越创新中心);Yunnan University(云南大学)
矩阵分解是从现代应用程序生成的大数据中发现知识的基本工具之一。然而,在单个机器中使用这种方法处理非常大的数据仍然是低效或不可行的。此外,大数据通常是分布式收集和存储在不同的机器上。因此,这样的数据通常带有强的非均匀噪声。分布式矩阵分解是大数据分析中的一个重要而有用的方法。这样的方法应该可以很好地扩展,对异构噪声进行建模,并解决分布式系统中的通信问题。为此,我们提出了一个分布式贝叶斯矩阵分解模型(DBMD)的大数据采掘和聚类。具体来说,我们采用三种策略来实现分布式计算:1)加速梯度下降,2)交替方向乘子法(ADMM),3)统计推断。我们研究了这些算法的理论收敛性。为了解决噪声的异质性,我们提出了一个最佳的插件加权平均,减少了估计的方差。合成实验验证了我们的理论结果,真实世界的实验表明,我们的算法可以很好地扩展到大数据,并实现优于或竞争性能相比,其他分布式方法。
2020-02-10 cs.CV cs.DC cs.LG
Federated Temporal Graph Clustering
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出联邦时序图聚类(FTGC)框架,通过时序聚合机制和联邦优化策略在保护数据隐私和降低通信开销的前提下,跨多客户端去中心化训练图神经网络以学习高质量聚类表示,在时序图数据集上取得有竞争力的性能。
2025-03-03 cs.DC cs.LG
Decentralized, Adaptive, Look-Ahead Particle Filtering
University of British Columbia(不列颠哥伦比亚大学)
分散式粒子滤波器(DPF)是近年来提出的一种提高粒子滤波并行性的方法。给定将状态空间分解成两个嵌套的变量集合,DPF使用粒子滤波器对第一集合进行采样,然后对该样本进行调节以生成第二变量集合的样本集合。DPF可以理解为流行的Rao-Blackwellized粒子滤波器(RBPF)的变体,其中第二步使用蒙特卡罗近似而不是分析推理来执行。因此,DPF的应用范围比RBPF的应用范围更广。本文从两个方面对DPF进行了改进。首先,我们推导出一个蒙特卡罗近似的最佳建议分布,因此,设计和实现一个更有效的前瞻DPF。虽然分散式过滤器最初的设计是利用并行实现,我们表明,前瞻性DPF可以优于标准的粒子滤波器,即使在一台机器上。其次,我们提出使用强盗算法来自动配置DPF的状态空间分解。
2012-03-12 cs.LG stat.CO stat.ML
Impact of network topology on the performance of Decentralized Federated Learning
CNR-IIT(国家研究委员会信息科学与技术研究所)
本文通过三种网络拓扑与六种数据分布设置,研究去中心化联邦学习中网络结构如何影响知识传播,发现全局中心性比局部聚类更能预测性能,并揭示稀释、拉动及社区隔离效应。
2024-02-28 cs.AI cs.DC cs.LG
EncCluster: Scalable Functional Encryption in Federated Learning through Weight Clustering and Probabilistic Filters
Eindhoven University of Technology(埃因霍温理工大学);RISE Research Institutes of Sweden(瑞典RISE研究院);Mälardalen University(梅拉达伦大学)
提出 EncCluster,将权重聚类压缩、去中心化函数加密与概率过滤器编码结合,在不降低模型性能的前提下降低 FL 通信和加密开销并增强隐私。
2024-06-13 cs.CR cs.DC cs.LG
Fast Spectral Clustering Using Autoencoders and Landmarks
University of Waterloo(滑铁卢大学)
在本文中,我们介绍了一种算法进行谱聚类效率。谱聚类是一种功能强大的聚类算法,但由于特征分解而具有高计算复杂性。在这项工作中,我们首先建立数据集对应图的邻接矩阵。为了构建这个矩阵,我们只考虑有限数量的点,称为地标,并计算所有数据点与地标的相似性。然后,我们给出了图的拉普拉斯矩阵的定义,使我们能够使用深度自动编码器有效地执行本征分解。本征分解算法的总体复杂度为$O(np)$,其中$n$是数据点的数量,$p$是界标的数量。最后,通过不同的实验对算法的性能进行了评估.
2017-04-07 cs.LG stat.ML
DECT-MULTRA: Dual-Energy CT Image Decomposition With Learned Mixed Material Models and Efficient Clustering
Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor, MI, 48109 USA(美国密歇根大学安娜堡分校电气工程与计算机科学系)
双能量计算机断层扫描(DECT)成像由于其材料分解能力在高级成像应用中起着重要作用。图像域分解使用线性矩阵求逆直接在CT图像上操作,但是分解的材料图像可能由于噪声和伪影而严重退化。本文提出了一种新的方法称为DECT-MULTRA图像域DECT材料分解,结合传统的惩罚加权最小二乘(PWLS)估计与正则化的基础上学习变换(MULTRA)模型的混合联盟。我们提出的方法预先学习从所有基础材料中提取的补丁的通用材料稀疏化变换的联合,以及从多材料补丁的跨材料稀疏化变换的联合。共材质变换捕捉不同材质图像之间的共同属性,而跨材质变换捕捉交叉依赖性。所提出的PWLS制定有效地优化交替之间的图像更新步骤和稀疏编码和聚类步骤,这两个步骤具有封闭形式的解决方案。我们的方法的有效性与XCAT体模和临床头部数据进行了验证。结果表明,我们提出的方法提供了优越的材料图像质量和分解精度相比,其他竞争的方法。
2019-08-18 cs.LG eess.IV stat.ML
Osmotic Learning: A Self-Supervised Paradigm for Decentralized Contextual Data Representation
MIFT Department, University of Messina, Italy(梅萨纳大学MIFT系);Institute of Information Technology, University of Klagenfurt, Austria(克莱根堡大学信息技术研究所);Department of Computer Science, University of Innsbruck, Austria(因斯布鲁克大学计算机科学系)
OSM-L是一种自监督的分布式学习方法,通过渗透机制在无需原始数据交换的情况下,从分布式数据中提取上下文信息并实现高精度的局部信息对齐。
2025-12-28 cs.DC cs.LG
Self-Expressive Decompositions for Matrix Approximation and Clustering
Northwestern University(西北大学);Rice University(莱斯大学);University of Maryland, College Park(马里兰大学帕克分校)
数据感知的降维和矩阵分解方法旨在发现数据集合中的低维结构。经典方法通过学习可以有效表达集合的基础来发现这种结构。最近,“自我表达”,即使用数据向量的一个小子集来表示完整集合的想法,已经被开发为学习的替代方案。在这里,我们介绍了一种可扩展的方法来计算稀疏的SElf-Expressive分解(SEED)。SEED是一种贪婪方法,它通过从数据集中顺序选择不相干向量来构建基。在从数据集中的向量子集形成基之后,SEED然后计算关于该基的数据集的稀疏表示。我们开发的充分条件下,种子准确地表示低秩矩阵和向量采样的工会独立子空间。我们展示了SEED如何用于从矩阵近似和去噪到聚类的应用,并将其应用于众多现实世界的数据集。我们的研究结果表明,种子是一个有吸引力的低复杂度的替代其他稀疏矩阵分解方法,如稀疏PCA和自表达的聚类方法。
2015-05-04 cs.CV cs.IT cs.LG
Improving Spectral Clustering Using Spectrum-Preserving Node Aggregation
University of Southern California, Los Angeles, CA 90089, USA
谱聚类是最常用的聚类方法之一。然而,由于涉及的特征分解过程的高计算成本可以立即阻碍其在大规模任务中的应用。在本文中,我们使用保谱节点约简来加速特征分解,并生成数据集的简洁表示。具体来说,我们创建了一个小数目的基于光谱相似性的超声波。然后,标准的谱聚类算法上执行较小的节点集。最后,原始数据集中的每个数据点被分配到集群作为其代表性的伪节点。所提出的框架运行在接近线性的时间。同时,通过挖掘简洁的表示,可以显著提高聚类的准确率。实验结果表明,显着提高聚类性能相比,国家的最先进的方法。
2023-01-23 cs.LG
Clustering by Low-Rank Doubly Stochastic Matrix Decomposition
Aalto University(阿尔托大学)
提出一种超越矩阵分解的低秩学习方法,通过两步二分随机游走逼近聚类分配概率,利用KL散度最小化实现判别模型的最大似然估计,并采用松弛的MM算法优化,显著提升大规模流形数据的聚类纯度。
2012-06-18 cs.CV cs.LG cs.NA
Tensor-based Intrinsic Subspace Representation Learning for Multi-view Clustering
Xi’an Jiaotong University(西安交通大学)
多视图聚类作为一个热点研究课题,在过去的几年中,提出了许多方法。然而,大多数现有的算法仅仅考虑不同视图之间的一致性信息进行聚类。在实际应用中,由于不同的视图通常包含不同的统计特性,这可能会影响多视图聚类的性能。为了解决这个问题,本文提出了一种新的基于张量的内在子空间表示学习(TISRL)的多视图聚类。具体地说,首先提出了保秩分解,有效地处理不同视图中包含的不同统计信息。然后,为了实现内在子空间表示,张量奇异值分解的基础上低秩张量约束也被利用在我们的方法。可以看出,保秩分解充分挖掘了不同视图中包含的特定信息,低秩张量约束挖掘了多视图数据的高阶相关性。目标函数可以通过基于增广拉格朗日乘子的交替方向最小化算法来优化。在9个常用的真实世界多视图数据集上的实验结果表明了TISRL的优越性。
2022-11-08 cs.LG
Clustering and Latent Semantic Indexing Aspects of the Singular Value Decomposition
Faculty of Computer Science and Information Systems(计算机科学与信息系统学院);Universiti Teknologi Malaysia(马来西亚技术大学)
本文解释了奇异值分解(SVD)如何用于聚类,并指出其聚类与潜在语义索引(LSI)源于同一原理,进而设计了一种模拟SVD聚类能力的LSI算法,无需指定分解秩,性能与SVD相当。
2012-11-16 cs.LG cs.NA math.NA
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法,以节省计算和通信开销。设计了一种分散广义交替方向乘子算法,用于并行求解目标函数。理论性质推导,以保证模型的一致性和算法收敛。数值实验结果表明,该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI
Byzantine-Robust Aggregation for Securing Decentralized Federated Learning
atlanTTic Research Center – ICLAB – Universidade de Vigo(atlanTTic研究中心 – ICLAB – 维戈大学)
提出WFAgg算法,通过多过滤器识别和缓解拜占庭攻击,增强去中心化联邦学习的安全性,在多种攻击场景下优于现有集中式方案。
2026-06-26 cs.AI cs.LG
Joint Projection Learning and Tensor Decomposition Based Incomplete Multi-view Clustering
Nanjing University(南京大学);Nanjing Institute of Agricultural Mechanization, Ministry of Agriculture and Rural Affairs(农业农村部南京农业机械化研究所);Nanjing University of Science and Technology(南京理工大学)
针对不完整多视图聚类中高维数据噪声及图转换噪声问题,提出结合正交投影降维、三阶张量多视图关联挖掘与张量分解图滤波的JPLTD方法,性能优于现有最优方法。
2023-10-06 cs.LG
A Note on Spectral Clustering and SVD of Graph Data
Tsinghua University(清华大学)
谱聚类和奇异值分解(SVD)都是分析图形数据的常用方法.在本文中,我将使用简单的线性代数来展示它们之间的联系,旨在为未来的研究提供一些深入的理解。
2018-09-27 cs.LG cs.SI
Federated K-Means Clustering via Dual Decomposition-based Distributed Optimization
Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau(莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文针对数据隐私与带宽限制下的分布式聚类需求,提出基于对偶分解的联邦$K$-means聚类方法,评估了三类对偶算法在基准问题上的性能,为后续高效求解提供了思路。
2023-07-25 cs.LG math.OC
HyperEF: Spectral Hypergraph Coarsening by Effective-Resistance Clustering
Stevens Institute of Technology(史蒂文斯理工学院)
本文介绍了一个可扩展的算法框架(HyperEF)的谱粗化(分解)的大规模超图利用超边有效电阻。受简单图的低电阻直径分解的最新理论框架的启发,HyperEF旨在将大型超图分解为多个节点簇,只有少数簇间超边。HyperEF中的关键组件是一种用于估计超边缘有效电阻的近线性时间算法,该算法允许结合超图上定义的最新基于扩散的非线性二次算子。为了实现良好的运行时可扩展性,HyperEF在Krylov子空间(或近似特征子空间)内搜索,以识别近似超边缘有效电阻的近似最佳向量。此外,一个节点权重传播计划的多级谱超图分解已被引入,以实现更大的节点粗化率。与最先进的超图划分(聚类)方法相比,在真实世界的VLSI设计上的大量实验结果表明,HyperEF可以更有效地粗化(分解)超图,而不会丢失原始超图的关键结构(谱)属性,同时实现hMetis上的$70\times$运行时加速和HyperSF上的$20\times$加速。
2022-12-03 cs.LG
On Consistency of Compressive Spectral Clustering
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Indian Institute of Science(印度科学学院)
谱聚类是图中社区发现的最常用的方法之一。谱聚类算法中的一个关键步骤是对$n{\times}n$图拉普拉斯矩阵进行特征分解,提取其$k$前导特征向量,其中$k$是$n$对象之间所需的聚类数。对于非常大的数据集来说,这是非常复杂的。然而,最近已经表明,它是可能的,通过计算一个近似的频谱嵌入,通过图形滤波的随机信号,绕过本征分解。在本文中,我们分析了通过图过滤随机块模型进行谱聚类的工作。具体来说,我们的稀疏性,维数和过滤器近似误差的一致性算法在恢复种植集群的影响。
2018-05-29 cs.IT cs.LG math.IT
DQRE-SCnet: A novel hybrid approach for selecting users in Federated Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering
Urmia University of Technology(乌尔米耶技术大学);Islamic Azad University, Central Tehran Branch(伊斯兰阿扎德大学中央德黑兰分校);Universitat Rovira I Virgili(罗维拉-威尔吉利大学)
基于现实世界中敏感数据的机器学习模型有望在从医学筛查到疾病爆发、农业、工业、国防科学等领域取得进展。在许多应用中,学习参与者的交流回合受益于收集他们自己的私人数据集,在真实数据上教授详细的机器学习模型,并分享使用这些模型的好处。由于现有的隐私和安全问题,大多数人避免敏感的数据共享进行培训。在没有每个用户向中央服务器展示其本地数据的情况下,联邦学习允许各方在其共享数据上联合训练机器学习算法。这种集体隐私学习的方法导致了训练期间重要通信的代价。大多数大型机器学习应用程序都需要基于各种设备和场所生成的数据集进行分散式学习。这些数据集是分散式学习的一个重要障碍,因为它们的不同背景导致了跨设备和位置的数据交付的显著差异。研究人员提出了几种方法来实现联邦学习系统中的数据隐私。然而,同质本地数据仍然存在挑战。该研究方法是在联邦学习中选择节点(用户)共享其数据,以实现基于独立数据的均衡,从而提高精度,减少训练时间,并增加收敛性。因此,本研究提出了一种基于谱聚类的组合式Deep-Q强化学习环境,称为DQRE-SCnet,用于在每个通信回合中选择设备子集。结果表明,在联邦学习中,减少通信轮数是可能的。
2021-11-07 cs.LG
Tangles and Hierarchical Clustering
我们建立了一个连接缠结,从结构图理论的概念,在罗伯逊和西摩的图未成年人的项目中起着核心作用,和层次聚类。缠结不仅可以定义为图,而且实际上可以定义为任意连通函数,这些连通函数是定义在某些有限论域的子集上的函数。在典型的聚类应用中,这些宇宙由一些度量空间中的点组成。连接功能通常需要子模块化。这是我们的第一个贡献表明,中心对偶定理连接缠结与层次分解(所谓的分支分解)也成立,如果子模块性被替换为一个不同的属性,我们称之为最大子模块。然后,我们定义了一个连接函数的有限数据集在任意度量空间,并证明其缠结是在一对一的对应关系,通过应用著名的单链接聚类算法得到的集群相同的数据集。最后,我们将这种对应关系推广到任何层次聚类。我们表明,表示层次聚类结果的数据结构,称为树状图,相当于最大子模块连接功能和它们的缠结。将缠结视为集群的想法首先由Diestel和Whittle在2016年提出,作为图像分割的一种方法。据我们所知,我们的结果是第一个在缠结和簇之间建立精确技术联系的结果。
2022-03-16 cs.CV cs.DM cs.LG
Compression of the Koopman matrix for nonlinear physical models via hierarchical clustering
Graduate School of Science and Engineering, Saitama University(埼玉大学理工学研究科)
本文提出利用层次聚类压缩Koopman矩阵的方法,并在小车-杆模型上验证其优于传统SVD压缩。
2024-03-27 cs.LG math.DS
Iterative Spectral Method for Alternative Clustering
Northeastern University(东北大学)
给定一个数据集和一个现有的聚类作为输入,替代聚类的目的是找到一个替代的分区。最先进的方法之一是核维交替聚类(KDAC)。我们提出了一种新的迭代谱方法(ISM),大大提高了KDAC的可扩展性。我们的算法是直观的,依赖于易于实现的频谱分解,并与理论保证。它的计算时间比现有的KDAC实现提高了5个数量级。
2019-09-08 cs.LG stat.AP stat.ML
A Quorum Sensing Inspired Algorithm for Dynamic Clustering
Massachusetts Institute of Technology(麻省理工学院)
群体感应是一个分散的生物过程,通过这个过程,一个没有全局意识的细胞群体仅仅基于细胞-介质相互作用和局部决策来协调它们的功能行为。本文从群体感应和群体竞争中得到启发,提出了一种新的数据聚类算法。该算法将每个数据视为单个细胞,并使用局部连通性知识将细胞同时聚类为多个菌落。它模拟群体感应中的自动诱导物分泌,以调整每个细胞的影响半径。与此同时,稀疏分布的核心细胞传播它们的影响力形成菌落,菌落之间的相互作用最终决定了每个细胞的身份。该算法不仅具有分析静态数据的灵活性,而且还具有分析时变数据的灵活性,这超过了许多现有算法的能力。证明了其稳定性和收敛性。该算法在几个应用上进行了测试,包括合成和真实基准数据集,等位基因聚类,社区发现,图像分割。特别是,该算法处理时变数据的独特能力使我们能够在机器人群分组和切换模型识别等新应用上进行实验。我们相信,该算法的有前途的性能将刺激更多令人兴奋的应用。
2015-10-06 cs.LG
Harnessing Implicit Cooperation: A Multi-Agent Reinforcement Learning Approach Towards Decentralized Local Energy Markets
Department of Mechanical Engineering, Universidad de los Andes(机械工程系,andes大学);Department of Industrial Engineering, Universidad de los Andes(工业工程系,andes大学)
本文提出隐性合作框架,通过多智能体强化学习在去中心化本地能源市场中实现高效协调,发现APPO-DTDE配置最优,同时提升了电网稳定性与可预测性。
2026-02-17 cs.CE cs.LG cs.MA
Overlapping community detection in networks via sparse spectral decomposition
University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们考虑的问题,估计重叠的社区成员在网络中,每个节点可以属于多个社区。每个节点的社区数量超过几个是很难估计和解释的,所以我们专注于稀疏节点成员向量。我们的算法是基于稀疏主子空间估计与迭代阈值。该方法计算效率高,计算成本相当于估计的邻接矩阵的领导特征向量,不需要额外的聚类步骤,不像谱聚类方法。我们表明,一个不动点的算法对应于正确的节点成员下的随机块模型的一个版本。该方法在模拟和真实网络上进行了经验评估,显示出良好的统计性能和计算效率。
2021-02-15 cs.LG cs.SI stat.CO
DeXposure: A Dataset and Benchmarks for Inter-protocol Credit Exposure in Decentralized Financial Networks
Cambridge Centre for Alternative Finance, Judge Business School, University of Cambridge(剑桥替代金融中心,法官商学院,剑桥大学);School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Department of Informatics, King’s College London(伦敦国王学院信息学院)
DeXposure数据集和基准测试用于研究去中心化金融网络中跨协议信用暴露,通过分析信用暴露网络的结构演变、行业级动态及时间图链接预测,为金融风险监控和机器学习研究提供支持。
2025-11-27 cs.CE cs.LG cs.SI
Bootstrapping single-channel source separation via unsupervised spatial clustering on stereo mixtures
Northwestern University(西北大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
将音频场景分离成孤立的源是计算机听觉中的基本问题,类似于视觉景物分析中的图像分割。基于深度学习的声源分离系统是目前解决欠定分离问题的最成功的方法,其中存在比信道更多的声源。传统上,这样的系统是在已经知道地面真实分解的声音混合物上训练的。由于大多数真实世界的记录没有这样的分解可用,这限制了可以训练的混合物的范围,以及学习模型可以成功分离的混合物的范围。在这项工作中,我们使用一个简单的盲空间声源分离算法来生成立体声混合的估计分解。这些估计连同基于分离质量的置信度的时频域中的加权方案一起用于训练可用于单通道分离的深度学习模型,其中没有源方向信息可用。这演示了如何使用诸如源的起源方向的简单线索来引导用于声源分离的模型,该模型可以在该线索不可用的情况下使用。
2018-11-06 cs.AI cs.LG cs.SD