Gradient tracking and variance reduction for decentralized optimization and machine learning
解决有限和最小化问题的分散式方法在许多信号处理和机器学习任务中是重要的,其中数据分布在节点网络上,并且由于隐私和/或资源约束而不允许原始数据共享。在这篇文章中,我们回顾了分散随机一阶方法,并提供了一个统一的算法框架,结合方差减少与梯度跟踪,以实现鲁棒性能和快速收敛。当目标函数是光滑的和强凸的时,我们给出了相应方法的明确的理论保证,并通过数值实验证明了它们对非凸问题的适用性。在整篇文章中,我们通过对感兴趣的方法进行适当的权衡和比较,并通过突出机器学习模型的分散训练应用,直观地说明了主要的技术思想。
2020-02-13 cs.DC cs.LG cs.MA
Scatterbrained: A flexible and expandable pattern for decentralized machine learning
Johns Hopkins Applied Physics Laboratory(约翰斯·霍普金斯应用物理实验室);University of Pennsylvania(宾夕法尼亚大学)
联合机器学习是一种用于在多个设备之间训练模型而无需在它们之间交换数据的技术。由于数据对于每个计算节点都是本地的,因此联邦学习非常适合数据受到严格控制的领域(如医学)或带宽受限的领域。这种方法的一个缺点是,大多数联邦学习工具依赖于中央服务器来执行工作负载委托并生成单个共享模型。在这里,我们提出了一个灵活的框架来分散联邦学习模式,并提供了一个与PyTorch兼容的开源参考实现。
2021-12-14 cs.LG
\mathsf{VISTA}: Decentralized Machine Learning in Adversary Dominated Environments
University of Minnesota(明尼苏达大学)
本文提出VISTA算法,通过动态调整接受阈值,在敌手主导的去中心化学习中实现渐近收敛,无需诚实多数假设。
2026-05-08 cs.AI cs.DC cs.LG
Delegating Data Collection in Decentralized Machine Learning
University of California, Berkeley(加州大学伯克利分校)
本文针对去中心化机器学习中的数据收集委托问题,利用契约理论设计最优和近最优线性契约,以应对模型质量与最优性能的信息不对称,并给出自适应凸规划方法及多次交互场景下的最优效用分析。
2024-11-20 cs.LG stat.ML
Edge-AI-Driven Learning-to-Rank for Decentralized Task Allocation in Circular Smart Manufacturing
Birmingham City University(伯明翰城市大学);Macao Institute of Systems Engineering and Collaborative Laboratory for Intelligent Science and Systems(澳门系统工程研究院和智能科学与系统联合实验室);New Jersey Institute of Technology(新泽西理工学院)
本文提出一种边缘AI驱动的去中心化任务分配框架,通过基于排序的协商实现高效资源分配,提升高负载和紧 deadline 场景下的延迟和能效。
2026-10-28 cs.AI cs.LG
Enhancing Parallelism in Decentralized Stochastic Convex Optimization
Technion(以色列理工学院)
本文提出 Decentralized Anytime SGD 算法,通过提升去中心化随机凸优化的关键并行性阈值,使更多机器能够在不损失收敛性能的情况下协同工作,并在高度连通拓扑中逼近集中式学习效果。
2025-06-01 cs.LG stat.ML
Game of Coding: Coding Theory in the Presence of Rational Adversaries, Motivated by Decentralized Machine Learning
本文提出一种博弈论框架,用于在存在理性对抗者的情况下改进去中心化系统中的编码理论,通过重复编码实现数据恢复和Sybil抗性。
2026-01-05 cs.LG
Decentralized Weather Forecasting via Distributed Machine Learning and Blockchain-Based Model Validation
School of Computing, Newcastle University, United Kingdom(计算学院,新卡斯尔大学,英国)
针对中心化天气预报系统的安全与扩展性缺陷,提出结合联邦学习与Ethereum区块链的去中心化框架,利用声誉投票与IPFS增强安全性,实验表明其提升了预测准确性、系统弹性与可扩展性。
2025-08-14 cs.AI cs.CR cs.LG
Machine learning-based decentralized TDMA for VLC IoT networks
Shahid Chamran University of Ahvaz(阿瓦士沙希德·查姆兰大学)
针对无协调器的 VLC IoT 网络,提出基于 Q-learning 的去中心化 TDMA 算法,实现无冲突时隙选择;硬件实验表明其收敛快,较 CSMA/CA 有效吞吐量最高提升61%、平均时延最高降低49%。
2023-11-27 cs.LG cs.NI
Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate
Temple University(天普大学)
本文研究去中心化随机多层组合优化问题,提出两种新颖的去中心化优化算法,在比现有单机算法更温和的条件下首次实现了与层数无关的非凸收敛速率,并通过大量实验验证了其有效性。
2024-05-31 cs.LG
Efficient Distributed Learning over Decentralized Networks with Convoluted Support Vector Machine
University of Michigan(密歇根大学);Renmin University of China(中国人民大学);Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院)
本文针对去中心化网络中的高维分类问题,提出基于卷积平滑铰链损失的广义ADMM算法,实现了线性收敛和接近最优的稀疏估计性能。
2025-03-10 cs.DC cs.LG stat.ML
Leveraging The Edge-to-Cloud Continuum for Scalable Machine Learning on Decentralized Data
Queen Mary University of London(伦敦玛丽女王大学)
本文针对边缘AI/ML在大规模场景中的采用障碍,提出以模型为中心的分散式协作学习框架,利用边缘到云连续体实现可扩展的机器学习。
2023-06-19 cs.DC cs.LG
Generative Data Augmentation for Non-IID Problem in Decentralized Clinical Machine Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
群学习是一种新兴的分散式机器学习范式,在临床应用中取得了很好的效果。SL通过结合边缘计算和基于区块链的对等网络,解决了联邦学习中的中心结构问题。虽然在假设参与者之间的独立和相同分布(IID)的数据有希望的结果,SL遭受性能下降的程度的非IID数据的增加。为了解决这个问题,我们提出了一个生成增强框架称为SL-GAN,它通过从参与者生成合成数据来增强非IID数据。SL-GAN在本地训练生成器和鉴别器,并通过SL网络中随机选择的协调器定期聚合。在标准假设下,我们从理论上证明了SL-GAN的收敛性使用随机逼近。实验结果表明,SL-GAN在三个真实世界的临床数据集上的性能优于最先进的方法,包括结核病,白血病,COVID-19。
2022-12-02 cs.DC cs.LG
Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning
Royal Institute of Technology (KTH)(瑞典皇家理工学院)
机器学习(Machine Learning,ML)是大数据驱动的大规模物联网(Internet of Things,IoT)智能普适计算建模与分析的关键技术。对于快速增长的应用程序和数据量,分布式学习是一个有前途的新兴范式,因为它通常是不切实际的或效率低下的共享/聚合数据到一个集中的位置从不同的。本文研究了在分散式系统上训练ML模型的问题,其中数据分布在许多用户设备上,学习算法在设备上运行,目的是减轻中央实体/服务器的负担。虽然基于流言的方法已经在不同的用例中用于此目的,但它们遭受高通信成本,特别是当设备数量很大时。为了缓解这一问题,提出了基于增量的方法。我们首先为去中心化ML引入增量块坐标下降(I-BCD),它可以以运行时间为代价降低通信成本。为了加快收敛速度,提出了一种异步并行增量BCD(API-BCD)方法,其中多个设备/代理以异步方式活动。我们推导出所提出的方法的收敛性。仿真结果还表明,我们的API-BCD方法在运行时间和通信成本方面优于现有技术。
2022-02-07 cs.LG cs.MA
Fedivertex: a Graph Dataset based on Decentralized Social Networks for Trustworthy Machine Learning
University of Twente(代尔夫特理工大学);Inria(法国国家信息与自动化技术研究所);Institute of Science and Technology Austria(奥地利科学与技术研究所)
针对去中心化机器学习缺乏真实图数据集的问题,提出了基于Fediverse的Fedivertex图数据集,包含14周抓取的182个图,并发布Python包及新任务以促进基准测试。
2025-05-27 cs.LG cs.SI
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里,我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作,但这些工作中的大部分都假设了一个非对抗性的设置,在这个设置中,除了偶尔的统计故障之外,各个节点都按照算法框架的预期运行。然而,近年来,来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此,我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性,以及在不同的对抗性威胁模型下的学习。然而,部分由于世界对数据驱动决策的需求日益增长,保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中,我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
An introduction to decentralized stochastic optimization with gradient tracking
Carnegie Mellon University(卡内基梅隆大学);Tufts University(塔夫茨大学)
有限和最小化的分散解决方案在许多信号处理、控制和机器学习应用中具有重要意义。在这样的设置中,数据分布在任意连接的节点的网络上,并且原始数据共享通常由于通信或隐私约束而被禁止。在这篇文章中,我们回顾了分散随机一阶优化方法,并说明了一些最近的改进,基于梯度跟踪和方差减少,特别侧重于光滑和强凸的目标函数。我们提供了主要技术思想的直观说明以及算法在机器学习模型分散训练背景下的应用。
2019-11-12 cs.LG cs.SY eess.SY
EdgeServe: A Streaming System for Decentralized Model Serving
The University of Chicago(芝加哥大学)
本文提出分布式流式系统EdgeServe,用于解决数据流场景下机器学习模型服务中的数据路由、时间同步和速率控制问题,并在人类活动识别、自动驾驶和网络入侵检测三个任务上验证了其实时预测能力。
2024-02-22 cs.DB cs.DC cs.LG
A Comprehensive Review on Understanding the Decentralized and Collaborative Approach in Machine Learning
University of Tsukuba(筑波大学);Pioneer Alpha(先锋阿尔法);Westcliff university(韦斯特克利夫大学);Clark Atlanta University(克拉克亚特兰大大学)
本文综述机器学习基础、挑战及去中心化协作方法,重点介绍联邦学习在医疗和金融中的隐私保护应用,并讨论通信、异构数据、安全问题与 Zero Trust 框架。
2025-03-12 cs.LG
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology(国防科技大学计算机学院);Scientific Computing & Imaging Institute, University of Utah(犹他大学科学计算与成像研究所)
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具,随机梯度下降已经得到了大量的研究。然而,社区很少关注其分散的变体。在本文中,我们提供了一个新的制定分散随机梯度下降。利用这个公式与(非)凸优化理论,我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上,并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
BRIDGE: Byzantine-resilient Decentralized Gradient Descent
Rutgers University(罗格斯大学);Blue Danube Systems(蓝多瑙系统公司)
机器学习已经开始在许多应用中发挥核心作用。这些应用中的许多通常还涉及由于设计约束(例如,多代理系统)或计算/隐私原因(例如,在智能手机数据上学习)。这些应用程序通常需要以分散的方式执行学习任务,其中没有直接连接到所有节点的中央服务器。在现实世界的分散设置中,由于设备故障、网络攻击等,节点容易出现未检测到的故障,这可能会使非鲁棒学习算法崩溃。本文的重点是分散式学习的鲁棒性,在节点经历了拜占庭故障的存在。拜占庭故障模型允许故障节点任意偏离其预期行为,从而确保设计最鲁棒的算法。但是,与分布式学习相比,分散式学习中拜占庭式弹性的研究仍处于起步阶段。特别是,现有的拜占庭弹性分散式学习方法要么不能很好地扩展到大规模机器学习模型,要么缺乏统计收敛保证来帮助表征其泛化错误。在本文中,一个可扩展的,拜占庭弹性分散机器学习框架称为拜占庭弹性分散梯度下降(BRIDGE)。文中还对强凸问题和一类非凸问题给出了BRIDGE的一个变形的数学和统计收敛保证。此外,大规模的分散学习实验被用来建立BRIDGE框架是可扩展的,它提供了拜占庭弹性凸和非凸学习的竞争力的结果。
2022-06-15 cs.DC cs.LG cs.MA
Adaptive Serverless Learning
Temple University(天普大学);University of Pittsburgh(匹兹堡大学)
随着分布式数据的出现,以无服务器方式训练机器学习模型近年来受到越来越多的关注。在这一制度中提出了许多培训方法,例如分散的SGD。然而,所有现有的去中心化算法都只关注标准SGD。它可能不适合某些应用,例如深度因子分解机,其中特征是高度稀疏和分类的,因此需要自适应训练算法。在本文中,我们提出了一种新的自适应分散训练方法,它可以从数据动态计算学习率。据我们所知,这是第一种自适应分散训练方法。我们的理论结果表明,该算法可以实现线性加速比的工人的数量。此外,为了减少通信效率的开销,我们进一步提出了一种通信效率高的自适应分散训练方法,该方法也可以实现相对于工人数量的线性加速。最后,在不同的任务上进行了大量的实验,证实了我们提出的两种方法的有效性。
2020-08-24 cs.AI cs.DC cs.LG
Quantum and Classical Machine Learning in Decentralized Finance: Comparative Evidence from Multi-Asset Backtesting of Automated Market Makers
Omnis Labs(Omnis实验室)
该研究通过多资产回测比较10个经典、量子及混合ML模型在AMM与DeFi策略中的表现,发现QASA Sequence以13.99%回报和1.76 Sharpe比率表现最佳。
2025-09-14 cs.LG q-fin.ST quant-ph
Decentralized Differentially Private Without-Replacement Stochastic Gradient Descent
Electronic Information School, Wuhan University(武汉大学);Department of Electrical and Computer Engineering, North Carolina State University(北卡罗来纳州立大学)
虽然机器学习在各种领域都取得了显著的成果,但模型的训练通常需要从不同个体收集的大型数据集。由于个人数据集中可能包含敏感信息,因此共享训练数据可能导致严重的隐私问题。因此,迫切需要开发隐私感知的机器学习方法,其中一种有效的方法是利用差分隐私的通用框架。考虑到随机梯度下降(SGD)是大规模机器学习问题中最常用的方法之一,提出了一种分散的差分私有SGD算法.特别是,我们专注于SGD,由于其结构有利于实际实施,因此没有替代品。隐私和收敛性分析所提出的算法。最后,大量的实验证明了所提出的方法的有效性。
2023-02-05 cs.LG stat.ML
Decentralized digital twins of complex dynamical systems
Oklahoma State University(俄克拉荷马州立大学);Norwegian University of Science and Technology(挪威科技大学)
本文介绍了一种用于动力系统的分布式数字孪生模型(DDT)框架,并讨论了DDT建模范式在计算科学和工程应用中的前景。DDT方法建立在联邦学习概念的基础上,这是机器学习的一个分支,鼓励知识共享,而不共享实际数据。这种方法使客户端能够协作学习聚合模型,同时将所有训练数据保留在每个客户端上。我们证明了DDT框架与各种动力系统,这往往被认为是在时空扩展系统中模拟复杂的传输现象的原型的可行性。我们的研究结果表明,联邦机器学习可能是在复杂的非线性时空系统中设计高度精确的分散式数字孪生的关键推动因素。
2022-07-07 cs.LG math.DS physics.flu-dyn
Stochastic Constrained Decentralized Optimization for Machine Learning with Fewer Data Oracles: a Gradient Sliding Approach
Georgia Institute of Technology(佐治亚理工学院)
针对去中心化机器学习中的通信与梯度计算开销,提出原始-对偶滑动与条件梯度滑动框架,在凸和强凸情形下达到最优梯度复杂度并放宽内点假设。
2024-04-03 cs.LG math.OC
An Improved Analysis of Gradient Tracking for Decentralized Machine Learning
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全研究中心);EPFL(洛桑联邦理工学院)
我们考虑在网络上分散的机器学习,其中训练数据分布在$n$代理中,每个代理都可以在其本地数据上计算随机模型更新。代理的共同目标是找到一个模型,最小化所有本地损失函数的平均值。虽然梯度跟踪(GT)算法可以克服一个关键的挑战,即考虑工人的本地数据分布之间的差异,GT算法的已知收敛速度不是最佳的,相对于它们的依赖于混合参数$p$(相关的连接矩阵的频谱间隙)。我们提供了一个更严格的分析GT方法在随机强凸,凸和非凸设置。我们改善$p$的$\mathcal{O}(p^{-2})$ $\mathcal{O}(p^{-1}c^{-1})$在无噪声的情况下,从$\mathcal{O}(p^{-3/2})$到$\mathcal{O}(p^{-1/2}c^{-1})$在一般的随机情况下,其中$c \geq p$是有关的连接矩阵的负特征值(在大多数实际应用中是一个常数)的依赖。这种改进是可能的,由于一个新的证明技术,可以独立的利益。
2022-02-08 cs.DC cs.LG math.OC
FLoBC: A Decentralized Blockchain-Based Federated Learning Framework
The American University in Cairo(开罗美国大学)
全球范围内数据的快速扩展需要更多的分布式解决方案,以便在更广泛的范围内应用机器学习。由此产生的分布式学习系统可以具有不同程度的集中化。在这项工作中,我们展示了我们的解决方案FLoBC,用于使用区块链技术构建一个通用的分散式联邦学习系统,适应任何与梯度下降优化兼容的机器学习模型。我们提出了我们的系统设计,包括两个分散的演员:训练器和验证器,以及我们的方法,以确保该系统的可靠和有效的操作。最后,我们利用FLoBC作为一个实验沙箱,比较和对比训练者与验证者的比例,奖惩政策和模型同步方案对整体系统性能的影响,最终通过例子表明,分散的联邦学习系统确实是一个可行的替代方案,以更集中的架构。
2022-10-07 cs.DC cs.LG cs.MA
Communication-Efficient Distributionally Robust Decentralized Learning
EURECOM(欧洲通信学院)
分散式学习算法使互连设备能够共享数据和计算资源,以在没有中央协调器的帮助下协作地训练机器学习模型。在网络节点处的异构数据分布的情况下,协作可以产生对于设备的子集具有不满意的性能的预测器。出于这个原因,在这项工作中,我们考虑制定一个分布式鲁棒分散学习任务,我们提出了一个分散的单循环梯度下降/上升算法(AD-GDA)直接解决底层的极大极小优化问题。我们使我们的算法通信效率采用压缩共识计划,我们提供了收敛保证光滑凸和非凸损失函数。最后,我们证实了理论研究结果与实证结果,突出AD-GDA的能力,提供无偏的预测,并大大提高通信效率相比,现有的分布式鲁棒算法。
2023-01-13 cs.AI cs.LG eess.SP
Zero-Knowledge Proof-based Verifiable Decentralized Machine Learning in Communication Network: A Comprehensive Survey
School of Cyberspace Science and Technology, Beijing Institute of Technology(信息科学与技术学院,北京理工大学);School of Computer Science, The University of Auckland(计算机科学学院,奥克兰大学);Southeast Institute of Information Technology, Beijing Institute of Technology(信息科技东南研究所,北京理工大学);Key Laboratory of Knowledge Engineering with Big Data (Hefei University of Technology), Ministry of Education(大数据知识工程重点实验室(合肥工业大学),教育部);School of Computer Science and Information Engineering, Hefei University of Technology(计算机科学与信息工程学院,合肥工业大学);Anhui Province Key Laboratory of Industry Safety and Emergency Technology(安徽省产业安全与应急技术重点实验室);Intelligent Interconnected Systems Laboratory of Anhui Province (Hefei University of Technology)(安徽省智能互联系统实验室(合肥工业大学));School of Cyber Science and Technology, Beihang University(网络科学与技术学院,北航);Department of Bioinformatics, Hangzhou Nuowei Information Technology Co.,Ltd(生物信息学系,杭州诺威信息技术有限公司)
本综述聚焦通信网络中基于零知识证明的可验证去中心化机器学习,提出ZKP-VML定义并系统分类现有方案,总结设计原则,指出挑战与未来方向。
2025-03-05 cs.CR cs.LG
Decentralized Machine Learning with Centralized Performance Guarantees via Gibbs Algorithms
1 Centre Inria d'Université Côte d'Azur, INRIA, Sophia Antipolis, France.;2 Laboratoire GAATI, Universit\' e de la Polyn\' e sie fran c aise, Fa`a`\= a , French Polynesia.;3 School of Electrical;Electronic Engineering, University of Sheffield, Sheffield, United Kingdom.;4 ECE Dept. Princeton University, Princeton, 08544 NJ, USA.
本文首次证明在不共享本地数据集的情况下可实现去中心化学习的集中性能,通过客户端采用经验风险最小化与相对熵正则化框架,并建立前向-后向通信,仅需共享本地获得的吉布斯测度即可达到集中ERM-RER的性能。
2026-04-22 cs.IT cs.LG math.IT
Consensus-Based Transfer Linear Support Vector Machines for Decentralized Multi-Task Multi-Agent Learning
New York University(纽约大学)
迁移学习已经被开发用于改善机器学习中不同但相关的任务的性能。然而,随着训练数据的大小和任务的数量的增加,这样的处理变得不太有效。此外,由于某些任务可能包含在节点和任务之间通信的敏感和私有数据,因此可能会侵犯隐私。我们提出了一个基于共识的分布式迁移学习框架,其中的几个任务旨在找到最好的线性支持向量机(SVM)分类器在分布式网络。利用乘法器的交替方向方法,由于每个节点和每个任务都用自己的数据进行训练,并且只有决策变量在不同的任务和节点之间传递,因此任务可以更高效和私密地获得更好的分类精度。在MNIST数据集上的数值实验表明,源任务传递的知识可以降低目标任务在缺乏训练数据或训练标签不均衡时的风险.我们表明,在没有源任务的数据的节点中的目标任务的风险也可以减少使用从包含源任务的数据的节点传输的信息。我们还表明,目标任务可以进入和离开实时不重新运行整个算法。
2018-03-27 cs.DC cs.LG
One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization
Inria(法国国家信息与自动化研究所);University Grenoble-Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
近年来,分散学习在联邦学习中的广泛应用引起了人们的广泛关注。以往的研究大多集中在离线设置的目标函数是静态的。然而,在众多见证海量数据变化的机器学习应用程序中,离线设置变得不切实际。在本文中,我们提出了\emph{decentralized online}算法的凸和连续DR-次模优化,两类功能,存在于各种机器学习问题。我们的算法实现的性能保证相媲美的集中式离线设置。此外,平均而言,每个参与者在每个时间步仅执行\emph{single}梯度计算。随后,我们将我们的算法扩展到强盗设置。最后,我们说明了我们的算法在现实世界的实验中的竞争力的表现。
2022-10-30 cs.DS cs.LG math.OC
Meta Learning in Decentralized Neural Networks: Towards More General AI
The University of Tokyo(东京大学);RIKEN(理化学研究所)
元学习通常是指从其他学习算法中学习的学习算法。神经网络预测中的不确定性问题表明,世界只能部分预测,并且学习过的神经网络不能推广到其不断变化的周围环境。因此,问题是预测模型如何同时表示多个预测。我们的目标是在分散式神经网络(分散式NN)的内容中提供对学习的基本理解,我们相信这是构建自主智能机器的最重要问题和先决条件之一。为此,我们将展示几个证据,用于在分散式NN中使用元学习解决上述问题。特别是,我们将提出三种不同的方法来构建这样一个分散的学习系统:(1)从许多副本神经网络中学习,(2)为不同的功能构建神经网络的层次结构,(3)利用不同的模态专家来学习跨模态表示。
2023-02-24 cs.AI cs.DC cs.LG
PredictChain: Empowering Collaboration and Data Accessibility for AI in a Decentralized Blockchain-based Marketplace
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出基于区块链的去中心化市场PredictChain,解决计算资源和训练数据获取受限的问题,支持数据上传、模型训练与查询,由网络节点运行多样化原型模型,促进数据共享并减少对中心化云提供商的依赖。
2023-07-27 cs.DC cs.LG
Asynchronous Federated Learning: A Scalable Approach for Decentralized Machine Learning
Helmholtz Centre for Environmental Research - UFZ(环境保护研究赫尔姆霍兹中心)
本文提出异步联邦学习算法AFL,分析客户端延迟与模型陈旧性下的收敛性,并通过线性回归和SVM实验验证其在非IID数据场景中的可扩展性与效率。
2025-10-21 cs.LG cs.SY eess.SY
Learning Regionally Decentralized AC Optimal Power Flows with ADMM
Georgia Institute of Technology(佐治亚理工学院)
下一代智能电网的一个潜在未来是使用分散式优化算法和安全通信来协调可再生发电(例如,风能/太阳能),可调度设备(例如,煤炭/天然气/核能发电)、需求响应、电池和存储设施以及拓扑优化。乘子交替方向法(ADMM)已被广泛应用于解决此类分散优化问题,特别是交流最优潮流(AC-OPF)。本文研究了机器学习如何帮助加速ADMM求解AC-OPF的收敛。它提出了一种新的分散式机器学习方法,即ML-ADMM,其中每个代理使用深度学习来学习耦合分支上的共识参数。本文还探讨了只从ADMM运行,表现出高品质的收敛性能的想法,并提出了过滤机制来选择这些运行。基于法国系统的测试用例的实验结果表明,该方法在加快ADMM的收敛显着的潜力。
2023-01-22 cs.LG cs.SY eess.SY
COLA: Decentralized Linear Learning
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
分散式机器学习是一个有前途的新兴范式,鉴于全球的数据所有权和隐私的挑战。我们考虑在训练数据分散在许多用户设备上的设置中学习线性分类和回归模型,并且学习算法必须在设备上运行,在任意通信网络上,没有中央协调器。我们提出了COLA,一种新的分散训练算法,具有强大的理论保证和优越的实际性能。我们的框架克服了现有方法的许多局限性,并实现了通信效率,可扩展性,弹性以及对数据和参与设备变化的弹性。
2019-06-18 cs.DC cs.LG stat.ML
A Decentralized Approach to Bayesian Learning
CCDC Army Research Laboratory(CCDC陆军研究实验室);Oklahoma State University(俄克拉荷马州立大学);Booz Allen Hamilton(博思艾伦汉密尔顿公司)
受分散式机器学习方法的启发,我们提出了一种协作贝叶斯学习算法,该算法采用非凸设置中分散式Langevin动态的形式。我们的分析表明,初始KL之间的马尔可夫链和目标后验分布的分歧是指数下降,而错误的贡献,从加性噪声的整体KL发散是减少在多项式时间。我们进一步表明,多项式项的经验加速与代理的数量,并提供充分的条件,随时间变化的步长,以保证收敛到所需的分布。所提出的算法的性能进行了评估各种各样的机器学习任务。实证结果表明,与集中式设置相当大的改善收敛速度的个人代理与本地可用的数据的性能。
2021-01-09 cs.LG math.ST stat.ML
Decentralized Stochastic Optimization with Inherent Privacy Protection
Clemson University(克莱姆森大学);Princeton University(普林斯顿大学)
分散随机优化是现代协作机器学习、分布式估计和控制以及大规模传感的基本构建块。由于所涉及的数据通常包含敏感信息,如用户位置,医疗记录和金融交易,隐私保护已成为一个越来越迫切的需求,在实现分散的随机优化算法。在本文中,我们提出了一个分散的随机梯度下降算法,这是嵌入固有的隐私保护,为每个参与代理对其他参与代理和外部窃听。该算法建立在一个基于动态的梯度混淆机制,使隐私保护,而不损害优化精度,这是在显着的差异,基于隐私的隐私解决方案的分散优化,必须贸易优化精度的隐私。基于动态的隐私方法是免维护的,因此避免了产生沉重的通信或计算开销,这是分散随机优化的基于加密的隐私解决方案的常见问题。除了严格的特征的收敛性能的分散随机梯度下降算法下凸目标函数和非凸目标函数,我们还提供了严格的信息理论分析其强度的隐私保护。分布式估计问题的仿真结果以及在基准机器学习数据集上进行分散学习的数值实验证实了所提出方法的有效性。
2022-05-08 cs.LG cs.SY eess.SY
On the Convergence of Decentralized Adaptive Gradient Methods
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
包括Adam、AdaGrad及其变体在内的自适应梯度方法在训练深度学习模型(如神经网络)方面非常成功。同时,由于分布式计算的需要,分布式优化算法正迅速成为焦点。随着计算能力的增长以及在移动设备上使用机器学习模型的需求,需要仔细考虑分布式训练算法的通信成本。在本文中,我们介绍了新的收敛分散自适应梯度方法,并严格地将自适应梯度方法分散的训练过程。具体来说,我们提出了一个通用的算法框架,可以将现有的自适应梯度方法转换为分散的方法。此外,我们深入分析了所提出的算法框架的收敛行为,并表明,如果一个给定的自适应梯度方法收敛,在某些特定的条件下,那么它的分散对应也是收敛的。我们说明了我们的通用去中心化框架的原型方法的好处,即,AMSGrad,无论是理论上还是数值上。
2021-09-07 cs.LG
Optimal Complexity in Decentralized Training
Cornell University(康奈尔大学)
去中心化是一种扩展并行机器学习系统的有前途的方法。在本文中,我们提供了一个严格的下界的迭代复杂性,这样的方法在一个随机的非凸设置。我们的下界揭示了许多现有分散训练算法(如D-PSGD)的已知收敛速度的理论差距。通过构造证明了这个下界是紧的和可实现的。受我们的见解的启发,我们进一步提出了DeTAG,这是一种实用的八卦式分散算法,仅用对数间隙就可以达到下界。从经验上讲,我们将DeTAG与其他分散式算法在图像分类任务上进行了比较,我们表明DeTAG与基线相比具有更快的收敛速度,特别是在未混洗数据和稀疏网络中。
2022-01-28 cs.LG stat.ML
Faster Adaptive Decentralized Learning Algorithms
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工业和信息化部模式分析与机器智能重点实验室)
针对现有自适应去中心化学习算法样本复杂度高的问题,提出两类分别适用于非凸随机与有限和优化的更快自适应去中心化算法,证明其近最优样本复杂度,并通过实验验证了算法效率。
2024-08-19 cs.LG math.OC
Detecting Rug Pulls in Decentralized Exchanges: Machine Learning Evidence from the TON Blockchain
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Faculty of Computer Science, HSE University(高等经济大学计算机科学学院);Moscow State University(莫斯科国立大学);Skolkovo Institute of Science and Technology(斯克罗夫诺夫科学与技术研究所)
本研究针对TON区块链的DEX提出机器学习Rug Pull检测框架,融合两大头部DEX数据,对比两种定义下的梯度提升模型检测效果,实现交易前五分钟的有效识别,为投资者提供预警并完善生态安全。
2025-09-01 cs.DC cs.LG
Knowledge Distillation-based Information Sharing for Online Process Monitoring in Decentralized Manufacturing System
School of Industrial Engineering and Management, Oklahoma State University(俄克拉荷马州立大学工业工程与管理学院)
针对去中心化制造系统中各单元监控模型性能不均的问题,提出基于知识蒸馏的信息共享框架,从高性能模型提炼知识以提升低性能模型,并在FFF增材制造平台上验证了其有效性与隐私保护。
2023-07-25 cs.LG eess.SP
Autonomous Collaborative Learning Among an Ensemble of Tsetlin Machines with Consensus-Based Inference
Faculty of Engineering, Bar Ilan University(巴伊兰大学工程学院)
本文针对分布式和去中心化TM学习关注不足的问题,提出基于共识推理的Tsetlin机集成去中心化协作学习范式,各智能体维护私有模型,不交换原始数据,实验表明该范式下分类准确率与集中式模型相当,促进了信息集成融合。
2026-07-23 cs.LG cs.MA
Q-GADMM: Quantized Group ADMM for Communication Efficient Decentralized Machine Learning
University of Oulu(奥卢大学);Deakin University(迪肯大学);IIT Kanpur(坎普尔印度理工学院);Purdue University(普渡大学)
本文提出Q-GADMM,通过仅与两个邻居通信并传输量化差值实现通信高效去中心化机器学习,并开发自适应随机量化方法保证收敛,实验表明其显著降低通信成本且保持精度与收敛速度。
2025-01-19 cs.DC cs.IT cs.LG
Federated Learning Inspired Fuzzy Systems: Decentralized Rule Updating for Privacy and Scalable Decision Making
The University of Newcastle(纽卡斯尔大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文借鉴联邦学习思想,提出分散式更新模糊规则的方法,以增强模糊系统处理不确定性的能力,并改善隐私、可扩展性和决策性能,但需进一步研究验证其改进程度。
2025-07-09 cs.LG
A general framework for decentralized optimization with first-order methods
Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Arizona State University(亚利桑那州立大学);Tufts University(塔夫茨大学)
由于其与最优控制和信号估计问题的天然相关性,使节点网络上的函数的有限和最小化的分散优化一直是控制和信号处理研究中的一个重要焦点。最近,复杂计算和大规模数据科学需求的出现导致了这一领域活动的复苏。在这篇文章中,我们将讨论分散的一阶梯度方法,这些方法在控制,信号处理和机器学习问题中取得了巨大的成功,这些方法由于其简单性,成为许多复杂推理和训练任务的首选方法。特别是,我们提供了一个一般的框架,分散的一阶方法,适用于无向和定向通信网络一样,并表明,现有的大部分工作的优化和共识可以明确地与这个框架。我们进一步扩展的讨论分散随机一阶方法,依赖于随机梯度在每个节点和描述如何本地方差减少计划,以前被证明有希望在集中的设置,能够提高分散的方法的性能时,结合什么是所谓的梯度跟踪。我们激励和证明了相应的方法在机器学习和信号处理问题的背景下,在分散的环境中出现的有效性。
2020-09-12 cs.LG cs.MA cs.SY
Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness
针对分布式语言模型训练的通信成本瓶颈,研究基于共享随机性拓展SPSA提出去中心化低带宽微调方法,仅交换单字节投影梯度,兼具隐私与动态适配优势,并通过概念验证实验证实潜力。
2023-06-16 cs.CL cs.DC cs.LG
Secure Decentralized Learning with Blockchain
University of California Santa Cruz(加州大学圣克鲁兹分校)
针对去中心化联邦学习存在的投毒攻击风险与客户端参与激励不足问题,提出基于区块链的BDFL框架,含审计、激励、声誉等机制,在30%恶意客户端场景下仍实现快速收敛与高准确率。
2024-03-11 cs.CR cs.LG
Robust Decentralized Learning Using ADMM with Unreliable Agents
Syracuse University(雪城大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室)
许多机器学习问题都可以转化为共识优化问题,通过协作多智能体系统可以有效地解决这些问题。然而,由于各种原因,系统中的代理可能是不可靠的:噪声,故障和攻击。提供错误的更新会将优化过程引向错误的方向,并降低分布式机器学习算法的性能。本文考虑了在不可靠代理存在的情况下使用ADMM的分散学习问题。首先,我们严格分析了错误更新(ADMM学习迭代)对多智能体系统收敛行为的影响。我们证明了该算法在一定条件下线性收敛到最优解的邻域,并分析了邻域大小的特征。接下来,我们提供网络设计的指导方针,以实现更快的收敛。我们还提供了错误的更新精确收敛到最优解的条件。最后,为了减轻不可靠代理的影响,我们提出了\textsf{ROAD},ADMM的一个强大的变种,并显示其弹性不可靠代理的精确收敛到最优。
2018-05-21 cs.LG stat.ML
An Empirical Study on Compressed Decentralized Stochastic Gradient Algorithms with Overparameterized Models
The Chinese University of Hong Kong(香港中文大学)
本文考虑分散优化与应用到图上的机器学习。神经网络(NN)模型的规模不断增长,促使分散式随机梯度算法的先前工作,以纳入通信压缩。另一方面,最近的工作已经证明了良好的收敛性和推广性能的过参数化神经网络。在这项工作中,我们提出了一个实证分析的压缩分散随机梯度(DSG)算法与过参数化神经网络的性能。通过在MPI网络环境下的仿真,我们观察到流行的压缩DSG算法的收敛速度对神经网络的大小具有鲁棒性。我们的研究结果表明,在现有文献中的压缩DSG算法的理论和实践之间的差距。
2021-10-09 cs.DC cs.LG math.OC
PRECISION: Decentralized Constrained Min-Max Learning with Low Communication and Sample Complexities
The Ohio State University(俄亥俄州立大学);Iowa State University(爱荷华州立大学);IBM Research AI(IBM人工智能研究院)
近年来,极大极小优化问题由于其在机器学习(ML)中的广泛应用而受到越来越多的关注。然而,大多数现有的最小-最大解决方案的技术是单机或分布式算法协调的中央服务器。在本文中,我们专注于分散的最小-最大优化学习域约束,其中多个代理集体解决一个非凸-强-凹的最小-最大鞍点问题,没有任何服务器的协调。具有域约束的分散式最小-最大优化问题支撑着许多重要的ML应用,包括多智能体ML公平性保证和多智能体强化学习中的策略评估。我们提出了一种算法称为PRECISION(近端梯度跟踪和随机递归方差减少),享有$O(1/T)$的收敛速度,其中$T$是最大的迭代次数。为了进一步降低样本的复杂性,我们提出了PRECISION $^+$与自适应批量技术。我们表明,快速$O(1/T)$收敛的PRECISION和PRECISION $^+$的$ε$ -平稳点意味着$O(ε^{-2})$通信复杂性和$O(m\sqrt{n}ε^{-2})$样本复杂性,其中$m$是代理的数量和$n$是在每个代理的数据集的大小。据我们所知,这是第一个工作,实现了$O(ε^{-2})$在样本和通信复杂性的分散最小-最大学习域约束。我们的实验也证实了理论结果。
2023-03-05 cs.DC cs.LG