CountChain: A Decentralized Oracle Network for Counting Systems
本文提出CountChain去中心化预言机网络，通过随机节点质押博弈验证链下计数事件并主动调用智能合约，结合形式分析与实验确定最优参数，证明存在诚实参与的纳什均衡。
2024-09-17 cs.CR cs.DC cs.GT
Communication-efficient Decentralized Machine Learning over Heterogeneous Networks
在过去几年中，分布式机器学习通常在异构网络上执行，例如多租户集群内的局域网或连接数据中心和边缘集群的广域网。在这些异构网络中，工作节点之间的链路速度变化很大，这使得最先进的机器学习方法难以执行有效的训练。集中式和分散式的培训方法都受到低速链接的影响。在本文中，我们提出了一种分散的方法，即NetMax，它使工作节点能够通过高速链路进行通信，从而大大加快了训练过程。NetMax具有以下新特性。首先，它由一种新的共识算法组成，该算法允许工作节点在其本地数据集上异步地训练模型副本，并通过对等通信交换信息以同步其本地副本，而不是中央主节点（即，参数服务器）。其次，每个工作节点随机选择一个对等节点，并在每次迭代中以微调的概率交换信息。特别地，具有高速链路的对等体以高概率被选择。第三，选择节点的概率设计，以最小化总的收敛时间。此外，我们从数学上证明了NetMax的收敛性。我们在异构集群网络上对NetMax进行了评估，结果表明，与最先进的分散式训练方法Prague，Allreduce-SGD和AD-PSGD相比，它分别实现了3.7X，3.4X和1.9X的加速比。
2020-10-20 cs.DC
Decentralized Learning Made Practical with Client Sampling
针对去中心化学习中全网参与导致的高通信、慢节点和动态可用性问题，本文提出Plexus，通过去中心化对等采样每轮仅选择少量可用节点训练并聚合模型，显著缩短训练时间、通信量和资源消耗。
2024-05-07 cs.DC
Towards Optimal Synchronous Counting
考虑$n$节点的完整通信网络，其中节点接收公共时钟脉冲。我们研究的同步$c$计数问题：给定任何起始状态和$f$故障节点的任意行为，任务是最终有所有正确的节点计数模$c$的协议。因此，我们正在考虑的算法是自稳定的，尽管拜占庭式的失败。在这项工作中，我们给出了新的算法的同步计数问题，（1）是确定性的，（2）在$f$线性稳定时间，（3）使用少量的状态，（4）实现几乎最佳的弹性。以前的算法要么诉诸随机化，使用大量的状态，或具有较差的弹性。特别是，我们实现了确定性算法的空间复杂度的指数改善，同时仍然实现线性稳定时间和几乎线性的弹性。
2015-03-23 cs.DC
Resource-aware Sub-network Allocation for Heterogeneous Decentralized Learning
KTH Royal Institute of Technology（皇家理工学院）
针对同步去中心化学习受系统异质性限制的问题，提出RASA-DL框架，通过二分搜索分配实现资源感知子网络部署，在不同异质性下提升了精度-延迟权衡表现。
2026-10-16 cs.DC
Centrality of nodes in Federated Byzantine Agreement Systems
联邦拜占庭协议系统（FBAS）是Mazières在2016年提出的一种共识模型，其中参与节点在概念上形成了一个网络，它们之间的链接由每个节点单独建立，因此是分散的。一个重要的问题是，这些分散的决策是否会导致一个整体分散的网络。网络中的（去）中心化水平可以使用中心性度量来评估。在本文中，我们考虑三种不同的方法来获得中心性措施的FBAS中的节点。其中两个是基于适应众所周知的措施的基础上，图和超图的FBAS上下文。由于FBAS的网络结构可能比（通常）图或超图更复杂，我们还开发了一个新的，适应问题的中心性措施。这种新的衡量标准是基于节点的完整性，这是FBAS模型的一个重要组成部分。我们说明了几个计算实例的三种方法的优点和缺点。我们已经在Python包Stellar Observatory中实现了所有中心性度量并执行了所有计算。
2020-12-07 cs.DC
Balanced Overlay Networks (BON): Decentralized Load Balancing via Self-Organized Random Networks
我们提出了一种新的框架，称为平衡覆盖网络（BON），它提供了可扩展的，分散的负载均衡的分布式计算使用大规模池的异构计算机。基本上，BON将每个节点的可用计算资源信息编码在连接网络中节点的链路结构中。这种分布式编码是自组织的，每个节点通过随机游走采样管理其入度和本地连接。将传入作业分配给具有最多空闲资源的节点也通过经由短随机游走对节点进行采样来完成。大量的模拟表明，由此产生的高度动态和自组织的图结构可以有效地平衡整个大规模网络的计算负载。这些模拟涵盖了广泛的情况，包括可用计算资源的显著异质性和传入负载的高突发性。我们提供了分析结果，证明了BON的可扩展性，真正的大规模网络：特别是我们表明，在某些理想条件下，网络结构收敛到Erdos-Renyi（ER）随机图;我们的模拟结果，但是，表明该算法做得更好，结构似乎接近理想情况下的d-正则随机图。我们还将高负载的BON和著名的球仓随机负载均衡框架联系起来。
2006-01-16 cs.DC
Naming and Counting in Anonymous Unknown Dynamic Networks
在这项工作中，我们研究的基本命名和计数问题（和一些变化）的网络是匿名的，未知的，并可能是动态的。在计数时，节点必须确定网络的大小n，在命名时，它们必须以唯一的身份结束。匿名的意思是所有节点都从相同的状态开始，可能除了一个唯一的领导节点，未知的是节点没有网络的先验知识（除了必要时的一些最小知识），包括对n的无知。网络动态性由1-区间连通性模型建模，其中通信是同步的，并且最坏情况下的对手选择每个轮的边缘，条件是每个实例都是连通的。我们首先专注于静态网络与广播，我们证明，如果没有一个领导者，计数是不可能解决的，命名是不可能解决的，即使有一个领导者，即使节点知道n。这些不可能性也会延续到动态网络中。我们还表明，一个独特的领导人足以解决线性时间计数。然后，我们专注于动态网络与广播。我们猜想，动态性使非平凡的计算不可能。鉴于此，我们让节点知道最大度的上界，并表明在这种情况下，节点可以获得n的上界。最后，我们将广播替换为一对一，其中节点可以向其每个邻居发送不同的消息。有趣的是，这种自然变化被证明在计算上等同于全知识模型，其中存在唯一的名称并且网络的大小是已知的。
2012-08-01 cs.DC
Near-Optimal Self-Stabilising Counting and Firing Squads
考虑由$n$节点组成的全连接同步分布式系统，其中多达$f$节点可能发生故障，并且每个节点都以任意初始状态开始。在同步$C$计数问题中，对于给定的$C>1$，所有节点最终需要在每一轮中对以$C$为模增加1的计数器达成一致.在自稳定射击队问题中，任务是最终保证所有非故障节点对外部输入具有同步响应：如果正确节点的子集接收外部“go”信号作为输入，则所有正确节点应同意在一轮（在不太遥远的将来）中联合输出“fire”信号。此外，如果没有某个正确的节点先前已经接收到“go”信号作为输入，则没有节点应该生成“fire”信号。我们提出了一个框架，以非常小的成本将这两个任务减少到二进制共识。例如，我们获得了一个确定性算法的自稳定拜占庭射击队的最佳弹性$f<n/3$，渐近最佳稳定和响应时间$O(f)$，和消息大小$O(\log f)$。由于我们的框架不限制所使用的共识例程的类型，我们还获得了有效的随机解决方案，并且可以直接将我们的框架用于其他类型的永久性故障。
2017-01-17 cs.DC
Efficient counting with optimal resilience
考虑$n$节点的完整通信网络，其中节点接收公共时钟脉冲。我们研究的同步$c$计数问题：给定任何起始状态和$f$故障节点的任意行为，任务是最终有所有正确的节点标记的脉冲与增加值模$c$在协议。因此，我们正在考虑的算法是自我稳定，尽管拜占庭式的失败。在这项工作中，我们给出了新的算法的同步计数问题，（1）是确定性的，（2）具有最佳的弹性，（3）有一个线性稳定时间在$f$（渐近最优），（4）使用少量的状态，因此，（5）通信的比特数少，每轮。以前的算法要么诉诸随机化，使用大量状态并需要高通信带宽，要么具有次优的弹性。特别是，我们实现了确定性算法的状态复杂度和消息大小的指数改善。此外，我们提出了两种互补的方法，用于减少在稳定期间和稳定后通信的位数。
2017-05-18 cs.DC
Decentralized Langevin Dynamics over a Directed Graph
物联网空间中技术的普及以及多处理计算平台的使用，以帮助从大量数据中执行学习和推理所需的计算，使得有必要对分散平台上的算法进行广泛研究。在这些设置中，计算节点通过图结构的通信链路发送和接收数据，并使用本地计算和寻求共识的通信的组合，合作解决感兴趣的问题。最近，Langevin动力学作为一种工具，高维采样和后验贝叶斯推理已被研究的背景下，分散操作。然而，这项工作仅限于无向图，其中所有通信都是双边的，即，如果节点A可以向节点B发送数据，则节点B也可以向节点A发送数据。我们扩展了考虑有向图上的朗之万动力学的现有技术。
2021-03-06 cs.DC math.OC math.PR
ABS-NET: Fully Decentralized Runtime Adaptation for Distributed Objects
我们提出了一个正式的，完全分散的运行时语义的ABS，语言和框架建模分布式面向对象系统的核心子集。该语义结合了网络基础设施的抽象图表示，其中网络端点表示为图节点，并且链路表示为具有缓冲器的弧，对应于OSI第2层互连。我们希望解决的关键问题是如何分配计算任务的节点，使某些性能目标得到满足。为此，我们使用的语义作为基础，通过节点之间的对象迁移执行网络自适应任务执行。适应性分析的三个服务质量的目标：节点负载，弧负载和消息延迟。我们已经实现了我们的语义在模拟器中的关键部分，并评估如何以及实现目标的一些应用相关的网络拓扑结构，迁移过程和ABS程序的选择。评估表明，在去中心化环境中，持续满足节点平衡任务分配的目标并在最大限度地减少通信以及弧负载和消息延迟方面取得进展是可行的。
2013-10-17 cs.DC cs.PL
FlexiChain 2.0: NodeChain Assisting Integrated Decentralized Vault for Effective Data Authentication and Device Integrity in Complex Cyber-Physical Systems
本文提出FlexiChain 2.0，通过NodeChain分布式UID保险库和链式认证机制，为复杂信息物理系统提供轻量级、抗攻击的数据认证与设备完整性保障。
2023-04-18 cs.CR cs.DC
Tight Linear Convergence Rate of ADMM for Decentralized Optimization
本文考虑利用网络拓扑信息来提高ADMM的收敛速度，使网络节点协同工作以最小化目标。这样的问题可以有效地解决使用ADMM通过分解成更容易的子问题的目标。合理利用网络拓扑结构可以显著提高算法性能。混合ADMM通过考虑节点中心性来探索利用节点信息的方向，但未能利用边缘信息。本文填补了这一空白，将节点和边缘信息，并提供了一个新的收敛速度界的分散ADMM，明确地依赖于网络拓扑结构。这样一个新的界限对于某些类的问题是可以达到的，因此是紧的。显式的依赖性进一步表明可能的方向，以达到最佳性能的边缘权重的最优设计。数值实验表明，简单的启发式方法可以获得更好的性能，并表现出对拓扑变化的鲁棒性。
2019-05-24 cs.DC eess.SP math.OC
Coded Data Rebalancing for Decentralized Distributed Databases
基于复制的分布式数据库的性能受到影响，这是由于跨存储节点的非均匀存储（也称为\textit{data skew}）以及操作期间复制因子的降低，特别是由于节点添加或移除。数据重新平衡是指在保持复制因子的同时，在纠正此数据倾斜时涉及的节点之间的通信。对于精心设计的分布式数据库，最近已经表明，在重新平衡阶段期间发送编码符号可以减少重新平衡的通信负载。在这项工作中，我们看看平衡的分布式数据库与\textit{random placement}，其中每个数据段存储在一个随机子集的$r$节点的系统中，其中$r$是指复制因子的分布式数据库。我们称之为分散式数据库。对于一个自然类的这种分散的数据库，我们提出了重新平衡方案，纠正数据倾斜和减少由于单个节点的添加或删除所产生的复制因子。我们给出相反的参数，这表明我们提出的再平衡方案是最佳的渐近文件的大小。
2020-11-12 cs.DC cs.IT math.IT
DeCoRIC: Decentralized Connected Resilient IoT Clustering
以低能耗开销维持对等连接是几种新兴物联网（IoT）应用的关键要求。还期望为非静态网络拓扑开发这样的连接解决方案，使得可以完全实现对设备故障的恢复能力。分散式集群已成为解决这一关键挑战的一种有前途的技术。围绕簇头（CH）的节点集群提供了一个节能的两层框架，用于对等通信。同时，去中心化确保框架能够快速适应动态变化的网络拓扑。虽然在文献中已经提出了一些分散的集群解决方案，它们要么缺乏连通性的保证，要么产生显着的能量开销来维护集群。在本文中，我们提出了分散式连接弹性物联网集群（DeCoRIC），这是一种节能的集群方案，它是自组织的，对网络变化有弹性，同时保证连接性。使用Contiki模拟器上实现的实验，我们表明，我们的聚类方案适应自己的节点故障在一个有时限的方式。我们的实验表明，DeCoRIC在所有节点之间实现了100%的连接，同时与最先进的技术BEEM和LEACH相比，系统中节点的功率效率分别提高了110%和70%。提高的功率效率也转化为第一个节点死亡之前的更长寿命，最佳情况下比BEEM长109%，比LEACH长42%。
2020-04-29 cs.DC cs.NI
Differential Privacy of Decentralized Learning: Centralized Rate Conditions and Nearly Tight Guarantees
Nokia Bell Labs（诺基亚贝尔实验室）
该研究分析了去中心化 gossip 平均算法在不同威胁模型下的差分隐私保证，证明其与高斯机制的隐私保证相似，并展示了去中心化隐私学习在强凸损失下的额外风险特性。
2026-10-28 cs.CR cs.DC cs.LG
Decentralized Kernel Ridge Regression Based on Data-Dependent Random Feature
Shanghai Jiao Tong University（上海交通大学）；KU Leuven（鲁汶大学）
提出一种追求决策函数一致性的分布式核岭回归算法，允许各节点使用数据依赖的随机特征，在保持通信成本不变的情况下，在六个真实数据集上平均回归精度提升25.5%。
2024-09-20 cs.DC cs.LG stat.ML
A Decentralized Quasi-Newton Method for Dual Formulations of Consensus Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文考虑了网络中每个节点都可以访问聚合费用函数的不同被加数的共识最优化问题。节点试图最小化聚合费用函数，而它们只与它们的邻居交换信息。我们修改的对偶分解方法，将曲率校正的启发Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法。由此产生的双D-BFGS方法是一个完全分散的算法，其中节点通过满足割线条件近似自己和邻居的曲率信息。双D-BFGS是在共识最优化问题的兴趣是不良态，使一阶分散方法无效，并在其中二阶信息是不容易获得的，使分散二阶方法不可行。异步实现的讨论和收敛的D-BFGS建立正式的同步和异步实现。性能优势相对于其他分散算法的数值。
2016-03-23 cs.DC cs.LG math.OC
Network Topology and Communication-Computation Tradeoffs in Decentralized Optimization
在分散优化中，节点合作以最小化总体目标函数，该总体目标函数是每个节点私有目标函数的总和（或平均值）。算法将本地计算与所有节点或节点子集之间的通信交织在一起。受各种应用的启发-传感器网络中的分布式估计、海量数据集的拟合模型和多机器人系统的分布式控制，仅举几例-已经朝着具有理论性能保证的鲁棒、实用算法的发展取得了重大进展。本文概述了这一领域的最新工作。通常，收敛速率不仅取决于所涉及的节点的数量和期望的准确度水平，而且还取决于节点在其上通信的网络的结构和性质（例如，链路是有向的还是无向的、静态的还是时变的）。我们调查的国家的最先进的算法和他们的分析适合这些不同的情况下，突出了网络拓扑结构的作用。
2018-01-15 cs.DC cs.MA math.OC
On coexistence of decentralized system (blockchain) and central management in Internet-of-Things
网络由逻辑节点和用于通信的边组成。连接到网络的事物的原子组件是一个内存芯片。因此，内存芯片和逻辑节点的唯一链接可以有望解决物联网上的信任根问题。为此，我们提出了一个使用内存芯片的挑战-响应协议。对于中央管理，中央节点控制具有内存芯片的电子设备进入网络，并排除伪节点（例如，欺骗实体）从中心节点管理的网络中。对于分散式通信，Merkle的树由逻辑节点分别唯一链接的内存芯片组成。Merkle的根源原来是存储数据交易最新记录的内存芯片。我们可以通过满足共识证明的要求将该内存芯片注册为新的块。在块被链接之后，即使是中心节点也更难操纵内存芯片之间的事务记录。通过这种方式，分散式系统（例如，区块链）和中央管理可以共存。并简要讨论了安全状态的新概念。
2022-12-10 cs.CR cs.DC cs.NI
Expander Graph and Communication-Efficient Decentralized Optimization
在本文中，我们讨论了如何设计图的拓扑结构，以减少某些分散优化算法的通信复杂度。我们的目标是尽量减少达到规定精度所需的总通信量。我们发现，所谓的扩展图是接近最优的选择。我们提出了三种方法来构建不同数量的节点和节点度的扩展图。我们的数值结果表明，分散优化的性能是显着更好的扩展图比其他正则图。
2016-12-03 cs.DC cs.MA math.OC
The Built-In Robustness of Decentralized Federated Averaging to Bad Data
SoBigData RI PPP: SoBigData RI Preparatory Phase Project（SoBigData RI预研阶段项目）；PNRR - M4C2 - Investimento 1.3（PNRR-M4C2-投资1.3）；Telecommunications of the Future（未来电信）
本文通过模拟坏数据均匀分布和集中于单节点两种场景，发现基于FedAvg的去中心化联邦学习对局部低质量数据具有显著鲁棒性，且损坏数据集中于单节点时鲁棒性更强，其原因是平均过程限制了任何单个节点对整体学习的影响。
2025-06-04 cs.AI cs.DC cs.LG
Decentralized Federated Learning: A Segmented Gossip Approach
Tsinghua University（清华大学）；Jilin University（吉林大学）；Peng Cheng Laboratory（鹏城实验室）
对数据隐私和安全性的新担忧激发了联邦学习的提出，它允许节点只同步本地训练的模型，而不是自己的原始数据。传统的联邦学习架构继承自参数服务器设计，依赖于高度集中的拓扑结构和大的节点到服务器带宽的假设。然而，在现实世界的联邦学习场景中，节点之间的网络容量是高度均匀分布的，并且小于数据中心中的网络容量。传统的联邦学习方法难以有效利用节点间的网络容量。在本文中，我们提出了一个模型段级分散联邦学习来解决这个问题。特别是，我们提出了一种分段的流言方法，它不仅充分利用了节点到节点的带宽，而且具有良好的训练收敛性。实验结果表明，与集中式联邦学习相比，即使是训练时间也可以大大减少。
2019-08-21 cs.DC cs.LG cs.NI
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降（SGD）是分散式联邦学习（DFL）的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中，我们提出了一个通用的DFL框架，它实现了多个本地更新和多个节点间的通信周期，以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证，而无需假设凸目标。DFL的收敛速度可以被优化，以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率，将压缩通信作为一种新的方案引入到DFL中，命名为DFL with compressed communication（C-DFL）。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明，DFL优于传统的分散SGD方法，并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
Homogenizing Non-IID datasets via In-Distribution Knowledge Distillation for Decentralized Learning
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
本文提出分布内知识蒸馏（IDKD）方法，通过公共数据集和分布外检测器在保护隐私的前提下同质化各节点数据分布，从而在去中心化学习中实现异构数据下的最先进泛化性能并降低通信开销。
2024-02-24 cs.DC cs.LG
Decentralized Multi-Task Stochastic Optimization With Compressed Communications
University of California, Los Angeles（加州大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑一个多智能体网络，其中每个节点都有一个随机（本地）的成本函数，取决于该节点的决策变量和一个随机变量，并进一步相邻节点的决策变量成对约束。网络有一个集合目标函数，它由节点上局部代价函数的期望值相加而成，网络的总体目标是在所有成对约束条件下获得该集合目标函数的最小解。这将在节点级别使用分散的信息和本地计算来实现，仅允许相邻节点交换压缩信息。本文开发了算法，并获得了两种不同的模型在节点的本地信息可用性的性能界限：（i）样本反馈，其中每个节点直接访问局部随机变量的样本以评估其局部成本，以及（ii）强盗反馈，其中随机变量的样本不可用，但是只有在接近判决的两个随机点处的局部成本函数的值可用于每个节点。对于这两个模型，压缩邻居之间的通信，我们已经开发出分散鞍点算法，提供性能没有什么不同（在顺序意义上），从那些没有通信压缩;具体而言，我们表明，偏离全局最小值和违反约束的上限分别由$\mathcal{O}(T^{-\frac{1}{2}})$和$\mathcal{O}(T^{-\frac{1}{4}})$，其中$T$是迭代次数。文中提供的数值例子证实了这些界限，并证明了所提出的方法的通信效率。
2021-12-23 cs.DC cs.LG math.OC
Fair Decentralized Learning
EPFL（苏黎世联邦理工学院）
针对去中心化学习中数据特征异构性导致的模型效用降低和不公平问题，提出基于聚类的Facade算法，通过动态分配节点并协作训练专门模型，在保证收敛性的同时显著提升了模型准确性与公平性并降低了通信成本。
2025-01-24 cs.DC cs.LG
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
Impact of network topology on the performance of Decentralized Federated Learning
CNR-IIT（国家研究委员会信息科学与技术研究所）
本文通过三种网络拓扑与六种数据分布设置，研究去中心化联邦学习中网络结构如何影响知识传播，发现全局中心性比局部聚类更能预测性能，并揭示稀释、拉动及社区隔离效应。
2024-02-28 cs.AI cs.DC cs.LG
Decentralized Learning Made Easy with DecentralizePy
EPFL（洛桑联邦理工学院）
针对现有去中心化学习模拟环境可扩展性差、无法捕捉实际运行行为的问题，本文提出分布式框架DecentralizePy，支持任意拓扑大规模学习网络仿真，已在千节点动态网络等场景验证其技术部署能力。
2023-04-17 cs.DC cs.LG
Go With The Flow: Churn-Tolerant Decentralized Training of Large Language Models
Worker Thread；Université de Neuchâtel（Neuchâtel大学）；Delft University of Technology（代尔夫特理工大学）
GWTF是首个容崩溃的去中心化训练框架，通过新颖流算法优化路由，在异构客户端和高节点流失场景下将LLM训练时间减少高达45%。
2025-09-25 cs.DC cs.LG
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing
Royal Institute of Technology (KTH)（瑞典皇家理工学院）；Princeton University（普林斯顿大学）
大数据，包括具有高安全要求的应用，通常被收集并存储在多个异构设备上，例如移动设备、无人机和车辆。由于通信成本和安全要求的限制，以分散的方式提取信息而不是将数据聚合到融合中心至关重要。为了训练大规模机器学习模型，边缘/雾计算通常被用作集中式学习的替代方案。我们考虑的问题，学习模型参数的多智能体系统的数据通过分布式边缘节点进行本地处理。研究了一类小批量随机交替方向乘子法（ADMM）算法，建立了分布式学习模型。为了解决分布式网络中的两个主要关键挑战，即，针对通信瓶颈和落后节点（响应慢的节点），研究了基于差错控制编码的随机增量ADMM。给出了一个适当的小批量大小，我们表明，小批量随机ADMM为基础的方法收敛速度为$O(\frac{1}{\sqrt{k}})$，其中$k$表示的迭代次数。数值实验表明，与现有算法相比，该算法具有通信效率高、响应速度快、鲁棒性强等优点.
2020-10-02 cs.DC cs.LG
Honeybee: Byzantine Tolerant Decentralized Peer Sampling with Verifiable Random Walks
Honeybee提出一种基于可验证随机游走和表一致性检查的去中心化节点采样算法，在存在大量拜占庭节点时仍能保证安全性，采样质量优于现有方法，适用于区块链网络的全节点和轻节点设计。
2025-04-24 cs.CR cs.DC cs.DS
GFL: A Decentralized Federated Learning Framework Based On Blockchain
Polytechnic Institute, Zhejiang University（浙江大学理工学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Public Affairs, Zhejiang University（浙江大学公共管理学院）
联邦学习（FL）是一个快速发展的领域，已经提出了许多集中式和分散式的FL框架。然而，如何提高FL框架的通信性能，保持FL框架在恶意节点攻击下的安全性和鲁棒性，是当前FL框架面临的一大挑战。在本文中，我们提出了银河联邦学习框架（GFL），一个基于区块链的去中心化FL框架。GFL引入了一致性哈希算法来提高通信性能，并提出了一种新的环形分散FL算法（RDFL）来提高分散FL的性能和带宽利用率。此外，GFL引入星际文件系统（IPFS）和区块链，进一步提升通信效率和FL安全性。实验结果表明，GFL在恶意节点和非独立同分布（Non-IID）数据集的数据投毒下，提高了通信性能和分散FL性能.
2021-04-13 cs.CR cs.DC cs.LG
Efficient and Robust Online Learning to Rank in Decentralized Systems
TU Delft（代尔夫特理工大学）；EPFL（洛桑联邦理工学院）
提出RankGuard框架，通过用户间直接交换模型更新并利用私有点击历史防御投毒攻击，首次给出去中心化在线学习排序的收敛性证明，效率最高提升62倍。
2026-06-11 cs.DC cs.IR
Governing Decentralized Complex Queries Through a DAO
最近，出现了能够解决数据完整性和真实性的新一代P2P系统，用于开发“更”分散的互联网的新应用，即，分布式账本技术（DLT）和分散式文件系统（DFS）。然而，这些技术仍然有一些未解决的问题，主要与数据查找和发现有关。在本文中，首先，我们提出了一个分布式哈希表（DHT）系统，有效地管理分散的基于关键字的查询存储在DFS中的数据上执行。通过超立方体逻辑布局，查询在网络之间有效地路由，其中每个节点负责特定的关键字集和相关内容。第二，我们提供了一个基于去中心化自治组织（DAO）实现的上述网络的治理框架。我们展示了智能合约的使用如何实现组织决策，并奖励积极为DHT做出贡献的节点。最后，我们提供了实验验证我们的建议，其中执行相同的协议，为不同的逻辑节点的超立方体，使我们能够评估网络内的通信效率的实现。
2021-09-10 cs.CR cs.DC cs.NI
BRIDGE: Byzantine-resilient Decentralized Gradient Descent
Rutgers University（罗格斯大学）；Blue Danube Systems（蓝多瑙系统公司）
机器学习已经开始在许多应用中发挥核心作用。这些应用中的许多通常还涉及由于设计约束（例如，多代理系统）或计算/隐私原因（例如，在智能手机数据上学习）。这些应用程序通常需要以分散的方式执行学习任务，其中没有直接连接到所有节点的中央服务器。在现实世界的分散设置中，由于设备故障、网络攻击等，节点容易出现未检测到的故障，这可能会使非鲁棒学习算法崩溃。本文的重点是分散式学习的鲁棒性，在节点经历了拜占庭故障的存在。拜占庭故障模型允许故障节点任意偏离其预期行为，从而确保设计最鲁棒的算法。但是，与分布式学习相比，分散式学习中拜占庭式弹性的研究仍处于起步阶段。特别是，现有的拜占庭弹性分散式学习方法要么不能很好地扩展到大规模机器学习模型，要么缺乏统计收敛保证来帮助表征其泛化错误。在本文中，一个可扩展的，拜占庭弹性分散机器学习框架称为拜占庭弹性分散梯度下降（BRIDGE）。文中还对强凸问题和一类非凸问题给出了BRIDGE的一个变形的数学和统计收敛保证。此外，大规模的分散学习实验被用来建立BRIDGE框架是可扩展的，它提供了拜占庭弹性凸和非凸学习的竞争力的结果。
2022-06-15 cs.DC cs.LG cs.MA
A Model of Optimal Network Structure for Decentralized Nearest Neighbor Search
最近邻搜索问题的解决方法之一是建立一个网络，其中的节点对应于给定的索引对象集。在这种情况下，搜索最近的对象可以被认为是搜索网络中的节点。网络中的一个过程被称为分散式的，如果它只使用有关访问节点及其邻居的本地信息。网络，其结构允许有效地执行最近的邻居搜索从任何节点开始的分散搜索过程，特别是对于纯分布式系统特别感兴趣。在文献中已经提出了几种构建这种网络的算法。然而，出现了以下问题：“是否存在可以更快地执行分散搜索的网络模型？“;“分散搜索的最佳网络是什么？”;“它们的性质是什么？".本文对这些问题作了部分回答。我们提出了一个数学规划模型的问题，确定一个最佳的网络结构，分散最近邻搜索。我们已经找到了大小为4x 4的规则格的精确解和大小为5x 5到7 x7的启发式解。作为距离函数，我们使用L1、L2和L_inf度量。我们希望，我们的研究结果和建议的模型将开始研究分散最近邻搜索的最佳网络结构。
2017-12-22 cs.DC cs.DM cs.IR
Collaborative Learning in the Jungle (Decentralized, Byzantine, Heterogeneous, Asynchronous and Nonconvex Learning)
École Polytechnique（巴黎综合理工学院）；EPFL（洛桑联邦理工学院）
我们研究拜占庭协作学习，其中$n$节点寻求从彼此的本地数据中集体学习。数据分布可以从一个节点到另一个节点而变化。没有任何节点是可信的，并且$f < n$节点可以任意行为。我们证明了合作学习等价于一种新的协议形式，我们称之为平均协议。在这个问题中，每个节点都从一个初始向量开始，并试图近似地同意一个共同的向量，这个向量接近诚实节点的初始向量的平均值。我们提出了两个异步的解决方案，平均协议，我们证明每个最佳根据一些维度。第一，基于最小直径平均，需要$ n \geq 6f+1$，但实现渐近最佳可能的平均常数的乘法常数。第二种方法基于可靠广播和坐标修剪均值，实现了最佳拜占庭弹性，即，$n \geq 3f+1$。这些算法中的每一个都导出了一个最优的拜占庭协作学习协议。特别是，我们的等价性产生了新的不可能性定理，任何协作学习算法可以在对抗和异构环境中实现。
2021-12-01 cs.DC cs.LG stat.ML
Consensus-Based Transfer Linear Support Vector Machines for Decentralized Multi-Task Multi-Agent Learning
New York University（纽约大学）
迁移学习已经被开发用于改善机器学习中不同但相关的任务的性能。然而，随着训练数据的大小和任务的数量的增加，这样的处理变得不太有效。此外，由于某些任务可能包含在节点和任务之间通信的敏感和私有数据，因此可能会侵犯隐私。我们提出了一个基于共识的分布式迁移学习框架，其中的几个任务旨在找到最好的线性支持向量机（SVM）分类器在分布式网络。利用乘法器的交替方向方法，由于每个节点和每个任务都用自己的数据进行训练，并且只有决策变量在不同的任务和节点之间传递，因此任务可以更高效和私密地获得更好的分类精度。在MNIST数据集上的数值实验表明，源任务传递的知识可以降低目标任务在缺乏训练数据或训练标签不均衡时的风险.我们表明，在没有源任务的数据的节点中的目标任务的风险也可以减少使用从包含源任务的数据的节点传输的信息。我们还表明，目标任务可以进入和离开实时不重新运行整个算法。
2018-03-27 cs.DC cs.LG
Decentralized Distributed Graph Coloring: Cluster Graphs
本研究针对分布式计算中的簇图着色问题，提出首个亚对数级分布式算法，以O(log* n)轮实现对多重对数度以上簇图的(Δ+1)着色，优于此前poly(log n)的最优结果，推广了CONGEST模型结论。
2025-06-14 cs.DC cs.DS
HadAgent: Harness-Aware Decentralized Agentic AI Serving with Proof-of-Inference Blockchain Consensus
Kean University（基恩大学）；University of Notre Dame（圣母大学）；University of South Florida（南佛罗里达大学）；DefinanceX
HadAgent通过引入证明-推理共识机制，替代传统工作量证明，实现去中心化代理AI服务，提升验证效率与安全性，实验显示高检测率与低误报率。
2026-04-15 cs.CR cs.DC cs.ET
A Faster Counting Protocol for Anonymous Dynamic Networks
我们研究了在时隙通信网络中计算节点数的问题，在具有挑战性的假设下，节点没有标识符和网络拓扑结构经常变化。也就是说，对于每个时隙，节点之间的链路可以任意改变，只要网络总是连接的。容忍动态拓扑结构是至关重要的，面对移动性和不可靠的通信，而即使标识符是可用的，它可能是方便的，忽略它们在大规模网络与不断变化的拓扑结构。计数是分布式计算中的一项基本任务，因为知道系统的大小通常有助于设计更复杂问题的解决方案。目前，在运行时间上证明的计算精确网络大小的最佳上限是双指数。然而，只有线性复杂度的下限是已知的，留下开放的问题，是否存在有效的匿名动态网络计数协议。在本文中，我们提出了一个分布式的匿名动态网络计数协议，具有指数时间复杂度的回答这个问题的重要一步。我们的算法确保最终每个节点都知道系统的确切大小并停止执行算法。以前的计数协议具有双指数时间复杂度，或者它们是指数的但不终止，或者终止但不提供运行时间保证，或者仅保证网络大小的指数上限。其他协议是启发式的，不能保证正确的计数。
2015-09-07 cs.DC cs.DS
Decentralized Minimum-Cost Repair for Distributed Storage Systems
已经出现了许多用于分布式存储系统的应用，无线传感器网络或云存储。由于无线传感器网络中的存储节点具有有限的电池，因此找到具有最优传输成本的修复方案（例如，能源）。最优费用修理最近已被集中研究。然而，集中式控制机制可能不可用或者非常昂贵。对于这些场景，研究分散设置中的最优成本修复是很有趣的。我们制定的最佳成本修复凸优化问题的网络凸传输成本。然后，我们使用原始和对偶分解的方法来解耦的子问题进行局部求解。因此，每个幸存的节点，与其他节点合作，可以使其传输成本最小化，从而使全局成本最小化。我们进一步研究了算法的最优性和收敛性。最后，我们讨论了码的构造和确定域的大小，以找到可行的网络码在我们的方法。
2013-01-30 cs.DC cs.IT math.IT
Decentralized SGD with Over-the-Air Computation
Imperial College London（帝国理工学院）；NCTU（台湾交通大学）
我们研究了无线网络中分散式随机梯度下降（DSGD）的性能，其中节点使用其本地数据集协作优化目标函数。与传统的设置，其中的节点在无差错的正交通信链路进行通信，我们假设，传输是容易添加的噪声和interference.We首先考虑一个点对点（P2P）的传输策略，称为OAC-P2P计划，其中的节点对被调度在一个正交的方式，以最大限度地减少干扰。由于在DSGD框架中，每个节点在共识步骤需要相邻模型的线性组合，因此我们提出了OAC-MAC方案，该方案利用无线介质的信号叠加特性来实现空中计算（OAC）。对于这两种方案，我们投调度问题作为一个图着色问题。我们数值评估这两个计划的MNIST图像分类任务在各种网络条件下的性能。我们表明，OAC-MAC方案达到更好的收敛性能与更少的通信轮。
2020-03-06 cs.DC cs.IT cs.LG
A Dynamic Mode Decomposition Approach for Decentralized Spectral Clustering of Graphs
Raytheon Technologies Research Center（雷神技术研究中心）；University of Surrey（萨里大学）
本研究提出一种基于Koopman算子框架与局部DMD计算的去中心化图聚类算法，等效于谱聚类，相比现有FFT方法鲁棒性更强，步数仅需1/20且相对误差降低数个数量级。
2022-08-29 cs.DC cs.DM cs.LG
Decentralized Maximum Likelihood Estimation for Sensor Networks Composed of Nonlinearly Coupled Dynamical Systems
在本文中，我们提出了一个分散的传感器网络计划能够达到全局最优的最大似然（ML）估计，通过自同步的非线性耦合动力系统。网络的每个节点由一个传感器和一个以本地测量值初始化的一阶动力系统组成。邻近节点相互交互，交换它们的状态值，并且最终估计与每个动态系统的状态导数相关联。我们推导出耦合机制的条件，保证如果网络观察到一个共同的现象，每个节点收敛到全局最优ML估计。证明了当耦合强度超过给定阈值时，同步状态是全局渐进稳定的。作用于一个单一的参数，耦合强度，我们展示了如何，在非线性耦合的情况下，网络行为可以从一个全球共识系统切换到一个空间集群系统。最后，我们展示了网络拓扑结构对网络可扩展性的影响，并通过仿真结果验证了我们的理论研究结果。
2006-12-07 cs.DC cs.IT math.IT
Usable Agent Discovery for Decentralized AI Systems
Department of Computer Science（计算机科学系）；University of Pisa（比萨大学）；Institute of Information Science and Technologies（信息科学与技术研究所）；National Research Council of Italy（意大利国家研究理事会）；Institute of Informatics and Telematics（信息学与电信研究所）
本文研究了在双层 churn 情况下去中心化代理发现，比较了不同机制在路由效率、鲁棒性和服务准备度方面的表现。
2026-04-25 cs.AI cs.DC cs.MA
Noiseless Privacy-Preserving Decentralized Learning
EPFL（洛桑联邦理工学院）；Inria（法国国家信息与自动化研究所）；PSL University（巴黎文理研究大学）
针对去中心化学习中模型共享导致的隐私泄露问题，提出Shatter方法，通过虚拟节点分块传播模型，增强隐私并保持效用，理论证明收敛并降低攻击有效性。
2024-09-12 cs.AI cs.CR cs.DC
Fast Decentralized Optimization over Networks
目前的工作介绍了混合共识交替方向法的乘法器（H-CADMM），一个新的框架，优化网络，统一现有的分布式优化方法，包括集中式和分散式的共识ADMM。H-CADMM提供了一种灵活的工具，该工具利用底层图形拓扑，以便在节点到节点通信开销和收敛速率之间实现所需的最佳点--从而减轻C-CADMM和D-CADMM两者的已知限制。对新方法的严格分析建立了线性收敛速率，并且还指导参数的选择以优化该速度。H-CADMM的新型混合更新规则有助于“网络内加速”，这被证明可以显著提高完全分散的ADMM的性能，而且基本上是“免费的”。全面的数值测试验证了分析，并展示了该方法在处理有效，广泛有用的学习任务的潜力。
2018-05-09 cs.DC eess.SP math.OC
Quantized Decentralized Stochastic Learning over Directed Graphs
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
针对有向图上去中心化随机学习的通信瓶颈，提出基于push-sum的量化算法，在凸和非凸损失下保持与精确通信相同的收敛速率，并实现显著加速。
2024-12-19 cs.DC cs.LG cs.MA
Time-varying Mixing Matrix Design for Energy-efficient Decentralized Federated Learning
研究针对无线网络中分散式联邦学习，设计混合矩阵以最小化节点最大能耗。基于新收敛定理提出多阶段设计框架，权衡能耗与收敛速度，平衡节点能耗，经真实数据评估验证了该方案结合稀疏与密集矩阵优势的有效性。
2026-07-20 cs.DC cs.LG math.OC
A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们设计了一个低复杂度的分散学习算法，训练最近提出的大型神经网络中的分布式处理节点（工人）。我们假设工人之间的通信网络是同步的，可以建模为一个双随机混合矩阵，没有任何主节点。在我们的设置中，训练数据分布在工人之间，但由于隐私和安全问题，在训练过程中不共享。使用交替方向乘法器（ADMM）以及分层凸优化方法，我们提出了一个分散的学习算法，具有较低的计算复杂性和工人之间的通信成本。我们表明，它是可能实现等效的学习性能，如果数据是在一个单一的地方。最后，我们通过实验验证了算法的时间复杂度和收敛性。
2020-09-29 cs.DC cs.LG stat.ML
