Distributed Algorithms for Directed Betweenness Centrality and All Pairs Shortest Paths
网络（或图）中节点的介数中心性（BC）是其在网络中重要性的度量。BC被广泛用于大量环境中，例如社交网络、传输网络、安全/移动网络等。提出了一个O（n）轮分布式算法，用于计算有向无权网络中每个顶点的BC和所有对最短路（APSP），其中n为顶点数，m为边数.我们还提出了O（n）轮的分布式算法计算APSP和BC的加权有向无环图（DAG）。我们的算法是在拥塞模型和我们的加权DAG算法似乎是第一个非平凡的分布式算法APSP和BC。我们所有的算法都非常注意发送的消息的轮数和数量的常数因子，对于未加权的图，它们在这些措施中的一个或两个上至少提高了一个常数因子，超过了以前的结果，对于有向和无向APSP和BC。
2019-02-04 cs.DC cs.DS
Directed Neuro-Symbolic Stochastic Execution for Verification of Distributed Parallel AI Programs
Quandary Peak Research（昆达里峰研究院）
针对分布式并行AI程序的可靠性缺口，提出DNSSE混合测试框架，结合LLM调度预测与符号约束求解等，实现更优的并发bug检测率与分支覆盖率。
2026-08-11 cs.AI cs.DC
Agreement in Directed Dynamic Networks
我们研究了同步动态网络中的分布式计算，其中一个无所不知的对手控制的单向通信链路。它的行为被建模为一个序列的有向图表示每轮的活动（即及时）的通信链路。我们证明了共识是不可能的一些自然的弱连通性假设下，并引入顶点稳定的根组件作为一种手段来规避这种不可能性。从本质上讲，我们假设有一个很短的时间段，在此期间，网络的任意部分保持强连接，而其互连拓扑可能会不断变化。我们提出了一个共识算法，工作在这个假设下，并证明其正确性。我们的算法保持一个本地估计的通信图，并应用技术检测稳定的网络属性和单价系统配置。我们的可能性结果补充了几个不可能的结果和下界的共识和其他分布式计算问题，如领导人选举，揭示了我们的算法是渐近最优的。
2013-05-08 cs.DC
Fault-Tolerant Distributed Optimization (Part IV): Constrained Optimization with Arbitrary Directed Networks
本文研究了多智能体网络中当部分计算智能体可能出现故障时的约束分布式优化问题。在这个问题中，系统的目标是有所有的非故障代理集体最小化的局部成本函数，其中每个是最初已知的非故障代理的加权平均给出的全局目标。特别是，我们感兴趣的情况下，当计算代理连接的任意有向通信网络，一些代理可能遭受崩溃故障或拜占庭故障，每个代理的估计被限制在一个共同的约束集。该问题在社会计算和分布式大规模机器学习中有着广泛的应用。容错多智能体优化问题首先由Su和Vaidya提出，当局部函数定义在整个实数线上，并且网络是完全连接的时，可以求解该问题。在这份报告中，我们考虑任意定向通信网络，并专注于这样的情况下，在非故障代理的本地估计是受约束的，只允许本地通信和最小的内存进行迭代。特别是，我们推广我们以前的结果完全连接的网络和无约束优化任意有向网络和约束优化。作为副产品，我们提供了一个矩阵表示迭代近似崩溃的共识。矩阵表示使我们能够表征碰撞迭代共识的收敛速度。
2015-11-05 cs.DC math.OC
Distributed Evolutionary Graph Partitioning
本文提出了一种新的分布式进化算法KaFFPaE来解决图划分问题，它利用了KaFFPa（Karlsruhe Fast Flow Partitioner）。使用我们的多级图划分KaFFPa提供了新的有效的交叉和变异算子。通过将这些与可扩展的通信协议相结合，我们获得了一个系统，该系统能够在很短的时间内改善许多输入的最佳已知划分结果。例如，在Walshaw的著名基准表中，我们能够改进或重新计算具有1%、3%和5%不平衡的表的76%的条目。
2011-10-03 cs.DC cs.NE
Distributed Weight Balancing in Directed Topologies
这篇博士论文关注新的分布式算法的重量平衡有向（通信）拓扑结构。一个有向拓扑（有向图）的每条边都有非负（或正）权，如果对于每个节点，输入边的权之和等于输出边的权之和，则该拓扑是权平衡的。在这篇论文中介绍的新算法可以促进战略的发展，以分布式的方式产生的重量平衡的有向图，并找到许多应用在协调和控制的多组件系统。在本论文的第一部分，我们介绍了一种新的分布式算法，该算法在静态拓扑上运行，并解决了权值被限制为非负整数时的权值平衡问题。在论文的第二部分，我们提出了一种新的分布式算法，解决了整数权重平衡问题的存在下，任意（时变和非均匀）延迟，可能会影响在特定的链路在特定的时间传输。在本文的第三部分，我们提出了一种新的分布式算法，以获得允许的和平衡的整数权重的情况下，有上下重量的限制，在通信链路。在本论文的第四部分，我们提出了一种新的分布式算法，解决了整数权重平衡问题下的下限和上限的重量限制的情况下，任意（时变和非均匀）的时间延迟和可能的数据包丢失影响在特定的链路在特定的时间传输的通信链路。
2018-12-06 cs.DC cs.DS eess.SP
A Robust Gradient Tracking Method for Distributed Optimization over Directed Networks
在本文中，我们考虑的问题，分布式一致性优化多智能体网络与有向网络拓扑结构。假设每个代理有一个局部的成本函数是光滑的和强凸的，全局目标是最小化所有的局部费用函数的平均值。为了解决这个问题，我们引入了一个强大的梯度跟踪方法（R-Push-Pull）适应于最近提出的推挽/AB算法。R-Push-Pull算法继承了Push-Pull算法的优点，具有线性收敛的特点，能够精确地传递信息到最优解。在有噪声的信息交换下，R-Push-Pull算法比现有的基于梯度跟踪的算法具有更强的鲁棒性;在恒定步长策略下，每个智能体获得的解以指数方式快速到达期望最优解的邻域。我们提供了一个数值例子，证明了R-推拉的有效性。
2020-08-20 cs.DC cs.MA cs.SI
Fully Asynchronous Distributed Optimization with Linear Convergence in Directed Networks
我们考虑的分布式优化问题，其目标是最小化的局部目标函数的总和在一个有向网络。虽然它已经被广泛的研究，最近，大多数现有的算法被设计为同步或随机激活的实现，这可能会产生死锁在实践中。与此形成鲜明对比的是，我们提出了一个\emph{fully}异步推挽梯度算法（APPG），每个节点更新，而无需等待任何其他节点使用（可能陈旧）的信息，从邻居。因此，它是无死锁的，并且对任何有界的通信延迟都是鲁棒的。此外，我们构造了两个新的增广网络，从最坏情况的角度对其性能进行了理论评估，并证明了如果局部函数具有Lipschitz连续梯度，并且它们的和满足Polyak-Jasojasiewicz条件，（不需要凸性），APPG的每个节点以$\mathcal{O}(λ^k)$的线性速率收敛到相同的最优解，其中，无论哪个节点更新，$λ\in(0,1)$和虚拟计数器$k$都增加1。这在很大程度上说明了它的线性加速效率，并显示了它的优势，同步版本。最后，APPG的性能进行了数值验证，通过逻辑回归问题上的\emph{Covertype}数据集。
2021-01-04 cs.DC math.OC
Distributed Average Consensus Over Noisy Communication Links in Directed Graphs
受弹性、可伸缩性和即插即用操作需求的推动，分布式决策变得越来越普遍。在多智能体系统中达成共识的问题是分布式决策的核心。在这篇文章中，我们研究了在有向多智能体网络中，当通信链路被噪声破坏时，实现平均共识的问题。我们提出了一个算法，每个代理更新其估计的基础上的本地混合的信息，并增加其加权无噪声的初始信息，其更新在每次迭代。我们证明，适当设计的权重的代理实现共识下添加剂的通信噪声。我们建立，当通信链路是无噪声的，所提出的算法以几何速度走向共识。在通信噪声下，我们证明了代理估计几乎肯定会达到共识值。我们提出了数值实验，以证实所提出的算法在不同的噪声实现和各种算法参数的有效性。
2022-11-11 cs.DC cs.MA cs.SY
Projected Push-Pull For Distributed Constrained Optimization Over Time-Varying Directed Graphs (extended version)
针对时变有向图下的分布式约束优化问题，提出结合投影梯度下降与惰性更新的投影推拉算法，证明其几何收敛性并推导步长界，通过数值实验验证有效性。
2023-10-10 cs.DC cs.MA math.OC
A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
针对时变有向网络中的分布式在线优化问题，提出TV-HSGT算法，通过混合随机梯度跟踪与方差缩减机制，在无需梯度有界假设下提升动态遗憾界，并在实验中验证其有效性。
2025-08-28 cs.DC cs.LG math.OC
Distributed Optimization over Directed Graphs with Row Stochasticity and Constraint Regularity
本文讨论了一个多Agent网络上的最优化问题，其中代价函数是多Agent个体目标之和，约束集是局部约束的交集。大多数现有的方法采用次梯度和共识步骤来解决这个问题，要求与网络相关联的权重矩阵是列随机的，甚至是双随机的，这些条件在有向网络中很难安排。此外，已知的分布式次梯度方法的收敛性分析取决于问题是无约束的还是有约束的，以及局部约束集是相同的还是不相同的和紧凑的。本文的主要目标是：（i）删除公共列随机性要求;（ii）放松紧性假设;（iii）提供一个统一的收敛性分析。具体地说，假设通信图是固定的、强连通的，权矩阵（仅）是行随机的，对于凸的、Lipschitz连续的费用函数，给出了一种分布式投影次梯度法及其变形.基于局部约束集的正则性假设，给出了一个统一的收敛性分析，该分析既适用于无约束问题，也适用于有约束问题，且不需要假设约束集是紧的，也不需要假设约束集相交处有内点.此外，我们还建立了一个上界的绝对客观误差评估在每个代理的可用的本地估计下的非递增步长序列。这个界允许我们分析两种算法的收敛速度。
2018-06-19 cs.DC math.OC
Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets
Purdue University（普渡大学）；IMEC（IMEC（微电子研究中心））；University of California Berkeley（加州大学伯克利分校）
当前的深度学习（DL）系统依赖于集中式计算范例，这限制了可用训练数据的量，增加了系统延迟，并增加了隐私和安全约束。通过对等无线连接的边缘设备上的DL模型的分散和分布式训练实现的设备上学习不仅缓解了上述限制，而且还使需要DL模型的下一代应用程序能够持续交互并从其环境中学习。然而，这需要开发新的训练算法，该训练算法在时变和有向对等图结构上训练DL模型，同时最小化设备之间的通信量并且还对非IID数据分布有弹性。在这项工作中，我们提出，稀疏推送，一个通信效率高的分散式分布式训练算法，支持训练的对等，有向和随时间变化的图形拓扑结构。当在CIFAR-10数据集上训练各种DL模型（如ResNet-20和VGG 11）时，所提出的算法能够将通信减少466倍，性能仅下降1%。此外，我们演示了如何通信压缩可以导致显着的性能下降的情况下，非IID数据集，并提出倾斜补偿稀疏推送算法，恢复这种性能下降，同时保持类似的通信压缩水平。
2021-02-12 cs.AI cs.CV cs.DC
Distributed optimization over time-varying directed graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对时变有向通信图上的分布式优化问题，提出基于广播的次梯度推送算法，在次梯度有界假设下实现所有节点收敛到最优值，收敛率为O(ln(t)/√t)。
2014-03-16 cs.DC cs.SY eess.SY
High-Quality Hierarchical Process Mapping
当在并行计算机上处理图形时，将图形划分为大小大致相等的块，使得块之间的边很少，这是经常需要的操作。当一个分布式系统的拓扑结构是已知的，一个重要的任务，然后将分区的块映射到处理器上，从而降低整体通信成本。我们提出了新的多级算法，集成图分区和进程映射。我们的算法的重要组成部分包括快速标签传播，更本地化的本地搜索，初始分区，以及一个压缩的数据结构计算处理器的距离，而无需存储的距离矩阵。实验表明，我们的算法加快了整体的映射过程，由于集成的多级方法，在实践中也找到了更好的解决方案。例如，我们的算法的一个配置产生更好的解决方案比以前的国家的最先进的映射质量方面，同时是一个因素62更快。目前最快的迭代多级映射算法苏格兰相比，我们获得了16%的更好的解决方案，而投资略多的运行时间。
2020-01-22 cs.DC cs.DS
BFS based distributed algorithm for parallel local directed sub-graph enumeration
估计子图的频率对于许多任务都很重要，包括子图同构、基于核的异常检测和网络结构分析。虽然提出了多种算法用于完全枚举或基于采样的估计，但这些方法在非常大的图中失败。并行化的最新进展允许在非常大的图中估计总的子图计数。计算与每个顶点相关联的每个子图的频率的任务也得到了无向图的优秀解决方案。然而，目前还没有很好的解决方案非常大的有向图。在这里，我们提出了VDMC（顶点特定的分布式图案计数）-一个完全分布式的算法，以最佳地计算所有的3和4顶点连接的有向图（子图图案）与每个顶点的图。VDMC对每个基序仅计数一次，并且其功效在计数的基序的数量上是线性的。它是完全并行的，在基于GPU的计算中是高效的。VDMC基于三个主要元素：1）对顶点进行排序并且仅对包含递增阶顶点的模体进行计数，2）基于组成模体的BFS的平均长度对模体进行子排序，以及3）对于整个图仅移除同构一次。我们在这里比较VDMC的分析估计的预期数量的图案，并显示其准确性。VDMC是一种高效的CPU和GPU代码，具有用于高效图形操作的新型数据结构。我们展示了VDMC和真实世界图形的功效。VDMC允许在大型图中每个顶点周围的子图频率的精确分析，并为扩展方法开辟了道路，直到现在仅限于数千条边的图到具有数百万条边及以上的图。GIT：https://github.com/louzounlab/graph-measures
2022-01-06 cs.DC cs.DS math.CO
Variance Analysis of Randomized Consensus in Switching Directed Networks
本文研究了切换有向随机网络上分布式共识算法的渐近性质。更具体地说，我们专注于共识算法在独立和同分布，有向Erdos-Renyi随机图，每个代理可以与任何其他代理与一些外部指定的概率$p$。虽然它是众所周知的，共识算法在Erdos-Renyi随机网络的结果在网络上的渐近协议，渐近共识值的分布的分析表征仍然是一个悬而未决的问题。在本文中，我们提供的渐近随机共识值的均值和方差的封闭形式的表达式，在网络的大小和通信的概率$p$。我们还提供了数值模拟来说明我们的结果。
2009-10-20 cs.DC cs.MA cs.NI
A Deterministic Distributed Algorithm for Weighted All Pairs Shortest Paths Through Pipelining
本文提出了一种新的流水线方法来计算分布式环境下CONGEST模型中具有非负整数边权值（包括零权值）的有向图中的所有对最短路径（APSP）。我们的确定性分布式算法计算最多$2 n \sqrtΔ + 2n$轮中所有顶点对的最多$Δ$距离的最短路径，更一般地，它计算$2\sqrt{nkh} + n + k$轮中k个源的h跳最短路径。该算法简单，具有一些新颖的特性和非平凡的分析，只利用图中的有向边进行通信。该算法可以作为一个基础内的渐近更快的算法，匹配或改善当前的最佳确定性界的$\tilde{O}(n^{3/2})$轮为这个问题时，边的权重是$O(n)$或最短路径距离是$\tilde{O}(n^{3/2})$。
2018-10-22 cs.DC cs.DS
Average Consensus in the Presence of Delays and Dynamically Changing Directed Graph Topologies
以分布式方式渐近收敛到全局平均值的经典方法通常假设给定多组分系统的相邻组分之间及时且可靠地交换信息。这些假设在实际设置中不一定有效，这是由于可能在不同时间影响传输的不同延迟以及底层互连拓扑的可能变化（例如，由于组件的移动性）。在这项工作中，我们提出的协议，以克服这些限制。我们首先考虑一个固定的互连拓扑结构（捕获的一个可能有向图），并提出了一个离散时间协议，可以达到渐近平均共识的分布式方式，尽管存在任意（但有界）的通信链路中的延迟。该协议要求每个组件知道其输出链路的数目（即，它向其发送信息的组件的数量）。随后，我们扩展的协议，也处理底层的互连拓扑结构的变化，并描述了各种相当宽松的条件下，修改后的协议允许组件达到渐近平均共识。所提出的算法是通过例子说明。
2013-02-22 cs.DC cs.MA
