Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization
针对可微非凸项与非光滑凸项之和的大规模优化,提出混合随机/确定性并行块分解算法,并证明其几乎必然收敛且性能优于两类单一方案。
2014-09-02 cs.DC math.OC
Undirected $(1+\varepsilon)$-Shortest Paths via Minor-Aggregates: Near-Optimal Deterministic Parallel & Distributed Algorithms
本文提出了计算任意无向赋权图中$(1+\varepsilon)$ -近似单源最短路径的近优确定性并行和分布式算法。在一个高层次上,我们确定性地减少这个和其他最短路径的问题,以$\tilde{O}(1)$次要聚合。Minor-Aggregation计算聚合(例如,最大值或总和)的节点值为每个连通分支的一些子图。我们的减少立即意味着:最佳确定性并行(PRAM)算法与$\tilde{O}(1)$深度和近线性工作。普遍最优的确定性分布式(CONGEST)算法,只要存在确定性Minor-Aggregate算法。例如,用于排除次要网络的最优$\tilde{O}(HopDiameter(G))$轮确定性CONGEST算法。几个新的工具开发的上述结果是有趣的,在自己的权利:一个本地的迭代方法减少最短路径计算“距离$D$“计算低直径分解“距离$\frac{D}{2}$“。与[Li 20]的递归顶点约简方法相比,我们的方法更简单,适用于分布式算法,并消除了许多去随机化障碍。一个简单的基于图的$\tilde{O}(1)$ -竞争$\ell_1$ -不经意的路由基于低直径分解,可以评估在近线性的工作。以前的此类路由[ZGY+20]是$n^{o(1)}$ -竞争性的,需要$n^{o(1)}$更多的工作。一个确定性算法,四舍五入任何分数单源转运流到一个完整的树解决方案。第一个分布式算法计算欧拉方向。
2022-09-23 cs.DC cs.DS
Deterministic Near-Optimal Distributed Listing of Cliques
在大型图中对连接进行分类的重要性一直是分布式子图发现的丰富工作的动机,这些工作导致了令人兴奋的最新突破。一个关键的方面仍然是开放的是,确定性算法是否可以像随机算法一样有效,后者被认为是严格的多对数因子。我们给出了确定性的分布式算法,列出集团的大小$p$在$n^{1 - 2/p + o(1)}$轮的\congest模型。对于三角形,我们的$n^{1/3+o(1)}$轮复杂度在$n^{2/3+o(1)}$轮的先前技术水平上有所改进[Chang和Saranurak,FOCS 2020]。对于大小为$p \geq 4$的集团,我们是第一个非平凡的确定性分布式算法。给定已知的下限,对于所有值$p \geq 3$,我们的算法紧到一个$n^{o(1)}$子多项式因子,它来自我们使用的确定性路由过程。
2022-05-18 cs.DC cs.DS
A Deterministic Distributed $2$-Approximation for Weighted Vertex Cover in $O(\log n\logΔ/ \log^2\logΔ)$ Rounds
针对CONGEST模型中的最小权顶点覆盖问题,提出了一种确定性的分布式$2$ -近似算法,其轮复杂度为$O(\log n \log Δ/ \log^2 \log Δ)$ .这比[KVY 94]所暗示的当前最知名的确定性2-近似有所改进。我们的解决方案推广了[BCS 17]的$(2+ε)$近似算法,将对$ε^{-1}$的依赖性从线性提高到对数。此外,对于每个$ε=(\log Δ)^{-c}$,其中$c\geq 1$是一个常数,我们的算法计算一个$(2+ε)$ -近似$O(\log Δ/ \log \log Δ)$ ~轮(这是渐近最优的)。
2018-05-23 cs.DC cs.DS
An Automated Implementation of Hybrid Cloud for Performance Evaluation of Distributed Databases
混合云是私有云和公共云之间的资源集成。它使用户能够将其本地基础设施横向扩展到公共云,以提高性能并降低前期投资成本。这种应用程序部署模型称为云爆发,它允许数据密集型应用程序,特别是分布式数据库系统,同时享受私有云和公共云的好处。在这项工作中,我们提出了一个混合云的自动化实现,使用(i)一个强大的,零成本的基于Linux的VPN,使私有云和公共云之间的安全连接,(ii)Terraform作为一个软件工具,根据混合云的要求部署基础设施资源。我们还探讨了云爆发的性能评估六个现代和分布式数据库系统上的混合云跨越本地OpenStack和Microsoft Azure。我们的研究结果表明,MongoDB和MySQL集群在吞吐量和操作延迟方面工作效率很高,如果它们突然进入公共云来提供它们的资源。相比之下,如果Cassandra、Riak、Redis和Couchdb通过云爆发显著利用其所需资源,则其性能会降低。
2020-06-04 cs.DC
A Hybrid Communication Approach for Metadata Exchange in Geo-Distributed Fog Environments
针对地理分布式雾计算中元数据交换缺乏地理感知和容错能力的问题,本文提出混合层次化与P2P通信的HFCS系统,并通过仿真验证其在集群节点分布下具有更优的任务完成性能。
2024-02-26 cs.DC
Deterministic Distributed Expander Decomposition and Routing with Applications in Distributed Derandomization
最近在利用扩展器的$\mathsf{CONGEST}$模型中的分布式图算法中有一个令人兴奋的工作。到目前为止,所有这些算法都是基于两个工具:扩展器分解和扩展器路由。$(ε,ϕ)$ -扩展器分解去除边缘的$ε$ -分数,使得剩余的连接分量具有至少$ϕ$的电导,即,它们是$ϕ$ -扩展器,并且扩展器路由允许$ϕ$ -扩展器中的每个顶点$v$非常快速地与任何其它顶点交换$\text{deg}(v)$消息,而不仅仅是其本地邻居。在本文中,我们给出了第一个有效的确定性分布式算法的工具。我们表明,$(ε,ϕ)$ -扩展器分解可以确定性地计算在$\text{poly}(ε^{-1}) n^{o(1)}$轮$ϕ= \text{poly}(ε) n^{-o(1)}$,并扩展器路由可以确定性地执行在$\text{poly}(ϕ^{-1})n^{o(1)}$轮。这两个结果都与[Chang和Saranurak,PODC 2019]和[Ghaffari,Kuhn和Su,PODC 2017]的随机算法的先前界限相匹配,直到子多项式因子。因此,我们去随机化现有的分布式算法,利用扩展器。我们证明了$n^{o(1)}$ -扩展器上的最小生成树可以在$n^{o(1)}$轮中确定性地构造,并且一般图上的三角形检测和枚举可以分别在$O(n^{0.58})$轮和$n^{2/3 + o(1)}$轮中确定性地解决。我们还给出了…
2020-07-29 cs.DC cs.DS
MPI-Q: A Message Communication Library for Large-Scale Classical-Quantum Heterogeneous Hybrid Distributed Computing
Laboratory for Advanced Computing and Intelligence Engineering, Information Engineering University(信息工程大学先进计算与智能工程实验室)
针对经典-量子系统异构性问题,提出MPI-Q库,通过统一管理经典与量子进程、轻量通信路径和异构同步机制,实现高效混合分布式计算,实验显示其具有接近线性扩展性。
2026-04-02 cs.DC
S2CE: A Hybrid Cloud and Edge Orchestrator for Mining Exascale Distributed Streams
物联网和其他设备等分布式和异构节点生成的数据量、速度、种类和准确性的爆炸性增长,不断挑战着大数据处理平台和挖掘技术的最新水平。因此,它揭示了迫切需要解决这种预期的艾级数据生成和从这些数据中提取见解之间不断增长的差距。为了满足这一需求,本文提出了Stream to Cloud & Edge(S2CE),这是同类产品中第一个优化的多云和边缘编排器,易于配置,可扩展和可扩展。S2CE将支持在混合云和边缘环境上运行的大量异构数据流的机器和深度学习,同时提供实用和可扩展处理的必要功能:数据融合和预处理,采样和合成流生成,云和边缘智能资源管理以及分布式处理。
2020-07-02 cs.DC
DistSim: A performance model of large-scale hybrid distributed DNN training
针对现有混合并行DNN训练性能评估成本高或覆盖不全的问题,本研究提出基于事件的性能模型DistSim,仅需两节点剖析即可精准预测训练耗时,还可用于搜索最优混合并行策略,实现最高7.37倍的吞吐量提升。
2023-06-14 cs.DC
Deterministic Distributed Edge-Coloring with Fewer Colors
本文提出了一个确定性分布式算法,在该模型中,只要最大度为$Δ=\tildeΩ(\log n)$,就可以在多项式时间内计算$(1+o(1))Δ$ -边着色。对于较小的$Δ$,我们给出了一个多阶时间$3Δ/2$ -边染色.这些是第一个确定性算法去$2Δ-1$颜色的天然屏障之下,他们显着改善最近的polyacromic-time $(2Δ-1)(1+o(1))$ -边着色的Ghaffari和苏[SODA'17]和$(2Δ-1)$ -边着色的Fischer,Ghaffari和库恩[FOCS'17],积极回答了后者的主要开放问题。我们的算法的关键技术成分是一个简单而新颖的逐步包装明智地选择近最大匹配,其中每一个成为一个颜色类。
2017-11-15 cs.DC cs.DS
A Deterministic Distributed Algorithm for Weighted All Pairs Shortest Paths Through Pipelining
本文提出了一种新的流水线方法来计算分布式环境下CONGEST模型中具有非负整数边权值(包括零权值)的有向图中的所有对最短路径(APSP)。我们的确定性分布式算法计算最多$2 n \sqrtΔ + 2n$轮中所有顶点对的最多$Δ$距离的最短路径,更一般地,它计算$2\sqrt{nkh} + n + k$轮中k个源的h跳最短路径。该算法简单,具有一些新颖的特性和非平凡的分析,只利用图中的有向边进行通信。该算法可以作为一个基础内的渐近更快的算法,匹配或改善当前的最佳确定性界的$\tilde{O}(n^{3/2})$轮为这个问题时,边的权重是$O(n)$或最短路径距离是$\tilde{O}(n^{3/2})$。
2018-10-22 cs.DC cs.DS
Deterministic Differential Search Algorithm for Distributed Sensor/Relay Networks
对于分布式传感器/中继网络,通常需要高可靠性和功率效率。然而,在实践中出现了一些执行问题。一个这样的问题是,所有的分布式发射机具有有限的电力供应,因为发射机的电源不能被连续地再充电。为了解决这个问题,分布式波束成形已经被提出作为一种可行的解决方案,其中所有分布式发射机寻求在接收机端处相位对准。然而,在实践中难以以分布式方式实现这样的发射波束成形,因为需要在所有分布式发射机处使完美的信道状态信息(CSI)可用,从而需要巨大的开销来将CSI从接收机反馈到所有分布式发射机。在本文中,我们提出了一种新的算法,属于确定性相位调整算法的类别:确定性差分搜索算法(DDSA),其中测量的接收信号强度(RSS)之间的差异被明智地利用,以帮助我们预测在分布式发射机完成的确定性相位调整。数值模拟表明,快速收敛到一个预先确定的阈值。
2015-08-04 cs.DC cs.IT cs.NI
Distributed Deterministic Edge Coloring using Bounded Neighborhood Independence
We study the {edge-coloring} problem in the message-passing model of distributed computing . This is one of the most fundamental and well-studied problems in this area. Currently, the best-known deterministic algorithms for (2Delta -1)-edge-coloring requires O(Delta) + log-star n time \cite{PR01} , where Delta is the maximum degree of the input graph. Also, recent results of \cite{BE10} for vertex-coloring imply that one can get an O(Delta)-edge-coloring in O(Delta^{epsilon} \cdot \log n) time, and an O(Delta^{1 + epsilon})-edge-coloring in O(log Delta log n) time, for an arbitrarily small con…
2010-10-12 cs.DC
Deterministic Distributed Vertex Coloring in Polylogarithmic Time
考虑最大度Delta的n顶点图G =(V,E),并假设每个顶点v \in V托管一个处理器。处理器只允许与G中的邻居进行通信。通信是同步的,即,它以离散的回合进行。在分布式顶点着色问题中,目标是使用尽可能少的通信回合用Delta + 1或略多于Delta + 1的颜色对G着色。(The此后,通信的轮数将被称为运行时间。这个问题的有效随机算法是已知的超过二十年\cite{L86, ABI86}。具体地说,这些算法在O(log n)时间内产生(Delta + 1)-着色,具有很高的概率。另一方面,需要多对数时间的最著名的确定性算法使用O(Delta^2)颜色。该算法是由Linial \cite{L87}在FOCS'87的开创性论文中设计的。它的运行时间是O(log^* n)。在同一篇论文中,利尼亚尔提出了一个问题:在确定性多对数时间内,人们是否可以用明显少于Δ ^2的颜色来着色。到目前为止,Linial的这个问题已经成为这一领域最核心的长期悬而未决的问题之一。在本文中,我们肯定地回答了这个问题,并设计了一个确定性算法,采用Δ^{1 +o(1)}颜色,并在多对数时间内运行。具体地说,我们的算法的运行时间是O(f(Delta)log Delta log n),对于任意缓慢增长的函数f(Delta)= ω(1)。对于任意小的常数η> 0,我们也可以在O(log Delta log n)时间内…
2010-03-08 cs.DC
Deterministic Distributed Dominating Set Approximation in the CONGEST Model
我们开发了确定性的近似算法的最小支配集问题的CONGEST模型的几乎最佳近似保证。对于$ε>1/{\text{poly}}\log Δ$,我们得到两个算法与近似因子$(1+ε)(1+\ln (Δ+1))$和运行时$2^{O(\sqrt{\log n \log\log n})}$和$O(Δ\cdot\text{poly}\log Δ+\text{poly}\log Δ\log^{*} n)$,分别。此外,我们展示了如何支配集近似可以确定性地转化为一个连接的支配集的\CONGEST模型,而只增加了一个常数因子的近似保证。这导致在一个确定性的$O(\log Δ)$ -近似算法的最小连通支配集的时间复杂性$2^{O(\sqrt{\log n \log\log n})}$。
2019-12-23 cs.DC cs.DS
Evaluation of Distributed Data Processing Frameworks in Hybrid Clouds
分布式数据处理框架(例如,Hadoop、Spark和Flink)被广泛用于在云的计算节点之间分发数据。最近,已经有越来越多的努力,旨在评估托管在私有云和公共云中的分布式数据处理框架的性能。然而,关于评估这些托管在混合云中的框架的性能的研究很少,混合云是一种新兴的云模型,它集成了私有云和公共云,以充分利用两者的优势。因此,在本文中,我们从执行时间、资源利用率、水平可扩展性、垂直可扩展性和成本等方面评估了Hadoop、Spark和Flink在混合云中的性能。在这项研究中,我们的混合云由OpenStack(私有云)和MS Azure(公共云)组成。我们使用批处理和迭代工作负载进行评估。我们的研究结果表明,在混合云中,(i)随着私有云从公共云借用更多的节点,执行时间会增加,(ii)Flink的性能优于Spark,而Spark在执行时间方面又优于Hadoop,(iii)Hadoop在工作负载执行期间在节点之间传输的数据量最大,而Spark传输的数据量最少,(iv)与垂直扩展相比,所有三个框架的水平扩展都更好,(v)就数据处理的成本而言,Spark最便宜,而Hadoop最昂贵。
2022-01-06 cs.DC
Deterministic Distributed DFS and Other Problems via Cycle Separators in Planar Graphs
IRIF, Université Paris Cité(巴黎西岱大学);Universidad de Chile(智利大学);Universidad Adolfo Ibañez(阿道夫·伊巴涅斯大学)
通过平面图中的环分离器,提出在分布式CONGEST模型中递归计算环分离集的确定性算法,用于高效计算DFS树及其他平面图算法。
2026-03-12 cs.DC
Faster Deterministic Distributed Coloring Through Recursive List Coloring
我们提供了新的确定性分布式顶点着色算法。作为我们的主要结果,我们给出了一个在$2^{O(\sqrt{\logΔ})}\cdot\log n$轮中计算具有最大度$Δ$的$n$ -节点图的$(Δ+1)$ -染色的确定性分布式算法。这改善了以前已知的最佳时间复杂度为大范围的$Δ$值。对于荫度为$a$的图,我们得到了一个计算$(2+o(1))a$ -时间染色的确定性分布式算法$2^{O(\sqrt{\log a})}\cdot\log^2 n$ .此外,对于有界邻域独立的图,我们证明了$(Δ+1)$ -着色可以更有效地计算时间$2^{O(\sqrt{\logΔ})} + O(\log^* n)$。这特别意味着也可以在$2^{O(\sqrt{\logΔ})} + O(\log^* n)$轮中确定性地计算$(2Δ-1)$ -边着色,这改进了对于小的$Δ$值的最佳已知时间界限。所有的结果甚至持有列表着色的问题的变种。作为结果,我们也得到了一个改进的确定性$2^{O(\sqrt{\logΔ})}\cdot\log^3 n$轮算法的$Δ$ -染色的最大度$Δ\geq 3$的不完全图。我们的大多数算法只需要$O(\log n)$位的消息(包括$(Δ+1)$ -顶点着色算法)。我们的主要技术贡献是一个递归的确定性分布式列表着色算法解决列表着色问题的大小$Δ^{1+o(1)}$。给定一些列表着色问题和一个…
2019-07-08 cs.DC cs.DS
Deterministic Distributed Sparse and Ultra-Sparse Spanners and Connectivity Certificates
本文提出了有效的分布式算法的一些基本问题,在该地区的图稀疏:我们提供了第一个确定性的分布式算法,计算超稀疏的$\textrm{polylog}(n)$轮加权图。具体地说,我们的算法输出的生成子图只有$n+o(n)$边,其中的成对距离拉伸的一个因素,最多$O(\log n \;\cdot\; 2^{O(\log^* n)})$。我们提供了一个$\textrm{polylog}(n)$轮确定性分布式算法,计算一个拉伸$(2k-1)$和$O(nk + n^{1 + 1/k} \log k)$边在未加权图和$O(n^{1 + 1/k} k)$边在加权图的顶点。我们提出了第一个$\textrm{polylog}(n)$轮随机分布式算法,计算稀疏连接证书。对于$n$ -节点图$G$,用于连通性的证书$k$是$k$ -边连通的生成子图$H$当且仅当$G$是$k$-边连通的,并且如果该子图具有$O(nk)$边,则该子图$H$被称为稀疏的。我们的算法实现了稀疏的$(1 + o(1))nk$边缘,这是一个$2(1 + o(1))$因素的最佳可能。
2022-09-23 cs.DC cs.DS
Distributed Deterministic Broadcasting in Uniform-Power Ad Hoc Wireless Networks
移动自组网、车载自组网、iThings、纳米设备等未来技术的发展都依赖于多跳自组网中高效的分布式通信协议。这一领域的绝大多数研究集中在设计启发式协议,并通过随机生成的网络或在一些(通常是小规模的)无线网络的实际测量中获得的网络模拟来分析其性能。%的图书馆。此外,它们通常假设访问真正随机的源,这在无线设备的情况下通常是不合理的。本文利用一个形式化的框架来研究任意二维的欧几里德无线网络中具有均匀发射功率的广播问题及其时间复杂度。对于分析,我们考虑两种流行的模型的ad hoc网络的信号干扰噪声比(SINR)的基础上:一个机会主义的链接,和其他随机干扰的SINR。在前一个模型中,我们表明,我们的算法之一完成广播在$O(D\log^2 n)$轮,其中$n$是节点的数量和$D$是网络的直径。如果节点先验地知道网络的粒度$g$,即,任何两个站之间最小距离的最大传输范围的倒数,该算法的修改实现了$O(D\log g)$轮中的广播。最后,我们修改这两种算法,使它们在后一种模型中的效率与随机干扰的信干噪比,只有对数增长的性能。我们的是第一个证明有效的和可扩展的,在这两个模型下,广播任务的分布式确定性解决方案。
2013-02-17 cs.DC
Polylogarithmic-Time Deterministic Network Decomposition and Distributed Derandomization
提出了一种简单的多步时间确定性分布式网络分解算法。这改进了著名的$2^{O(\sqrt{\log n})}$时间算法的Panconesi和Srinivasan [STOC'92],并解决了一个中心和长期存在的问题,在分布式图算法。它还导致了第一个多周期时间确定性分布式算法的许多其他问题,从而解决了几个著名的和几十年的开放问题,包括Linial的问题的确定性复杂性的最大独立集[FOCS'87; SICOMP'92]-这被称为最突出的问题在该地区。其主要含义是一个更一般的分布式去随机化定理:结合Ghaffari,Kuhn和Maus [STOC'17]和Ghaffari,Harris和Kuhn [FOCS'18]的结果,我们的网络分解意味着$$\mathsf{P}\textit{-}\mathsf{RLOCAL} = \mathsf{P}\textit{-}\mathsf{LOCAL}.$$也就是说,对于任何可以在多周期时间内确定性检查其解的问题,任何多周期时间随机算法都可以被去随机化为多周期时间确定性算法。非正式地,对于效率的标准一阶解释为多随机时间,分布式算法不需要随机性来提高效率。通过已知的连接,我们的结果也导致了更快的随机分布式算法的一些研究充分的问题,包括$(Δ+1)$ -着色,最大独立集,和Lovász局部引理,以及大规模并行算法$(Δ+1)$ -着色。
2020-05-10 cs.DC cs.DM cs.DS
Microchain: A Hybrid Consensus Mechanism for Lightweight Distributed Ledger for IoT
最近有报道称,物联网应用的区块链和智能合约支持的安全机制适用于城市、金融和网络服务。然而,由于现有区块链(如比特币和以太坊)中的功耗密集型和低吞吐量共识机制,将区块链技术集成到资源受限的物联网平台中仍然存在挑战。在本文中,微链,基于一个混合的信用证明(Proof-of-Credit,Voting-based Chain Finality,VCF)共识协议,被提出来为物联网系统提供一个安全的,可扩展的,轻量级的分布式账本。通过使用抗偏置随机协议和加密排序算法,随机选择节点子集作为最终委员会来执行共识协议。混合共识机制依赖于一种纯粹的权益证明(PoS)协议来确定参与者是否有资格在给定信用分配的公平初始分配的情况下提出区块。基于投票的链终结性协议负责通过解决冲突的检查点并选择唯一的链来完成块的历史。一个概念验证原型的实现和测试的物理网络环境。实验结果验证了Micorchain能够为物联网应用提供部分分散,可扩展和轻量级的分布式账本协议。
2019-09-24 cs.DC
New hybrid distributed voting algorithm
增加数据量需要额外的评级技术。声誉系统是许多研究的主题。有各种技术来对内容进行评级,以便于搜索优质内容。页面排名、引用指数和用户投票是一些评级示例。在这篇文章中,我专注于分散式投票系统。本文回顾了几种分布式投票设计。我列出了分布式投票的要求。提出了一种新的混合算法,该算法运行在结构化覆盖P2P DHT Kademlia网络。
2013-05-03 cs.CR cs.DC
A Hybrid Parallelization Approach for Distributed and Scalable Deep Learning
最近,深度神经网络(DNN)在处理医疗和其他复杂分类任务方面取得了巨大成功。然而,随着DNN模型和可用数据集的大小增加,训练过程变得更加复杂和计算密集,通常需要更长的时间才能完成。在这项工作中,我们提出了一个通用的完整的端到端的混合并行化方法,结合模型和数据并行有效地分布式和可扩展的DNN模型的训练。我们还提出了一个基于遗传算法的启发式资源分配机制(GABRA)的最佳分配分区的可用GPU的计算性能优化。我们已经将我们提出的方法应用于基于3D剩余注意力深度神经网络(3D-ResAttNet)的真实用例,用于在多个GPU上进行有效的阿尔茨海默病(AD)诊断。实验结果表明,该方法是有效的和可扩展的,它实现了几乎线性的加速比,与现有的非并行DNN模型相比,在精度性能上几乎没有差异。
2022-02-06 cs.DC
Efficient Deterministic Distributed Coloring with Small Bandwidth
我们发现,$(degree+1)$ -列表着色问题可以在\CONGEST模型中的$O(D \cdot \log n \cdot\log^2Δ)$轮中确定性地解决,其中$D$是图的直径,$n$是节点数,$Δ$是最大度。使用Rozhoregon和Ghaffari [STOC 2020]最近的多周期时间确定性网络分解算法,这意味着第一个有效的(即,$\poly\log n$ -时间)确定性\CONGEST算法,用于$(Δ+1)$ -着色和$(\mathit{degree}+1)$ -列表着色问题.以前,最著名的算法需要$2^{O(\sqrt{\log n})}$轮,而不是基于网络分解。我们的技术也导致确定性的$(\mathit{degree}+1)$ -列表着色算法的拥塞集团和大规模并行计算(MPC)模型。对于拥塞集团,我们得到了一个时间复杂度为$O(\logΔ\cdot\log\logΔ)$的算法,对于MPC模型,我们得到了线性记忆区域的轮复杂度为$O(\log^2Δ)$的算法和次线性记忆区域的轮复杂度为$O(\log^2Δ+ \log n)$的算法.
2020-04-07 cs.DC cs.DS
ESBT: A Scalable and Deterministic Sequence CRDT for Distributed Collaborative Editing
CSTL Lab, University of Mostaganem - Abdelhamid Ibn Badis(穆斯塔加奈姆大学-阿卜杜勒哈米德·伊本巴迪斯 CSTL实验室);Université de Lorraine, CNRS, Inria, LORIA(洛林大学、法国国家科学研究中心、法国国立信息与自动化研究所、洛林计算研究与应用实验室)
本文提出一种基于扩展斯特恩-布罗科树的序列CRDT ESBT,通过优化标识符分配,在保证强最终一致性的同时,大幅降低内存消耗、提升响应性,解决了现有序列CRDT的可扩展性瓶颈,为大规模协同编辑系统提供高效基础。
2026-07-31 cs.DC
Deterministic Distributed Vertex Coloring: Simpler, Faster, and without Network Decomposition
我们提出了一个简单的确定性分布式算法,计算一个$(Δ+1)$ -顶点着色$O(\log^2 Δ\cdot \log n)$轮。该算法可以用$O(\log n)$位消息来实现。该算法也可以推广到更一般的$(degree+1)$ -列表着色问题。自20世纪80年代以来,获得$(Δ+1)$ -顶点着色的多项式时间确定性算法一直是分布式图算法领域的一个中心开放问题,直到最近Rozhoregon和Ghaffari的网络分解算法[STOC'20]。现有技术是基于其分解的改进变体,其导致用于$(Δ+1)$顶点着色的$O(\log^5 n)$轮算法。我们的着色算法是完全不同的,相当简单和快速。它解决了着色问题,在一个直接的方式,而不使用网络分解,通过逐步四舍五入某一分数的颜色分配,直到达到一个整体的颜色分配。此外,通过Chang,Li和Pettie [STOC'18]的方法,这种改进的确定性算法也导致了$(Δ+1)$着色的随机算法的复杂性的改善,现在达到了$O(\log^3\log n)$轮的界限。作为进一步的应用,我们还提供了更快的确定性分布式算法的顶点着色问题的以下变种。在荫度$a$图中,我们证明了$(2+ε)a$ -顶点着色可以在$O(\log^3 a\cdot\log n)$轮中计算。我们还证明了对于$Δ\geq 3$,$Δ$ -可着色图$G$的$Δ$ -着色可以在$O(\log^2 Δ\…
2021-09-04 cs.DC cs.DS
Designing Applications with Distributed Databases in a Hybrid Cloud
设计在混合云中使用的应用程序有许多功能。其中包括动态虚拟化管理和未知路由切换客户。这使得不可能评估查询,从而不可能评估数据的最佳分布。在本文中,我们制定了设计和仿真的主要挑战提供加工安装。
2015-02-19 cs.DB cs.DC
Post-Deterministic Distributed Systems: A New Foundation for Trustworthy Autonomous Infrastructure
OpenKedge Inc.(OpenKedge公司)
本文提出后确定性分布式系统(PDDS)模型,以协调确定性代码、随机模型和自主代理共存的异构环境,并定义了五大架构支柱及新的故障分类。
2026-06-01 cs.AI cs.DC cs.LG
A Near-Optimal Deterministic Distributed Synchronizer
提出首个近最优确定性分布式同步器,将同步算法转为异步算法且开销仅多对数因子,并解决领导者选举、BFS树和最小生成树的异步近最优算法开放问题。
2023-05-10 cs.DC cs.DS
A Distributed and Deterministic TDMA Algorithm for Write-All-With-Collision Model
提出了几种传感器网络自稳定时分多址(TDMA)算法。除了提供无冲突的通信服务之外,这样的算法使得能够将在分布式计算文献中考虑的抽象模型中编写的程序转换成与传感器网络一致的模型,即,写所有与碰撞(WAC)模型。现有的TDMA时隙分配算法具有以下特性中的一个或多个:(i)使用随机算法计算时隙,(ii)假设拓扑是预先已知的,和/或(iii)顺序地分配时隙。如果这些算法被用来将抽象程序转换成WAC模型中的程序,那么转换后的程序在概率上是正确的,不允许添加新的节点,和/或以顺序的方式收敛。在本文中,我们提出了一个自稳定的确定性TDMA算法的传感器只知道它的邻居。我们表明,插槽被分配给传感器在一个并发的方式,并从任意的初始状态开始,算法收敛到传感器之间的无冲突通信恢复的状态。此外,该算法有利于将抽象程序转换为WAC模型中确定性正确的程序。
2008-08-06 cs.DC cs.OS
Distributed Deterministic Exact Minimum Weight Cycle and Multi Source Shortest Paths in Near Linear Rounds in CONGEST model
本文提出连续阻塞集序列技术,在 CONGEST 模型中以近线性轮数确定性求解 MWC、ANSC,并在源集不超过 √n 时求解 MSSP。
2023-10-01 cs.DC cs.DS
Deterministic Distributed Algorithms and Measurable Combinatorics on $Δ$-Regular Forests
研究确定性分布式算法与Δ-正则森林的可测组合学之间的联系,证明局部可检查标记问题的连续解与确定性局部算法复杂度O(log* n)等价,且巴依尔可测解与局部算法复杂度O(log n)等价。
2025-12-04 cs.DC math.LO
Improved Network Decompositions using Small Messages with Applications on MIS, Neighborhood Covers, and Beyond
由Awerbuch、Luby、Goldberg和Plotkin [FOCS'89]引入的网络分解是分布式图算法中的关键算法工具之一。我们提出了一种改进的确定性分布式算法,用于使用小消息构造功率图的网络分解,该算法改进了Ghaffari和Kuhn [DISC'18]的算法。此外,我们提供了一个随机分布的网络分解算法,基于我们的确定性算法,与故障概率指数小的输入大小,工作与小消息以及。与Elkin和Neiman [PODC'16]以前的算法相比,我们的算法以其轮复杂度为代价实现了更好的成功概率,同时给出了相同质量的网络分解。作为网络分解的随机算法的结果,我们得到了一个计算最大独立集的快速随机算法,改进了Ghaffari [SODA'19]的一个结果.我们改进的确定性网络分解算法的其他含义是:一个更快的确定性分布式算法,用于构建分布式集合覆盖的spectum和近似,改进Ghaffari和Kuhn [DISC'18]以及Deurer,Kuhn和Maus [PODC'19]的结果;以及更快的确定性分布式算法,用于构建邻域覆盖,解决Elkin [SODA'04]的一个公开问题。
2019-08-09 cs.DC cs.DS
Faster Deterministic Distributed MIS and Approximate Matching
$ \renewcommand{\tilde}{\widetilde} $针对最大独立集问题提出了一个$\tilde{O}(\log^2 n)$轮确定性分布式算法。通过已知的简化,该轮复杂性还扩展到最大匹配、$Δ+1$顶点着色和$2Δ-1$边着色。这四个问题是分布式图算法中最核心的问题之一,在过去的四十年里得到了广泛的研究。这种改进的轮复杂度更接近最大独立集和最大匹配的$\tildeΩ(\log n)$下限[Balliu et al. FOCS '19]。以前最著名的确定性复杂度为所有这些问题是$Θ(\log^3 n)$。通过粉碎技术,改进也渗透到相应的随机复杂性,例如,$Δ+1$顶点着色的新随机化复杂度现在是$\tilde{O}(\log^2\log n)$轮。我们的方法是先前已知的两种方法的新颖组合,用于开发针对这些问题的确定性算法,即通过网络分解的全局去随机化(例如,[Rozhon,Ghaffari STOC '20; Ghaffari,Grunau,Rozhon SODA' 21; Ghaffari等人SODA '23])和分数解的局部舍入(参见例如,[Fischer DISC '17; Harris FOCS' 19; Fischer,Ghaffari,Kuhn FOCS '17; Ghaffari,Kuhn FOCS' 21; Faour等人SODA '23])。我们考…
2023-03-28 cs.DC cs.DS
D3-Tree: A Dynamic Distributed Deterministic Load - Balancer for decentralized tree structures
在这项工作中,我们提出了D3树,一个动态的分布式确定性结构的数据管理在分散的网络。我们提出了简要的理论算法分析,我们提出的结构是基于,我们彻底描述的关键方面的实施。进行实验,我们验证了实现的结构优于其他知名的层次树为基础的结构,因为它提供了更好的负载平衡操作的复杂性。更具体地说,该结构实现了一个对数摊销的界限,使用一个有效的确定性负载平衡机制,这是一般的,足以适用于其他层次树为基础的结构。此外,我们调查的结构的容错,这还没有得到充分的解决,在以前的工作中,无论是理论上和通过严格的实验。我们证明了D3树是高度容错的,因为,即使是大规模的节点故障,它实现了显着的元素查询的成功率。然后,我们更进一步,为了达到亚对数复杂度,并提出了ART+结构(自治范围树),利用D3树的优异性能。ART+是一个完全动态的容错结构,它实现了查询和更新操作的亚对数性能,并在亚对数摊销成本下执行负载平衡。
2015-03-26 cs.DC cs.DS
A Hybrid Solution to improve Iteration Efficiency in the Distributed Learning
目前,许多机器学习算法包含大量的迭代。在现有的大规模分布式系统中,一些从节点可能会出现故障或效率低下的情况。针对传统的机器学习算法可能因分布式系统的不稳定性而失效的问题,提出了一种混合算法,该算法不仅具有很高的容错能力,而且在性能和效率之间取得了平衡,每次迭代时,将丢弃速度慢机器的结果。然后,我们讨论了准确率和放弃率之间的关系。接下来,我们讨论这个过程的收敛速度。最后,我们的实验表明,我们的想法可以显着减少计算时间,并在许多平台上使用。
2020-12-20 cs.DC cs.LG
A Hybrid Performance Analysis Technique for Distributed Real-Time Embedded Systems
在分布式嵌入式系统中,如何精确估计应用程序在最坏情况下的响应时间是一个具有挑战性的问题,特别是当任务之间存在依赖关系时。我们发现,国家的最先进的技术,考虑任务的依赖关系,要么无法获得一个保守的界限或产生一个松散的上限。我们提出了一种新的保守的性能分析,称为混合性能分析,结合响应时间分析技术和调度时间界限分析技术,计算一个更紧的界限快速。通过大量的实验与随机生成的图,我们提出的方法相比,以前的方法的优越性能得到证实。
2016-04-18 cs.DC cs.PF
Deterministic Distributed (Delta + o(Δ))-Edge-Coloring, and Vertex-Coloring of Graphs with Bounded Diversity
我们考虑着色问题的分布式消息传递设置。以前已知的边着色的确定性算法至少使用(2Delta - 1)种颜色,即使任何图都允许用Delta + 1种颜色进行边着色[V64]。此外,以前已知的最多使用O(Delta)颜色的确定性算法需要超对数时间[B15,BE 10,BE 11,FHK 15]。在目前的文件中,我们设计确定性的边着色算法,只采用三角洲+ o(三角洲)的颜色,一个非常广泛的图形。具体来说,只要荫度是a = O(Delta^{1 - ε}),对于常数ε> 0,我们的算法在{多对数}确定性时间内计算这样的着色。我们还设计了显着改进的确定性边着色算法的{一般图}的参数范围很广。具体来说,对于范围[4 Delta,2^{o(log Delta)} \cdot Delta]中的任何值$χ$,我们的x-边着色算法具有比先前已知的最好的x-边着色算法更小的运行时间。我们的算法实际上更一般,因为边着色等价于线图的顶点着色。我们的方法适用于具有{有界分集}的图族的顶点着色,其中包括线图、超图的线图以及许多其他图。我们的研究结果是使用一种新的技术,以某种方式连接顶点或边,减少集团的大小。我们称之为{连接器}的结果结构可以比原始图更有效地着色。此外,颜色类构成更简单的子图,可以使用适当的连接器更有效地着色。因此,我们递归,直到我们得到足够简单的结构,直接着色。我们将介绍几种类型的连接器,它们适用…
2016-10-21 cs.DC cs.DS
A Simple Distributed Deterministic Planar Separator
University of Haifa(海法大学)
本文提出一个简单确定性算法,用于平面图的分布式平衡分割,具有与之前算法相同的轮复杂度。
2026-02-26 cs.DC cs.DS
Fast Deterministic Constructions of Linear-Size Spanners and Skeletons
在分布式设置中,\textit{sparse skeletons}的仅有的现有构造(即,具有$O(n)$边的子图)使用随机化或大消息,或者需要$Ω(D)$时间,其中$D$是输入图$G$的跳直径。我们设计了CONGEST模型中的第一个确定性分布式算法(即,使用小消息)用于在时间$2^{O(\sqrt{{\log n}\cdot{\log{\log n}}})}$上构造线性大小的骨架。我们还可以在低确定性多项式时间内用拉伸$polylog(n)$计算线性大小的多项式,即,$O(n^ρ)$,适用于CONGEST模型中任意小的常数$ρ>0$。我们设计的另一种算法在$O({\log n})^{κ-1}$时间内运行,参数为$κ=1,2,\dots,$,并构造具有$O(n^{1+1/κ})$边缘的$O({\log n})^{κ-1}$图。从计算的角度来看,我们所有的分布式算法都是轻量级的,即,它们都没有使用任何繁重的计算。
2019-07-25 cs.DC cs.DS
Efficient and Scalable Algorithms for Smoothed Particle Hydrodynamics on Hybrid Shared/Distributed-Memory Architectures
本文介绍了一种新的快速和隐式并行的方法来寻找邻居的多分辨率光滑粒子流体动力学(SPH)模拟。这种新方法是基于分层细胞分解和排序的相互作用,在一个基于任务的配方。它被证明是比传统的基于树的代码更快,并扩展比域分解为基础的方法在混合共享/分布式存储器并行架构,例如集群的多核,实现了$40\times$加速的小工具-2模拟代码。
2014-04-08 astro-ph.IM cs.DC physics.comp-ph
Improved Deterministic Distributed Maximum Weight Independent Set Approximation in Sparse Graphs
本文为稀疏图中的最大权独立集(MWIS)设计了新的确定性CONGEST近似算法,提出了Δ(1+ε)近似和严格依赖于树宽α的近似算法,改进了现有算法的运行时界限。
2024-02-14 cs.DC cs.DS
Deterministic Bounds in Committee Selection: Enhancing Decentralization and Scalability in Distributed Ledgers
本文针对分布式账本中随机委员会选择的概率性保障局限,聚焦可全局验证的固定规模委员会抽签方法,提出能为敌手影响力提供确定性界的新方法,强化系统去中心化特性,且更适配基于法定人数的应用。
2024-09-16 cs.CR cs.DC
Improved Deterministic Network Decomposition
网络分解是分布式图算法的核心工具。我们提出了两个改进的最先进的网络分解,从而导致改善(确定性和随机)的复杂性的几个研究良好的图形问题。- 我们提供了一个确定性的分布式网络分解算法与$O(\log^5 n)$轮复杂度,使用$O(\log n)$位消息。这改进了Rozhoregon和Ghaffari [STOC'20]的使用大消息的$O(\log^7 n)$轮算法,以及他们的使用$O(\log n)$位消息的$O(\log^8 n)$轮算法。这直接导致了广泛的确定性和随机分布式算法的类似改进,其解决方案依赖于网络分解,包括Ghaffari,Kuhn和Harris的一般分布式去随机化[FOCS'18]。- 在$\mathsf{CONGEST}$模型中,Rozhoregon和Ghaffari算法的一个缺点是它依赖于标识符的长度。因此,例如,该算法不能用于$\mathsf{CONGEST}$模型中的粉碎框架。因此,该模型中几个问题的最新随机化复杂性仍然具有加性$2^{O(\sqrt{\log\log n})}$项,这是旧网络分解复杂性的明显残余[Panconesi和Srinivasan STOC'92]。我们提出了一个修改后的版本,补救这一点,构建一个分解,其质量不依赖于标识符,从而提高了各种问题的随机轮的复杂性。
2020-07-16 cs.DC cs.DS
Deterministic Lower Bounds for $k$-Edge Connectivity in the Distributed Sketching Model
Augusta University(奥古斯塔大学)
本文提出了分布式草图模型中k边连通性问题的第一个确定性下界,证明了最坏情况下的消息长度为Ω(k)位。
2026-02-09 cs.DC cs.DS
Universally Optimal Deterministic Broadcasting in the HYBRID Distributed Model
本文在HYBRID分布式模型中提出首个通用最优确定性广播工具,并给出匹配的通用上下界,进而应用于一般图和稀疏图中的近似与精确APSP算法。
2023-04-13 cs.DC cs.DS
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定,需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性,但关注于其他各种度量(例如,能量、带宽和存储消耗)对于完全理解分布式数据库的资源消耗是必要的。此外,现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此,对部署在混合云中的这些数据库的评估缺乏调查,混合云是公共云和私有云的无缝集成。为了解决这些研究空白,在本文中,我们调查的能源,带宽和存储消耗最常用的和常见的分布式数据库。为此,我们评估了混合云上的四个开源数据库(Cassandra,Mongo,Redis和MySQL),这些数据库跨越本地OpenStack和Microsoft Azure,以及各种边缘计算节点,包括Raspberry Pi,Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解,在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
A Deterministic Almost-Tight Distributed Algorithm for Approximating Single-Source Shortest Paths
我们提出了一个确定性的$(1+o(1))$近似$(n^{1/2+o(1)}+D^{1+o(1)})$时间算法解决单源最短路径问题的分布式加权网络(CONGEST模型),这里$n$是网络中的节点数和$D$是它的(跳)直径。这是这个问题的第一个非平凡的确定性算法。它还改进了(i)Nanongkai [STOC 2014]的随机化$(1+o(1))$ -近似$\tilde O(n^{1/2}D^{1/4}+D)$ -时间算法的运行时间,其系数与$n^{1/8}$一样大,以及(ii)Lenzen和Patt-Shamir的$\tilde O(n^{1/2+ε}+D)$ -时间算法[STOC 2013]的$O(ε^{-1}\log ε^{-1})$ -近似系数在相同的运行时间内。我们的运行时间与$Ω(n^{1/2}/\log n + D)$ [Elkin STOC 2004]的已知时间下限匹配到次多项式因子,从而基本上解决了至少十年前提出的这个问题的状态[Elkin SIGACT News 2004]。它还意味着$(2+o(1))$ -近似$(n^{1/2+o(1)}+D^{1+o(1)})$ -时间算法,用于近似网络的加权直径,其几乎与Holzer和Pinsker的下限匹配[OPODIS 2015]。在实现这一结果,我们开发了两种技术,这可能是独立的兴趣和有用的其他设置:(一)一个确定性的过…
2018-09-19 cs.DC cs.DS
A Near-Optimal Low-Energy Deterministic Distributed SSSP with Ramifications on Congestion and APSP
提出一种低能耗确定性分布式精确SSSP算法,运行 $\tilde{O}(n)$ 轮且节点仅唤醒 $poly(\log n)$ 轮,并基于此通过独立求解与随机调度实现近最优APSP。
2024-09-23 cs.DC cs.DS
A Framework for Hybrid Collective Inference in Distributed Sensor Networks
School of Computer Science and IT, University College Cork(科克大学计算机科学与信息技术学院)
本文提出一种结合分布式与分层通信和分类方法的混合框架,以实现高效集体推断,在减少通信成本的同时保持高分类精度。
2026-02-19 cs.DC cs.MA
A Second-Order Distributed Trotter-Suzuki Solver with a Hybrid Kernel
Trotter-Suzuki近似导致求解含时薛定谔方程的有效算法。使用现有的高度优化的CPU和GPU内核,我们开发了一个分布式版本的算法,有效地运行在集群上。我们的实现还提高了单节点性能,并能够在一个节点内使用多个GPU。使用CPU内核的缩放接近线性,而GPU内核的效率随着矩阵的增大而提高。我们还介绍了一个混合内核,同时使用多核CPU和GPU的分布式系统。当矩阵大小不适合GPU内存时,该内核被证明是有效的。较大的量子系统在节点数量较多的情况下扩展得特别好。该代码在开源许可证下可用。
2012-08-12 cs.DC physics.comp-ph quant-ph
Deterministic Fault-Tolerant Distributed Computing in Linear Time and Communication
本文针对同步完全网络中的共识、流言传播和检查点问题,开发了确定性容错分布式算法,在崩溃和认证拜占庭故障模型下实现了线性运行时间与通信量,并证明了性能下界以确保最优性。
2023-05-19 cs.DC cs.DS