QuickSilver: A Modeling and Parameterized Verification Framework for Systems with Distributed Agreement (Extended Version)
在过去的十年里,已经引发了一些勇敢的努力,在演绎验证分布式协议,如共识和领导者选举。奇怪的是,超出核心协议和建立在协议协议之上的目标应用程序的核查工作要少得多。这是不幸的,因为基于协议的分布式服务(如数据存储、锁和分类账)无处不在,并且可能允许模仿其模块化设计的模块化、可扩展的验证方法。我们通过我们的新的建模和验证框架,QuickSilver,这不仅是模块化的,而且是完全自动化的分布式协议为基础的系统的验证,解决了这一需求。QuickSilver的关键使能功能是我们对已验证协议协议的抽象进行编码,以促进模块化、可判定和可扩展的自动验证。我们通过建模和有效验证一系列棘手的案例研究来展示QuickSilver的潜力,这些案例研究改编自现实世界的应用程序,例如数据存储,锁定服务,监控系统,移动机器人的寻路算法等等。
2021-09-13 cs.DC cs.PL
Notes on Theory of Distributed Systems
本文总结了分布式系统理论的核心概念和方法,涵盖了广播、共识算法、故障容忍、共享内存等关键技术,并探讨了分布式算法的理论基础和实现挑战。
2026-05-18 cs.DC
Threshold Logical Clocks for Asynchronous Distributed Coordination and Consensus
用于异步网络的一致性协议通常是复杂和低效的,导致实际系统依赖于同步协议。本文试图简化异步共识之上建立一个新的阈值逻辑时钟抽象,使上层操作,如果在一个同步网络。这种方法为故障停止节点产生了一个异步共识协议,该协议可能比Paxos及其基于领导者的变体更简单,更强大,不需要共同的硬币,并在恒定的预期回合数中实现共识。同样的方法可以通过建立在成熟的技术上来加强对拜占庭式失败的防范,例如防篡改日志记录和流言、可问责的状态机、阈值签名和见证人共同签名以及可验证的秘密共享。现有抽象和阈值逻辑时钟的这种组合产生了一种模块化的、分层清晰的方法,用于构建实用且高效的拜占庭共识、分布式密钥生成、时间、时间戳和随机性信标以及其他关键服务。
2019-07-16 cs.CR cs.DC cs.NI
Distributed Randomness from Approximate Agreement
随机化是设计分布式系统的关键工具。公共硬币原语使系统成员能够就一个不可预测的随机数达成一致,已被证明特别有用。然而,我们观察到,这是不可能实现一个真正的随机共同硬币协议在一个容易出错的异步系统。为了避免这种不可能性,我们引入了两个放松的完美的共同硬币:(1)近似共同硬币产生随机数是彼此接近的;(2)蒙特卡罗共同硬币产生一个共同的随机数与任意小,但非零,失败的概率。建立在近似协议原语之上,我们获得了两个抽象的高效异步实现,容忍高达三分之一的拜占庭进程。我们的协议不假设可信的设置或公钥基础设施,并收敛到完美的硬币在协议运行时间呈指数级快速。通过将我们的Monte Carlo共同硬币协议插入到一个众所周知的共识算法中,我们设法得到一个二进制拜占庭协议,该协议具有$O(n^3 \log n)$通信复杂性,对自适应对手具有弹性,并且在没有可信设置或PKI的情况下容忍最佳故障数$f<n/3$。据我们所知,目前为止,在这种设置下实现的二进制拜占庭协议的最佳通信复杂性是$O(n^4)$。我们还展示了如何近似共同的硬币,结合一个变种的格雷码,可以用来解决一个有趣的问题,相交的随机子集,我们在本文中介绍。
2022-05-24 cs.DC
Barycentric Coded Distributed Computing with Flexible Recovery Threshold for Collaborative Mobile Edge Computing
本文提出基于重心有理插值的近似编码分布式计算方案,解决现有方案恢复阈值固定和编码极点问题,实现任意结果解码、数值稳定及无极点编解码,并集成BRI梯度编码算法加速训练,实验证明其在等待时间和精度上优于现有方案。
2025-09-11 cs.DC
Bounded Verification of Doubly-Unbounded Distributed Agreement-Based Systems
分布式协议(如共识)的普遍存在激发了人们对验证此类协议以及构建在其上的应用程序的兴趣。然而,这类系统的复杂性和不受约束性使得它们的核查一般来说是繁重的,特别是对于完全自动化来说是令人望而却步的。一个令人兴奋的,最近的突破表明,通过仔细的建模,它成为可能的验证有趣的分布式协议为基础的(DAB)系统,这是无限的进程数量,减少到模型检验的小,有限状态系统。这是一个悬而未决的问题,如果这样的减少也是可能的DAB系统是双重无界的,特别是DAB系统,另外有无界的数据域。我们肯定地回答这个问题,在这项工作中的DAB系统的模型,从而扩大了类DAB系统,可以自动验证。我们提出了一种新的基于简化的方法,并开发了一种工具,金星,可以有效地验证复杂的DAB系统模型。
2022-05-12 cs.DC cs.PL
Asynchronous Byzantine Agreement in Incomplete Networks [Technical Report]
拜占庭协议问题被认为是分布式系统中的核心问题。例如,需要拜占庭协议来构建区块链,这是一个完全有序的记录日志。区块链是异步分布式系统,对拜占庭节点具有容错能力。在文献中,异步拜占庭协议问题研究了一个完全连接的网络模型,其中每个节点可以直接发送消息到每个其他节点。这种假设在许多现实环境中是有问题的。在现实中,节点可能需要通过不完整的网络进行通信,并且拜占庭节点可能不转发消息。此外,Byzantine节点可能行为不正确,例如,损坏消息。因此,为了真正理解拜占庭协定,我们需要两个要素:不完整和不完整的通信网络。本文研究了不完备网络中的异步拜占庭协议问题。Danny Dolev的一个经典结果证明,在一个有n个节点的分布式系统中,当存在f个Byzantine节点时,系统通信图的顶点连通度至少为(2f+1)。虽然Dolev的结果是同步确定性系统,我们证明了同样的界限也适用于异步随机系统。我们通过一个随机算法和一个匹配的下界证明了这个界是紧的。
2020-05-26 cs.DC
Synthesis of Distributed Agreement-Based Systems with Efficiently-Decidable Verification (Extended Version)
基于分布式协议(DAB)的系统使用常见的分布式协议协议,如领导者选举和共识作为其目标功能的构建块。虽然DAB系统的自动化验证是不可判定的一般,最近的工作确定了一个大类的DAB系统的验证是有效的可判定的。不幸的是,这种类别的特征条件可能是不透明和非直观的,并且可能对试图在此类中建模其系统的系统设计者构成重大挑战。在本文中,我们提出了一个合成驱动的工具,朱砂,以帮助系统设计人员建立DAB系统“适合”他们的预期设计成一个有效的可判定类。特别是,从设计师提供的初始草图开始,Cinnabar使用反例引导程序生成草图完成。核心技术依赖于一组相关反例的紧凑编码。我们证明朱砂的有效性,成功和有效地合成各种有趣的DAB系统的完成。
2023-01-14 cs.DC cs.PL
Reconfigurable Lattice Agreement and Applications
重构是分布式系统的核心机制之一。由于故障和连接中断,服务副本(或服务器)及其在计算中的角色可能必须随着时间的推移重新配置。为了向运行在这些服务器上的应用程序提供所需级别的一致性和可用性,服务的客户端应该能够就系统配置达成某种形式的协议。我们观察到,这种协议是自然捕获通过晶格偏序的系统状态。我们提出了一个异步实现的可重构格协议,这意味着优雅的可重构版本的一大类格抽象数据类型,如最大寄存器和冲突检测器,以及流行的分布式编程抽象,如原子快照和提交采用。
2020-09-15 cs.DC
Distributed Agreement in the Arrovian Framework
本文将阿罗不可能性定理置于含崩溃故障的分布式语境,研究放宽为 $k$-set agreement 或 $ε$-approximate agreement 的偏好聚合任务,并证明同步与异步系统中的多项不可能性结果。
2024-10-29 cs.DC cs.GT
Distributed Agreement in Tile Self-Assembly
实验室研究表明,一个正式的容错理论将是至关重要的利用纳米级自组装作为计算介质。一些研究人员已经表达了一种直觉,即自组装现象与分布式计算领域有关。本文形式化的一些直觉。我们构建瓦片组装系统,能够模拟一些分布式系统中的无等待共识问题的解决方案。(For潜在的未来工作,这可以允许分析和管理瓦片组装中的绑定错误,在分布式计算中具有积极的结果,因为我们的瓦片组装模型中的“阻塞”类似于分布式计算模型中的崩溃故障。我们还定义了一个加强的“传统”的共识问题,明确的共识算法,往往是隐含在分布式计算文学的期望。我们发现,这个加强共识问题的解决方案可以模拟由二维瓷砖组装模型只为两个进程,而三维瓷砖组装模型可以模拟其解决方案在一个分布式系统中的任何数量的进程。
2010-07-16 cs.DC cs.NE
A realistic distributed storage system that minimizes data storage and repair bandwidth
在实际的分布式存储环境中,存储节点通常放置在机架中,机架是一种用于容纳电子设备的金属支架。已知机架内的节点之间的通信(带宽)成本远低于不同机架内的节点之间的通信(带宽)成本。本文提出了一种新的模型,其中存储节点被放置在两个机架上,并进行了分析。在此模型中,存储节点具有不同的修复成本来修复节点,这取决于它们放置的机架。示出了阈值函数,其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。该阈值函数概括了来自先前分布式存储模型的阈值函数。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较,结果表明,该新模型在维修成本方面优于以前的模型。
2013-01-08 cs.DC cs.IT math.IT
Verification of Threshold-Based Distributed Algorithms by Decomposition to Decidable Logics
容错分布式协议的验证是一项非常困难的任务。通常,在这些协议中,在过程代码和其正确性证明中都使用关于集合基数的阈值,例如,进程仅在其已从至少一半的对等体接收到确认时才可执行动作。基于阈值的协议的验证是非常具有挑战性的,因为它涉及两种推理:关于协议的无界状态的一阶推理,以及关于集合和基数的推理。在这项工作中,我们开发了一种新的方法,用于将此类协议的验证任务分解为两个可判定的逻辑:EPR和BAPA。我们的关键见解是,这样的协议使用阈值在一个有限的方式作为一种手段,以获得某些属性的“交集”之间的集合。我们定义了一种语言来表达这样的属性,并提出了两个翻译:EPR和BAPA。EPR转换允许验证协议,同时假设这些属性,BAPA转换允许验证属性的正确性。我们进一步开发了一种算法,用于自动生成验证给定协议所需的属性,便于全自动演绎验证。使用这种技术,我们已经验证了几个具有挑战性的协议,包括拜占庭一步共识,混合可靠广播和快速拜占庭Paxos。
2019-05-19 cs.DC cs.LO cs.PL
Fully-Distributed Byzantine Agreement in Sparse Networks
针对稀疏有界度数网络中仅靠局部知识且需容忍大量拜占庭节点的开放问题,本文提出全分布式拜占庭协议,将容忍上限提升至 O(n/polylog(n))。
2024-10-28 cs.DC cs.DS
Distributed Agreement in Dynamic Peer-to-Peer Networks
出于在高度动态的对等网络(P2P)中需要鲁棒和快速的分布式计算,我们研究了基本的分布式协议问题的算法。P2P网络是经历重节点{ \em churn}的高度动态的网络。我们的目标是设计快速的算法(运行在一个小的回合数),保证,尽管高节点流失率,几乎所有的节点达到一个稳定的协议。我们的主要贡献是随机分布式算法,保证{ \em稳定的几乎无处不在的协议},即使在高对抗性的流失在一个多对数轮数:1。一种$O(\log^2 n)$循环($n$是稳定的网络大小)随机算法,其在高达{ \em线性}扰动{ \em每循环}(即,$εn$,对于某个小常数$ε> 0$),假设流失是由不经意的对手控制的(该对手对什么节点加入和离开以及在什么时间加入和离开具有完全的知识和控制,并且具有无限的计算能力,但是对算法做出的随机选择不经意)。我们的算法只需要多对数的$n$位处理和发送(每轮)的每个节点。2.一种$O(\log m\log^3 n)$轮随机算法,在每轮高达$ε\sqrt{n}$扰动(对于一些小的$ε> 0$)的情况下以高概率实现几乎处处一致,其中$m$是输入值域的大小,即使在自适应对手(也知道算法所做的过去随机选择)下也能工作。该算法要求由每个节点处理和发送(每轮)高达$n$位(以及高达$O(\log m)$位)的多项式。
2014-09-10 cs.DC cs.DS
$\varepsilon$-differential agreement: A Parallel Data Sorting Mechanism for Distributed Information Processing System
在分布式信息处理系统(DIPS)中,输入信息的顺序起着非常重要的作用。提出了一种新的支持并行数据排序的ε-差分协议(EDA)数据排序机制。EDA采用协同共识机制,这不同于传统的共识机制,使用竞争机制,如PoS,PoW等。在系统中,采用EDA机制,所有参与者一起工作,计算输入信息的顺序,通过使用统计和概率的原则,对参与者的比例。初步结果表明,可变的容错率和共识延迟的系统,具有不同的配置时,达成共识,因此,它表明,它是可能的,在系统中使用EDA和定制这些参数的基础上,不同的要求。由于EDA的独特机制,它不仅适用于旋转中心的决策簇,也适用于多中心决策簇的DIPS。
2019-03-01 cs.DB cs.DC
Belief Consensus Algorithms for Fast Distributed Target Tracking in Wireless Sensor Networks
在无线传感器网络的分布式目标跟踪中,可以通过通信路径的构建和维护来实现对目标状态的一致性,以便交换关于局部似然函数的信息。这种方法缺乏对故障的鲁棒性,并且不容易适用于ad-hoc网络。为了解决这个问题,已经提出了几种方法,允许通过完全分布式的信念共识(BC)算法,在分布式粒子滤波(DPF)的局部似然协议。然而,尚未进行收敛速度和通信成本的统一比较。在本文中,我们提供了这样的比较,并提出了一种新的BC算法的基础上的信念传播(BP)。根据我们的研究,基于大都会信念共识(MBC)的DPF是最快的循环图,而基于BP共识的DPF是最快的树图。此外,我们发现,基于BC的DPF方法具有较低的通信开销比数据洪泛时,网络是足够稀疏。
2013-07-30 cs.DC
Distributed Key Generation with Smart Contracts using zk-SNARKs
分布式密钥生成(DKG)是门限密码系统的基础,是一个广泛研究的课题。区块链等新兴技术从共识协议、随机信标和阈值签名中应用阈值密码学中受益匪浅。然而,区块链和智能合约还通过提供分散的计算和通信平台来进一步改进DKG协议。出于这个原因,我们提出了一个DKG协议,该协议使用智能合约来确保协议的正确执行,允许动态参与,并提供加密经济激励来鼓励诚实的行为。DKG协议使用基于零知识简洁非交互式知识参数(zk-SNARKs)的争议和密钥派生机制,通过将计算移到链外来降低应用智能合约的成本,其中智能合约仅验证计算的正确性。
2022-12-20 cs.CR cs.DC
A Short Counterexample Property for Safety and Liveness Verification of Fault-tolerant Distributed Algorithms
分布式算法有许多关键任务应用,从嵌入式系统和复制数据库到云计算。由于异步通信、进程故障或网络故障,这些算法很难设计和验证。许多算法通过使用阈值保护来实现容错,例如,阈值保护确保进程等待,直到它从大多数对等体接收到确认。因此,域特定的语言容错分布式系统提供语言支持的阈值后卫。我们介绍了一种自动化的模型检验的安全性和活性的阈值保护的分布式算法的系统中的进程的数量和故障进程的分数的参数。我们的方法是基于一个简短的反例属性:如果一个分布式算法违反了时间规范(在LTL的片段),那么有一个反例的长度是有界的和独立的参数。我们证明了这个属性(i)根据时间公式的结构表征执行,以及(ii)使用转换的交换性来加速和缩短执行。我们扩展了ByMC工具集(拜占庭模型)与我们的技术,并验证了10个突出的容错分布式算法的活性和安全性,其中大部分是遥不可及的现有技术。
2016-11-09 cs.DC cs.LO
Survey on Parameterized Verification with Threshold Automata and the Byzantine Model Checker
本文综述了基于阈值自动机的参数化验证技术,重点介绍拜占庭模型检查器(ByMC)如何自动验证阈值守卫容错分布式算法,确保其在任意进程数和故障数下正确性。
2023-01-16 cs.DC cs.LO
CodedSketch: A Coding Scheme for Distributed Computation of Approximated Matrix Multiplication
在本文中,我们提出了CodedSketch,作为一个分布式的抗离散计划来计算两个大规模矩阵的乘法近似。目标是降低恢复阈值,恢复阈值定义为我们需要等待才能恢复最终结果的工作节点的总数。为了利用仅需要近似结果的事实,在降低恢复阈值时,需要某些种类的预压缩。然而,压缩固有地涉及一些随机性,这将丢失矩阵的结构。另一方面,考虑矩阵的结构是降低恢复阈值的关键。在CodedSketch中,我们在第一个矩阵的行和第二个矩阵的列上使用count--sketch作为基于哈希的压缩方案,并在第一个矩阵的列和第二个矩阵的行上使用结构化多项式代码。这种安排使我们能够利用两者的增益来降低恢复阈值。为了提高计算精度,需要多个独立的计算草图。这种独立性使我们能够从理论上表征结果的准确性,并建立所提出的方案实现的恢复阈值。为了保证输出中的结果计数-草图的独立性,同时保持其恢复阈值上的成本最小,我们使用另一层结构化代码。
2021-02-12 cs.DC cs.IT math.IT
Delphi: Efficient Asynchronous Approximate Agreement for Distributed Oracles
本文提出确定性异步共识协议 Delphi,通过结合共识原语与新颖加权平均技术,将通信开销降至 𝒪̃(n²),在 160 节点系统中相比现有协议实现 8 倍(CPS)和 3 倍(AWS)的延迟改进。
2024-05-07 cs.CR cs.DC
Local Deal-Agreement Based Monotonic Distributed Algorithms for Load Balancing in General Graphs
在计算机网络中,参与者可以在处理任务时进行合作,从而在它们之间平衡负载。我们提出了本地分布式算法,(反复)使用本地不平衡的标准,同时跨系统的参与者转移负载,迭代,直到所有负载平衡。我们的算法是基于一个简短的本地交易协议的建议/交易的通信,基于附近的负载。它们单调收敛,总是随着执行的进行提供更好的状态。此外,我们的算法避免了使负载暂时为负。因此,它们可以被认为是任何时间的,在这个意义上,它们可以在执行期间的任何时间停止。我们表明,我们的同步负载均衡算法实现$ε$ -平衡状态的连续设置和1-平衡状态的离散设置在所有的图形中,在$O(n D \log(n K/ε))$和$O(n D \log(n K/D) + n D^2)$时间,分别,其中$n$是节点数,$K$是初始差异,$D$是图形直径,和$ε$是最终的差异。我们的其他单调的同步和异步算法的离散设置的第一个算法,其中负载均衡是同时执行多个邻居的概括。这些算法到达一个1-平衡状态的时间$O(n K^2)$在一般的图形,但有可能更快的负载之间的所有邻居之间的平衡,而不是只有一个,我们描述了一个场景,演示了一个快速($O(1)$)收敛的潜力。由于同步设置的限制,我们的异步算法避免了在进行下一个负载均衡步骤之前等待最慢的参与者的活动的需要。我们还介绍了我们的异步算法的自稳定版本。
2020-10-06 cs.DC
Erasure coding for distributed matrix multiplication for matrices with bounded entries
Iowa State University(爱荷华州立大学)
分布式矩阵乘法广泛应用于多个科学领域。众所周知,分布式集群上的计算时间通常由最慢的工人(称为掉队者)控制。最近的工作表明,可以被看作是一个问题的设计纠删码的掉队缓解。对于矩阵$\mathbf A$和$\mathbf B$,该技术实质上将$\mathbf A^T \mathbf B$的计算映射到较小(编码)子矩阵的乘法。在这个过程中,掉队者被视为擦除。只要有一定数量的工作者(称为恢复阈值)完成分配给他们的任务,计算就可以完成。我们提出了一种新的编码策略,这个问题时,矩阵项的绝对值是足够小的。我们证明了假设的绝对值边界的矩阵条目和恢复阈值之间的权衡。在一个极端,我们相对于恢复阈值是最优的,在另一个极端,我们匹配先前工作的阈值。基于云的集群上的实验结果验证了我们的方法的好处。
2018-11-07 cs.DC cs.IT cs.LG
Que Sera Consensus: Simple Asynchronous Agreement with Private Coins and Threshold Logical Clocks
通常认为,异步共识比部分同步算法更复杂,更困难,更昂贵,特别是在不使用普通硬币的情况下。本文挑战传统的智慧与quesera共识QSC,一种共识的方法,干净地分解协议问题,从网络安全性。QSC仅使用私有币,并在$O(1)$预期的通信回合中达成共识。它依赖于“锁步”同步广播,但可以在阈值逻辑时钟(TLC)算法上运行,以在底层异步网络上进行部分可靠的通信。这种组合可以说比部分同步的共识方法(如(多)Paxos或Raft与领导者选举)更简单,并且对于减缓领导者或有针对性的网络拒绝服务攻击更强大。TLC上的QSC的最简单的公式化产生预期的$O(n^2)$消息和每个协议的$O(n^4)$比特,或者具有直接优化的$O(n^3)$比特。按需实现(其中客户端充当“自然领导者”以在仅实现被动键值存储的有状态服务器上执行协议)可以实现每个客户端驱动协议的$O(n^2)$预期通信位。
2020-03-04 cs.DC cs.DS cs.NI
Voting-based probabilistic consensuses and their applications in distributed ledgers
我们回顾了被称为多数动态的概率模型(也称为阈值投票模型),并讨论了它们在加密货币系统中实现共识的可能应用。特别是,我们表明,直接使用这种方法在拜占庭设置的实际共识可能是有问题的,需要广泛的进一步研究。然后,我们讨论了FPC共识协议,该协议通过使用外部随机性来避免上述问题。
2021-08-06 cs.DC
A Dual Digraph Approach for Leaderless Atomic Broadcast (Extended Version)
许多分布式系统工作在一个公共的共享状态;在这样的系统中,分布式协议是必要的一致性。随着服务器数量的增加,这些系统变得更容易受到单服务器故障的影响,从而增加了容错的相关性。原子广播使容错分布式协议,但它是昂贵的解决。大多数实用的算法需要对每个广播消息进行线性工作。AllAccuur--一种无领导的方法--通过稀疏的弹性覆盖网络连接服务器来减少工作量;然而,这种弹性需要冗余,限制了工作量的减少。在本文中,我们提出了一种原子广播算法AllAccuur+,它解除了这一限制:在没有故障的间隔期间,它通过使用无冗余的覆盖网络实现了最小的工作。当发生故障时,它会通过切换到弹性覆盖网络自动恢复。在我们对非故障场景的性能评估中,AllConcur+实现了与AllGather(一种非容错分布式协议算法)相当的吞吐量,并且在吞吐量和延迟方面都优于AllConcur、LCR和Libpaxos。此外,我们对故障场景的评估表明,AllAccuur+的预期性能对于偶尔的故障是稳健的。因此,对于实际用例,在没有故障的间隔期间利用无冗余分布式协议可以显著提高性能。
2019-12-12 cs.DC
Quantum Communication Advantage for Leader Election and Agreement
本研究提出量子分布式算法,在多种网络拓扑下显著优于经典算法,为领导者选举和共识问题带来量子通信优势,并首次提出量子分布式算法消息复杂度的设计分析框架。
2025-02-11 cs.DC cs.DS quant-ph
A Sharp Threshold Phenomenon for the Distributed Complexity of the Lovász Local Lemma
Lovász局部引理(LLL)说,给定一组依赖于一些随机变量的值的坏事件,并且每个事件的发生概率至多为$p$,并且至多依赖于其他事件,如果满足LLL准则$ep(d+1)<1$,则存在避免所有坏事件的变量分配。在本文中,我们研究的依赖关系的分布式复杂性的LLL问题上选择的LLL标准。我们表明,对于所考虑的LLL实例的每个随机变量与输入图的边缘相关联的基本情况,即每个随机变量影响最多两个事件,在$p = 2^{-d}$处发生尖锐的阈值现象:我们提供了一个简单的确定性(!)如果$p < 2^{-d}$,则算法匹配有界度图中的已知$Ω(\log^* n)$下界,而对于$p \geq 2^{-d}$,已知$Ω(\log \log n)$随机化和已知$Ω(\log n)$确定性下界成立。在许多应用中,变量影响两个以上的事件,我们的主要贡献是扩展我们的算法的情况下,随机变量的影响最多三个不同的坏事件。我们发现,令人惊讶的是,尖锐的阈值发生在完全相同的点,为我们的猜想,这种现象总是发生在$p = 2^{-d}$,独立的事件数$r$受变量的影响,提供了证据。几乎所有的步骤的证明框架,我们提供的情况下$r=3$直接扩展到任意$r$的情况下,因此,我们的方法作为一个步骤,对表征的复杂性LLL在不同的指数标准。
2019-08-20 cs.DC cs.DS
Personal Data Access Control Through Distributed Authorization
本文提出了一种个人信息管理系统的架构,在该系统中,个人可以通过智能合约定义对其个人数据的访问。这些运行在以太坊区块链上的智能合约实现了访问控制列表,并授予对个人数据引用的不变性,可追溯性和可验证性,这些数据本身存储在(可能是分布式的)文件系统中。设计了一种分布式授权机制,其中来自多个网络节点的信任是授予对数据的访问所必需的。为了这个目的,两个可能的替代方案描述:秘密共享方案和门限代理重新加密方案。这些替代品的性能进行实验比较的执行时间。阈值代理重新加密在不同的场景中似乎更快,特别是当增加消息大小,节点数量和阈值时,即授权数据公开所需的节点数量。
2021-01-25 cs.CR cs.DC cs.NI
A realistic distributed storage system: the rack model
在实际的分布式存储环境中,存储节点通常放置在机架中,机架是一种用于容纳电子设备的金属支架。已知的是,在同一机架中的节点之间的通信(带宽)成本比在不同机架中的节点之间的通信(带宽)成本低得多。本文提出了一种新的模型,其中存储节点被放置在两个机架上,并进行了分析。此外,两个机架模型被推广到任何数量的机架。在此模型中,存储节点具有不同的维修成本,具体取决于它们放置的机架。示出了阈值函数,其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。这个阈值函数概括了以前的分布式存储模型。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较,结果表明,该新模型在维修成本方面优于以前的模型。
2013-02-22 cs.DC cs.IT math.IT
Logical Obstruction to Set Agreement Tasks for Superset-Closed Adversaries
在他们最近的论文(GandALF 2018)中,Goubault,Ledent和Rajsbaum为分布式计算提供了一个正式的认知模型。他们的逻辑模型,作为一个替代的研究拓扑模型,提供了一个有吸引力的框架,驳斥了一个给定的分布式任务的可解性的逻辑障碍:一个人只需要设计一个公式,在形式语言的认知逻辑,描述之间的差异计算模型和任务。然而,在他们的论文中,很少有逻辑障碍的例子,特别是对无等待2集协议任务的逻辑障碍是一个开放的问题。不久之后,西田通过为无等待$k$集协议任务提供归纳定义的逻辑障碍公式,肯定地回答了这个问题。本文改进了Nishida的工作,并设计了逻辑障碍公式,以$k$ -集协议任务的超集封闭的对手,它取代了等待自由模型。这些逻辑阻塞公式的实例表明,逻辑框架可以提供另一种可行的方法来显示分布式任务的不可能性,尽管它目前仅限于单轮分布式协议。逻辑方法比拓扑方法有一个优点,那就是它有一个完备的、基本的归纳证明。这与拓扑方法相反,在拓扑方法中,复杂的拓扑工具,如神经引理,通常被认为是理所当然的。
2021-02-04 cs.DC cs.LO
Dynamic Stale Synchronous Parallel Distributed Training for Deep Learning
York University(约克大学);IBM Canada(加拿大国际商业机器公司)
深度学习是一种流行的机器学习技术,已被应用于许多现实世界的问题。然而,训练深度神经网络非常耗时,尤其是在大数据上。单个机器在大型数据集上训练大型模型已经变得困难。一个流行的解决方案是使用参数服务器框架在多台机器上分布和并行化训练过程。在本文中,我们提出了一个分布式范例的参数服务器框架称为动态陈旧同步并行(DSSP),提高了国家的最先进的陈旧同步并行(SSP)的范例,通过动态确定陈旧阈值在运行时间。传统上,为了在SSP中运行分布式训练,用户需要指定特定的过时阈值作为超参数。然而,用户通常不知道如何设置阈值,因此经常通过反复试验来找到阈值,这是耗时的。基于工人的最近的处理时间,我们的方法DSSP自适应地调整阈值每次迭代在运行时,以减少等待时间的更快的工人的全局共享参数的同步,从而增加参数更新的频率(增加迭代吞吐量),从而加快收敛速度。我们通过在同构和异构环境中的GPU集群上运行深度神经网络(DNN)模型,将DSSP与其他范例(如批量同步并行(BSP),异步并行(ASP)和SSP)进行比较。结果表明,在一个异构的环境中,集群由混合模型的GPU,DSSP收敛到更高的精度比SSP和BSP早得多,并执行类似的ASP。在同构分布式集群中,DSSP比SSP和ASP更稳定,性能稍好,收敛速度比BSP快得多。
2019-08-16 cs.DC cs.LG stat.ML
Rateless Codes for Private Distributed Matrix-Matrix Multiplication
我们考虑的问题,设计无比率编码的私人分布式矩阵矩阵乘法。主服务器拥有两个私有矩阵$\mathbf{A}$和$\mathbf{B}$,并希望雇用工作节点来帮助计算乘法。从信息论的意义上说,矩阵应该对工作者保持私有。这个问题已被认为是在文献中,并与预先设计的阈值代码构建。更准确地说,主节点向工作节点分配任务,并等待预定数量的工作节点完成分配的任务。分配给工人的任务的大小取决于设计的阈值。我们感兴趣的设置中的任务的大小必须是小的和独立的设计阈值。我们设计了一个无比率的私有矩阵-矩阵乘法方案,称为RPM 3。我们的计划固定的任务的大小,并允许主发送多个任务的工人。主机不断接收结果,直到它可以解码乘法。两个主要的应用程序需要这个属性:i)利用系统中可能的异质性,并将更多的任务分配给速度更快的工人; ii)自适应地分配任务,以考虑可能随时间变化的系统。
2020-04-27 cs.DC cs.IT math.IT
Generalizing the Sharp Threshold Phenomenon for the Distributed Complexity of the Lovász Local Lemma
最近,Brandt,Maus和Uitto [PODC'19]表明,在限制设置中,分布式Lovász局部引理(LLL)的复杂性对所选择的LLL准则的依赖性表现出尖锐的阈值现象:他们证明了,在LLL准则$p2^d < 1$下,如果每个随机变量影响最多$3$事件,则LLL的确定性复杂性在随机模型中是$O(d^2 + \log^* n)$。与此形成鲜明对比的是,在$p2^d \leq 1$标准下,Brandt等人[STOC'16]给出了$Ω(\log \log n)$的随机下限,Chang、Kopelowitz和Pettie [FOCS'16]给出了$Ω(\log n)$的确定性下限。Brandt、Maus和Uitto指出,相同的行为适用于无限制的设置,其中每个随机变量影响任意多个事件。我们证明了他们的猜想,通过提供一个算法,解决了LLL在时间$O(d^2 + \log^* n)$下的LLL标准$p2^d < 1$,这是紧的有界度图由于$Ω(\log^* n)$下界由钟,佩蒂和苏[PODC'14]。通过Brandt,Maus和Uitto的工作,得到这样一个算法可以归结为证明任意高维函数族中的所有成员在某个特定区域上是凸的。不幸的是,这些功能的分析描述是已知的,只有最多$3$的尺寸,这导致了上述限制他们的结果。虽然获得这些描述的功能(大大)更高的维度似乎达到目前的技术,我们表明,他们的凸性可…
2020-06-08 cs.DC cs.DM cs.DS
Straggler Mitigation in Distributed Matrix Multiplication: Fundamental Limits and Optimal Coding
我们考虑的问题,大量的矩阵乘法,这是许多数据分析应用程序的基础,在一个大规模的分布式系统,包括一组工作节点。我们针对掉队者的延迟性能瓶颈,这是由于等待最慢的节点(或掉队者)完成其任务的不可预测的延迟。我们提出了一种新的编码策略,命名为\emph{entangled polynomial code},用于设计工作节点处的中间计算,以最小化恢复阈值(即,我们需要等待的工人数量,以计算最终的输出)。我们证明了纠缠多项式码在几种情况下的最优性,并表明它提供了有序的改进,比传统的计划,减少掉队。此外,我们描述了最佳恢复阈值之间的所有线性编码策略的$2$的一个因素内使用\emph{bilinear complexity},通过开发一个改进版本的纠缠多项式码。特别是,虽然评估双线性复杂性是一个众所周知的具有挑战性的问题,我们表明,线性编码策略的最佳恢复阈值可以近似在这个基本量的$2$的一个因素。另一方面,改进版本的纠缠多项式码,使进一步和有序减少恢复阈值,相比其基本版本。最后,我们表明,本文中开发的技术也可以扩展到其他几个问题,如编码卷积和容错计算,导致紧的特征。
2020-04-09 cs.DC cs.IT math.IT
Algebraic Geometric Rook Codes for Coded Distributed Computing
针对有限域上工作节点数受域大小限制的问题,本文提出代数几何Rook码,支持一般矩阵乘法的分布式容错计算,并给出与亏格相关的恢复阈值界。
2024-10-28 cs.DC cs.DM cs.IT
StakeCube: Combining Sharding and Proof-of-Stake to build Fork-free Secure Permissionless Distributed Ledgers
我们的工作重点是在权益证明设置中设计一个可扩展的无许可区块链。特别是,我们使用分布式哈希表作为构建块来设置随机分片,然后利用分片架构以有效的方式验证块。我们结合了由利益相关者分片运行的可验证拜占庭协议和块验证协议,以保证分叉发生的概率可以忽略不计。我们施加诱导扰动,使分片对eclipse攻击具有鲁棒性,我们依靠UTXO硬币模型来保证任何利益相关者的行为都可以被任何人安全地验证。我们的协议适用于自适应对手,并没有超出拜占庭协议所需的同步假设。
2019-07-11 cs.CR cs.DC
Finite-time and Asymptotic Convergence of Distributed Averaging and Maximizing Algorithms
在本文中,我们制定和调查的广义共识算法,试图统一的分布平均和最大化算法在文献中考虑。每个节点迭代地更新其状态作为其自身状态、其邻居的最小状态和最大状态的时变加权平均。我们证明了有限时间的共识几乎是不可能的平均在这个统一的模型。考虑了时间依赖图和状态依赖图,给出了一致收敛的各种必要和/或充分条件。对于时间依赖图,我们表明,准强连通性是至关重要的平均,是强连通性最大化。对于由$μ$ -最近邻规则定义的状态依赖图,其中每个节点与其$μ$最近较小的邻居和$μ$最近较大的邻居相互作用,我们表明,$μ+1$是一个临界阈值的节点总数的过渡从有限时间到渐近收敛平均,在没有节点自信。如果每个节点选择仅连接到具有唯一值的邻居,则阈值为$2μ$。数值例子说明了紧的条件。结果表征分布平均和最大化算法之间的一些基本的相似性和差异。
2012-09-05 cs.DC math.OC
Contracts in distributed systems
我们提出了一个参数演算的分布式系统中基于合同的计算。通过从实际的合同语言中抽象出来,我们的演算推广了合同作为流程和合同作为公式的范例。演算的特点是广告合同,达成协议,并查询合同的履行原语。负责人之间的协调是通过多方会议进行的,一旦达成协议,就会建立多方会议。我们提出了我们的演算的两个实例,通过将合同建模为(i)CCS变体中的过程,以及(ii)逻辑中的公式。借助一些例子,我们讨论了我们的演算的原语,以及一些可能的变体。
2011-08-02 cs.DC cs.LO cs.PL
AfricaOS: Using a distributed, proposal-based, replicated state machine towards liberation from the Berlin Conference of 1885
1885年的柏林会议影响了当地非洲人和非洲移民的日常生活。法国通过合同控制着非洲大陆产生的几种资源。这里有一个技术建议,通过利用先进技术进行分散协作,使非洲摆脱一个多世纪前强加给非洲大陆的金融和经济协定。AfricaOS(AOS)旨在提供一个哲学和基本框架,用于实现一个简单的,分布式的,协作的计算机,以实现同行之间的协议。这项工作还展示了交易代数,私有化协议的使用,代币化易货经济的方法,以及设计用于实现协议行为的机制的方法。
2020-03-23 cs.CR cs.DC cs.GT
Coded Computing for Secure Boolean Computations
现代数据集的规模不断增长,需要将大规模计算拆分为较小的计算,并以分布式方式进行操作。分布式系统中的攻击者故意发送错误数据,以影响计算。布尔函数是许多应用的关键组件,例如,区块链系统中的验证功能和加密算法的设计。我们考虑在分布式计算系统中计算布尔函数的问题,特别关注\emph{security against Byzantine workers}。任何布尔函数一般都可以建模为一个高次的多元多项式。然而,安全阈值(即,可以容忍最大数量的对抗工作者,使得可以获得正确的结果),如果多项式的次数高,则由最近提出的拉格朗日编码计算(LCC)提供的计算可能非常低。我们提出了三种不同的方案,称为\emph{coded Algebraic normal form (ANF)},\emph{coded Disjunctive normal form (DNF)}和\emph{coded polynomial threshold function (PTF)}。所提出的方案的核心思想是将其建模为一些低次多项式和阈值函数的级联。在安全阈值方面,我们表明,建议的编码ANF和编码DNF是最佳的,通过提供一个匹配的外边界。
2021-03-04 cs.DC cs.IT math.IT
The Adversarial Noise Threshold for Distributed Protocols
我们考虑的问题,实现分布式协议,尽管敌对的信道错误,在任意拓扑结构的同步消息网络。在我们的第一个结果中,我们表明,任何$n$ -党$T$ -轮协议上的无向通信网络$G$可以编译成一个强大的模拟协议上的稀疏($\mathcal{O}(n)$边缘)子网络,使模拟容忍对抗错误率$Ω\left(\frac{1}{n}\right)$ ;模拟有一轮复杂性$\mathcal{O}\left(\frac{m \log n}{n} T\right)$,其中$m$是边缘的数量在$G$。(So该模拟在高达$\log$因子时是功保持的。)对手的错误率是在一个恒定的最佳因素。给定错误率,轮复杂度爆破在最优的$\mathcal{O}(k \log n)$的因子内,其中$k$是$G$的边连通性。我们还确定了有向通信网络的最大容许错误率是$Θ(1/s)$,其中$s$是最小等价有向图中的边数。接下来,我们研究对抗性的每边错误率,其中对手在网络的每个边缘上都有一个错误预算。我们确定的精确限制,可容忍的每边错误率在任意有向图。然而,接近这个极限的构造具有指数轮复杂度,因此我们给出另一个编译器,它将$T$ -轮协议转换为$\mathcal{O}(mT)$ -轮模拟,并证明对于多项式查询黑盒编译器,最后一个编译器所容忍的每边错误率在最优的恒定因子内。
2015-04-28 cs.DC cs.DS cs.IT
Quantum-Error-Mitigated Detectable Byzantine Agreement with Dynamical Decoupling for Distributed Quantum Computing
本研究针对分布式量子计算的对抗性共识难题,为QBA协议融合T-REx与DD错误缓解技术,结合NISQ设备与类QKD验证机制,经IBM量子设备测试验证了有效性,为NISQ时代量子共识系统提供了可行的加固方案。
2023-11-06 cs.AR cs.DC quant-ph
Entangled Polynomial Codes for Secure, Private, and Batch Distributed Matrix Multiplication: Breaking the "Cubic" Barrier
在分布式矩阵乘法中,一个常见的场景是通过将输入矩阵划分为更小的子矩阵,为每个工作者分配乘法任务的一部分。特别地,通过将两个输入矩阵划分为$m$ × $p$和$p$ × $n$子块,单个乘法任务可以被视为计算$pmn$子矩阵乘积的线性组合,其可以被分配给$pmn$工作器.这种基于块划分的设计已经在安全、私有和批量计算的主题下被广泛研究,其中现有技术都要求计算至少“立方”($pmn$)数量的子矩阵乘法。纠缠多项式码,首先提出的掉队缓解,提供了一个强大的方法来打破立方障碍。它实现了次立方恢复阈值,这意味着可以从乘法结果的\emph{any}子集恢复最终乘积,其大小顺序小于$pmn$。在这项工作中,我们表明,纠缠多项式码可以进一步扩展到也包括这三个重要的设置,并提供了一个统一的框架,顺序减少总的计算成本后,通过实现次立方恢复阈值的最新技术。
2020-04-13 cs.DC cs.IT math.IT