HTML5 WebSocket protocol and its application to distributed computing
HTML5 WebSocket协议将Web浏览器中的实时的通信提升到了一个新的水平。每天,新产品都被设计成永久连接到网络。WebSocket是促成这场革命的技术。WebSockets被所有当前的浏览器支持,但它仍然是一项不断发展的新技术。WebSockets正在慢慢取代旧的客户端-服务器通信技术。与类似彗星的技术相反,WebSockets的卓越性能是该协议的全双工特性的结果,因为它不依赖于HTTP通信。本文首先研究了WebSocket协议和不同的WebSocket服务器实现。第一个理论部分更深入地关注异构实现和OpenCL。第二部分是一个有前途的新图书馆的基准。用于测试目的的实时引擎是SocketCluster。SocketCluster提供了一个高度可伸缩的WebSocket服务器,它可以利用实例上所有可用的CPU内核。这项工作的范围缩小到SocketCluster的垂直扩展。
2014-09-11 cs.DC
Multi-Shot Distributed Transaction Commit (Extended Version)
原子提交问题(Atomic Commit Problem,ACP)是一个类似于共识的单次协议问题,旨在对易出错的分布式系统中的事务提交协议的属性进行建模。我们认为,ACP是过于限制捕捉现代事务性数据存储的复杂性,其中提交协议集成了并发控制,它们的执行不同的事务是相互依赖的。作为一种替代方案,我们引入了事务认证服务(TCS),一个新的正式的问题,捕获安全保证的多拍事务提交协议与集成的并发控制。TCS由一个认证函数参数化,该函数可以实例化以支持常见的隔离级别,例如可串行化和快照隔离。然后,我们推导出一个可证明正确的崩溃弹性协议,通过连续细化实现TCS。我们的协议实现了更好的时间复杂度比主流的方法,层两阶段提交的Paxos风格的复制。
2019-03-12 cs.DC
Shared vs Private Randomness in Distributed Interactive Proofs
在分布式交互式证明中,图G的节点与一个强大但不可信的证明者交互,该证明者试图在少量的回合中通过短消息说服他们G满足某些性质。这一系列的交互之后是分布式验证阶段,这可能是确定性的或随机的,节点与它们的邻居交换消息。这最后一轮核查的性质确定了两种类型的交互式协议。如果验证回合是确定性的,我们说协议是亚瑟-梅林类型的。如果在验证回合中,允许节点使用一组新的随机位,则我们说该协议是梅林-阿瑟类型的。在Kol,Oshman和Saxena [PODC 2018]引入的原始模型中,随机性是私有的,因为每个节点只能访问随机硬币的单个来源。Crescenzi,Fraigniaud和Paz [DISC 2019]开始研究分布式交互模型中共享随机性(硬币投掷对所有节点可见的情况)的影响。在这项工作中,我们继续研究表明,这两种形式的随机性的影响是非常不同的,这取决于我们是否考虑亚瑟梅林协议或梅林亚瑟协议。虽然私有随机性为第一种协议提供了更多的权力,但共享随机性为第二种协议提供了更多的权力。我们的研究结果还连接共享的随机性在分布式交互式证明与分布式验证,并获得新的下界。
2020-06-29 cs.DC
Distributed Protocols at the Rescue for Trustworthy Online Voting
虽然在线服务出现在生活的各个领域,但许多民主国家的投票程序仍然是基于纸张的,因为当前在线投票技术的安全性存在很大争议。我们解决的问题,值得信赖的在线投票协议,并因此回顾其信任假设的安全概念。受比特币协议的启发,分析了分布式在线投票协议的发展前景。没有可信的权威被假定为确保投票保密。此外,投票的完整性由所有投票者自己执行,并且没有最弱的链接,协议变得更加健壮。我们介绍了一个分类的概念分布在网上投票协议,我们适用于选定的网上投票协议。因此,基于区块链的协议似乎很有希望用于在线投票,因为它们与基于纸张的协议相似。
2017-05-12 cs.CR cs.DC
Automating and Mechanizing Cutoff-based Verification of Distributed Protocols
分布式协议通常是参数化的,并且可以在具有任意数量节点的系统上执行,因此证明其正确性成为无限状态验证问题。验证分布式协议最常用的方法是找到一个足够强的归纳不变量来证明所需的安全性。然而,发现归纳不变量是众所周知的困难,尤其是在分布式协议的背景下,这是非常复杂的,由于其异步性质。在这项工作中,我们研究了一种基于正交截止的方法来验证分布式协议,该方法避开了寻找归纳不变量的问题,而是将检查正确性降低到有限状态验证问题。其主要思想是找到一个有限的、固定的协议实例,称为截断实例,如果截断实例是安全的,那么任何协议实例也是安全的。以前的截止为基础的方法只适用于一类有限的协议和规范。我们形式化的截断方法的通用协议建模语言(RML)的上下文中,并确定充分的条件,可以有效地编码在SMT检查是否一个给定的协议实例是一个截止实例。此外,我们提出了一个简单的静态分析为基础的算法,自动合成一个截止的实例。我们已经成功地应用我们的方法在一些复杂的分布式协议,提供了第一个已知的截止结果,其中许多。
2022-11-28 cs.DC cs.PL
Babel: A Framework for Developing Performant and Dependable Distributed Protocols
原型设计和实现分布式算法,特别是那些解决与容错和可靠性相关的挑战的算法,是一项耗时的任务。这在一定程度上是由于需要解决低级别的问题,例如通信信道的管理,控制超时或周期性任务,以及处理并发问题。这对于想要构建原型进行实验评估的研究人员,想要比较不同设计方案/解决方案的从业人员,甚至对于分布式算法课程的实际教学活动都有重大影响。在本文中,我们提出了Babel,一个新的框架,开发,实现和执行分布式协议和系统。Babel提出了一种事件驱动的编程和执行模型,简化了将算法的典型规范或描述转换为高性能原型的任务,同时允许程序员通过透明地处理耗时的低级方面来关注这些算法的相关挑战。此外,Babel提供并允许定义可以捕获不同网络能力(例如,P2P、客户端/服务器、phi-accumulation故障检测器),使得代码基本上独立于底层通信方面。Babel是通用的,可以用来实现各种不同类型的分布式协议。我们进行我们的实验工作与两个相关的案例研究,对等应用程序和状态机复制应用程序,显示的一般性和易用性的巴别塔和目前的竞争力的性能相比,显着更复杂的实现。
2022-05-04 cs.DC
Microchain: A Hybrid Consensus Mechanism for Lightweight Distributed Ledger for IoT
最近有报道称,物联网应用的区块链和智能合约支持的安全机制适用于城市、金融和网络服务。然而,由于现有区块链(如比特币和以太坊)中的功耗密集型和低吞吐量共识机制,将区块链技术集成到资源受限的物联网平台中仍然存在挑战。在本文中,微链,基于一个混合的信用证明(Proof-of-Credit,Voting-based Chain Finality,VCF)共识协议,被提出来为物联网系统提供一个安全的,可扩展的,轻量级的分布式账本。通过使用抗偏置随机协议和加密排序算法,随机选择节点子集作为最终委员会来执行共识协议。混合共识机制依赖于一种纯粹的权益证明(PoS)协议来确定参与者是否有资格在给定信用分配的公平初始分配的情况下提出区块。基于投票的链终结性协议负责通过解决冲突的检查点并选择唯一的链来完成块的历史。一个概念验证原型的实现和测试的物理网络环境。实验结果验证了Micorchain能够为物联网应用提供部分分散,可扩展和轻量级的分布式账本协议。
2019-09-24 cs.DC
Distributed asynchronous convergence detection without detection protocol
在本文中,我们解决的问题,检测的时刻,当一个正在进行的异步并行迭代过程可以被终止,以提供一个足够精确的解决方案,一个固定点的问题正在解决。制定的检测问题作为一个全球性的解决方案识别问题,我们分析了基于快照的方法,这是唯一一个允许精确的全球残差计算。从最近开发的近似快照协议提供了一个可靠的全球残留误差,我们在这里实验研究,以及,没有任何事先特定的检测机制计算的全球残留误差的可靠性。单站点超级计算机上的结果成功地表明,这种高性能计算平台可能提供足够稳定的计算环境,以允许简单地诉诸于非阻塞归约操作来计算可靠的全局残差,这在实现和执行级别上都提供了显著的时间节省。
2022-06-30 cs.DC
Auditable Restoration of Distributed Programs
我们专注于分布式系统的可审计恢复协议。对这种协议的需要是由于相互冲突的要求(例如,应限制进入该系统,但应提供紧急进入)。人们可以用篡改检测方法(基于“打破玻璃门”的直觉)来设计这样的系统。然而,在分布式系统中,这样的篡改,这是表示为可审计的事件,是可见的,只有一个单一的节点。这是不可接受的,因为他们在这些情况下采取的行动可能与正常模式下的行动不同。此外,最终需要清除可审计事件,以便系统恢复正常操作。出于这个动机,在本文中,我们提出了一个协议,可审计的恢复,任何过程都可以潜在地识别一个可审计的事件。每当一个新的可审计事件发生时,系统必须达到一个“可审计状态”,在这个状态下,每个进程都知道这个可审计事件。只有在系统达到可审计状态后,才可以开始恢复操作。尽管任何进程都可以观察到可审计的事件,但我们要求只有“授权”的进程才可以开始恢复任务。此外,只有当系统处于可审计状态时,这些过程才能开始恢复。我们的协议是自稳定的,有界的状态空间。它可以有效地处理在恢复协议期间发生故障或可审计事件的情况。此外,它可以用来提供其他分布式协议的可审计恢复。
2015-06-26 cs.DC
Compression and Sieve: Reducing Communication in Parallel Breadth First Search on Distributed Memory Systems
对于大规模分布式存储系统上的并行广度优先搜索(BFS)算法,通信开销往往比运算开销大得多,限制了算法的可扩展性。在本文中,我们充分降低分布式BFS的通信成本,通过压缩和筛选的消息。首先,我们利用位图压缩算法,以减少通信之前的消息的大小。其次,我们提出了一种新的分布式目录算法,交叉目录,以筛选消息中的冗余数据。在一个6,144核的SMP集群上的实验表明,该算法的性能是Graph 500中基准实现的2.2倍,通信时间减少了79.0%,性能速率达到了12.1 GTEPS(每秒十亿次边缘访问)。
2012-08-28 cs.DC cs.DS
Optimizing Distributed Protocols with Query Rewrites [Technical Report]
本文借鉴查询优化思想,提出通过规则驱动重写扩展分布式协议,利用顺序不敏感性和数据依赖性分析识别无协调扩展机会,实现解耦和分区,使2PC吞吐量提升5倍、Paxos提升3倍,为自动化优化器奠定基础。
2024-04-03 cs.DB cs.DC
RedSync : Reducing Synchronization Traffic for Distributed Deep Learning
Tsinghua University(清华大学);University of California, Los Angeles(加州大学洛杉矶分校)
数据并行已成为跨多个节点扩展深度神经网络(DNN)训练的主要方法。由于局部模型的大量梯度同步可能是大规模分布式训练的瓶颈,因此压缩通信数据近年来得到了广泛的关注。在最近提出的几种压缩算法中,残差梯度压缩(RGC)是最成功的方法之一,它可以在保持正确精度和相同收敛速度的前提下,显著地压缩每个节点的发送消息大小(0.1%的梯度大小)。然而,关于压缩深度网络的文献几乎完全集中在实现良好的理论压缩率上,而RGC在实际分布式实现中的效率却很少被研究。在本文中,我们开发了一个基于RGC的系统,能够减少真实世界多GPU系统上的端到端训练时间。我们提出的设计称为RedSync,它引入了一组优化,以减少通信带宽的要求,同时引入有限的开销。我们在两个不同的多GPU平台上评估了RedSync的性能,包括128个GPU的超级计算机和8-GPU服务器。我们的测试用例包括Cifar 10和ImageNet上的图像分类任务,以及Penn Treebank和Wiki 2数据集上的语言建模任务。对于具有高通信计算比的DNN,长期以来被认为可扩展性差,RedSync带来了显着的性能改进。
2019-07-22 cs.CV cs.DC cs.LG
Plain and Simple Inductive Invariant Inference for Distributed Protocols in TLA+
我们提出了一种新的技术,自动推断归纳不变量的参数化分布式协议中指定的TLA+。我们的是第一个这样的不变推理技术直接工作在TLA+,一个表达,高层次的规约语言。为了实现这一目标,我们提出了一种新的算法不变的推理,是基于周围的核心程序,用于生成平原,潜在的非归纳引理不变,作为候选合取的整体归纳不变。我们将其与贪婪引理不变选择过程相结合,该过程选择在我们的推理过程的每一轮中消除最大数量的反例的引理。我们已经实现了我们的算法在一个工具,苦苣,并评估它在一组不同的分布式协议基准,表现出有竞争力的性能和能力,独特地解决了工业规模的重新配置协议。
2022-10-01 cs.DC cs.LO
Contract-connection:An efficient communication protocol for Distributed Ledger Technology
分布式账本技术(DLT)有望成为许多分散系统的基础。然而,不平衡和不受管制的网络布局导致DLT的效率低下,特别是在物联网(IoT)环境中,其中节点仅连接到有限数量的对等体。数据通信速度在全局上是不平衡的,并且不符合高效实时分布式系统的约束。在本文中,我们介绍了一种新的通信协议,它使节点之间的权衡计算连接/断开对等体在一个完全分散的方式。全球网络布局随着节点调整其对等节点而不断重新平衡和优化。这种通信协议削弱了通信网络的不平等性。实验表明,该通信协议稳定、高效。
2020-01-20 cs.CR cs.DC
Modeling the Raft Distributed Consensus Protocol in LNT
共识协议对于可靠的分布式系统至关重要,因为它们可以让它们处理网络和服务器故障。几十年来,大多数共识协议都被设计为开创性的Paxos的变体,但在2014年,Raft被作为一个新的、“可理解的”协议提出,这意味着比众所周知的微妙的Paxos家族更容易实现。此后,Raft被用于各种工业项目,例如Hashicorp的Consul或etcd(由Google的Kubernetes使用)。Raft的正确性是基于协议的TLA+规范通过手动证明建立的。本文报告了我们在LNT进程代数中对Raft建模的经验。我们发现了一对夫妇的问题与原来的TLA+规格的筏,这已被纠正以来。更一般地说,这个练习提供了一个很好的机会来讨论如何最好地使用LNT形式语言和相关的CADP验证工具箱的功能来建模分布式协议,包括网络和服务器故障。
2020-04-28 cs.DC cs.SE
ZePoP: A Distributed Leader Election Protocol using the Delay-based Closeness Centrality for Peer-to-Peer Applications
本文提出ZePoP分布式领导者选举协议,以基于延迟的接近中心性为优化目标,在动态P2P网络中选举最优领导者并构建数据收集与分发树,通过理论证明和实验验证其有效性。
2023-08-05 cs.DC cs.NI
Dynamic Analysis of the Arrow Distributed Directory Protocol in General Networks
Arrow协议是一种简单而优雅的协议,用于协调对网络中共享对象的独占访问。该协议通过在预先计算的生成树(或在给定网络上模拟的任何其他树形拓扑)上使用路径反转来解决底层分布式路由问题。已知Arrow协议在直径为D的树上以O(log D)的竞争比解决问题。这意味着对于直径为D且长度为s的生成树的一般网络,竞争比为O(s*log D)的分布式搜索算法。在这项工作中,我们表明,当运行箭头协议上著名的概率树嵌入Fakcharoenphol,Rao和Talwar [STOC 03],我们得到了一个随机的分布式嵌入算法的竞争比O(log n),即使在一般的网络拓扑结构。结果保持即使在一个任意的动态和并发的方式,即使通信是异步的,发生的并发请求。从技术的角度来看,主要的文件表明,Arrow协议的竞争比是恒定的一个特殊的家庭的树拓扑结构,被称为分层良好分离的树。
2017-05-20 cs.DC cs.DS
Automated Synthesis of Distributed Self-Stabilizing Protocols
提出基于SMT的自动综合方法,仅需时间行为即可生成分布式自稳定协议,并扩展至理想稳定与单调稳定协议,成功综合多种经典协议。
2018-01-29 cs.DC cs.SE
A Byzantine Fault Tolerant Distributed Commit Protocol
在本文中,我们提出了一个拜占庭容错分布式提交协议的事务运行在不可信的网络。传统的两阶段提交协议通过复制协调器和在协调器副本之间运行拜占庭协议算法来增强。我们的协议可以容忍拜占庭故障的协调副本和一个子集的恶意故障的参与者。一个决策证书,其中包括一组注册记录和一组投票的参与者,是用来促进协调副本,以达到拜占庭协议的结果,每一个交易。该证书还限制了错误副本可以用于非原子终止事务或语义上不正确的事务结果的方式。
2007-08-01 cs.DB cs.DC
Epistemic Protocols for Distributed Gossiping
Centrum Wiskunde Informatica(国家数学与计算机科学研究所);University of Liverpool(利物浦大学)
流言协议的目的是通过点对点或组通信的方式,达到所有代理都知道彼此秘密的情况。我们考虑分布式的八卦协议,表示通过认知逻辑。我们提供了这样的协议的操作语义,并建立了一个适当的框架来争论他们的正确性。然后,我们分析特定的协议,完全图和有向环。
2016-06-24 cs.AI cs.DC cs.LO
Preserving Statistical Privacy in Distributed Optimization
我们提出了一个分布式的优化协议,保护代理的本地成本函数的统计隐私,对被动的对手,腐败的一些代理在网络中。该协议是一个分布式的“{ \em零和}”混淆协议,混淆代理的本地成本函数,和一个标准的非私有分布式优化方法的组合。我们表明,我们的协议保护统计隐私的代理商的本地成本函数对一个被动的对手,腐败到$t$任意代理,只要通信网络有$(t+1)$顶点连接。"{ \em zero-sum}”混淆协议保留了代理的局部成本函数的总和,因此确保了计算解决方案的准确性。
2020-12-29 cs.CR cs.DC
Broadcast Distributed Voting Algorithm in Population Protocols
我们考虑的问题,多选择多数表决网络中的$n$代理,每个代理最初选择一个选择,从一组$K$可能的选择。代理人试图推断大多数人的选择,只是通过执行本地的相互作用。人口协议提供了一个框架,用于设计代理之间的成对交互,以便以协调的方式执行任务。本文提出了“广播人口协议”模型,作为每个代理可以同时向所有邻居发送消息的网络中传统人口协议的对应模型。针对广播人口协议模型中的多选择多数表决问题,设计了两种分布式算法。我们证明了这些算法的正确性,并分析其性能的时间和消息的复杂性。实验表明,该算法与传统的种群协议相比,时间复杂度和消息复杂度都有了显著提高,可以应用于消息可以同时发送给一个代理子集的网络中,如无线网络.
2019-07-16 cs.DC cs.MA
Learning Provably Correct Distributed Protocols Without Human Knowledge
The Ohio State University(俄亥俄州立大学);University of Florida(佛罗里达大学)
GGMS框架通过结合蒙特卡洛树搜索、变压器编码器和模型检查器反馈,实现了无需人类知识的正确分布式协议学习。
2026-01-29 cs.AI cs.DC
Secure Mining of Association Rules in Horizontally Distributed Databases
提出了一种在水平分布式数据库中安全挖掘关联规则的协议。目前的主要协议是Kantarcioglu和Clifton的协议(TKDE 2004)。我们的协议,像他们的,是基于快速分布式挖掘(FDM)算法的张等人。(PDIS 1996),这是一个不安全的分布式版本的Apriori算法。在我们的协议中的主要成分是两个新的安全多方算法-一个是计算每个交互的球员持有的私有子集的联盟,另一个是测试包含一个球员持有的一个元素在另一个持有的子集。我们的协议相对于Kantarcioglu和Clifton的协议提供了增强的隐私。此外,它更简单,并且在通信轮次、通信成本和计算成本方面显著更高效。
2011-06-25 cs.CR cs.DB cs.DC
Distributed Consensus Resilient to Both Crash Failures and Strategic Manipulations
在本文中,我们研究了同步系统中的分布式共识受到意外的崩溃故障和系统中的理性代理的战略操纵。我们适应抗共谋的纳什均衡模型协议的概念,是弹性的崩溃失败和一组串通代理的战略操纵。对于一个$n$分布式代理的系统,我们设计了一个确定性协议,容忍2合谋代理和一个随机化协议,容忍$n - 1$合谋代理,都容忍任何数量的失败。我们还表明,如果勾结者被允许一个额外的通信轮后,每个同步轮,有没有协议,甚至可以容忍2勾结代理和1崩溃失败。
2012-06-06 cs.DC cs.GT
Marvel DC: A Blockchain-Based Decentralized and Incentive-Compatible Distributed Computing Protocol
去中心化的计算外包应该允许任何人访问物联网中存在的大量计算能力。不幸的是,当可信第三方被移除以实现这种去中心化时,确保外包计算正确执行仍然是一个重大挑战。在本文中,我们提供了一个解决这个问题的方法。我们概述了Marvel DC,这是一种完全去中心化的基于区块链的分布式计算协议,它正式保证计算机被严格激励来正确执行所请求的计算。此外,Marvel DC利用信誉管理协议来确保,对于任何少数不正确执行计算的计算机,这些计算机被识别并选择用于具有递减概率的计算。然后,我们概述了隐私Marvel DC,这是Marvel DC的隐私增强版本,它将计算它们的计算机的结果合并,使该协议适用于联邦学习等计算,其中结果可以揭示有关计算它们的计算机的敏感信息。我们提供了Marvel DC的实现和对这两个协议的分析,证明它们不仅是提供上述正式保证的第一个协议,而且也是实用的,与该领域的先前尝试竞争,并准备部署。
2022-07-28 cs.DC cs.GT
Distributed Nonblocking Commit Protocols for Many-Party Cross-Blockchain Transactions
跨多个区块链的互操作性将在未来基于区块链的数据管理范式中发挥关键作用。现有的技术要么只适用于两个区块链,要么需要一个集中式组件来管理跨区块链交易的执行,这两种技术都不符合可扩展性要求。本文提出了一种新的分布式提交协议,即\textit{cross-blockchain transaction}(CBT),用于在没有任何集中组件的情况下跨任意数量的区块链进行交易。CBT的核心思想是通过心跳机制扩展两阶段提交协议,以确保CBT的活性,而无需引入额外的节点或区块链。我们已经实现了CBT,并将其与最先进的协议进行了比较,证明了CBT的低开销(两个区块链之间的开销为3.6%,在32个或更多区块链中小于$1\%$)和高可扩展性(最多64个区块链交易的线性可扩展性)。此外,我们还为用户开发了一个图形用户界面,以虚拟地监控跨区块链交易的状态。
2020-01-05 cs.DB cs.DC
Distributed Random Process for a Large-Scale Peer-to-Peer Lottery
今天,大多数在线彩票无法确保随机过程的可验证性,并依赖于可信的第三方。自从比特币这样的分布式协议出现以来,这个问题就很少受到关注,比特币证明了没有可信第三方的协议的潜力。我们认为,在线彩票的安全要求是类似的在线投票,并提出了一种新的分布式在线彩票协议,适用于现有的彩票协议的投票应用程序开发的技术。因此,该协议是可扩展的,提供了有效的验证的随机过程,不依赖于一个可信的第三方,也不对有限的计算资源的假设。一个早期的原型证实了我们的方法的可行性。
2017-09-15 cs.CR cs.DC
Implementability of Global Distributed Protocols modulo Network Architectures
New York University(纽约大学)
本文研究了全局分布式协议在不同网络架构下的可实现性,提出网络参数化一致性条件,并通过Sprout(A)工具验证了其有效性。
2026-02-10 cs.DC cs.FL cs.PL
Distributed Runtime Verification of Metric Temporal Properties for Cross-Chain Protocols
涉及多个区块链的交易通过跨链协议实现。这些协议基于智能合约,即在区块链上运行的程序,由计算机网络执行。由于智能合约可以在不信任的各方之间自动转移加密货币,电子证券和其他有价值资产的所有权,因此验证智能合约的运行时正确性是一个具有实际意义的问题。这种验证具有挑战性,因为智能合约的执行是时间敏感的,并且不同区块链上的时钟可能无法完全同步。本文描述了一种用于区块链执行的运行时监控方法。首先,我们提出了一个广义的运行时验证技术,验证部分同步分布式计算的度量时序逻辑(MTL),利用有界偏斜时钟同步。其次,我们介绍了一个基于进展的公式重写计划监测\MTL规格采用SMT解决技术和报告的实验结果。
2022-04-20 cs.DC cs.FL
A Simple and Robust Protocol for Distributed Counting
本文证明Huang等人(2012)的分布式计数协议在自适应攻击下不鲁棒,并提出一种更简单的新协议,实现最优通信复杂度O(√k/ε log N),首次在自适应设置中匹配遗忘最优复杂度。
2025-09-06 cs.DC cs.DS
CycLedger: A Scalable and Secure Parallel Protocol for Distributed Ledger via Sharding
传统的公共分布式账本无法很好地扩展和有效地工作。分片被认为是解决这一问题的一种很有前途的方法。通过将所有节点划分为小型委员会并让它们并行工作,我们可以显著降低通信和计算量,减少每个节点存储的开销,并提高分布式账本的吞吐量。现有的基于分片的协议仍然存在几个严重的缺点。首先,所有没有故障的节点必须彼此连接良好,这需要网络中大量的通信信道。此外,以前的协议在每个委员会领导人的诚信受到质疑的情况下面临着效率的巨大损失。与此同时,没有明确的激励节点积极参与协议。我们提出了CycLedger,一个可扩展的和安全的并行协议,通过分片分布式账本。我们的协议为每个委员会选择一个领导者和一个部分集合,他们负责维护分片内的共识并与其他委员会进行通信,以降低所有节点上通信,计算和存储的摊销复杂度。我们引入了一种新的半承诺计划委员会之间的恢复过程,以防止系统崩溃,即使委员会的领导人是恶意的。为了增加网络的激励,我们使用了声誉的概念,它衡量每个节点的可信计算能力。由于具有较高声誉的节点获得更多的奖励,因此鼓励具有强计算能力的节点诚实地工作以获得声誉。通过这种方式,我们为基于分片的分布式账本建立可扩展性、安全性和激励机制开辟了一条新的道路。
2020-04-05 cs.CR cs.DC
Introducing the Unitychain Structure: A novel blockchain-like structure that enables greater parallel processing, security, and performance for networks that leverage distributed key generation and classical consensus protocols
Unitychain是一种新型的类似区块链的结构,它大大提高了交易的可扩展性和安全性,同时保持了持续的网络性能,即使参与节点需要执行新的分布式密钥生成过程以实现安全目的。此外,Unitychain结构通过将不同数据库和计算范围的不同网络节点配置分配到多个交叉的区块链链中,从而实现更大的并行处理,从而创建多螺旋结构,我们称之为Unitychain。因此,这使得网络能够进一步将节点的角色分为任意但确定性的网络责任,以最大限度地提高全局计算潜力。
2021-01-21 cs.CR cs.DC
Distributed Protocols and Heterogeneous Trust: Technical Report
分布式系统的鲁棒性通常用它们可以承受的某些类型的故障的数量来描述。然而,这些失败模型过于粗糙,无法描述现代世界中参与者的不同类型的信任和期望,复杂的集成系统跨越不同的所有者,网络和管理域。现代系统通常存在于异构信任的环境中,其中不同的参与者可能对其他节点的可信度有不同的意见,并且单个参与者可能认为其他节点在其可信度方面不同。我们探讨如何构建分布式协议,满足所有参与者的要求,即使在异构的信任环境。我们的方法的关键是使用基于格的信息流来分析和证明协议的属性。为了证明这种方法,我们展示了两个早期的分布式算法可以推广到异构信任的存在下工作:第一,异构快速共识,早期Bosco快速共识协议的适应;和第二,Nysiad,一个算法转换为崩溃容忍协议拜占庭容忍。通过模拟,我们表明,定制一个协议,异构的信任配置产生的性能改善了传统的协议设计的同质信任。
2014-12-09 cs.CR cs.DB cs.DC
Interactive Safety Verification of Distributed Protocols by Inductive Proof Decomposition
Northeastern University(东北大学);Microsoft Research(微软研究院)
本文提出归纳证明分解方法,用于交互式验证分布式协议的安全性,通过归纳证明图引导人类开发归纳不变量,提升大规模验证效率。
2026-04-21 cs.DC cs.LO
Survey of Consensus Protocols
自2008年基于工作量证明(PoW)的比特币出现以来,分布式账本技术得到了广泛的普及和采用。它是一个分布式、透明和不可变的数据库,记录了参与者之间共享和执行的所有事务或事件。所有交易都由网络中的多个节点通过分布式加密机制(共识协议)进行验证和维护,而无需中央权威机构。它形成了这项技术的核心,不仅验证了附加到分类账的信息,而且还确保了它在所有节点上的附加顺序。这是其安全、问责和信任的基础。虽然许多研究人员正在努力改进当前的协议,使其具有量子抵抗性,容错性和节能性。其他人则专注于开发最适合特定用例的协议的不同变体。在本文中,我们将回顾分布式账本技术的不同共识协议及其实现。我们还将回顾它们的性质,概念和类似的工作,然后进行简要的分析。
2018-10-09 cs.CR cs.DC
Distributed Key Generation with Smart Contracts using zk-SNARKs
分布式密钥生成(DKG)是门限密码系统的基础,是一个广泛研究的课题。区块链等新兴技术从共识协议、随机信标和阈值签名中应用阈值密码学中受益匪浅。然而,区块链和智能合约还通过提供分散的计算和通信平台来进一步改进DKG协议。出于这个原因,我们提出了一个DKG协议,该协议使用智能合约来确保协议的正确执行,允许动态参与,并提供加密经济激励来鼓励诚实的行为。DKG协议使用基于零知识简洁非交互式知识参数(zk-SNARKs)的争议和密钥派生机制,通过将计算移到链外来降低应用智能合约的成本,其中智能合约仅验证计算的正确性。
2022-12-20 cs.CR cs.DC
Paxos Made EPR: Decidable Reasoning about Distributed Protocols
Paxos等分布式协议在许多计算机系统中起着重要的作用。因此,分布式协议中的错误可能会产生巨大的影响。因此,在核查此类协议方面投入了大量努力。然而,检查这些协议的不变量是不可判定的,在实践中很难,因为它需要对无限数量的节点和消息进行推理。此外,协议动作和不变量涉及量词交替和高阶概念,如集合基数和算术。本文朝着此类协议的自动验证迈出了一步。我们的目标是一种技术,可以验证正确的协议,并识别错误的协议。为此,我们开发了一种基于有效命题逻辑(EPR)的演绎验证方法-一阶逻辑(也称为Bernays-Schönfinkel-Ramsey类)的可判定片段。除了可判定性,EPR还具有有限模型属性,允许将违规显示为用户直观的有限结构。我们的方法涉及使用一般(未解释)的一阶逻辑建模协议,然后系统地转换模型,以获得一个模型和一个可判定的归纳不变量检查。转换的步骤也被机械地检查,以确保方法的可靠性。我们已经使用我们的方法来验证Paxos及其几个变体的安全性,包括Multi-Paxos,Vertical Paxos,Fast Paxos,Flexible Paxos和Stoppable Paxos。据我们所知,这项工作是第一个使用可判定逻辑来验证这些协议,并且是第一个对垂直Paxos,快速Paxos和可停止Paxos的形式化验证。
2017-10-19 cs.DC cs.LO cs.PL
Fully-Distributed Byzantine Agreement in Sparse Networks
针对稀疏有界度数网络中仅靠局部知识且需容忍大量拜占庭节点的开放问题,本文提出全分布式拜占庭协议,将容忍上限提升至 O(n/polylog(n))。
2024-10-28 cs.DC cs.DS
Multiagent Transition Systems for Composing Fault-Resilient Protocol Stacks
本文提出了一个新的数学框架,用于描述和分析故障恢复分布式协议及其实现,包括以下几个部分:1。转换系统允许对具有安全性和活性故障的计算及其故障恢复进行规范和分析。2.过渡系统及其组成之间的安全、活性和完整实现的概念,通过这些概念,协议栈作为一个整体的正确性(安全性和活性)和完整性取决于每个协议正确和完整地实现了堆栈中位于其上的协议。3.应用与分布式计算系统的历史相关的单调性的概念,以简化分布式计算系统之间的实现的规范和正确性的证明。4.多代理过渡系统,进一步特点是集中/分布式和同步/异步;安全性和活性故障恢复的实现,其中和他们的组成。该框架被用于规范基层排序共识协议栈,基层传播协议及其基层社交网络和主权加密货币的实现,以及高效的拜占庭原子广播协议作为初始应用。
2023-02-20 cs.DC cs.FL cs.MA
Distributed Merlin-Arthur Synthesis of Quantum States and Its Applications
本文从量子分布式计算视角研究量子态合成,提出分布式输入态生成(SGDI)任务并给出dQMA协议,进而解决集合相等性问题,同时提出无需量子通信创建EPR对的dQMA协议,并证明可将任意dQMA协议转换为验证阶段无量子通信的协议。
2023-08-10 cs.DC quant-ph
On Symmetry and Quantification: A New Approach to Verify Distributed Protocols
证明一个无界的分布式协议满足给定的安全属性相当于找到一个量化的归纳不变量,它意味着协议的所有可能的实例大小的属性。现有的解决这个问题的方法可以描述为搜索过程的不变量的量化前缀适合一个特定的模板。我们提出了一种替代建设性的方法,不规定,先验,一个特定的量词前缀。相反,通过仔细分析协议的结构对称性,自动推断出所需的前缀,而无需任何搜索。这种方法背后的关键见解是,对称性和量化是密切相关的概念,表达协议的不变性下,其组件的不同重新安排。我们提出了对称增量感应,有限域IC 3/PDR算法的扩展,自动推导出所需的量化归纳不变量,利用对称性和量化之间的连接。虽然已经进行了各种尝试,利用对称性在验证应用程序,据我们所知,这是第一次演示的对称性和量化的上下文中的小句学习过程中的增量归纳的直接联系。我们还描述了一个程序,自动找到一个最小的有限大小,截止,产生一个量化的不变证明安全的任何大小。我们的方法在IC 3 PO中实现,IC 3 PO是一种新的分布式协议验证器,其性能显着优于最先进的技术,更快地扩展数量级,并完全自动地稳健地导出紧凑的归纳不变量。
2021-03-27 cs.DC cs.FL cs.LO
Handshaking Protocol for Distributed Implementation of Reo
Reo是一种外生的基于通道的协调语言,是一种服务协调模型,其中服务通过连接二进制通信通道形成的连接器进行通信。为了按照连接器语义的规定在服务之间建立事务通信,分布式端口交换握手消息,通知哪些方准备好提供或使用数据。在本文中,我们提出了一个正式的实现模型,分布式Reo的通信延迟和大纲的正确性证明的想法。为了对Reo的实现进行形式化的推理,我们引入了时间动作约束自动机(TACA),并解释了如何将TACA与现有的基于自动机的Reo语义进行比较。我们使用TACA来描述握手行为的Reo建模原语,并认为在任何分布式电路远程Reo节点和通道暴露这样的行为提交执行过渡所设想的网络语义。
2015-02-12 cs.DC cs.PL cs.SE
QuickSilver: A Modeling and Parameterized Verification Framework for Systems with Distributed Agreement (Extended Version)
在过去的十年里,已经引发了一些勇敢的努力,在演绎验证分布式协议,如共识和领导者选举。奇怪的是,超出核心协议和建立在协议协议之上的目标应用程序的核查工作要少得多。这是不幸的,因为基于协议的分布式服务(如数据存储、锁和分类账)无处不在,并且可能允许模仿其模块化设计的模块化、可扩展的验证方法。我们通过我们的新的建模和验证框架,QuickSilver,这不仅是模块化的,而且是完全自动化的分布式协议为基础的系统的验证,解决了这一需求。QuickSilver的关键使能功能是我们对已验证协议协议的抽象进行编码,以促进模块化、可判定和可扩展的自动验证。我们通过建模和有效验证一系列棘手的案例研究来展示QuickSilver的潜力,这些案例研究改编自现实世界的应用程序,例如数据存储,锁定服务,监控系统,移动机器人的寻路算法等等。
2021-09-13 cs.DC cs.PL
A Survey of Distributed Consensus Protocols for Blockchain Networks
自比特币诞生以来,加密货币和底层区块链技术吸引了学术界和工业界越来越多的兴趣。在各种核心组件中,共识协议是区块链安全性和性能背后的定义技术。从Nakamoto共识协议的增量修改到创新的替代共识机制,已经提出了许多共识协议来提高区块链网络本身的性能或适应其他特定的应用需求。在这项调查中,我们对最先进的区块链共识协议进行了全面的审查和分析。为了便于讨论我们的分析,我们首先介绍了经典的容错理论中的关键定义和相关结果,这有助于为进一步的讨论奠定基础。我们确定了区块链共识协议的五个核心组成部分,即区块提议、区块验证、信息传播、区块终结和激励机制。然后仔细审查各种区块链共识协议,并进行算法抽象和漏洞分析。调查的共识协议进行了分析,使用五个组件的框架和比较不同的性能指标。这些分析和比较为我们提供了新的见解,在不同的建议,其适用的应用场景,关键假设,预期的容错,可扩展性,缺点和权衡方面的根本差异。我们相信这项调查将为区块链开发人员和研究人员提供关于最先进共识协议的全面视图,并促进设计未来协议的过程。
2020-01-29 cs.CR cs.DC
Modelling the Raft Distributed Consensus Protocol in mCRL2
本文在 mCRL2 规范语言中对 Raft 分布式共识算法及其正确性性质进行了形式化建模,为验证该协议提供了形式化基础。
2024-03-27 cs.DC cs.LO cs.SE
Distributed MAC Protocol Supporting Physical-Layer Network Coding
物理层网络编码(PNC)是一种很有前途的无线网络编码方法。它允许节点同时传输。由于调度同时传输的困难,现有的PNC工作是基于简化的介质访问控制(MAC)协议,这是不适用于一般的多跳无线网络,据我们所知。在本文中,我们提出了一个分布式MAC协议,支持PNC在多跳无线网络。提出的MAC协议是基于载波侦听多址接入(CSMA)的策略,可以被视为IEEE 802.11 MAC协议的扩展。在所提出的协议中,每个节点收集其相邻节点的队列状态信息。当一个节点发现它的一些邻居有机会执行PNC时,它通知它的相应的邻居节点,并使用PNC发起分组交换的过程,节点本身作为中继。在数据包交换过程中,中继器还充当协调器,协调源节点的传输。同时,该协议与传统的网络编码和传统的传输方案是兼容的。仿真结果表明,该协议在各种无线应用场景中具有优势。
2013-05-11 cs.DC cs.IT cs.NI
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
在对等网络分布式优化中,信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式(COLD)算法。通过压缩新息向量,这是决策向量和他们的估计之间的差异,COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度,并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机,包括二进制量化器,我们进一步设计了一种新的动态缩放机制,并获得线性收敛Dyna-COLD。重要的是,我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
Distributed quantum computing with black-box subroutines
本文提出一种容纳任意未知子程序的分布式量子计算通用协议,基于不经意量子隐形传态与控制等技术规避量子不可行定理,并可在现有量子计算平台上物理实现,为未来高级量子算法与协议奠定基础。
2025-08-15 cs.AR cs.DC quant-ph
Formal Guarantees of Timely Progress for Distributed Knowledge Propagation
城市空中机动性(UAM)的自主空中交通管理(ATM)操作将需要使用分布式协议来进行飞机之间的分散协调。由于UAM操作对时间要求很高,因此必须对ATM中使用的分布式协议的进度提供正式的保证。在异步设置下,消息传输和处理延迟是无限制的,因此无法提供进度所需时间的确定性界限。我们提出了一种方法,正式保证及时进展的两阶段确认分布式知识传播协议的概率建模的延迟使用理论的多副本两跳中继协议和M/M/1队列系统。保证状态的概率上限的时间进展的总传输和处理延迟小于两个给定值的概率的函数。我们还展示了一个正式的理论库的发展,这是针对推理部署在机载网络中的分布式协议的及时进展,在雅典娜证明助手。
2021-10-25 cs.DC cs.LO cs.MA
Verification of Threshold-Based Distributed Algorithms by Decomposition to Decidable Logics
容错分布式协议的验证是一项非常困难的任务。通常,在这些协议中,在过程代码和其正确性证明中都使用关于集合基数的阈值,例如,进程仅在其已从至少一半的对等体接收到确认时才可执行动作。基于阈值的协议的验证是非常具有挑战性的,因为它涉及两种推理:关于协议的无界状态的一阶推理,以及关于集合和基数的推理。在这项工作中,我们开发了一种新的方法,用于将此类协议的验证任务分解为两个可判定的逻辑:EPR和BAPA。我们的关键见解是,这样的协议使用阈值在一个有限的方式作为一种手段,以获得某些属性的“交集”之间的集合。我们定义了一种语言来表达这样的属性,并提出了两个翻译:EPR和BAPA。EPR转换允许验证协议,同时假设这些属性,BAPA转换允许验证属性的正确性。我们进一步开发了一种算法,用于自动生成验证给定协议所需的属性,便于全自动演绎验证。使用这种技术,我们已经验证了几个具有挑战性的协议,包括拜占庭一步共识,混合可靠广播和快速拜占庭Paxos。
2019-05-19 cs.DC cs.LO cs.PL