A Projection-Stable Grammatical Model for the Distributed Execution of Administrative Processes with Emphasis on Actors' Views
在过去的二十年里,业务流程的分散执行一直是业务流程管理的主要研究课题之一。为了便于进程的分布式执行,已经提出了几种进程规范的模型(语言)。LSAWfP是这一领域的最新成果之一:它有助于指定具有语法模型的行政流程,除了基本要素外,还指示每个行为者与其每个任务相关的权限(阅读、写入和执行)。在本文中,我们提出了一个模型,一个完全分散和工件为中心的执行指定使用LSAWfP的管理流程。所提出的模型特别强调演员的意见:然后,它允许某些任务的机密执行,通过确保,每个演员可能只有一部分的流程的全局执行状态的看法。因此,该模型解决了业务流程执行中的一个非常重要的问题,这在现有的方法中往往是靠边站。为了实现这一点,该模型依赖于三个投影算法,允许在给定时刻部分复制进程的全局执行状态,一致地更新所获得的部分状态,并推导出新的一致的全局状态。这三个算法的提出,底层数学工具的稳定性证明和实现的建议,是本文的主要贡献。
2021-03-27 cs.DC cs.FL cs.SE
Predicting Failures in Multi-Tier Distributed Systems
许多应用程序被实现为多层软件系统,并且在分布式基础设施(如云基础设施)上执行,以从按需动态分配资源所带来的成本降低中受益。在这些系统中,故障正在成为常态,而不是例外,预测故障的发生,以及找出责任故障,是预防和纠正措施的基本推动力,可以减轻故障的影响,并大大提高系统的可靠性。目前的故障预测方法遭受误报或有限的准确性,并没有产生足够的信息,以有效地定位负责的故障。在本文中,我们提出了PreMiSE,一个轻量级的和精确的方法来预测故障,并在多层分布式系统中定位相应的故障。PreMiSE融合了基于异常和基于特征的技术,以高精度和低误报率识别影响性能指标的多层故障。在一个基于云的IP多媒体子系统上的实验结果表明,PreMiSE确实能够以高精度和低开销预测和定位可能发生的故障。
2019-11-21 cs.DC
A Distributed System-level Diagnosis Model for the Implementation of Unreliable Failure Detectors
可靠的系统需要有效的监测技术来识别故障。系统级诊断最初是在20世纪60年代提出的,作为一种基于测试的方法来监控和识别一般系统的故障组件。在过去的几十年中,已经提出了几种诊断模型和策略,基于不同的故障模型,并应用于最多样化的类型的计算机系统。在20世纪90年代,不可靠的故障检测器作为一种抽象出现,以使异步系统受到崩溃故障的共识。从那时起,故障检测器就成为监控分布式系统的\textit{de facto}标准。目前的工作的目的是填补一个概念上的空白,提出了一个分布式诊断模型,是一致的不可靠的故障检测器。结果显示了所需的测试/监控消息数量、事件检测延迟以及完整性和准确性。三种不同的故障检测器符合所提出的模型,包括vRing和vCube提供了可扩展的替代方案,传统的所有监视器,所有的策略,通过大多数现有的故障检测器。
2022-10-06 cs.DC
Distributed Consensus Resilient to Both Crash Failures and Strategic Manipulations
在本文中,我们研究了同步系统中的分布式共识受到意外的崩溃故障和系统中的理性代理的战略操纵。我们适应抗共谋的纳什均衡模型协议的概念,是弹性的崩溃失败和一组串通代理的战略操纵。对于一个$n$分布式代理的系统,我们设计了一个确定性协议,容忍2合谋代理和一个随机化协议,容忍$n - 1$合谋代理,都容忍任何数量的失败。我们还表明,如果勾结者被允许一个额外的通信轮后,每个同步轮,有没有协议,甚至可以容忍2勾结代理和1崩溃失败。
2012-06-06 cs.DC cs.GT
Asynchronous Distributed Hypothesis Testing in the Presence of Crash Failures
本文讨论了多智能体网络中的分布式假设检验问题,在多智能体网络中,智能体反复收集关于世界未知状态的局部观测,并试图通过信息交换来协作检测真实状态。我们专注于故障和故障(分布式系统中的两个基本因素)对基于共识的非贝叶斯学习性能的影响。特别是,我们考虑的情况下,网络代理可能会遭受崩溃故障,消息延迟可以是任意长,但有限的。我们确定了最小的非贝叶斯规则成功的网络的全球可检测性。此外,我们还将Wolfowitz和Hajnal的一个著名结果推广到子矩阵,这可能是独立的兴趣。
2016-02-04 cs.DC
When Log Parsing Removes What Matters: Detecting Failures in Distributed GPU Workloads
University of Toronto(多伦多大学)
该研究推出GF-Bench框架与数据集,评估多种日志分析方法在分布式GPU工作负载故障检测中的表现,发现通用日志解析会丢失关键上下文,而原始日志结合LogPrompt可实现高检测精度但成本更高。
2026-10-30 cs.AI cs.DC cs.LG
CORE: Augmenting Regenerating-Coding-Based Recovery for Single and Concurrent Failures in Distributed Storage Systems
数据可用性在分布式存储系统中至关重要,特别是当节点故障在现实生活中普遍存在时。一个关键的要求是在恢复故障节点的丢失或不可用数据时,最大限度地减少节点之间传输的数据量。本文探讨了基于再生码的恢复解决方案,该方案可提供容错存储和最小恢复带宽。现有的最优再生码是针对单节点故障设计的。我们建立了一个系统称为CORE,它增强了现有的最佳再生代码,以支持一般数量的故障,包括单一和并发故障。我们从理论上表明,CORE实现了最小可能的恢复带宽在大多数情况下。我们实现了CORE,并在Hadoop HDFS集群测试床上评估了我们的原型,该集群测试床最多有20个存储节点。我们证明,我们的CORE原型符合我们的理论研究结果,并实现恢复带宽节省相比,传统的恢复方法的基础上纠删码。
2013-06-06 cs.DC
A thought experiment on Quantum Mechanics and Distributed Failure Detection
当前分布式系统中最大的问题之一是一台机器试图及时确定另一台机器的活性。不幸的是,故障机器所表现出的症状也可能是其他原因的结果,例如,一种过载的机器或网络,它丢失了信息,使得在机器恢复之前不可能确定地检测到机器故障。这是一个很好理解的问题,也是一个导致大量研究失败嫌疑人的问题:因为不可能检测到失败,所以最好的办法就是怀疑失败并相应地编程。然而,一台机器的怀疑可能与另一台机器的怀疑不同;因此,这些算法花费了相当大的努力来确保所有可用机器之间的一致性,以确定谁是怀疑失败的机器。本文描述了一个关于量子力学如何用于提供故障检测器的思想实验,该故障检测器保证提供关于机器活性的准确和即时信息,无论涉及的距离如何。
2003-09-15 cs.DC
A Knowledge-Theoretic Analysis of Uniform Distributed Coordination and Failure Detectors
结果表明,在精确意义上,如果不可靠,但公平的通信系统中的故障进程的数量没有限制,可以达到均匀分布协调(UDC)当且仅当系统有完美的故障检测器。这一结果被推广到的情况下,有一个边界t上的故障进程的数量。它表明,某种类型的广义故障检测器是必要的,并足以实现UDC的上下文中最多t故障进程。推理过程的知识,其他过程是错误的,在分析中起着关键作用。
2004-02-05 cs.DC
Robust Failure Detection Architecture for Large Scale Distributed Systems
故障检测是大规模分布式系统中保证容错的基本构件。故障检测器有很多方法和实现。在现成的分布式系统中提供灵活的故障检测是困难的。在本文中,我们提出了一个创新的解决方案,这个问题。我们的方法是基于自适应的,分散的故障检测器,能够工作的异步和独立的应用程序流。所提出的解决方案考虑了故障检测器的架构,基于聚类,使用基于流言的算法在本地检测,并使用层次结构的检测器集群之间的流量通道。该解决方案可以扩展到大量的节点,考虑应用程序和资源的QoS要求,并包括容错和系统编排机制,以评估分布式系统的可靠性和可用性。
2009-10-05 cs.DC cs.NI
Distributed Applications in Gamification of the Learning Process
由于我们中的许多人都经历了较软或不那么软的锁定,我们大学的几位教师的意图是开发一种协作工具,可以帮助在我们为学生提供的商业和IT课程中提供的两门课程的在线交付和游戏化。该工具可以被描述为一个分散的网络应用程序,模拟互联网营销原则,并帮助我们的学生将学习过程游戏化。我们计划我们的网络应用程序的网络营销模拟作为游戏化的学习过程,这是主动学习的基础之一,为国际商务学生的网络营销课程,以获得新的课堂活动,通过在线模拟竞争领域的网络营销原则;以及IT学生在开发Web应用程序时,以及在分布式报告中采用区块链技术时,需要所有团队达成共识in the simulation模拟.建议的解决方案包括业务逻辑模拟的设计和使用四个主要的数字营销工具社交网络,内容创建和共享,搜索引擎营销,并显示广告在使用这样的应用程序的动手在线类练习。
2021-12-15 cs.DC
Peer-to-Peer Energy Sharing: A New Business Model Towards a Low-Carbon Future
分布式发电技术的发展赋予消费者生产能源的能力,并将他们转变为“产消者”。这一转变将提高能源效率,为低碳未来铺平道路。然而,它也给系统运营带来了严峻的挑战,例如不稳定的可再生能源发电的备份浪费,以及难以预测利益冲突和隐私问题的生产消费者的行为。一个新兴的商业模式,以应对这些挑战是对等能源共享,其概念,结构,应用,模型和设计进行了全面的审查,在本文中,与未来的研究,以更好地实现其潜力的展望。
2021-08-05 cs.DC
Failure Detection and Recovery in Hierarchical Network Using FTN Approach
在当前情况下,若干商业和社会组织正在使用计算机网络用于其业务和管理目的。为了满足业务需求,网络也在增长。网络的增长也促进了大型网络的处理能力,因为它增加了网络中各种故障的可能性。网络中的故障会影响吞吐量、延迟、延迟、可靠性等参数,从而降低其性能。在分层网络模型中,任何故障的可能性都可能导致整个网络崩溃。如果故障发生使分层网络中的设备禁用,则它可能使下面的所有设备受到困扰。从而影响整个网络的性能。在本文中,我们提出了容错分层网络(FTN)的方法作为解决问题的分层网络。该方法首先检测网络中故障的可能性,并相应地提供特定的恢复机制。我们已经评估了FTN方法的性能方面的延迟和吞吐量的网络。
2014-01-31 cs.DC cs.NI
Measures of Fault Tolerance in Distributed Simulated Annealing
在本文中,我们研究了不同的措施,容错在分布式模拟退火过程。在分布式系统上用模拟退火算法进行优化容易出现各种各样的失败。分析了模拟退火算法及其在分布式平台上的体系结构和潜在的失效原因。我们研究的宽容的分布式系统的优化任务的行为。我们提出了可能的方法来克服故障,实现容错的分布式模拟退火过程。我们还研究了模拟退火在MapReduce系统中的实现,以及防止在达到全局最优时失败的可能方法。本文将有益于那些谁有兴趣在实现一个大规模的分布式模拟退火优化问题的工业或学术兴趣。我们建议使用混合容差技术来优化效率和可用性之间的权衡。
2012-12-30 cs.DC
Creating a Relational Distributed Object Store
就其本身而言,数据存储具有明显的商业实用性。但是,当我们可以将数据转换为信息时,存储数据的效用会急剧增加。数据量之上的关系层是这种转换的引擎。零星摄取的离散对象之间的坦率关系是罕见的,这使得合成这种关系的过程更具挑战性,但是如果我们想要看到非结构化数据与结构化数据具有同等的商业价值,就必须迎接挑战。本文描述了一种新的结构,称为关系分布式对象存储(RDOS),旨在解决如何持久和可靠地存储PB级的非结构化数据,同时创建和持久化数十亿对象之间的关系的双重问题。
2013-06-24 cs.DB cs.DC
Justifying the Dependability and Security of Business-Critical Blockchain-based Applications
在行业中,区块链越来越多地被用作产品和流程可追溯性的支柱。基于区块链的可追溯性参与证明产品和/或流程符合现有的安全标准或质量标准。从这个角度来看,构建在区块链之上的服务和应用程序是业务关键型应用程序,因为系统的故意故障或损坏可能导致相关产品或流程的重要声誉损失。基于区块链的业务关键型应用程序的开发必须谨慎进行,需要对其可靠性和安全性进行彻底的论证。为此,本文鼓励工程的角度植根于良好理解的工具和概念借用工程的安全关键系统。具体来说,我们使用一个名为CAE(Claim,Argument,Evidence)的论证框架,遵循基于保证案例的方法,以提供令人信服的论据,证明基于区块链的关键业务应用程序是可靠和安全的。通过基于区块链HYPERLEDGER FABRIC的案例研究概述了这种方法的应用。
2021-12-09 cs.CR cs.DC cs.MA
A Dynamic Weighting Strategy to Mitigate Worker Node Failure in Distributed Deep Learning
Lehigh University(里海大学)
针对分布式深度学习系统的节点故障等挑战,研究EASGD、AdaHessian等优化技术,提出动态加权策略缓解故障掉队节点问题,经多组实验验证可提升训练收敛速度与测试性能。
2024-09-14 cs.DC cs.LG
Consensus analysis of random sub-graphs for distributed filtering with link failures
本文针对链路故障下的分布式滤波,结合广播Push-Sum算法与递归一致性滤波器,基于随机拉普拉斯矩阵和随机子图分析其稳定性,刻画收敛速度与最小一致性步数,并用数值仿真验证。
2023-05-08 cs.DC cs.SY eess.SY
CXL Shared Memory Programming: Barely Distributed and Almost Persistent
本文首次定义了基于 CXL 的共享内存故障模型,区分数据与进程故障,并提出针对性的处理方法,以应对 CXL 特有的易失性和低延迟挑战。
2024-07-17 cs.DC
Failure-tolerant Distributed Learning for Anomaly Detection in Wireless Networks
The University of Melbourne(墨尔本大学);Northrop Grumman Corporation(诺斯罗普·格鲁曼公司)
对分布式技术的分析通常集中在其效率上,而不考虑其鲁棒性(或缺乏鲁棒性)。当设备或中央服务器可能发生故障时,这种考虑尤其重要,这可能会削弱分布式系统。当这种故障出现在无线通信网络中时,它们使用/提供的重要服务(如异常检测)可能无法操作,并且可能导致一连串的安全问题。在本文中,我们提出了一种新的方法来解决这些风险相结合的平面和星形拓扑结构,结合两者的性能和可靠性的好处。我们把这种方法称为“Tol-FL”,因为它与联邦学习技术相比具有更高的容错性。我们的方法既限制了设备故障风险,又在考虑客户端和服务器故障的一系列现实设置中,在异常检测AUROC方面比以前的方法高出8%,同时降低了通信成本。该性能表明Tol-FL是一种非常适合用于异常检测的分布式模型训练的方法,特别是在无线网络领域。
2023-03-23 cs.AI cs.DC cs.LG
A Case Study for Grain Quality Assurance Tracking based on a Blockchain Business Network
农业的关键流程之一是在其复杂的供应链上运输谷物的整个过程中进行质量测量。此程序适用于故障,如延迟到最终目的地,监控不力和欺诈。为了通过运输链解决粮食质量测量的挑战,分布式账本和区块链等新技术可以为这一过程带来更高的效率和弹性。特别地,区块链是一种新型的分布式数据库,其中使用密码学和散列指针安全地附加交易。这些交易可以由特殊的网络嵌入式软件(称为智能合约)生成和管理,该软件可能对网络的所有节点都是公共的,也可能对特定的对等节点集是私有的。本文分析了区块链技术在实际场景中针对粮食质量保证跟踪的实现。初步结果支持对基于区块链的认证的潜在需求,这将导致巴西谷物出口商商业网络范围内的无转基因大豆的估值增加约15%。
2018-03-21 cs.CY cs.DC
Communication-efficient distributed eigenspace estimation with arbitrary node failures
Cornell University(康奈尔大学)
我们开发了一个特征空间估计算法的分布式环境中的任意节点故障,计算节点的一个子集可以返回结构上有效的,但在其他方面任意选择的响应。值得注意的是,这种设置包含了分布式计算和数据收集环境中出现的几种重要场景,例如沉默/软错误,某些节点的异常值或损坏的数据,以及对抗性响应。我们的估计器建立在最近提出的非鲁棒估计器的性能,并匹配到添加剂$\tilde{O}(σ\sqrtα)$错误,其中$σ^2$是现有估计器的方差和$α$是损坏节点的分数。
2022-05-31 cs.DC cs.LG cs.NA
Failure-Resilient Distributed Inference with Model Compression over Heterogeneous Edge Devices
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications (BUPT)(北京邮电大学计算机学院(国家示范性软件学院));Frontier Research Center, Peng Cheng Laboratory(鹏城实验室前沿研究中心);School of Electronic Engineering, Beijing University of Posts and Telecommunications (BUPT)(北京邮电大学电子工程学院)
针对异构边缘IoT设备分布式推理的故障与延迟挑战,提出基于知识蒸馏和冗余分组的RoCoIn鲁棒推理机制,可兼顾故障弹性与低延迟推理性能。
2024-06-20 cs.AI cs.DC
FLAC: A Robust Failure-Aware Atomic Commit Protocol for Distributed Transactions
National University of Singapore(新加坡国立大学);Beijing Institute of Technology(北京理工大学);Zhejiang University(浙江大学)
在分布式事务处理中,原子提交协议(ACP)被用来保证数据库的一致性。随着商用计算节点和网络的使用,诸如系统崩溃和网络分区之类的故障是常见的。因此,重要的是ACP动态地适应操作条件以提高效率,同时确保数据库的一致性。现有的ACP通常假设稳定的操作条件,因此,它们要么不可推广到不同的环境,要么在实践中很慢。在本文中,我们提出了一种新颖而实用的ACP,称为故障感知原子提交(FLAC)。本质上,FLAC包括三个协议,它们是专门为三种不同的环境设计的:(i)没有故障发生,(ii)参与节点可能崩溃,但没有延迟连接,或(iii)崩溃的节点和延迟连接都可能发生。它将这些环境建模为无故障、崩溃故障和网络故障鲁棒性级别。在其操作期间,FLAC可以监控是否发生任何故障,并使用鲁棒性级别状态机动态切换以操作最合适的协议,该状态机的参数通过强化学习进行微调。因此,它提高了响应时间和吞吐量,并有效地处理分布在Internet上可能发生崩溃和网络故障的节点。我们在一个基于GooglePercolator的分布式事务键值存储系统中实现了FLAC,并通过实际工作负载的微观基准测试和宏观基准测试对其性能进行了评估。结果表明,与现有的ACP相比,FLAC实现了高达2.22倍的吞吐量提高和2.82倍的延迟加速。
2023-03-02 cs.AI cs.DB cs.DC
RoBuSt: A Crash-Failure-Resistant Distributed Storage System
在这项工作中,我们提出了第一个分布式存储系统,该系统可证明对自适应对手发出的崩溃故障具有鲁棒性,即,对于每一批请求,对手可以基于整个系统状态来决定哪些服务器对于该批请求将是不可用的。尽管多达$γn^{1/\log\log n}$崩溃的服务器,$γ>0$常数和$n$表示服务器的数量,我们的系统可以正确地处理任何一批查找和写入请求(与最多的多对数数量的请求发出在每个非崩溃的服务器)在最多的多对数数量的通信轮,与最多的多对数时间和工作在每个服务器和只有对数的存储开销。我们的系统基于Eikel和Scheideler(SPAA 2013)之前的工作,他们提出了IRIS,这是一种分布式信息系统,可证明对于相同类型的崩溃故障具有强大的鲁棒性。但是,IRIS只能提供查找请求。处理查找和写入请求需要对IRIS的设计进行重大更改。
2015-02-23 cs.DC cs.DS
Distributed Algorithm for Collision Avoidance at Road Intersections in the Presence of Communication Failures
Chalmers University of Technology(查尔姆斯理工大学)
本文提出一种分布式算法,用于在存在通信故障时实现自动驾驶车辆在交叉口的安全避碰,确保安全性和活锁性,并在实际数据中验证了交叉延迟的轻微增加。
2017-01-10 cs.DC cs.NI cs.SY
Limiting Lamport Exposure to Distant Failures in Globally-Managed Distributed Systems
全球化计算基础设施提供了全球管理的对象和服务的便利性和弹性,但缺乏本地化基础设施(如私有云)提供的对远程故障的弹性。然而,为远程故障提供全局管理和弹性,为配置服务提出了一个基本问题:如何在不依赖于全球化状态的情况下,在全球化基础设施中发现可能迁移的、强一致的服务/对象?Limix是解决这个问题的第一个元数据配置服务。通过Limix,全局强一致性数据平面服务和对象通过确保任何对象的确定性,强一致性元数据始终被限制在与对象本身相同的区域而与远程灰色故障绝缘。Limix保证了可用性边界:任何用户都可以继续访问对位于$Δ$之外的用户重要的任何强一致的对象,与$Δ$的小倍数之外的故障绝缘。我们构建了一个基于CockroachDB的Limix元数据服务。我们在类似互联网的网络和AWS上使用真实的跟踪驱动工作负载进行的实验表明,Limix支持全局管理,并显著提高了最先进的可用性。
2022-07-15 cs.DC
FODT: Fast, Online, Distributed and Temporary Failure Recovery Approach for MEC
针对MEC中边缘服务器临时故障导致的用户服务中断问题,提出首个快速、在线、分布式的故障恢复算法FODT,通过复用策略降低复杂度,恢复效率更高且近似比可接受。
2025-04-16 cs.DC cs.NI
Combining Federated and Active Learning for Communication-efficient Distributed Failure Prediction in Aeronautics
Zodiac Inflight Innovations;SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris(SAMOVAR、南巴黎电信学院、巴黎理工学院)
近年来,机器学习已被证明是实现工业系统故障预测的有用方法。然而,运行学习算法所需的高计算资源是其广泛应用的障碍。分布式学习的子领域提供了一个解决这个问题的方法,它允许使用远程资源,但代价是在应用程序中引入通信成本,这并不总是可以接受的。在本文中,我们提出了一种分布式学习方法,能够优化计算和通信资源的使用,通过集中式架构实现出色的学习模型性能。为了实现这一目标,我们提出了一种新的集中式分布式学习算法,它依赖于主动学习和联邦学习的学习范式,提供了一种通信效率高的方法,提供了客户端和中央服务器上的模型精度的保证。我们在一个公共基准上评估了这种方法,结果表明,尽管有额外的限制,它在精度方面的性能非常接近非分布式学习的最先进的性能水平。
2020-01-21 cs.AI cs.DC
Distributed Constructions of Dual-Failure Fault-Tolerant Distance Preservers
容错距离图(Fault tolerant distance gravers)是在边或顶点失效的情况下保持给定顶点对之间距离的稀疏子图。到目前为止,这些结构主要是从一个集中的观点来研究的。尽管事实上,容错的分布式网络的主要动机是容易出错的性质,不太知道这些结构的分布式计算方面。在本文中,我们提出了分布式算法,用于构建容错距离转换器和$+2$添加剂的spectrometer是弹性的,最多\emph{two edge}故障。在我们的工作之前,已知的唯一非平凡构造是[Ghaffari和Parter SPAA'16]的\emph{single}故障和\emph{single source}设置。我们的主要技术贡献是一个分布式算法计算距离的距离w.r.t.源顶点的子集$S$,对两个边缘故障有弹性。输出结构包含每个$s \in S$和每个$e_1,e_2 \in G$的BFS树$BFS(s,G \setminus \{e_1,e_2\})$。这种结构的分布式构造是基于边缘拥塞(通过同时运行多个BFS树形成)和输出子图的稀疏性之间的微妙平衡。没有子线性轮算法构建这些结构之前已经知道。
2020-10-04 cs.DC cs.DS
LUMEN: Coordinated Failure Recovery for Distributed LLM Serving
The Chinese University of Hong Kong(香港中文大学);Northwestern Polytechnical University(西北工业大学);University of Science and Technology of China(中国科学技术大学)
针对分布式LLM服务中工作节点故障导致KV缓存丢失和请求重算的问题,提出LUMEN系统,通过负载感知的协调恢复策略(检查点放置、中断请求分配、容量恢复)显著提升服务与恢复时间。
2026-06-17 cs.DC
Cooperative Repair of Multiple Node Failures in Distributed Storage Systems
针对分布式存储系统中的多节点故障修复问题,设计了协作再生码。相对于原始的修复模型,再生代码,这是用于修复的单节点故障,新的节点之间的数据交换是可以实现的。已知的是,利用协作修复可以进一步减小修复带宽。目前,在文献中,我们有一个明确的建设精确修复合作码实现所有参数对应的最小带宽点。本文给出了这种合作再生码的一个稍微广义和更灵活的版本。对于最小的存储再生与合作,我们提出了一个明确的代码结构,可以联合修复任何数量的系统存储节点。
2016-07-28 cs.DC cs.IT math.IT
Workflow Management on the Blockchain --- Implications and Recommendations
区块链技术最初由加密货币推广,已被提出作为一种基础设施技术,在许多业务管理领域都有应用。区块链提供了不可变的交易记录,这使得它们在业务参与者可能不完全信任彼此的情况下非常有用。区块链的分布式特性使其特别适合组织间电子商务应用。在本文中,我们研究了使用区块链来执行组织间工作流。我们讨论了架构选项,并描述了基于区块链的工作流管理系统(WfMS)的原型实现,突出了与传统WfMS的差异。我们的主要贡献是识别区块链基础设施带来的潜在问题,并提出解决这些问题的建议。
2019-10-29 cs.DC
Khaos: Dynamically Optimizing Checkpointing for Dependable Distributed Stream Processing
分布式流处理系统正在成为大数据处理平台越来越重要的一部分,因为用户越来越依赖于它们提供快速访问新结果的能力。因此,根据这些结果及时做出决策取决于系统容忍故障的能力。通常,这些系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而,由于在这些分布式环境中发生部分故障的统计概率以及作业预期操作的工作负载的可变性,静态配置通常不能以低开销满足服务质量约束。在本文中,我们提出了Khaos,一种新的方法,它利用虚拟云自动化技术的并行处理功能,用于分布式流处理作业中容错配置的自动运行时优化。我们的方法采用了三个后续阶段,借用混沌工程的原则:建立稳定状态的处理条件,进行实验,以更好地了解系统如何执行故障,并使用这些知识,不断减少服务质量违规。我们与Apache Flink一起实现了Khaos原型,并通过实验证明了它的有用性。
2023-01-26 cs.DC
Failure Detectors in Homonymous Distributed Systems (with an Application to Consensus)
本文讨论的共识问题,在homecycle分布式系统中的进程容易崩溃故障,并没有初始的系统成员的知识(“homecycle”的意思是,几个进程可能有相同的标识符)。首先定义了适合于这些系统的新的故障检测器类别。其中,引入了类HΩ和H,它们分别是类Ω和类的同胚对应。(回想一下,对<Ω,Ω>定义了解决共识的最弱故障检测器。然后,本文展示了如何在没有成员知识的同名系统中实现HΩ和HΣ(在不同的同步要求下)。最后,提出了两个算法,使用这些故障检测器来解决共识homemandem异步系统中,没有初始知识的成员。一种算法使用<HΩ,H Ω>解决共识,而另一种算法只使用HΩ,但需要大多数正确的过程。观察到具有唯一标识符的系统和匿名系统是homemandatory系统的极端情况,由此得出所有这些结果也适用于这些系统。有趣的是,新的故障检测器类HΩ可以部分同步实现,而为匿名系统定义的类似类AΩ不能实现(即使在同步系统中)。因此,这篇论文为我们提供了第一个证据,证明在匿名系统中,只有部分同步(以及大多数正确的过程)才能解决共识问题。
2011-11-27 cs.DC cs.DS
A Dual Digraph Approach for Leaderless Atomic Broadcast (Extended Version)
许多分布式系统工作在一个公共的共享状态;在这样的系统中,分布式协议是必要的一致性。随着服务器数量的增加,这些系统变得更容易受到单服务器故障的影响,从而增加了容错的相关性。原子广播使容错分布式协议,但它是昂贵的解决。大多数实用的算法需要对每个广播消息进行线性工作。AllAccuur--一种无领导的方法--通过稀疏的弹性覆盖网络连接服务器来减少工作量;然而,这种弹性需要冗余,限制了工作量的减少。在本文中,我们提出了一种原子广播算法AllAccuur+,它解除了这一限制:在没有故障的间隔期间,它通过使用无冗余的覆盖网络实现了最小的工作。当发生故障时,它会通过切换到弹性覆盖网络自动恢复。在我们对非故障场景的性能评估中,AllConcur+实现了与AllGather(一种非容错分布式协议算法)相当的吞吐量,并且在吞吐量和延迟方面都优于AllConcur、LCR和Libpaxos。此外,我们对故障场景的评估表明,AllAccuur+的预期性能对于偶尔的故障是稳健的。因此,对于实际用例,在没有故障的间隔期间利用无冗余分布式协议可以显著提高性能。
2019-12-12 cs.DC
CCNCheck: Enabling Checkpointed Distributed Applications in Content Centric Networks
我们认为,在内容为中心的网络中,分布式应用程序的检查点有效地,使它能够承受瞬时故障的问题。我们提出了CCNCheck,一个系统,使发送方优化的方式检查点分布式应用程序在CCN的,并提供了一个有效的机制,在这样的应用程序的故障恢复。CCNCheck的检查点机制是DMTCP存储库的一个分支,CCNCheck能够运行任何用C/C++语言编写的分布式应用程序。
2015-06-01 cs.DC cs.NI
ByRDiE: Byzantine-resilient distributed coordinate descent for decentralized learning
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
分布式机器学习算法使得能够从分布在网络上的数据集学习模型,而无需在集中位置收集数据。虽然在无故障网络的假设下已经开发出了高效的分布式算法,但在现实世界中经常会发生使这些算法无法正常工作的故障。本文重点研究分布式算法中最难防范的拜占庭故障问题。虽然拜占庭容错有着丰富的历史,但现有的工作并没有转化为在完全分布式(也称为分散式)设置中进行高维学习的有效和实用的算法。在本文中,一个算法称为拜占庭弹性分布式坐标下降(ByRDiE)的开发和分析,使分布式学习中存在拜占庭故障。理论分析(凸设置)和数值实验(凸和非凸设置)突出了其有用的高维分布式学习拜占庭故障的存在。
2019-07-05 cs.DC cs.LG math.OC
Distributed Storage Codes through Hadamard Designs
在采用纠删编码的分布式存储系统中,出现了使在故障之后精确地重新生成存储节点所需的总{ \it修复带宽}最小化的问题。此修复带宽取决于存储代码的结构和用于恢复丢失数据的修复策略。最小化它需要在修复期间使用干涉对齐(IA)的概念将不需要的数据在尽可能小的空间中对齐。这里,给出了Cadambe { \it et al.}提供了线索,完善IA的情况下,我们结合阿达玛矩阵的基本性质,构建一个新的存储代码具有良好的修复性能。具体来说,我们建立一个明确的$(k+2,k)$存储代码在$\mathbb{GF}(3)$,其单个系统节点故障可以修复与带宽完全匹配的理论最小值。此外,单个奇偶校验节点故障的修复最多生成与任何系统节点故障相同的修复带宽。我们的代码可以容忍任何单节点故障和任何涉及最多一个系统故障的故障对。
2011-06-08 cs.DC cs.IT cs.NI
Distributed Algorithms for Computing Alternate Paths Avoiding Failed Nodes and Links
最近一项表征计算机网络中故障的研究表明,瞬时单元件(节点/链路)故障是像Internet这样的大型通信网络中的主要故障。因此,在发生故障时全局重新计算路由路径不会有回报,因为发生故障的元件恢复得相当快,并且需要丢弃重新计算的路由路径。在本文中,我们提出了第一个分布式算法,计算一些“主动恢复计划”处理瞬态故障所需的备用路径。我们的算法计算路径,避免一个失败的节点,并提供了一个替代路径的特定目的地从上游邻居的失败节点。通过微小的修改,我们可以让算法计算出避免失败链路的备用路径。据我们所知,所有以前提出的算法计算备用路径是集中的,需要完整的信息的网络图作为输入的算法。
2008-11-09 cs.DC cs.DS cs.NI
CONTINUER: Maintaining Distributed DNN Services During Edge Failures
Queen’s University Belfast(贝尔法斯特女王大学);University of St Andrews(圣安德鲁斯大学)
跨边缘节点划分和部署深度神经网络(DNN)可以用于满足应用的性能目标。然而,单个节点的故障可能导致连锁故障,这将对服务的交付产生不利影响,并将导致无法实现特定目标。这些故障的影响需要在运行时最小化。本文研究了三种技术,即重新划分、提前退出和跳过连接。当边缘节点发生故障时,重新分区技术将重新分区和重新部署DNN,从而避免故障节点。早期退出技术提供了在故障节点之前退出(早期)的请求。跳过连接技术通过跳过故障节点来动态路由请求。本文将利用准确性、端到端延迟和停机时间方面的权衡,在边缘节点发生故障时,根据用户定义的目标(准确性、延迟和停机时间阈值)选择最佳技术。为此,开发了Continuer。该框架的两个关键活动是在使用分布式DNN技术时估计准确性和延迟,并选择最佳技术。在基于实验室的实验测试平台上证明,CONTINUER在使用这些技术时估计准确度和延迟,平均误差分别不超过0.28%和13.06%,并选择合适的技术,其开销不超过16.82毫秒,准确度高达99.86%。
2022-04-25 cs.DC cs.LG
Distributed Computing in the Asynchronous LOCAL model
在分布式网络计算的框架下,局部性研究的主要模型之一是分布式网络模型。然而,该模型受到了相关的批评,包括所有节点同时唤醒、按锁定步骤执行并且无故障的事实。我们表明,放宽这些假设在一定程度上不会损害本地计算。特别是,我们表明,对于任何建设任务$T$相关的本地可检查的标签(LCL),如果$T$是可解的$t$轮在异步模型中,然后$T$仍然可解的$O(t)$轮在异步模型中。这改进了Castañeda等人[SSS 2016]的结果,该结果仅限于对环进行3-着色。更一般地说,本文的主要贡献是表明,也许令人惊讶的是,在计算中的冗余和故障不限制的功率的冗余模型,只要通信保持同步和无故障。
2019-12-06 cs.DC
An Algorithm for Tolerating Crash Failures in Distributed Systems
在ESPRIT项目28620“TIRAN”(用于嵌入式应用的可定制的容错框架)的框架中,正在设计错误检测、隔离和恢复组件的工具集,以用作编排应用级容错的基本手段。这些工具将被用作独立的组件或作为分布式应用程序的外围组件,我们称之为“骨干”。主干将在用户应用程序的后台运行。它的目标包括:(1)收集和维护由TIRAN组件(如看门狗定时器、陷阱处理程序)或在内核或驱动程序级别工作的外部检测服务产生的错误检测信息;(2)在错误恢复时间使用这些信息。特别地,与错误检测和故障屏蔽相关的那些TIRAN工具将把它们的推断转发到主干,主干又将利用该信息来协调错误恢复,向与错误隔离和恢复相关的那些工具请求恢复和重新配置动作。显然,这种方法的关键点是保证主干本身能够容忍内部和外部故障。在这篇文章中,我们描述的手段之一,用于TIRAN骨干,以实现这一目标:一个分布式算法,用于容忍崩溃故障所引发的故障,影响最多的,但一个组件的骨干或最多的,但一个节点的系统。我们称之为相互猜疑算法。
2016-01-16 cs.DC
Rational Uniform Consensus with General Omission Failures
系统故障(如崩溃故障、拜占庭故障等)通常被认为是造成分布式共识不一致性的常见原因,并得到了广泛的研究。事实上,在分布式系统中,理性主体的策略操作对于达成共识是不可忽视的。在本文中,我们扩展了共识的博弈论分析,并设计了一个算法的理性一致的共识一般遗漏失败的假设下,控制过程的理性代理和偏好的共识。与崩溃Agent不同,遗漏失效Agent可能会崩溃,或者在应该发送或接收消息的时候遗漏,这导致检测失效Agent的困难。通过结合链路两端代理可能出现的故障,将遗漏故障模型转化为链路状态模型,使故障检测成为可能。通过分析具有n个代理的分布式系统中的消息传递机制,其中t个代理可能发生遗漏故障,给出了无故障代理之间就状态达成一致所需的消息传递时间的上界,以及验证消息的消息链机制.然后证明了当n>2t+1,失效模式和初始偏好是盲的(随机性假设)时,我们的理性一致共识是一个纳什均衡。因此,代理人可能没有动机偏离共识。我们的研究从博弈论的角度加强了遗漏失败的共识的可靠性。
2022-08-16 cs.DC cs.GT
Flag Aggregator: Scalable Distributed Training under Failures and Augmented Losses using Convex Optimization
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出Flag Aggregator方法,将分布式训练中的聚合问题形式化为基于Beta密度的最大似然估计,并通过凸优化迭代最小二乘求解,显著提升了拜占庭故障下聚合器的鲁棒性、通信效率与准确性。
2023-09-25 cs.DC cs.LG
Distributed Computability in Byzantine Asynchronous Systems
在这项工作中,我们扩展了基于拓扑的异步崩溃故障分布式系统的可计算性的特征异步拜占庭系统的方法。我们给出了第一个定理的必要和充分条件,以解决任意任务的对手选择错误的进程在异步拜占庭系统。在我们的对抗公式中,非故障过程的输出仅受非故障过程的输入的约束。对于无色任务,分布式问题的一个重要子类,一般的结果减少到一个优雅的模型,有效地捕捉进程的数量之间的关系,故障的数量,以及任务的单纯复合体的拓扑结构。
2014-06-10 cs.DC
RCanopus: Making Canopus Resilient to Failures and Byzantine Faults
分布式共识是许多分布式系统(包括分布式数据库和区块链)的关键推动因素。Canopus是一个可扩展的分布式共识协议,它确保系统中的活动节点就有序的操作序列(称为事务)达成一致。与大多数先前的共识协议不同,老人星不依赖于单一的领导者。相反,它使用虚拟树覆盖进行消息分发,以限制过度订阅链接的网络流量。它利用机架内和网络结构内的硬件冗余来降低协议复杂性和通信开销。这些设计决策使Canopus能够支持大型部署,而不会显着降低性能。现有的Canopus协议在面对节点和通信故障时具有弹性,但其重点主要是性能,因此不能很好地响应其他类型的故障。例如,单个服务器机架的故障会导致所有活动节点停止。该协议也是开放的拜占庭节点的攻击,这可能会导致不同的活节点,以不同的交易顺序结束协议。在本文中,我们描述RCanopus('resilent Canopus'),它扩展了Canopus以增加活性,即允许活节点在可能的情况下取得进展,尽管有许多类型的失败。这要求RCanopus能够准确地检测故障并从故障中恢复,尽管使用了不可靠的故障检测器,并且能够容忍拜占庭攻击。第二,RCanopus保证安全,也就是说,在拜占庭攻击和网络分区的存在下,交易顺序的活节点之间的协议。
2019-06-16 cs.DC cs.NI cs.PF
SlimEdge: Performance and Device Aware Distributed DNN Deployment on Resource-Constrained Edge Hardware
Amrita Vishwa Vidyapeetham(阿姆里塔印度教学院);Intel Corporation(英特尔公司);Indian Institute of Science(印度科学研究院);Analog Devices, Inc.(模拟器件公司);Birla Institute of Technology and Science-Pilani, Dubai Campus(比拉技术科学学院-迪拜校区)
SlimEdge通过结构化模型剪枝和多目标优化框架,在资源受限边缘硬件上实现高效分布式DNN部署,提升性能和故障容忍性。
2026-02-15 cs.CV cs.DC
A distributed service for on demand end to end optical circuits
在本文中,我们提出了一个系统,用于监测和控制动态网络电路内的USLHCNet网络。该分布式服务系统几乎实时地提供所有电路的完整拓扑信息、资源分配和使用、计费、自动检测链路和网络设备中的故障、生成警报并具有采取自动动作的功能。该系统是基于MonALISA框架开发的,它提供了一个强大的监控和面向服务的架构,没有单点故障。
2011-06-28 cs.DC
Fault-Tolerant Distributed Directories
分布式目录是图$G$上的覆盖数据结构,有助于访问共享令牌$t$。该目录支持三种操作:发布(用于通告令牌)、查找(用于读取令牌的内容)和移动(用于获得对令牌的独占更新访问)。该目录是建立在一个分层分区的图形使用弱或强集群。主要机制是维护目录路径,该路径从层次结构中的根结点开始,指向令牌的当前所有者。在文献中,有已知的基于层次图结构的目录算法,但他们都没有考虑故障。给定一个分层分区,我们考虑$f$边缘故障对分布式目录的功能和性能的影响。边缘故障可能会导致集群分裂为多达$f+1$连接的组件,并增加层次结构中的级别数量。为了在故障后恢复分层分区,我们在集群及其连接组件中维护生成树。如果$G$保持连接,我们表明,每一级的目录路径是扩大只有一个因素$f$。我们还表明,在最坏的情况下,发布和查找操作的性能受到影响的一个因素$f$的消息的复杂性。移动操作的消息复杂性增加了$f$因子和层次结构中的附加层的数量。
2023-02-16 cs.DC
On the Solvability of Sound Distributed Verification under Byzantine Faults
Posgrado en Ciencia e Ingeniería de la Computación, Universidad Nacional Autónoma de México(墨西哥国立自治大学计算机科学与工程研究生项目);Department of Computer Science and Engineering, Michigan State University(密歇根州立大学计算机科学工程系);Instituto de Matemáticas, Universidad Nacional Autónoma de México(墨西哥国立自治大学数学研究所)
提出c-格聚合问题,用于崩溃和拜占庭故障下的分布式验证,通过冗余参数x建立可解性阈值,并给出匹配算法。
2026-11-11 cs.DC
On the Performance and Convergence of Distributed Stream Processing via Approximate Fault Tolerance
容错对于分布式流处理系统是至关重要的,然而实现无差错的容错通常会引起大量的性能开销。我们提出了AF流,分布式流处理系统,解决了性能和准确性之间的权衡容错。AF-Stream建立在一个称为近似容错的概念上,其思想是通过自适应地发布备份来减轻备份开销,同时确保故障时的错误与理论保证有一定的界限。具体来说,AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型,将一般的流算法,以及出口只有几个阈值参数配置近似容错。此外,我们正式证明,AF流保留高算法特定的流算法的准确性,特别是在线学习的收敛保证。实验表明,AF-Stream在各种流算法下都能保持较高的性能(与无容错相比)和多次故障后的高准确率(与无故障相比)。
2019-08-12 cs.DC
A Utilization Model for Optimization of Checkpoint Intervals in Distributed Stream Processing Systems
最先进的分布式流处理系统,如Apache Flink和Storm,最近包括检查点,为有状态应用程序提供容错。这是一个必要的可能性,因为这些系统的头部到Exascale政权,显然是更有效的比复制状态大小的增长。然而,当前的系统使用检查点间隔的标称值,其指示假设大约每19天1次故障,其没有考虑检查点过程的突出方面,也没有考虑系统规模,这可能容易导致低效的系统操作。为了解决这个缺点,我们提供了一个严格的推导利用率-总时间的一部分,可供系统做有用的工作-,其中包括检查点间隔,故障率,检查点成本,故障检测和重启成本,深度的系统拓扑结构和消息延迟。我们的模型产生了一个优雅的表达式的利用率,并提供了一个最佳的检查点间隔给定这些参数,有趣的是,它只依赖于检查点的成本和故障率。我们通过使用Apache Flink进行实验来确认我们模型的准确性和有效性,在每种情况下,我们都可以提高系统利用率,特别是随着系统大小的增加。我们的模型提供了一个坚实的理论基础,更详细的检查点方法的分析和优化。
2019-11-27 cs.DC
Efficient Byzantine-Resilient Stochastic Gradient Desce
分布式学习经常遭受拜占庭失败,并且已经有许多研究拜占庭失败下的分布式随机优化问题的工作,其中只有一部分工人,而不是分布式学习系统中的所有工人,在每次迭代时计算随机梯度。这些方法虽然在拜占庭故障下是可行的,但具有次优收敛速度或高计算成本的缺点。为此,我们提出了一个新的拜占庭弹性随机梯度下降算法(简称BrSGD),这是可证明的强大对拜占庭故障。BrSGD同时获得了最优的统计性能和高效的计算。特别是,BrSGD可以实现强凸损失函数的阶最优统计出错率。BrSGD的计算复杂度为O(md),其中d是模型维数,m是机器数。实验结果表明,BrSGD可以获得竞争力的结果相比,非拜占庭机器的有效性和收敛性。
2021-08-15 cs.DC