Resilience of Dynamic Overlays through Local Interactions
本文提出了一种自组织协议的动态(非结构化的P2P)覆盖网络,它允许作出反应的节点到达和离开的变化。通过本地交互,该协议避免了节点的离开导致覆盖的分割。我们表明,它是足够的知识第一和第二邻居,加上一个简单的交互P2P协议,使非结构化网络节点故障的弹性。不同类型的覆盖网络的模拟评估表明该建议的可行性。
2013-04-09 cs.DC
On the Degree Distribution of Faulty Peer-to-Peer Overlays
本文提出了一个分析框架,在非结构化的对等覆盖,表示为复杂网络的容错模型。我们定义了一个分布式协议的对等点执行管理的覆盖和反应的节点故障。基于该协议,演化方程的定义和操纵诉诸生成函数。获得的结果提供了对节点的度概率分布的见解。从度分布的研究中,可以估计对等覆盖的其他重要度量,例如网络的直径。我们研究了不同的网络,其特征在于三个特定的期望度分布,即具有固定期望度的节点的网络,随机图和无标度网络。所有这些网络都通过分析工具和模拟进行评估。结果表明,该方法可以事实上被用来动态地调整平均附着率在同行,使他们保持自己所需的程度,并在一般情况下,所需的网络拓扑结构。
2013-01-08 cs.DC
Shallow Overlay Trees Suffice for High-Throughput Consensus
All-to-all数据传输是区块链系统中典型的数据传输模式。开发提供高吞吐量和低延迟数据传输的优化方案可以显著地有益于这些系统的性能。在这项工作中,我们考虑的问题,优化所有到所有的数据传输在广域网(WAN)使用覆盖组播。我们证明,在一个无障碍的核心网络模型,使用浅广播树的高度高达2是足够的所有到所有的数据传输,以实现最佳的吞吐量允许的可用网络资源。
2019-03-07 cs.DC
Relays: A New Approach for the Finite Departure Problem in Overlay Networks
覆盖网络的基本问题是安全地排除离开节点,即,请求离开覆盖网络的节点被排除在覆盖网络之外而不影响其连通性。为了严格研究这个问题的自稳定解,已经提出了有限偏离问题(FDP)[12]。在FDP中,我们给出了一个处于任意状态的进程网络,目标是最终到达(并停留在)一个状态,在该状态下,所有离开的进程都决定离开系统,而对于初始覆盖网络中的所有弱连接组件,该组件中的所有停留进程仍将形成弱连接组件。在标准互连模型中,已知FDP无法通过本地控制协议解决,因此已经研究了允许解决该问题的预言机[12]。为了避免使用预言机,我们引入了一个新的互连模型的基础上继电器。尽管中继模型似乎是相当限制,我们表明,它是普遍的,即,可以将任何弱连接拓扑变换成任何其它弱连接拓扑,这对于作为覆盖网络的有用互连模型是重要的。除此之外,我们的模型允许进程授予和撤销访问权,这就是为什么我们认为它超出了本文的范围。我们展示了如何实现中继层的自我稳定的方式,并确定属性协议需要满足,使中继层可以恢复,同时服务协议请求。
2018-09-13 cs.DC
Time- and Communication-Efficient Overlay Network Construction via Gossip
本文提出一种基于 Gossip 的分布式覆盖网络构建协议,可在 polylog n 轮内仅用 Õ(n) 条消息将任意连通图重构为常数度扩展图,并利用图草图实现时间与通信双重高效。
2023-11-28 cs.DC
A Learning-Augmented Overlay Network
Technical University of Berlin(柏林工业大学);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
本文研究如何将机器学习建议整合到叠加网络中,以适应需求变化。提出LASLiN算法,使其在预测准确时性能接近最优SLN,在预测错误时保持O(log²n)鲁棒性。
2026-03-26 cs.DC
Self-Healing Protocols for Connectivity Maintenance in Unstructured Overlays
在本文中,我们讨论了使用自组织协议来提高动态对等(P2P)覆盖网络的可靠性。两个类似的方法进行了研究,这是基于本地知识的节点的第二邻域。第一个方案是一个简单的协议,需要节点之间的相互作用和他们的直接邻居。第二种方案增加了对边缘聚类系数(ECC)的检查,这是一种局部度量,可以确定连接网络中不同集群的边缘。进行模拟评估评估这些协议在统一的网络,集群网络和无标度网络。考虑了不同的失效模式。实验结果证明了该方法的有效性。
2015-06-15 cs.DC
Towards a Universal Approach for Monotonic Searchability in Self-Stabilizing Overlay Networks
对于覆盖网络,从成员资格更改或故障等各种问题中恢复的能力是保持其功能的关键要素。近年来,已经提出了各种自稳定覆盖网络,其优点是能够从任何非法状态恢复。然而,这些网络中的绝大多数在恢复过程中无法保证其功能。我们特别感兴趣的是可搜索性,即,如果网络中存在具有特定标识符的节点,则成功应答搜索消息以寻找该标识符的功能。我们调查覆盖网络,不仅是自稳定的,但也确保单调的可搜索性保持,而恢复过程正在进行中,只要有没有损坏的消息在系统中。更准确地说,一旦从节点$u$到另一节点$v$的搜索消息被成功递送,则从$u$到$v$的所有未来搜索消息也成功。单调可搜索性最近在OPODIS 2015中引入,其中作者提供了一个简单的线拓扑的解决方案。我们提出了第一个通用的方法来保持单调的可搜索性,适用于广泛的拓扑结构。作为我们的方法的基础,我们引入了一组原语操纵覆盖网络,使我们能够保持可搜索性,并显示如何现有的协议可以转换为使用这些原语。我们补充这一结果与一个通用的搜索协议,连同使用我们的原语保证单调的可搜索性。作为附加功能,一旦拓扑稳定,使用通用搜索协议搜索现有节点与使用任何其他固定路由协议搜索节点一样快。
2016-09-28 cs.DC
GRAPLEr: A Distributed Collaborative Environment for Lake Ecosystem Modeling that Integrates Overlay Networks, High-throughput Computing, and Web Services
GLEON研究和PRAGMA湖探险- GRAPLE -是计算机科学和湖泊生态学研究人员之间的合作努力。它旨在提高我们对淡水资源水质威胁的理解和预测能力,包括气候变化。本文介绍了GRAPLEr,一个分布式计算系统,用于解决GRAPLE研究人员的建模需求。GRAPLEr以一种新颖的方式集成和应用了覆盖虚拟网络、高吞吐量计算和Web服务技术。首先,其用户级IP-over-P2P(IPOP)覆盖网络允许将分布在独立管理的机构(包括私有云和公共云)中的计算和存储资源聚合到一个公共虚拟网络中,尽管存在防火墙和网络地址转换器。第二,由IPOP虚拟网络聚合的资源运行未经修改的高吞吐量计算中间件(HTCondor),以使大量模型仿真能够跨分布式计算资源并发执行。第三,Web服务接口允许最终用户使用与R统计计算环境集成的客户端库向系统提交作业请求。本文介绍了GRAPLEr架构,描述了它的实现,并报告了它在三个云基础设施(佛罗里达大学,CloudLab和Microsoft Azure)上批量进行通用湖模型(GLM)模拟的性能。
2015-09-29 cs.DC
TRANS-Net: an Efficient Peer-to-Peer Overlay Network Based on a Full Transposition Graph
在本文中,我们提出了一个新的实用的P2P系统的基础上,一个完整的换位网络拓扑结构命名为TRANS-Net。全换位网络在该类换位网络中实现了更高的容错性和更低的拥塞。TRANS-Net提供高效的查找服务,即具有高概率的k跳,其中k满足小于k的Theta(log_n m)小于Theta(log_2 m),其中m表示系统节点的数量,并且n是与m可以采用的最大数量(直到n!)相关的系统参数。实验表明,该算法的查找性能达到了复杂度关系的下限。TRANS-Net还保留了数据局部性,并为多维查询等复杂查询提供了高效的查找性能。
2008-08-30 cs.DC
Content-based Dynaic Routing in Structured Overlays Networks
用于基于代理的发布/订阅系统的非循环覆盖为从发布者到感兴趣的订阅者的基于内容的路由提供唯一路径。循环覆盖可以提供多个路径,然而,订阅广播过程为每个订阅生成一个基于内容的路由路径。这对在检测到拥塞时提供通知的动态路由提出了严峻的挑战,因为需要即时更新路由表以生成替代路由路径。本文介绍了第一个基于订阅的发布/订阅系统,OctopiS,它提供集群间的动态路由时,在输出队列中的拥塞被检测到。OctopiS基于正式定义的结构化循环覆盖拓扑(SCOT)。SCOT被划分为同质集群,其中每个集群具有相同数量的代理,并通过多个集群间覆盖链路连接到其他集群。这些链接用于在连接到不同集群中的代理的发布者和订阅者之间提供并行路由路径。针对数据中心网络的部署,OctopiS生成静态通知路由(SNR)算法所使用的最短长度的订阅树。动态通知路由(DNR)算法利用分簇SCOT的结构性,在不更新路由表的情况下,通过位向量机制提供簇间的动态路由,并最大限度地减少代理和拥塞链路的负载。在集群测试平台上进行的实验表明,OctopiS具有良好的可扩展性,在订阅传递过程中代理间消息数量减少了89%,订阅延迟减少了77%,静态路由和动态路由的端到端通知延迟分别减少了47%和58%,动态路由路径中代理的输出队列长度减少了59%.
2017-03-02 cs.DC
Notions of Connectivity in Overlay Networks
“网络连接得有多好?“这是人们在面临设计通信网络的挑战时会问的最基本的问题之一。文献中已经考虑了三个主要的连通性概念,但在传统(单层)网络的背景下,它们是等价的。本文介绍了一个模型,用于研究在多层网络中的三个概念的连通性。使用这个模型,很容易证明,在多层网络中,这三个概念可能会有很大的不同。不幸的是,在单层的情况下,可以有效地计算的三个连接概念的值相比,它最近已被证明在WDM网络的上下文中(结果,可以很容易地转换到我们的模型),这些概念的连接的两个值是很难计算,甚至近似在多层网络。目前的文件洒了一些积极的光到多层连接的主题:我们表明,第三个连接概念的值可以在多项式时间计算,并开发一个近似的建设良好连接的覆盖网络。
2016-01-06 cs.DC
Enhancing Quality of Experience using DHT Overlay on Device-to-Device Communications in LTE-A Networks
在[1]中,我们提出了一个双层模型,用于创建和维护智能手机的分布式哈希表(DHT)覆盖。其目的是减少互联网使用并增加LTE-A/5G网络上的D2 D内容共享。然而,真正的挑战不是创建一个两层模型,而是发展一个有效的覆盖,在现有模型上为设备到设备(D2 D)内容共享提供增强的机会。在本文中,我们制定了一级设备的选择,找到P-中位数在配电网络,并解决了它使用拉格朗日松弛法。第2层设备成为从第1层设备寻求内容共享服务的客户端。这项工作的一个强烈动机是提高用户对称为体验质量(QoE)的服务等级的感知。我们分析了增强型D2 D通信模型下资源受限智能手机的QoE评估挑战。我们的重点是建立一个框架,以评估LTE-A/5G网络上的应用和服务的QoE,并提高D2 D通信水平。仿真和实验结果验证了以下主张:利用所提出的用于选择和放置层1移动设备以及维持用于D2 D通信的DHT的数学模型,QoE的实质性改进确实是可能的。
2019-05-07 cs.DC
Towards Social Profile Based Overlays
在线社交网络已迅速成为互联网用户最常见的活动之一。随着社交网络的发展,它们鼓励用户分享更多的信息,从而要求用户对社交网络给予更多的信任。对等(P2P)覆盖提供了一个环境,可以返回信息的所有权,信任和控制的用户,远离集中的第三方社交网络。在本文中,我们提出了一个新的概念,社会配置文件覆盖,使用户能够共享他们的配置文件只与可信的同行在一个可扩展的,可靠的,和私人的方式。每个用户的配置文件由一个独特的私人,安全的覆盖,其中该覆盖的成员有一个与覆盖所有者的友谊。通过使用配置文件覆盖的分布式数据存储,配置文件数据变得可用,而不考虑配置文件所有者的在线状态。通过使用公钥基础设施(PKI)来加强隐私和安全性,其中证书颁发机构(CA)的角色由覆盖所有者处理,并且覆盖的每个成员具有CA签名的证书。社交网络的所有成员加入公共公共或目录覆盖,以促进朋友发现并将连接引导到简档覆盖中。我们定义的接口和目前的工具,可以用来实现这个系统,以及探索一些与之相关的挑战。
2010-02-03 cs.DC cs.HC
Data Driven SMART Intercontinental Overlay Networks
本文讨论了使用大数据和基于机器学习的分析,以实时管理互联网规模的服务质量路由优化的帮助下,覆盖网络。基于收集大量的数据采样每$2$分钟在大量的源-目的地对,我们表明,洲际互联网协议(IP)的路径是远离最佳的服务质量(QoS)的指标,如端到端的往返延迟。因此,我们开发了一种基于机器学习的方案,该方案利用从多跳覆盖网络中的通信节点对收集的大规模数据,该覆盖网络在覆盖节点本身之间使用IP,以选择提供比IP更好的QoS的路径。该方法的灵感来自认知分组网络协议,使用随机神经网络与强化学习的基础上收集的大量数据,以选择中间覆盖跳,从而产生显着更好的QoS比IP本身。路由方案在$20$节点洲际覆盖网络上示出,该网络每周收集接近$2\times 10^6$的测量,并做出可扩展的分布式路由决策.实验结果表明,该方法可以有效地提高服务质量,具有可扩展性。
2015-12-28 cs.DC cs.NI
Grafana plugin for visualising vote based consensus mechanisms, and network P2P overlay networks
在本文中,我们提出了一个用于可视化基于投票的共识机制的插件,主要旨在帮助工程师理解和调试区块链和分布式账本协议。这两个工具都是作为Grafana插件构建的,并且对数据存储实现没有任何假设。这些插件可以通过Grafana插件配置接口进行配置,以适应协议实现的具体要求。
2021-12-02 cs.DC cs.SE
Balanced Overlay Networks (BON): Decentralized Load Balancing via Self-Organized Random Networks
我们提出了一种新的框架,称为平衡覆盖网络(BON),它提供了可扩展的,分散的负载均衡的分布式计算使用大规模池的异构计算机。基本上,BON将每个节点的可用计算资源信息编码在连接网络中节点的链路结构中。这种分布式编码是自组织的,每个节点通过随机游走采样管理其入度和本地连接。将传入作业分配给具有最多空闲资源的节点也通过经由短随机游走对节点进行采样来完成。大量的模拟表明,由此产生的高度动态和自组织的图结构可以有效地平衡整个大规模网络的计算负载。这些模拟涵盖了广泛的情况,包括可用计算资源的显著异质性和传入负载的高突发性。我们提供了分析结果,证明了BON的可扩展性,真正的大规模网络:特别是我们表明,在某些理想条件下,网络结构收敛到Erdos-Renyi(ER)随机图;我们的模拟结果,但是,表明该算法做得更好,结构似乎接近理想情况下的d-正则随机图。我们还将高负载的BON和著名的球仓随机负载均衡框架联系起来。
2006-01-16 cs.DC
Skyplane: Optimizing Transfer Cost and Throughput Using Cloud-Aware Overlays
云应用程序越来越多地跨多个地区和云提供商分发数据。不幸的是,广域批量数据传输通常是缓慢的,需要检查的应用程序。我们证明,它是可以显着提高区域间云批量传输吞吐量,通过适应网络覆盖到云设置-也就是说,通过在应用程序层的间接路径路由数据。然而,在这种情况下直接应用网络覆盖可能会导致云出口价格不可接受的增加。我们提出了Skyplane,一个用于云对象存储之间批量数据传输的系统,该系统使用云感知网络覆盖来优化价格和性能之间的权衡。Skyplane的规划器使用混合整数线性规划来确定数据传输的最佳覆盖路径和资源分配,并受用户提供的价格或性能约束。Skyplane的性能优于公共云传输服务,在一个云中传输高达$4.6\times$,跨云传输高达$5.0\times$。
2022-10-13 cs.DC cs.NI
Data Load Balancing in Heterogeneous Dynamic Networks
数据负载均衡是P2P系统中一个具有挑战性的任务。分布式哈希表(DHT)抽象、节点异构、对象分布不均匀是造成结构化P2P覆盖网络负载不均衡的原因。以前的工作解决了负载均衡问题,假设同质的节点的能力,不知道的链路延迟在传输负载,并施加逻辑结构来收集和重新分配负载。提出了一种基于虚拟服务器的分布式负载均衡算法。在我们的方法中,每个节点收集邻居的负载信息,从物理上接近的节点,并重新分配虚拟服务器覆盖节点的基础上底层网络的拓扑结构。因此,我们的方法收敛数据负载均衡迅速,它也减少了节点之间的负载转移成本。此外,我们的方法增加了覆盖的紧密节点之间的负载均衡的质量,它也引入了一个新的权衡的质量之间的负载均衡和所有覆盖节点之间的负载转移成本。我们的模拟结果表明,我们的方法降低了负载转移成本,它节省了网络带宽。最后,我们表明,在度的不平衡的节点,作为拓扑意识的后果,不会导致一个显着的问题,拓扑意识覆盖。
2016-02-15 cs.DC
CliqueStream: an efficient and fault-resilient live streaming network on a clustered peer-to-peer overlay
在最近的对等流媒体文献中,已经提出了几种基于叠加的实时多媒体流媒体平台。在大多数情况下,为了覆盖的鲁棒性,随机选择覆盖邻居。然而,这会导致底层物理网络中距离较远的节点成为邻居,因此数据在到达目的地之前会传输不必要的距离。为了提高多媒体流等大量数据传输的效率,覆盖邻域应该类似于底层网络中的邻近度。在本文中,我们利用最近提出的一个基于集群的覆盖网络,名为eQuus的邻近和冗余属性,建立高效和强大的覆盖多媒体流传播。为了结合树结构覆盖上的内容推送的效率和数据驱动的网格覆盖的鲁棒性,在树结构中组织更高容量的稳定节点以承载长距离业务,并且在局部网格中组织具有间歇性存在的不太稳定的节点。文中详细介绍了覆盖图的构造和故障恢复过程。仿真研究表明该平台具有良好的局部性。分析表明,故障恢复机制引起的中断时间和控制开销是最小的。
2009-03-26 cs.DC cs.MM cs.NI
Brief Announcement: Decentralized Construction of Multicast Trees Embedded into P2P Overlay Networks based on Virtual Geometric Coordinates
在本文中,我们考虑的问题,有效地构建在一个完全分布式的方式嵌入到P2P覆盖使用虚拟几何节点坐标的组播树。我们考虑两个目标:通过利用P2P覆盖的几何特性来最小化构造多播树所需的消息的数量,并且当对等体的生命周期已知时构造稳定的多播树。
2010-09-04 cs.DC cs.DS
Private Virtual Tree Networks for Secure Multi-Tenant Environments Based on the VIRGO Overlay Network
Hangzhou Domain Zones Technology Co., Ltd.(杭州域区科技有限公司)
本文提出PVTNs,通过加密机制在VIRGO叠加网络上实现安全的多租户环境组织结构。
2025-12-17 cs.CR cs.DC
Efficient and Reliable Overlay Networks for Decentralized Federated Learning
University of California, Santa Cruz(加州大学圣克鲁斯分校);University of California, Los Angeles(加州大学洛杉矶分校);University of Utah(犹他大学)
我们提出了基于$d$ -正则扩展图的近优覆盖网络,以加速分散式联邦学习(DFL)并提高其泛化能力。在DFL中,大量的客户端通过覆盖网络连接,它们在不共享原始数据的情况下协作解决机器学习问题。我们的覆盖网络设计集成了谱图理论和DFL的理论收敛性和泛化界。因此,我们提出的覆盖网络加速收敛,提高泛化能力,并增强了对DFL中客户端故障的鲁棒性。此外,我们提出了一个有效的算法来转换一个给定的图到一个实际的覆盖网络和维护网络拓扑结构后,潜在的客户端故障。我们用我们提出的网络在各种基准任务上进行数值验证DFL的优势,从图像分类到使用数百个客户端的语言建模。
2021-12-12 cs.DC cs.LG cs.NA
A DPU Solution for Container Overlay Networks
将混合环境作为跨边缘、云和HPC系统的工作流的一部分的需求越来越大。在云计算和HPC的这种融合环境中,容器开始发挥更重要的作用,将其网络基础设施与之一起。然而,目前的工作表明,通常用于连接物理主机上的容器的容器覆盖网络不适合HPC环境。它们往往会带来显著的开销和噪声,导致性能下降,并干扰同一主机上的协同进程。本文重点介绍了利用一类新的硬件,数据处理单元,卸载覆盖网络的网络堆栈从主机上的DPU。我们打算表明,这种辅助卸载是可能的,它会导致主机节点上的开销减少,这反过来又会提高运行过程的性能。
2022-11-18 cs.DC cs.NI
On the Topology Maintenance of Dynamic P2P Overlays through Self-Healing Local Interactions
本文讨论了使用自组织协议来提高动态对等(P2P)覆盖网络的可靠性。我们提出了两种方法,采用本地知识的第二邻域的节点。第一个方案是一个简单的协议,需要节点之间的相互作用和他们的直接邻居。第二种方案通过诉诸边缘聚类系数(ECC)来扩展这种方法,这是一种局部措施,可以识别连接覆盖中不同聚类的边缘。一个模拟评估,评估这些协议在均匀网络,集群网络和无标度网络。考虑了不同的失效模式。结果证明了该建议的可行性。
2014-05-16 cs.DC cs.NI
DLA: Compiler and FPGA Overlay for Neural Network Inference Acceleration
叠加技术在现场可编程门阵列(FPGA)中显示出了巨大的潜力,因为它们允许快速的开发周期,并消除了传统FPGA硬件设计流程的许多挑战。然而,这通常伴随着显著的性能负担,导致在实际应用中很少采用覆盖。在本文中,我们量身定制的覆盖到一个特定的应用领域,我们展示了我们如何保持其完整的可编程性,而不支付传统上与覆盖的性能开销。具体来说,我们引入了一个覆盖的深度神经网络推理只有~1%的开销,以支持控制和重编程逻辑使用轻量级超长指令字(VLIW)网络。此外,我们还实现了一个复杂的特定于领域的图形编译器,该编译器编译了Caffe或Tensorflow等深度学习语言,以轻松定位我们的覆盖。我们展示了我们的图编译器如何执行架构驱动的软件优化,以显着提高卷积神经网络和递归神经网络(CNN/RNN)的性能-与朴素的实现相比,我们展示了ResNet-101的3倍改进和长短期记忆(LSTM)单元的12倍改进。最后,我们描述了如何定制我们的硬件覆盖,并使用我们的图形编译器在英特尔Arria 10 1150上实现GoogLeNet上的约900 fps-这是同类FPGA上有史以来最快的速度。
2018-07-13 cs.AR cs.DC eess.SP
A DeterministicWorst-Case Message Complexity Optimal Solution for Resource Discovery
我们考虑分布式系统中的资源发现问题。特别是,我们给出了一个算法,使得网络中的每个节点发现网络中任何其他节点的地址。我们将节点的知识建模为由有向图给出的虚拟覆盖网络,使得所有节点的完整知识对应于覆盖网络中的完整图。虽然有几个解决方案的资源发现,我们的解决方案是第一个实现最坏情况下的最佳工作为每个节点,即地址的数量(O(n))或位(O(n log n))节点接收或发送符合下限,同时确保只有一个线性运行时间(O(n))轮数。
2013-06-07 cs.DC
Virtual Private Overlays: Secure Group Commounication in NAT-Constrained Environments
结构化P2P覆盖提供了一个框架,用于构建自配置、可伸缩和对节点故障有弹性的分布式应用程序。这样的系统已成功地采用在大规模的互联网服务,如内容分发网络和文件共享,然而,在小/中型规模的广泛采用已受到限制,部分原因是安全问题和困难的NAT约束的环境中的自举。尽管如此,P2P系统可以被设计为提供有保证的查找时间、NAT穿越、点对点覆盖安全和分布式数据存储。在本文中,我们提出了一种新的方式来创建覆盖,既安全又私密,并使用公共覆盖引导它们的方法。私有覆盖节点使用公共覆盖的分布式数据存储来发现彼此,并且使用公共覆盖的连接来辅助NAT打孔并且作为提供STUN和TURN NAT穿越技术的中继。安全框架利用用户通过基于Web的用户界面创建和管理的组。每个组都作为一个公钥基础设施(PKI),依赖于使用一个提供自动证书颁发机构(CA)的中央管理网站。我们提出了一个参考实现,已被用于P2P VPN(虚拟专用网络)。为了评估我们的贡献,我们将我们的技术应用于覆盖网络建模,使用模拟时间延迟的事件驱动模拟,以及在PlanetLab广域测试平台中的部署。
2010-01-14 cs.DC cs.NI
ONCache: A Cache-Based Low-Overhead Container Overlay Network
针对容器覆盖网络开销大或兼容性差的问题,提出基于缓存的覆盖网络ONCache,利用eBPF技术消除额外开销,在保持灵活性与兼容性的同时显著提升了网络性能并降低CPU开销。
2024-06-04 cs.DC cs.NI cs.OS
Towards Practical Overlay Networks for Decentralized Federated Learning
针对去中心化联邦学习缺乏可实际部署的覆盖网络构建与维护协议的问题,本文提出 FedLay,以去中心化方式构建并维护近随机正则拓扑,在真实数据集上实现更快收敛、更高准确率、低通信开销及节点动态容错。
2024-09-09 cs.DC cs.NI
Algorithms for Constructing Overlay Networks For Live Streaming
我们提出了一个多项式时间的近似算法,用于构建一个覆盖多播网络流媒体直播事件在互联网上。我们的算法构建的覆盖网络类别包括Akamai Technologies用于向全球受众提供高保真实时媒体活动的网络。我们构建由三个阶段的节点组成的网络。第一阶段中的节点是充当直播流的源的入口点。每个源将其每个流转发到第二级中的一个或多个称为反射器的节点。反射器可以将传入流拆分为多个相同的传出流,然后将其发送到第三级和最后一级中的节点,这些节点充当接收器并且位于终端用户附近的边缘网络中。当数据流中的数据包从一个阶段传输到下一个阶段时,其中一些可能会丢失。接收器将来自同一个流的多个实例的数据包合并(通过重新排序数据包并丢弃重复数据包),以最小的损失形成流的单个实例。我们的主要贡献是一个算法,构建一个覆盖网络,可证明满足容量和可靠性的限制,在一个恒定的最佳因素,并最大限度地减少成本的最佳对数因子内。此外,在常见的情况下,只有传输成本最小化,我们表明,我们的算法产生一个解决方案,具有成本在2的最佳因素。我们还实施了我们的算法,并在来自Akamai直播流媒体网络的真实跟踪上对其进行评估。我们的实证结果表明,我们的算法可以用来有效地构建大规模的覆盖网络在实践中接近最优的成本。
2011-09-19 cs.DC cs.DS cs.NI
D$^2$-Tree: A New Overlay with Deterministic Bounds
我们提出了一个新的覆盖,称为{ \em确定性分散树}($D^2$树)。$D^2$树与其它覆盖相比是有利的,原因如下:(a)它提供匹配和更好的复杂性,这对于所支持的操作是确定性的;(b)节点(对等体)和元素的管理彼此完全解耦;以及(c)提出了一种有效的确定性负载平衡机制用于将元件均匀分布到节点中,同时为节点处的操作拥塞提供概率最优边界。元素到节点的负载平衡方案是确定性的,并且足够通用,可以应用于其他基于层次树的覆盖。这种负载平衡机制基于一种创新的惰性权重平衡机制,这种机制本身就很有趣。
2012-03-08 cs.DC cs.DS
Always be Two Steps Ahead of Your Enemy
我们调查的覆盖网络下的大规模流失,即节点加入和离开网络的维护。我们假设一个对手,可能会在$\mathcal{O}(\log n)$轮的过程中搅动一个恒定比例的$αn$节点。特别地,对手具有网络拓扑的几乎最新的信息,因为它可以观察到至少$2$轮旧的仅稍微过时的拓扑。除此之外,我们只有一个可证明的最小限制,即新节点只能通过至少参加过一轮网络的节点加入网络。我们的贡献如下:首先,我们表明,它是不可能的,如果对手有最新的信息,节点的连接,以保持一个连接的拓扑结构。此外,我们表明,我们的限制有关的连接也是必要的。作为我们的主要结果,提出了一种算法,构造一个新的覆盖-完全独立于所有以前的覆盖-每$2$轮。此外,每个节点每轮仅发送和接收$\mathcal{O}(\log^3 n)$消息。作为我们解决方案的一部分,我们提出了线性化DeBruijn Swarm(LDS),这是一种高度抗流失的覆盖,将由算法维护。然而,我们的方法可以被转移到各种经典的P2P拓扑节点映射到$[0,1)$ -间隔。
2021-02-06 cs.DC
Genet: A Quickly Scalable Fat-Tree Overlay for Personal Volunteer Computing using WebRTC
WebRTC使浏览器能够直接交换数据,但到单个源的可能并发连接的数量是有限的。我们克服了组织参与者在胖树覆盖的限制:当一个树节点的连接的最大数量达到时,新的参与者连接到节点的孩子。当大量参与者在短时间内加入时,我们的设计可以快速扩展,依靠一种新的方案,只需要本地信息来路由连接消息:目的地是从消息源和持有消息的节点的组合标识符的哈希值中获得的。该方案提供了确定性路由的一系列连接消息从一个单一的来源和新的连接之间的叶子的概率平衡。我们表明,这种设计将至少83%的节点置于与确定性算法相同的深度,可以在本地网络中在21-55秒内连接1000个浏览器窗口,并且可以部署用于志愿者计算,以在本地网络上在不到30秒的时间内接入320个核心,从而将Collatz应用程序的总吞吐量与单个核心相比增加两个数量级。
2019-04-25 cs.DC
HSkip+: A Self-Stabilizing Overlay Network for Nodes with Heterogeneous Bandwidths
在本文中,我们提出并分析HSkip+,一个自稳定的覆盖网络的节点与任意异构带宽。HSkip+与Jacob等人[PODC 2009]提出的Skip+图具有相同的拓扑结构,但其自稳定机制明显优于Skip+提出的自稳定机制。此外,节点现在根据其带宽而不是根据其标识符来排序。已经针对具有异构带宽的覆盖网络提出了各种其他解决方案,但是它们不是自稳定的。除了HSkip+是自稳定的,它的性能与加入或离开对数直径和度以及任意带宽的对等体网络的时间和工作的最佳先前界限相当。此外,路由消息的膨胀和拥塞与此类网络的最佳先前边界相当,因此HSkip+结合了这两个世界的优势。我们的理论研究得到了模拟的支持,证明HSkip+确实比Skip+表现得更好,并且在高流失率下正确工作。
2014-11-27 cs.DC cs.DS cs.NI
Interlaced: Fully decentralized churn stabilization for Skip Graph-based DHTs
作为分布式哈希表(DHT)路由覆盖,跳过图被用于各种对等(P2P)系统,包括云存储、社交网络和搜索引擎。P2P系统的覆盖连接性受到节点到达和离开系统的负面影响,这被称为流失。保持覆盖网络的连通性(即,每对节点的可达性)是每个P2P系统(包括基于跳过图的P2P系统)中的性能挑战。适用于Skip Graph的现有分散式流失稳定解决方案具有密集的通信复杂性,这使得它们无法提供强覆盖连接性,特别是在高流失率下。在本文中,我们提出了Interlaced,这是一种用于Skip Graphs的完全分散的流失稳定机制,它提供了更强的覆盖连接性,而不会改变Skip Graph在存储,计算和通信方面的渐近复杂性。我们还提出了滑动窗口De Bruijn图(SW-DBG)作为一种工具来预测节点的可用性,具有高精度。我们的模拟结果表明,与现有的最好的基于DHT的解决方案相比,交错提高了跳跃图的覆盖连接下流失的增益约1.81倍。与现有的最佳解决方案相比,受益于Interlaced和SW-DBG的Skip Graph在路由查询时平均快2.47倍。我们还提出了一个自适应扩展的交错应用于其他的DHT,例如Kademlia。
2019-03-18 cs.DC
KuberneTSN: a Deterministic Overlay Network for Time-Sensitive Containerized Environments
针对容器化环境时间敏感通信的网络支持不足问题,提出基于Kubernetes的覆盖网络方案KuberneTSN,通过内核旁路与符合TSN标准的用户空间调度器实现确定性通信,实验证明其达到裸机性能并优于Flannel。
2023-02-16 cs.DC cs.NI
SCRamble: Adaptive Decentralized Overlay Construction for Blockchain Networks
Athens University of Economics and Business(雅典大学经济与商业学院)
SCRamble通过创新的链接选择策略,减少区块链网络中的区块传播时间,提升交易吞吐量和系统安全性。
2026-01-15 cs.DC cs.NI
PlanetServe: A Decentralized, Scalable, and Privacy-Preserving Overlay for Democratizing Large Language Model Serving
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Nevada, Reno(内华达大学拉森)
PlanetServe通过去中心化叠加层提升大语言模型服务的可扩展性和隐私保护,实现服务效率与安全性的平衡。
2026-02-13 cs.AI cs.DC
A Bounding Box Overlay for Competitive Routing in Hybrid Communication Networks
在这项工作中,我们提出了一种新的方法,在无线Ad Hoc网络的竞争几何路由。一般来说,众所周知,任何在线路由策略在最坏的情况下都表现得很差。主要的困难是无线自组织网络中的未覆盖区域,我们将其表示为无线电空穴。无线电孔的复杂形状(例如之字形形状)使得局部几何布线甚至更加困难,即,当不知道自组织网络时,在去往目的地的方向上转发的消息可能陷入死胡同或者沿着很长的迂回路线被路由。为了获得有关无线电洞的位置和形状的知识,我们使用混合网络的方法。这种方法假设我们不仅可以利用ad hoc网络,还可以利用一些蜂窝基础设施,这些基础设施用于收集有关底层ad hoc网络的知识。通过蜂窝基础设施进行通信会产生费用,因为涉及到手机供应商。因此,我们使用的蜂窝基础设施只计算路由路径的ad hoc网络。实际的数据传输发生在ad hoc网络中。为了找到好的路由路径,我们的目标是计算一个抽象的ad hoc网络中的无线电洞抽象的边界框。边界框作为孔抽象的优点是,我们只需要考虑每个孔的恒定数量的节点。我们证明了边界框是一个合适的孔抽象,使我们能够找到$c$竞争路径的情况下,在ad hoc网络的不相交的边界框。在相交的边界框的情况下,我们通过模拟表明,我们的路由策略显着优于迄今为止最好的无线自组织网络的在线路由策略。最后,我们还提出了一个路由策略,是$c$竞争的情况下,成对相交的边界框。
2019-04-10 cs.DC
Comparing Maintenance Strategies for Overlays
在本文中,我们提出了一个分析工具,了解下流失的结构化覆盖网络的性能主方程的物理方法的基础上。我们激励和推导出一个方程的平均跳数的查找过程中流失,和弦网络。我们详细分析了这个方程,以了解有和没有搅动的行为。然后,我们使用这种理解来预测查找将如何扩展不同的对等人口以及不同的路由表的大小。然后,我们考虑在维护算法的覆盖,从周期性的稳定性的反应,只有当检测到变化时,才纠正手指的变化。我们概括了我们以前的分析,以了解如何反应策略与周期性的比较。
2007-10-01 cond-mat.stat-mech cs.DC cs.NI
Scale-Free Overlay Topologies with Hard Cutoffs for Unstructured Peer-to-Peer Networks
在非结构化P2P网络中,节点间的覆盖拓扑(或连通图)是除了节点/数据组织和搜索之外的重要组成部分。拓扑特征对这种非结构化P2P网络以及其他网络的搜索效率有着深刻的影响。众所周知,在N个节点的小世界拓扑上的搜索效率可以达到O(ln N),而无标度(幂律)拓扑提供了更好的搜索效率,比如对于一系列度分布指数,搜索效率可以达到O(lnln N)。然而,这种无标度拓扑的生成和维护是很难实现的分布式和潜在的非合作环境中的P2P网络。无标度拓扑的一个关键限制是在非常少的枢纽节点上的高负载(即高度)。在典型的非结构化P2P网络中,对等体不愿意维持高程度/负载,因为它们可能不想存储大量条目以用于构建覆盖拓扑。因此,为了实现所有节点之间的公平性和实用性,各个节点对条目的数量施加硬截止,这限制了整个拓扑的无标度性。因此,洪泛搜索的效率随着硬截止的大小而降低。我们调查建设的无标度拓扑与硬截止(即没有任何主要枢纽)和这些硬截止的搜索效率的影响。有趣的是,我们观察到归一化洪水和随机游走搜索算法的效率随着硬截止值的降低而增加。
2006-12-06 cs.DC cs.NI
Towards Establishing Monotonic Searchability in Self-Stabilizing Data Structures (full version)
分布式应用程序通常基于互连其站点的覆盖网络,以便它们可以交换信息。对于这些覆盖网络,为了保持其功能,它们应该能够从各种问题中恢复,如成员资格更改或故障。近年来已经提出了各种自稳定的覆盖网络,其优点是能够从任何非法状态中恢复,但这些网络都不能保证其功能,而恢复过程正在进行中。我们开始研究覆盖网络,不仅是自稳定的,但也确保可搜索性是保持,而恢复过程正在进行中,只要系统中没有损坏的消息。更准确地说,一旦从节点$u$到另一节点$v$的搜索消息被成功递送,则从$u$到$v$的所有未来搜索消息也成功。我们称之为单调可搜索性。我们表明,在一般情况下,它是不可能提供单调的可搜索性,如果损坏的消息存在于系统中,这证明了限制系统状态没有损坏的消息。此外,我们提供了一个自稳定的协议,我们也可以表现出单调的可搜索性。事实证明,即使对于直线,实现此属性也是不平凡的。此外,我们扩展我们的协议,以处理节点的Foreback等有限离开问题。al(SSS 2014)。这使得我们的协议甚至能够处理节点动态。这是在OPODIS'15上发表的通讯论文的完整版本。
2015-12-21 cs.DC
Design of a Novel Network Architecture for Distributed Event-Based Systems Using Directional Random Walks in an Ubiquitous Sensing Scenario
无处不在的传感设备经常在它们之间传播数据。使用一个分布式的基于事件的系统,将发布者从订阅者中分离出来,是实现传播过程的理想选择。在本文中,我们提出了一个网络体系结构,融合了典型的结构化的基于事件的系统的网络和覆盖层。定向随机游走用于构建此合并层。我们的策略避免使用提供点对点通信的特定网络协议。这意味着网络的拓扑结构不被维护,使得不涉及系统的节点能够节省能量和计算资源。我们使用定向随机游走和纯随机游走来评估覆盖层的性能。我们的研究结果表明,定向随机游走更有效,因为:(1)它们使用更少的网络节点来建立覆盖层的活动路径,(2)它们具有更可靠的性能。此外,随着网络中节点数量的增加,对于相同数量的发布者和订阅者,覆盖层的活动路径中的节点数量也增加。最后,我们丢弃形成覆盖层的节点数量与步行者遍历的最大欧几里得距离之间的任何相关性。
2015-01-26 cs.DC cs.NI
Searching in Unstructured Overlays Using Local Knowledge and Gossip
分析了P2P非结构化覆盖网络中分布式内容发现的一类传播算法。这些算法是一种混合的协议,采用本地知识的同行的邻居和八卦。通过调整八卦概率和深度k的k-邻域的节点的信息,我们得到不同的传播协议在文献中采用的非结构化P2P覆盖。所提供的分析和仿真结果证实,当适当配置,这些计划是一个可行的方法来建立有效的P2P资源发现在大规模的,动态的分布式系统。
2014-03-12 cs.DC cs.NI
SART: Speeding up Query Processing in Sensor Networks with an Autonomous Range Tree Structure
我们考虑的问题,构建高效的P2P覆盖的传感网提供“能源级的应用和服务”。在\cite{SOPXM09}中提出的方法提出了一种新的P2P覆盖,用于传感器网络中的能级发现。然而,这种解决办法不是动态的,因为需要定期重组。特别地,既不能支持能量水平在现有p2p覆盖所支持的范围之外的传感器节点的加入,也不能支持当前没有传感器节点与之相关联的\emph{empty}覆盖对等体的离开。基于此目的,在\cite{SPSTMT10}提出的高效P2P方法的基础上,设计了一种传感器网络中用于能级发现的动态P2P覆盖层,即SART(Sensors' Autonomous Range Tree)。\cite{SPSTMT10}中提出的P2P索引的自适应保证了上述操作的最佳动态查询性能。我们通过D-P2P-Sim模拟器(D-P2P-Sim可在http://code.google.com/p/d-p2p-sim/上公开获得)实验验证了此性能。
2012-09-24 cs.DB cs.DC
Physical expander in Virtual Tree Overlay
在本文中,我们提出了一个新的建设constantdegree扩展动机他们的应用在P2P覆盖网络,特别是在鲁棒树覆盖的设计。我们的主要结果可以陈述如下。考虑一棵完全二叉树T,在叶节点和内部节点之间构造一个随机配对树。我们证明了通过收缩所有对(叶内部节点)从T得到的图G以高概率实现恒定的节点扩展。使用我们的结果在提高树覆盖的鲁棒性是直接的。也就是说,如果参与覆盖的每个物理节点管理耦合一个虚拟内部节点和一个虚拟叶节点的随机对,则物理节点层表现出具有高概率的恒定扩展。我们包括困难的随机树虚拟化,提出了一个本地的,自组织和流失弹性均匀随机配对算法O(log2 n)的运行时间。该算法的优点是不需要修改原有的树的虚拟覆盖(只控制物理节点和虚拟节点之间的映射)。因此,我们的计划是通用的,可以应用到大量的树覆盖实现。我们通过大量的模拟验证其在动态环境中的性能。
2011-02-24 cs.DC cs.DS
TinBiNN: Tiny Binarized Neural Network Overlay in about 5,000 4-LUTs and 5mW
VectorBlox Computing(VectorBlox计算公司);Lattice Semiconductor(莱迪思半导体公司(注:此处为直译,Lattice Semiconductor常见中文名也可称晶格半导体,但根据机构性质“公司”更准确)。需严格按原文提取,此处原文本中明确给出的两个机构为VectorBlox Computing和Lattice Semiconductor,对应中文翻译分别为“VectorBlox计算公司”和“莱迪思半导体公司”(注:Lattice Semiconductor标准中文名通常为“莱迪思半导体公司”,“晶格半导体”也常用,但需保持翻译准确自然,“莱迪思”为其音译名,更通用)。但根据用户要求“如果机构已有常见中文名,使用常见中文名;否则按机构含义直译”,Lattice Semiconductor的常见中文名应为“莱迪思半导体公司”,VectorBlox Computing无常见中文名,直译“VectorBlox计算公司”。}]} 更正:用户要求“输出严格JSON”,且机构粒度到公司级别,上述两个机构均为公司,正确提取应为:{)
降精度算法提高了数字逻辑中神经网络的规模、成本、功率和性能。在卷积神经网络中,使用1b权重可以实现最先进的出错率,同时消除乘法,减少存储并提高功率效率。例如,BinaryConnect二进制加权系统在CIFAR-10数据集上使用浮点激活实现了9.9%的错误。在本文中,我们介绍了TinBiNN,一个轻量级的向量处理器覆盖,用于加速1b权重和8b激活的推理计算。覆盖非常小-它使用约5,000个4输入LUT,适合Lattice Semiconductor的低成本iCE 40 UltraPlus FPGA。为了证明这是有用的,我们通过缩小原始的BinaryConnect网络来构建两个嵌入式“人员检测器”系统。第一个是一个10类分类器,网络小了89%,运行时间为1,315 ms,误差为13.6%。另一个是1类分类器,它甚至更小,运行时间为195 ms,误差仅为0.4%。在这两种分类器中,错误可以完全归因于训练而不是精度降低。
2019-03-05 cs.CV cs.DC cs.OH
An Analytical Study of a Structured Overlay in the presence of Dynamic Membership
在本文中,我们提出了一个结构化对等网络中的动态成员(又名流失)的分析研究。我们使用流体模型的方法来描述稳态或瞬态现象,并将其应用到弦系统。对于任何速率的流失率和稳定率,以及任何系统的大小,我们准确地占网络断开的概率以及失败或不正确的后继者和指针的分数的函数形式。我们展示了如何使用这些量来预测流失下查找的性能和一致性。所有的理论预测都与模拟结果相吻合。该分析包括两个功能,是通用的结构化覆盖部署一个环以及和弦特定的细节,并打开了大门,系统的比较分析,至少,基于环的结构化覆盖系统下流失。
2007-10-01 cond-mat.stat-mech cs.DC cs.NI
OverChain: Building a robust overlay with a blockchain
区块链使用对等网络在对等体之间传播信息,但这些网络目前没有任何可证明的保证,例如拜占庭容错,良好的连接性和小直径。这不仅仅是一个理论问题,因为最近的工作利用了不安全的对等连接策略和弱网络同步来对比特币进行分区攻击。加密货币区块链是安全关键系统,因此我们需要有原则的算法来维护它们的网络。我们的关键见解是,我们可以利用区块链本身在对等体之间共享信息,从而简化网络维护过程。考虑到对等节点的计算资源有限,并且其中最多有一部分是拜占庭式的,我们提供了通信高效的协议来维护区块链的超立方网络,其中对等节点可以随着时间的推移加入和离开。有趣的是,我们发现我们的设计可以\emph{recover}从实质性的对抗失败。此外,尽管出现了重大的流失,但这些资产仍然存在。一个关键的贡献是加入网络的安全机制,该机制使用区块链来帮助新的对等点联系现有的对等点。此外,通过检查对等体如何加入网络,即,对于"引导服务",我们给出了一个下限,表明(在对数因子内)我们的网络可以容忍最大的流失率。事实上,我们可以为任何需要连接的完全分布式服务提供一个较低的流失率。
2022-01-30 cs.DC cs.DS
Overlay Network Construction: Improved Overall and Node-Wise Message Complexity
National University of Singapore(新加坡国立大学)
研究分布式覆盖网络构建问题,在GOSSIP-reply和HYBRID两种模型下提出WFT构建协议,实现了O(n log n)的消息复杂度和对数级的轮数开销。
2025-10-12 cs.DC cs.DS
Infinite Unlimited Churn
我们研究了对等覆盖网络中的无限大客户流失问题。在这种扰动下,任意多个对等体可以同时请求加入或离开覆盖网络;而且这些请求可能永远不会停止。我们证明了无限的对抗性流失,其中进程可能只是退出覆盖网络,是无法解决的。我们专注于合作流失退出进程参与流失处理算法。我们定义的问题,无限的无限流失在这种情况下。我们将问题的公平版本(每个请求最终都得到满足)与不公平版本(只是保证进度)区分开来。我们专注于本地解决方案的问题,并证明了本地解决方案的公平无限无限的搅拌是不可能的。然后,我们提出并证明正确的算法UIUC,解决了不公平的无限无限流失问题的线性化对等覆盖网络。我们将此解决方案扩展到跳过列表和跳过图。
2016-08-02 cs.DC cs.DS cs.NI
In Search of Simplicity: A Self-Organizing Multi-Source Multicast Overlay
多播通信原语作为分布式应用的构建块具有广泛的实用性。挑战在于创建和维护支持这些原语的分布式结构,同时考虑易变的端节点和可变的网络特性。迄今为止提出的大多数解决方案都依赖于复杂的算法或全球信息,从而限制了部署的规模和学术领域以外的接受度。本文介绍了一种低复杂度、自组织的组播树维护方案,我们称之为UMM(Unstructured Multi-source Multicast)。UMM使用传统的分布式系统技术:分层、软状态和被动数据汇集,以适应物理网络的动态变化并维护数据分发树。其结果是一个简单的,适应性强的系统,比更复杂的替代方案具有更低的开销。我们已经实现了UMM,并在100个节点的PlanetLab测试平台和多达1024个节点的模拟ModelNet网络上进行了评估。广泛的实验评估表明,与替代解决方案相比,UMM的开销低,网络使用效率高,并且能够快速适应网络变化并从故障中恢复。
2007-02-27 cs.DC cs.NI cs.PF
The Accuracy of Tree-based Counting in Dynamic Networks
基于树的协议在分布式系统中普遍存在。它们是灵活的,它们通常表现良好,并且在静态条件下,它们的分析大多很简单。然而,在客户流失的情况下,节点连接和失败可能会对树覆盖产生复杂的全局影响,这使得分析变得非常微妙。据我们所知,很少有以前的分析结果,基于树的协议下流失的性能估计。我们研究了一个简单的Bellman-Ford协议,该协议在树形覆盖上进行网络规模估计。一个连续时间马尔可夫模型的构建,它允许关键的协议特性进行估计,包括在一个给定的(感知)距离的根节点的预期数量,并为每个这样的节点,预期(感知)的大小的子网络植根于该节点。我们通过仿真验证模型,使用一系列的网络规模,节点度,和流失到协议率,具有令人信服的结果。
2010-04-26 cs.DC