Rarest First and Choke Algorithms Are Enough
对等文件复制的性能主要取决于它的分片策略和对等点选择策略。BitTorrent协议引入了两种这样的策略:最稀有的优先算法和阻塞算法。虽然人们普遍承认BitTorrent表现良好,但最近的研究提出了替换最罕见的优先算法和阻塞算法,以提高效率和公平性。在本文中,我们使用的结果,从真正的实验主张,更换最罕见的第一和阻塞算法不能在互联网上的对等文件复制的上下文中是合理的。我们对BitTorrent客户端进行了测试,并对具有不同特征的真实种子进行了实验。我们的实验评估是面向对等体的,而不是面向跟踪器的,这使我们能够获得所有交换的消息和协议事件的详细信息。我们超越了仅仅观察这两种算法的良好效率。我们表明,最稀有的第一算法保证接近理想的多样性的作品同行之间。特别是,在我们的实验中,用源或网络编码解决方案替换最稀有的第一算法是不合理的。我们还表明,在其最新版本的阻塞算法促进互惠,是强大的搭便车。特别地,扼流算法是公平的,并且用比特级针锋相对的解决方案来替代扼流算法是不合适的。最后,我们确定了新的领域,有效的对等文件复制协议的改进。
2006-09-06 cs.NI
A Reliable Replication Strategy for VoD System using Markov Chain
在本文中,我们研究了视频点播系统的流的可靠性。本文的目标是最大限度地提高视频点播系统中的对等流的可用性。我们通过在对等体中使用数据复制技术实现了这一点。因此,我们提出了一种新的数据复制技术,以最佳地存储在同行的视频。与现有的随机、最小请求和最大命中等数据复制技术相比,新的数据复制技术可以产生更多的副本。我们还研究了通过应用CTMC模型的可靠性复制在对等失败。我们的结果表明,在各种情况下,副本的平均寿命更长。我们已经解决了实际问题的有效利用的整体带宽和缓冲区的VoD系统。我们取得了更大的成功播放视频的概率比现有的技术。
2009-12-05 cs.MM cs.NI
Spiral Walk on Triangular Meshes : Adaptive Replication in Data P2P Networks
我们引入了一个分散的复制策略,对等文件交换的基础上,在网络中的任何节点的邻居穷举探索。复制方案让副本均匀地填充网络网格,同时调节副本的总数。这是通过自适应进入或离开节点来实现的。详尽的探索是通过一个螺旋行走算法,生成的消息的数量线性正比于访问的节点的数量。它需要一个专用的拓扑结构(闭合曲面上的三角形网格)。我们介绍了节点连接和出发,保持三角形网格在低计算和带宽成本的协议。使用基于动态分配的超级节点的机制来提高搜索效率。最后,我们对实验验证结果进行了讨论。
2008-05-27 cs.DB cs.NI
A simpler load-balancing algorithm for range-partitioned data in peer-to-peer systems
随机散列是对等网络中平衡节点之间负载的标准方法。然而,散列破坏了对象键的局部属性,这是许多应用程序的关键属性,更具体地说,是那些需要范围搜索的应用程序。为了在保持负载平衡的同时保持密钥顺序,Ganesan、Bawa和Garcia-Molina提出了一种支持对象插入和删除的负载均衡算法,该算法使用恒定的摊销成本来保证网络中节点之间的最大和最小负载之间的比率为4.237。然而,他们的算法并不容易在真实网络中实现,因为它是递归的。他们的算法大多使用具有全局最大最小负载信息的局部操作。在这项工作中,我们提出了一个简单的非递归算法,基本上使用相同的原始操作,在Ganesan { \em等人}。的工作。我们证明,对于插入和删除,我们的算法保证了恒定的最大最小负载比为7.464与恒定的摊销成本。
2013-04-28 cs.DC cs.NI
Search techniques in peer to peer networks
对等(P2P)网络是互联网的IP网络的覆盖,并且它们可以通过参与分布式系统来塑造计算的未来,随着低价格个人计算机的使用的增加,以形成分布式系统的大集群。P2P网络和模型的一个重要问题是在网络中搜索数据,这些数据可以是使用这种网络的任何服务的基础。在这里,我们探讨了主要类型的P2P网络和他们的解决方案,这样一个问题,我们探讨的改进,发生在这些网络更有吸引力的商业用途,通过提供负载均衡,可扩展性,自组织和容错的功能。
2020-01-04 cs.NI
Understanding Content Placement Strategies in Smartrouter-based Peer CDN for Video Streaming
近年来出现了一种新的视频分发模式:基于智能路由器的对等视频内容分发网络,它由部署在用户家中的智能路由器实现。ChinaCache(中国最大的CDN提供商之一)和优酷(一家使用智能路由器辅助视频交付的视频提供商)于2015年宣布合作,以创建基于家庭网络资源的内容交付新模式。这种新的模式不同于传统的点对点(P2P)方法,因为数百万的专用智能路由器由集中式视频服务提供商以协调的方式操作。因此,研究基于智能流量计的内容交付系统中使用的内容放置策略及其对内容交付生态系统的潜在影响是有趣的。在本文中,我们对优酷的对等视频CDN进行了测量研究,该CDN已经部署了超过300K的智能流量计设备用于视频传输。在我们的测量研究中,研究了104K视频,并分析了4TB流量,这些流量来自受控的智能路由器节点和播放器。我们的测量见解如下。首先,全局内容复制策略对于对等CDN系统是必不可少的。其次,这种对等CDN部署本身可以形成用于端到端QoS监视的有效子系统,其可以用于细粒度的请求重定向(例如,用户级)和内容复制。我们还展示了我们对性能限制的分析,并对对等CDN系统提出了潜在的改进。
2016-05-26 cs.MM cs.NI
On client interactive behaviour to design peer selection policies for BitTorrent-like protocols
对等群集协议已被证明是非常有效的内容复制在互联网上。这一事实无疑促使人们提出建议,以适应这些协议,以满足点播流媒体系统的要求。这些建议中的绝大多数集中在修改片和对等选择策略,分别,原始协议。尽管如此,它是真实的,更多的注意力往往被给予了一块选择政策,而不是同行选择政策。在这种情况下,本文提出了一个简单的算法,作为基础的BitTorrent类协议的对等选择策略,考虑交互式的场景。为此,我们分析了客户端的交互行为时,访问真正的多媒体系统。该分析包括研究真实内容提供方的工作负载,并评估三个重要指标,即时间分散、空间分散和对象位置流行度。这些指标然后被用作编写算法的主要指导方针。据我们所知,这是第一次,客户端的交互行为被特别考虑到推导出一个算法的同行选择政策。最后,对本文的研究工作进行了总结,指出了该领域存在的主要问题和未来的研究方向。
2013-10-08 cs.NI
Replication of Virtual Network Functions: Optimizing Link Utilization and Resource Costs
网络功能虚拟化(NFV)使得能够将通常部署在专用硬件中的传统网络服务软件化为虚拟网络功能(VNF)形式的通用硬件,VNF可以灵活地位于网络中。然而,网络负载均衡对于VNF的有序序列(也称为服务功能链(SFC),当今常见的云和网络服务方法)可能是至关重要的。这些链式功能的放置增加了VNF之间的乒乓流量,直接影响带宽利用效率。这些VNF的放置的优化是一个挑战,因为还需要考虑其他因素,例如资源利用率。为了解决这个问题,我们研究了VNF放置与复制的问题,特别是VNF复制的潜力,以帮助负载平衡网络,同时服务器利用率最小化。在本文中,我们提出了一个线性规划(LP)模型的功能最优放置找到两个目标之间的权衡:链路利用率和CPU资源使用率的最小化。结果表明,该模型如何负载平衡的利用率在网络中使用最少的资源。
2017-02-23 cs.NI
PSMOA: Policy Support Multi-Objective Optimization Algorithm for Decentralized Data Replication
针对去中心化存储系统多组织环境下数据复制需兼顾多样策略的问题,提出新型策略支持多目标优化算法PSMOA,可动态适配多类需求并遵守约束,在两项指标上均优于NSGA-II和NSGA-III,验证了其创新性。
2025-05-21 cs.DC cs.NI
Content replication and placement in mobile networks
移动网络中内容访问的性能和可靠性取决于部署在网络节点处的内容副本的数量和位置。定位理论一直是传统的,集中的方法来研究内容复制:计算的数量和放置的副本在一个静态的网络可以被铸造成一个设施定位问题。本文的工作就是针对上述联合优化问题设计一个适合于移动无线环境的实用解决方案。因此,我们寻求一个复制算法,是轻量级的,分布式的,网络动态反应。我们设计了一个解决方案,让节点(i)共享存储和提供内容的负担,以实现负载均衡,和(ii)自主决定是否复制或丢弃的信息,以适应动态需求和时变的网络拓扑的内容可用性。我们通过模拟评估我们的机制,通过探索广泛的设置,包括不同的节点移动模型,内容特征和系统规模。此外,我们比较我们的机制,以国家的最先进的方法,在静态和移动网络中的内容交付。结果表明,我们的机制,它只使用本地测量,是:(i)非常精确的近似最佳解决方案的内容放置和复制;(ii)对网络的移动性鲁棒性;(iii)灵活地适应各种内容访问模式。此外,我们的计划优于其他方法的内容传播的内容访问延迟和访问拥塞。
2011-02-15 cs.NI
GeoQuorum: Load Balancing and Energy Efficient Data Access in Wireless Sensor Networks
在无线传感器网络(WSNs)中,当数据生产和消费严重不平衡以及数据查询的来源在空间和时间上分布时,所谓的网络内数据存储范式取代了传统的数据汇集范式。在本文中,我们首先介绍几何法定人数系统(以及它们的度量)来体现网络数据存储的思想。这些法定人数系统是“几何”的,因为曲线(而不是离散的节点集)被用来形成法定人数。然后,我们提出GeoQuorum作为一个新的法定人数系统,其中的法定人数形成曲线参数化。虽然我们的建议源于现有的工作,使用曲线来指导密集的无线传感器网络中的数据复制和检索,我们显着扩展这种设计方法,赋予GeoQuorum具有很大的灵活性,微调自己对不同的应用需求。特别是,可调性允许GeoQuorum大幅提高负载均衡性能,并在能源效率方面保持竞争力。我们的分析和模拟都证实了GeoQuorum带来的性能增强。
2011-01-05 cs.NI
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案,但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题,高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统(HDFS)是一个基于云的开源存储平台,旨在部署在低成本硬件中。通过增强复制管理机制,采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明,根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率,可以实现存储均衡。
2011-12-27 cs.DC cs.NI
Network Coding for Distributed Storage Systems
对等分布式存储系统通过互联网上节点上的冗余来提供对数据的可靠访问。一个关键目标是最大限度地减少用于维持冗余的带宽量。使用擦除码将文件存储在跨节点的片段中,与简单复制相比,需要更少的冗余,因此需要更少的维护带宽来提供相同的可靠性。然而,由于碎片必须定期更换节点故障,一个关键的问题是如何生成一个新的碎片在分布式的方式,同时在网络上传输尽可能少的数据。在本文中,我们介绍了一种通用的技术来分析存储体系结构,结合任何形式的编码和复制,以及提出了两个新的方案,用于保持冗余使用纠删码。首先,我们展示了如何直接从系统中现有的片段优化生成MDS片段。其次,我们引入了一个新的计划,称为再生码,使用稍大的片段比MDS,但具有较低的整体带宽使用。我们还通过模拟表明,在现实的环境中,再生码可以减少维护带宽使用的25%或以上,与以前最好的设计-复制和擦除码的混合-同时简化系统架构。
2007-02-02 cs.IT cs.NI math.IT
Broadcasting in Prefix Space: P2P Data Dissemination with Predictable Performance
广播模式可以利用高效的、可扩展的数据复制功能来增强对等覆盖网络,但是也可以在VPN类型的解决方案中产生虚拟链路层。我们引入了一个简单的广播机制,它在分布式哈希表的前缀空间中运行,而无需信令。本文主要研究前缀洪泛方案的性能分析。从简单的模型递归$k$ -ary树,我们分析得出的跳数和复制负载的分布。广泛的仿真结果进一步提出,在OverSim框架内的实现的基础上。比较画到Scribe,作为一个通用的参考模型组通信根据共享,renavivous点为中心的分布范式。前缀洪泛方案从而证实了其广泛可预测的性能,并在所有指标上始终优于Scribe。覆盖中的反向路径选择被认为是性能下降的主要原因。
2009-05-25 cs.NI cs.PF
A Lightweight Distributed Solution to Content Replication in Mobile Networks
移动网络中内容访问的性能和可靠性取决于部署在网络节点处的内容副本的数量和位置。设施定位理论一直是传统的,集中的方法来研究内容复制:计算网络中的副本的数量和位置可以被视为一个无容量限制的设施定位问题。这项工作的努力是设计一个分布式的,轻量级的解决方案,上述联合优化问题,同时考虑到网络动态。特别是,我们设计了一种机制,让节点分担存储和提供内容的负担,从而实现负载均衡,并决定是否复制或丢弃的信息,以适应动态的内容需求和时变的拓扑结构。我们评估我们的机制,通过模拟,通过探索广泛的设置和研究现实的内容访问机制,超越了传统的proptionmatching需求点,他们最接近的内容副本。结果表明,我们的机制,它只使用本地测量,是:(i)非常精确的近似的最佳解决方案的内容放置和复制;(ii)对网络移动性的鲁棒性;(iii)灵活地适应各种内容访问模式,包括变化的时间和空间的内容需求。
2009-09-10 cs.NI cs.PF
DistCache: Provable Load Balancing for Large-Scale Storage Systems with Distributed Caching
负载均衡对于分布式存储满足严格的服务级别目标(SLO)至关重要。已经表明,快速高速缓存可以保证集群存储系统的负载均衡。然而,当系统扩展到多个集群时,快速缓存本身将成为瓶颈。传统的缓存分区和缓存复制机制要么导致缓存节点之间的负载不平衡,要么为缓存一致性带来很高的开销。我们提出DistCache,一个新的分布式缓存机制,提供可证明的负载均衡的大规模存储系统。DistCache通过缓存拓扑和查询路由共同设计缓存分配。其核心思想是在不同层的缓存节点之间使用独立的哈希函数划分热对象,并使用二次选择的幂自适应路由查询。我们证明,DistCache使高速缓存的吞吐量线性增加的高速缓存节点的数量,通过统一的技术,从扩展图,网络流,排队论。DistCache是一种通用解决方案,可应用于许多存储系统。我们展示了DistCache的好处,提供设计,实施和评估的用例,新兴的基于交换机的缓存。
2019-02-14 cs.DC cs.NI
Social- and Mobility-Aware Device-to-Device Content Delivery
移动在线社交网络服务已经经历了快速增长,其中经由社交连接在用户之间传播的大量用户生成的社交媒体内容已经显著地挑战了传统的内容递送范例:首先,由于有限的带宽和存储容量,将由用户生成的所有内容复制到很好地"适配"接收器的边缘服务器变得困难。出于设备到设备(D2D)通信,允许用户与智能设备直接传输内容,我们建议复制带宽密集型的社交内容,在设备到设备的方式。基于对边缘网络区域中社交内容传播和用户移动模式的大规模测量研究,我们观察到:(1)设备到设备复制可以显著帮助用户从附近的相邻对等体下载社交内容;(2)社交传播和移动模式都影响内容应该如何被复制;(3)复制策略取决于区域特征({\em e.g.},用户如何跨区域移动)。使用这些测量的见解,我们提出了一个联合\emph{propagation- and mobility-aware}内容复制策略的边缘网络区域,其中社会内容分配给用户在边缘网络区域根据社会图,内容传播和用户移动性的联合考虑。跟踪驱动的实验进一步验证了该方案的优越性:与传统的纯移动和基于流行度的方法相比,该方案能够显著提高设备到设备复制成功交付的社交内容数量($2-4$倍).
2016-06-14 cs.MM cs.NI cs.SI
DDCCast: Meeting Point to Multipoint Transfer Deadlines Across Datacenters using ALAP Scheduling Policy
大型云计算公司管理着全球数十个使用专用数据中心间网络连接的数据中心。这些网络的一个重要应用是数据复制,其目的是通过制作备份副本提高弹性,使数据更接近用户以减少延迟和WAN带宽使用,以及全局负载均衡。这些复制通常会导致网络传输的截止日期,该截止日期决定了所有数据中心都应该拥有数据副本的时间。数据中心间网络容量有限,需要有效利用以最大限度地提高性能。在本报告中,我们重点关注在给定期限限制的情况下,将对象的多个副本从一个数据中心传输到多个数据中心的应用程序。现有的解决方案要么是最后期限不可知的,要么只考虑点对点传输。我们提出了DDCCast,一个简单而有效的最后期限感知点到多点技术的基础上DCCast和使用Aesthetic流量分配。DDCCast使用时间规划执行仔细的准入控制,使用速率分配和速率限制来避免拥塞,并通过精心选择的转发树发送流量,以减少带宽使用并最大限度地提高最后期限满足率。我们进行实验,确认DDCCast的潜力,以减少总带宽使用量高达$45\%$,同时承认高达$25\%$更多的流量到网络相比,现有的解决方案,保证最后期限。
2017-07-07 cs.NI
Hierarchical Optimization of Metaheuristic Algorithms and Federated Learning for Enhanced Capacity Management and Load Balancing in HetNets
本研究提出一种融合元启发式算法、神经网络优化与联邦学习的层次化框架,用于异构网络容量管理与负载均衡,通过动态副本分配和开关控制优化频谱效率与遍历容量,仿真验证了其降低中断概率、提升权衡性能的优势。
2023-12-21 cs.NI eess.SP
In-Network Redundancy Generation for Opportunistic Speedup of Backup
擦除编码是一种替代复制的高效存储方法,用于在分布式存储系统中实现可靠的数据备份。在存储过程中,传统的纠删码需要一个唯一的源节点来创建并上传所有冗余数据到不同的存储节点。然而,这样的源节点可能具有有限的通信和计算能力,这限制了存储过程的吞吐量。此外,源节点和不同的存储节点可能不能同时发送和接收数据--例如,节点在数据中心环境中可能很忙,或者在对等环境中可能只是离线--这会进一步威胁到整个存储过程的效率。在本文中,我们提出了一个“在网络中”的冗余生成过程,通过允许存储节点之间交换部分信息,以产生新的冗余数据,提高存储过程的吞吐量的源和存储节点之间的数据插入负载分布。该过程是异步执行的,利用来自存储节点的空闲带宽和计算资源。所提出的方法利用新提出的擦除码为分布式存储系统的需求量身定制的本地可修复性属性。我们分析表明,这种技术的性能依赖于一个有效的利用空闲节点资源,我们推导出一组调度算法,以最大限度地提高相同的。我们的实验表明,使用真实的对等应用程序的可用性跟踪以及谷歌数据中心的可用性和工作负载跟踪,我们的算法可以,根据环境的特点,显着增加存储过程的吞吐量(高达90%的数据中心,和60%的对等设置)相对于经典的天真的数据插入方法。
2013-02-19 cs.DC cs.IT cs.NI
A Holistic Approach to Information Distribution in Ad Hoc Networks
我们调查的问题,在一个无线ad hoc网络的机制,包括对等模式的信息内容的传播。在我们的愿景中,信息传播应该满足以下要求:(i)它符合预定义的分布,(ii)它由所有节点轮流均匀和公平地进行。在本文中,我们观察的传播效果时,信息移动节点根据两个著名的移动模型,即随机行走和随机方向。我们的方法是完全分布式的,并且在协议开销方面具有非常低的成本;此外,仿真结果表明,所提出的解决方案可以在不同的网络场景下实现上述目标,前提是将足够数量的信息副本注入网络。这一观察需要进一步的步骤:在现实的情况下,用户的内容需求随时间而变化,我们需要一个内容复制/丢弃策略,以适应信息副本的数量的变化,在信息查询率。因此,我们设计了一个分布式的,轻量级的计划,在各种情况下有效地执行。
2009-01-13 cs.NI cs.PF
MODAIC: Coordinated Asynchrony for Decentralized Multimodal Learning
Stony Brook University(石溪大学);New York University(纽约大学);New York Institute of Technology(纽约理工学院)
针对多模态去中心化学习的耦合瓶颈,提出MODAIC无等待系统,通过分层异步等机制优化,在AVE、KU-HAR等数据集上提升了多模态最差智能体准确率,缩短了云平台的达标时间。
2026-10-14 cs.DC cs.NI
A Private IPFS Data Sanctuary for Verifiable Digital Collection Objects
ELIO – Experimental Laboratory for Innovation in Object Digitalization, Museum für Naturkunde Berlin (MfN)(柏林自然博物馆(MfN)- 对象数字化创新实验实验室(ELIO))
本研究在柏林自然博物馆部署私有IPFS系统,实现内容寻址的采集数据暂存,验证了分布式存储支持可验证数字馆藏对象及GLAM机构联邦存储的可行性。
2026-10-07 cs.DC cs.NI