Can Realistic BitTorrent Experiments Be Performed on Clusters?
网络延迟和数据包丢失被认为是一个重要的要求,现实的评估对等网络协议。专用集群(如Grid'5000)不提供Internet中存在的各种网络延迟和数据包丢失率。然而,与在PlanetLab等测试平台上进行的实验相比,在专用集群上进行的实验是可重复的,因为计算资源不共享。在本文中,我们进行实验,研究网络延迟和数据包丢失对使用BitTorrent下载文件所需时间的影响。在我们的实验中,我们观察到当我们将任何两个对等点之间的往返时间从0 ms增加到400 ms时,下载文件所需的时间增加不到15%,并且数据包丢失率从0%增加到5%。我们的主要结论是,底层网络延迟和数据包丢失对使用BitTorrent下载文件所需的时间有轻微影响。因此,专用集群,如网格'5000可以安全地用于执行现实和可重复的BitTorrent实验。
2010-06-23 cs.NI
Modeling and Control of Rare Segments in BitTorrent with Epidemic Dynamics
尽管现有的激励措施leecher合作,BitTorrent文件共享基本上依赖于种子同行的存在。播种者对等体基本上在BitTorrent激励机制之外运行,但有两个警告:缓慢的下行链路会导致“临时”播种者数量的增加(他们离开了控制台,但当他们返回时会终止他们的播种者角色),以及文件分割为永久播种者提供的版权责任福利。使用两部分BitTorrent群的简单流行病模型,我们重点关注BitTorrent规则,首先传播(本地)最稀有的片段。与我们的模型,我们表明,稀有段第一规则最大限度地减少过渡时间播种(完整的文件采集),并均衡稳定状态下的段人口。我们讨论如何替代传播规则可能{ \em有益地增加}文件采集时间,导致水蛭留在系统中更长的时间(特别是作为临时种子)。其结果是,吸血鬼被进一步引诱合作。这消除了稀有片段灭绝的威胁,而稀有片段灭绝的威胁是通过永久播种者的存在来防止的。我们的模型使我们能够研究相应的性能改进之间的权衡,负载的永久播种机,和内容的可用性,我们留给未来的工作。最后,解释两段模型,一个涉及一个罕见的段和一个“集总”段代表其余的,我们研究了一个模型,共同考虑控制罕见的段和不同的上行链路造成“窒息”,高上行链路同行将不会从事某些交易与低上行链路同行。
2013-06-13 cs.NI
BitTorrent Sync: Network Investigation Methodology
大多数互联网用户发现自己积累的个人信息和数据量不断增加,现代世界的快节奏导致大多数人需要即时访问他们的文件。数以百万计的这些用户转向基于云的文件同步服务,如Dropbox,Microsoft Skydrive,Apple iCloud和Google Drive,以便从任何连接互联网的计算机或移动终端“始终在线”访问他们的最新数据。最近媒体上关于各种侵犯隐私问题和数据保护漏洞的文章的流行,使许多人重新审视他们的个人信息在线安全实践。为了提供基于云的文件备份和同步的替代方案,BitTorrent Inc.在2013年4月发布了一个替代的无云文件备份和同步服务,名为BitTorrent Sync。BitTorrent Sync的受欢迎程度在2013年急剧上升,到年底活跃用户超过200万。本文概述了一些情况下,网络调查的服务可能证明是宝贵的数字取证调查的一部分。提出了一种调查方法,概述了从网络中检索数字证据所需的步骤,并提出了概念验证调查的结果。
2014-09-30 cs.CR cs.NI
Availability of titles on peer-to-peer file sharing networks
据报道,文件共享,通常涉及版权可能持续存在的视频或音频材料,并使用BitTorrent等对等(P2P)网络,构成了互联网流量的大部分。搭便车的问题出现在这种“数字礼物经济”中,但其用户表现出理性的行为,受到特定网络的特点。对互联网作为娱乐传送渠道的高需求突出了了解这一市场动态的重要性,特别是在考虑未来定价或许可证制度以及提供网络容量以支持未来服务的可能商业模式时。文件共享网络上的特定标题的可用性是本文的重点,特别强调P2P协议BitTorrent。本文将BitTorrent提供的激励措施与包括文件托管在内的其他文件共享社区提供的激励措施进行了比较,并讨论了社区在任何特定时间提供的标题数量,重点是法律地位模糊的流行视频项目。
2012-09-17 cs.NI
Network investigation methodology for BitTorrent Sync: A Peer-to-Peer based file synchronisation service
高可用性不再仅仅是业务连续性问题。用户越来越依赖于以不断增加的量消费和产生数据的设备。一种流行的解决方案是拥有一个中央存储库,每个设备在集中管理的身份验证后都可以访问该存储库。基于云的文件同步服务(如Dropbox、OneDrive、Google Drive和Apple iCloud)为这种使用模式提供了便利。云架构允许通过“始终在线”访问来配置存储空间。最近对未经授权访问第三方系统和大规模暴露私人数据的担忧使得替代解决方案变得可取。这些事件促使用户评估自己的安全实践以及对第三方存储服务的信任程度。一个选项是BitTorrent Sync,一个无云同步实用程序提供数据可用性和冗余。此实用程序将存储在共享中的文件复制到远程对等方,其访问由密钥和权限控制。虽然缺乏规模带来的经济效益,但对数据访问的完全控制使其成为一种流行的解决方案。在没有监督的情况下复制数据的能力带来了用户滥用的风险以及法医调查人员的困难。本文提出了一种方法,调查和分析的协议,以协助控制跨安全边界的数据流。
2015-06-03 cs.CR cs.NI
Building Better Incentives for Robustness in BitTorrent
BitTorrent是一种广泛部署的点对点文件传输协议,采用鼓励合作的“以牙还牙”机制。不幸的是,节点在完成下载文件后几乎没有动力为它们的对等节点提供利他服务,并且利他主义可以被像比特暴君这样的激进客户端利用。这种利他主义,称为播种,总是有益的,有时是必不可少的BitTorrent的现实世界的表现。我们提出了一个新的长期激励机制,在BitTorrent,以鼓励同行种子,我们通过模拟评估其有效性。我们表明,当运行我们的算法的节点奖励彼此在以前的群体中的良好行为,他们的经验,在下载时间比未奖励的节点多达50%的改善。即使像BitTyrant这样的激进客户端加入了集群,我们的奖励节点仍然优于它们,尽管幅度较小。
2011-08-12 cs.GT cs.NI
Understanding the evolution of multimedia content in the Internet through BitTorrent glasses
今天的互联网流量主要由多媒体内容主导,预测这一趋势将在未来加剧。因此,主要的互联网参与者,如ISP,内容交付平台(例如Youtube,Bitorrent,Netflix等)或CDN运营商,需要了解多媒体内容可用性和流行度的演变,以便调整其基础设施和资源,以满足客户的要求,同时最大限度地降低成本。本文对BitTorrent中多媒体内容的演变进行了深入的分析。具体来说,我们分析了不同内容类别的四个相关指标的演变:内容可用性,内容流行度,内容大小和用户反馈。为此,我们利用了一个大规模的数据集,该数据集由2009年11月至2012年2月期间从最受欢迎的BitTorrent门户网站(即海盗湾)收集的4个快照组成。总的来说,我们的数据集由超过16万的内容组成,吸引了超过1.85亿的下载会话。
2017-05-01 cs.MM cs.NI
BitTorrent Sync: First Impressions and Digital Forensic Implications
随着专业和家庭互联网用户越来越关注数据保护和隐私,Dropbox、OneDrive和Google Drive等流行的云文件同步服务提供的隐私正受到媒体的密切关注。据报告,其中一些机构最近在没有逮捕证的情况下与政府安全机构分享情报。BitTorrent Sync被许多人视为替代品,截至2013年12月,它已经聚集了超过200万用户(比上个月翻了一番)。该服务是完全分散的,提供与云服务相同的同步功能,并利用加密进行数据传输(以及可选的远程存储)。了解BitTorrent Sync及其对执法和法医调查人员的数字调查影响的重要性对未来的调查至关重要。本文概述了客户端应用程序,其检测到的网络流量,并确定文物,可能是有价值的证据,为未来的数字调查。
2014-09-29 cs.CR cs.NI
Rarest First and Choke Algorithms Are Enough
对等文件复制的性能主要取决于它的分片策略和对等点选择策略。BitTorrent协议引入了两种这样的策略:最稀有的优先算法和阻塞算法。虽然人们普遍承认BitTorrent表现良好,但最近的研究提出了替换最罕见的优先算法和阻塞算法,以提高效率和公平性。在本文中,我们使用的结果,从真正的实验主张,更换最罕见的第一和阻塞算法不能在互联网上的对等文件复制的上下文中是合理的。我们对BitTorrent客户端进行了测试,并对具有不同特征的真实种子进行了实验。我们的实验评估是面向对等体的,而不是面向跟踪器的,这使我们能够获得所有交换的消息和协议事件的详细信息。我们超越了仅仅观察这两种算法的良好效率。我们表明,最稀有的第一算法保证接近理想的多样性的作品同行之间。特别是,在我们的实验中,用源或网络编码解决方案替换最稀有的第一算法是不合理的。我们还表明,在其最新版本的阻塞算法促进互惠,是强大的搭便车。特别地,扼流算法是公平的,并且用比特级针锋相对的解决方案来替代扼流算法是不合适的。最后,我们确定了新的领域,有效的对等文件复制协议的改进。
2006-09-06 cs.NI
An Analysis of BitTorrent Cross-Swarm Peer Participation and Geolocational Distribution
近年来,对等(P2P)文件共享变得越来越流行。据报道,2012年,P2P流量每月消耗超过5,374 PB,约占消费者互联网流量的20.5%。电视是海盗湾(世界上最大的BitTorrent索引网站)上流行的内容类型。本文对当前最流行的盗版电视剧的集群现象进行了分析。这项数据收集工作的目的是列举在不同的地理位置级别的同行分布,测量的时间趋势的群,并发现跨群同行参与的数量。包含未经授权分发此内容所涉及的同行相关信息的快照被高频率地收集,从而导致更准确的总体参与情况。在整个网络监测过程中收集的数据量超过2 TB。所提出的分析和结果可以帮助网络使用预测,带宽配置和未来的网络设计。
2014-09-29 cs.CY cs.NI
Porting nTorrent to ndnSIM
BitTorrent是一种流行的点对点文件共享通信协议。它使用以数据为中心的方法,其中数据是分散的,对等体相互请求文件的片段。这个过程的各个方面类似于命名数据网络(NDN)架构,但完全是在TCP/IP网络之上的应用程序级别实现的。nTorrent是基于NDN的点对点文件共享应用程序。该项目的目标是将应用程序移植到ndnSIM上,以便进行模拟和测试。
2018-04-14 cs.NI
IPFS - Content Addressed, Versioned, P2P File System
InterPlanetary文件系统(IPFS)是一种对等分布式文件系统,旨在将所有计算设备与同一文件系统连接起来。在某些方面,IPFS类似于Web,但IPFS可以被视为单个BitTorrent群,在一个Git存储库中交换对象。换句话说,IPFS提供了一个高吞吐量的内容寻址块存储模型,具有内容寻址的超链接。这形成了一个广义的Merkle DAG,一个数据结构,人们可以在其上构建版本化的文件系统,区块链,甚至是永久网络。IPFS结合了分布式哈希表,激励块交换和自认证命名空间。IPFS没有单点故障,节点不需要相互信任。
2014-07-14 cs.DC cs.NI
Routing and Forwarding in nTorrent using ndnSIM
BitTorrent是一种流行的点对点文件共享通信协议。它使用以数据为中心的方法,其中数据是分散的,对等体相互请求文件的片段。这个过程的各个方面类似于命名数据网络(NDN)架构,但完全是在TCP/IP网络之上的应用程序级别实现的。nTorrent是基于NDN的点对点文件共享应用程序。本项目的目标是将应用程序移植到ndnSIM上,并说明路由和转发的效果。
2018-06-22 cs.NI
Multi-Hop Communication for nTorrent in a Wireless Ad Hoc Environment
nTorrent是一个类似BitTorrent的应用程序,基于NDN(命名数据网络)。临时环境对对等体之间的文件传播带来了额外的挑战。我们遇到的一些问题是,并非所有邻居或环境中的对等体都运行nTorrent应用程序或需要相同的torrent文件。这些问题导致nTorrent兴趣无法处理或阻止对等方下载其所需的Torrent文件。为了解决这个问题,我实现了纯转发节点,这些节点代表不运行nTorrent应用程序的对等节点,并扩展了原始的nTorrent应用程序,使其能够转发除自己所需的torrent文件之外的torrent文件的兴趣。对于该项目,该解决方案能够通过环境中存在的所有节点促进多跳通信,无论它们是否运行nTorrent。
2019-02-03 cs.NI
A Peer-to-Peer Browsable File Index using a Popularity Based Global Namespace
使用分散的对等(P2P)系统分发文件比集中式方法具有显着优势。然而,更难的是确定文件共享的最佳方法。大多数文件共享系统基于查询字符串搜索,导致相对简单但效率低下的广播,或者导致结构化环境中高效但相对复杂的索引。在本文中,我们使用一个可浏览的对等文件索引组成的文件作为目录节点,互连形成一个目录网络。我们实现了基于BitTorrent和Kademlia的系统。目录网络继承了分散化的所有优点,并提供可浏览的高效搜索。为了避免P2P系统中用户之间的冲突,同时也不施加额外的限制,我们允许每个目录节点的多个版本同时存在-使用流行度作为默认浏览行为的基础。用户可以自由地向网络添加文件和目录节点。我们表明,使用模拟的用户行为和文件质量,基于流行度的系统始终导致用户到一个高质量的目录网络,高于平均质量的用户更新。Q
2007-01-30 cs.DC cs.NI
Stable, scalable, decentralized P2P file sharing with non-altruistic peers
University of California Berkeley(加州大学伯克利分校);VTT Technical Research Centre of Finland(芬兰技术研究中心)
针对P2P文件共享中的稀有块问题,提出一种基于近似稀有块规则的完全分布式系统,在非利他节点和种子最小贡献条件下实现可扩展性和稳定性。
2011-07-15 cs.DC cs.NI cs.SI
Evaluation of Availability of Initial-segments of Video Files in Device-to-Device (D2D) Network
我们提出了一种新的缓存概念,在设备到设备(D2 D)网络中的无线节点可以缓存流行的视频文件的初始段,并可以共享给用户在他们附近的请求。我们称这种方法为Bootstrapping-D2 D(B-D2 D)系统。我们的研究结果表明,只缓存初始段创建一个大的池的流行文件,从而提高了概率的可用性的初始段附近的请求用户。我们提出的B-D2 D系统是基于一种流行的聚类算法,称为基于密度的空间聚类的应用程序与噪声(DBSCAN),分组的用户到密集和任意形状的集群的基础上两个预定义的阈值。然后,我们制定一个优化问题,以最大限度地提高请求无线设备的传输范围内的初始段的可用性的概率。仿真结果表明,缓存的初始视频片段,可以大大提高用户附近的片段的可用性,而不需要任何额外的硬件基础设施成本,和D2 D服务可以用来提供视频内容,在蜂窝网络中具有较低的启动延迟。
2017-10-19 cs.NI
Optimal Scheduling of Peer-to-Peer File Dissemination
诸如BitTorrent和Avalanche的对等(P2P)覆盖网络越来越多地用于经由因特网将潜在的大文件从服务器传播到许多终端用户。其关键思想是将文件分成许多大小相等的部分,然后让用户下载每个部分(或者,对于诸如Avalanche的基于网络编码的系统,部分的线性组合)从服务器或者从已经下载了它的另一个用户。它们的性能评估通常限于将一个系统与另一个系统进行比较,并且通常通过仿真来实现,测量.相比之下,我们提供了一个分析性能分析,是基于一个新的上行链路共享版本的著名的广播问题。假设相等的上传能力,我们表明,传播文件的最小时间是相同的同时发送/接收版本的广播问题。对于一般的上传能力,我们提供了一个混合整数线性规划(MILP)的解决方案和补充液限解决方案。因此,我们提供了一个下限,可以用作任何P2P文件分发系统的性能基准。我们还研究了分散策略的性能,提供证据表明,分散的P2P文件传播系统的性能应该接近这个界限,因此,它在实践中是有用的。
2006-06-30 cs.DS cs.NI math.OC
Back To The Future: On Predicting User Uptime
用户连接模式的相关性通常被认为是系统设计者的问题,因为它会导致需求高峰,也会导致对等应用的资源稀缺。硬币的另一面是,这些连接模式通常是可预测的,并且在某种程度上可以主动处理。在这项工作中,我们构建预测器,旨在确定任何给定用户在未来任何给定时间在线的概率。我们评估这些预测的质量,从即时消息和文件共享应用程序的各种大的痕迹。我们还说明了如何可用性预测可以应用到增强对等应用程序的行为:我们通过模拟显示如何数据可用性大大增加了分布式哈希表简单地通过调整数据放置策略,根据同行的可用性预测,而不需要任何额外的存储从任何同行。
2010-10-04 cs.NI
`Q-Feed' - An Effective Solution for the Free-riding Problem in Unstructured P2P Networks
本文提出了一种解决方案,以减少在分散的非结构化P2P网络中的搭便车的不良影响。提出了一种自治复制方案,以提高系统的可用性和性能。Q学习被广泛应用于不同的情况下,以提高每个节点决策的准确性。基于对等体的邻居的表现,每个邻居被授予不同级别的等级。同时,允许低性能节点以不同的方式提高其排名。仿真结果表明,基于Q学习的搭便车控制机制有效地限制了搭便车者获得的服务,也鼓励低性能的邻居改善他们的位置。流行的文件被自主复制到具有所需参数的节点。由于流行文件数量的这种改进,免费搭车者有机会提升他们的地位,积极参与网络共享文件。Q-feed有效地管理来自搭便车者的查询,并显著减少网络流量
2010-06-05 cs.NI
Non-local redundancy: Erasure coding and dispersed replicas for robust retrieval in the Swarm peer-to-peer network
本文研究 Swarm 点对点网络中通过纠删码与跨邻域分散副本实现非局部冗余,以提升数据可用性和鲁棒检索能力,并提出多种检索策略。
2024-09-02 cs.NI
Review of Replication Schemes for Unstructured P2P Networks
为了提高非结构化P2P系统性能,人们希望最大限度地减少必须探测的对等体数量,以缩短搜索时间。解决这个问题的一个方法是采用一个复制方案,它提供了高命中率的目标文件。复制还可以提供负载均衡,并在大量用户访问文件时减少访问延迟。本文简要介绍了各种复制方案,已出现在文献中,并重点介绍了一种新的复制技术,称为Q-复制,以提高非结构化P2P网络中的对象的可用性。Q-复制技术通过广泛采用Q-学习概念,基于对象流行度和站点选择逻辑将对象自主复制到合适的站点。
2009-12-29 cs.DC cs.NI
Study of Peer-to-Peer Network Based Cybercrime Investigation: Application on Botnet Technologies
对等(P2P)互联网协议和网络的可扩展、低开销属性很容易被犯罪分子利用来执行大范围的网络犯罪。由P2P技术辅助的犯罪类型包括侵犯版权、共享非法儿童图像、欺诈、黑客/破解、拒绝服务攻击以及通过使用各种蠕虫、僵尸网络、恶意软件、病毒和P2P文件共享传播病毒/恶意软件。该项目的重点是研究活跃的P2P节点,以及分析许多大型非结构化网络中使用的未记录的通信方法。这是通过设计和实现一个有效的P2P监测和爬行工具集。调查基于P2P的系统的要求并不限于上面列出的更明显的网络犯罪,因为许多合法的基于P2P的应用程序也可能与数字取证调查有关,例如,IP语音,即时消息等。由于网络拓扑的广泛范围以及基于P2P的应用程序的不断增加和发展,调查这些网络变得越来越困难。在这项工作中,我们介绍了通用的P2P网络调查框架(UP 2 PNIF),一个框架,使新发现的P2P网络,通过利用P2P网络功能的共性显着更快,劳动密集型的调查。结合已知网络特征的参考数据库,可以设想,任何已知的P2P网络可以立即使用该框架进行调查,这可以智能地确定最佳的调查方法,并大大加快证据收集过程。开发了一个概念验证工具,用于对BitTorrent网络进行调查。
2017-12-10 cs.CR cs.NI