Coding techniques may be useful for data center data survivability as well as for reducing traffic congestion. We present a queued cross-bar network (QCN) method that can be used for traffic analysis of both replication/uncoded and coded storage systems. We develop a framework for generating QCN rate regions (RRs) by analyzing their conflict graph stable set polytopes (SSPs). In doing so, we apply recent results from graph theory on the characterization of particular graph SSPs. We characterize the SSP of QCN conflict graphs under a variety of traffic patterns, allowing for their efficient RR computation. For uncoded systems, we show how to compute RRs and find rate optimal scheduling algorithms. For coded storage, we develop a RR upper bound, for which we provide an intuitive interpretation. We show that the coded storage RR upper bound is achievable in certain coded systems in which drives store sufficient coded information, as well in certain dynamic coding systems. Numerical illustrations show that coded storage can result in gains in RR volume of approximately 50%, averaged across traffic patterns.
Price of Precision in Coded Distributed Matrix Multiplication: A Dimensional Analysis
编码的分布式矩阵乘法(CDMM)方案(例如MatDot码)寻求将矩阵乘法任务分布到一组$N$分布式服务器的有效方式,使得从任何$R$服务器返回的答案足以恢复期望的乘积。例如,为了计算矩阵${\bf U, V}$的乘积,MatDot代码将每个矩阵划分为$p>1$子矩阵以创建较小的编码计算任务,其通过$1/p$减少每个服务器处的上传/存储,使得可以从由任何$R=2p-1$服务器返回的答案恢复${\bf UV}$。CDMM中的一个重要关注点是降低给定存储/上传约束的恢复阈值$R$。最近,Jeong等人引入了近似MatDot(AMD)码,其被示出为将恢复阈值从$2p-1$提高到$p$,提高了接近$2$的因子。激励我们工作的一个关键观察是,近似计算所需的存储/上传不仅取决于分配给每个服务器的(编码)子矩阵的维度,但也对他们的精度水平-一个关键方面,是没有探讨的Jeong等人。我们的主要贡献是一个维度分析AMD代码的启发下,广义自由度(GDOF)框架先前开发的无线网络,这表明,对于相同的上传/存储,一旦考虑到任务分配的精度水平,AMD代码令人惊讶地在所有方面都达不到甚至是将全部计算任务分配给每个服务器的平凡复制方案。实际上,平凡复制方案具有比AMD码好得多的$1$恢复阈值、更好的下载成本、更好的计算成本和更好的编码/解码(不需要)复杂度。简单的数值实验支持量纲分析。
Coded Data Rebalancing for Distributed Data Storage Systems with Cyclic Storage
Departamento de Matemática, Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院数学系);Instituto de Telecomunicações(电信研究所);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);Indian Institute of Science, Bengaluru(班加罗尔印度理工学院);Qualcomm, Hyderabad(高通(海得拉巴))
Faster Data-access in Large-scale Systems: Network-scale Latency Analysis under General Service-time Distributions
在具有大量服务器的云存储系统中,文件通常不存储在单个服务器中。相反,它们被拆分、复制(以确保在服务器故障时的可靠性)并存储在不同的服务器中。我们分析了这样一个分裂和复制的云存储系统的平均延迟下一般的次指数服务时间。我们提出了一种新的调度方案,利用负载平衡策略的\textit{power of $d$ $(\geq 2)$}的选择。分割和复制的替代方案是使用擦除码,最近,已经观察到它们可以减少数据访问中的延迟(有关详细信息,请参见\cite{longbo_delay})。我们认为,在高冗余(整数冗余因子严格大于或等于2)制度下,编码系统的平均延迟是上界的分裂和复制系统(具有相同的复制因子),这两者之间的差距是小的。我们验证了这一说法在不同的服务分布,如指数,移位加指数和重尾Weibull分布下的数值和比较的平均延迟的unsplit-replicated系统。我们观察到,编码系统优于未分割复制系统至少$20\%$。此外,我们认为,平均延迟的纠删编码系统具有低冗余(分数冗余因子1和2之间),这是一个更务实的情况下,给定的存储约束(\cite{rashmi_thesis})。然而,在这种制度下,我们限制自己的特殊情况下,指数的服务时间分布,并使用随机负载均衡策略,即\textit{batch-sampling}。我们得到的上界平均延迟,取决于顺序统计的队列长度,其中,我们进一步平滑通过离散…