Distributed-memory Algorithms for Sparse Matrix Permutation, Extraction, and Assignment
Wake Forest University(维克森林大学)
本文提出基于识别-交换-构建策略的分布式内存算法,用于稀疏矩阵置换、提取和分配,通过减少通信和采用无同步多线程计算,在性能上优于CombBLAS和PETSc等现有库。
2025-09-25 cs.DC cs.MS
Data-Locality-Aware Task Assignment and Scheduling for Distributed Job Executions
针对无未来作业到达先验信息的分布式作业执行,本文提出OBTA、扩展WF并设计RD启发式与最短预估时间优先排序,以降低作业完成时间和计算开销。
2025-07-27 cs.DC
Task Assignment in Distributed Systems based on PSO Approach
在分布式系统中,任务分配问题(TAP)是影响系统效率的关键因素. TAP说明了任务到每台计算机的处理器的适当分配。在这个问题中,到目前为止所提出的方法试图最小化Makespan并最大化CPU利用率。由于该问题是NP完全问题,许多遗传算法被提出来从整个解空间搜索最优解。现有的方法忽略了可以降低优化复杂度的技术,而是扫描整个解空间。另一方面,这种方法是耗时的调度,这被认为是一个缺点。因此,本文提出了一种混合遗传算法来克服这一缺点。将粒子群优化算法(PSO)作为局部搜索算法应用于遗传算法中。仿真结果表明,该方法在CPU利用率和最大生存时间方面优于基于遗传算法的方法。
2021-11-30 cs.DC
Improving Lower Bounds for the Quadratic Assignment Problem by applying a Distributed Dual Ascent Algorithm
将重构线性化技术(RLT)应用于二次指派问题(QAP),会导致一个维数很大的紧线性松弛问题,难以求解。以往的工作中发现的文献表明,这些松弛与分支定界算法相结合属于国家的最先进的精确方法的QAP。对于级别3 RLT(RLT 3),由于存储器限制,在具有多于22个位置的实例的常规机器中禁止使用该松弛。本文提出了一种分布式版本的双上升算法的RLT 3 QAP松弛,近似解决了它的实例与多达30个位置的第一次。虽然,基本上,分布式算法已经实现了其顺序的conterpart顶部,一些变化,这不仅提高了并行性能,而且解决方案的质量,在这里提出。与文献中的其他下界方法相比,我们的算法为28个测试实例中的26个实例生成了最佳下界,其中18个实例达到了最佳解。
2013-04-01 cs.DC
Task swapping networks in distributed systems
A.I. Research Co.(人工智能研究公司)
在本文中,我们提出了任务交换网络的任务重新分配,在分布式系统中使用任务交换。在分布式系统中,软件代理之间的迭代局部任务交换可以实现某些类型的任务重分配。我们使用群论的方法来找到一个最小长度的序列相邻的任务交换需要从源任务分配到目标任务分配在一个任务交换网络的几个众所周知的拓扑结构。
2013-12-05 cs.AI cs.DC cs.NI
A Local-Ratio-Based Power Control Approach for Capacitated Access Points in Mobile Edge Computing
终端设备(TD)通过集成到边缘服务器中的接入点(AP)连接到网络。这为TD将任务上传到云数据中心或卸载到边缘服务器执行提供了先决条件。在这个过程中,信号覆盖、数据传输和任务执行都要消耗能量,信号覆盖的能耗随着半径的增大而急剧增加。较低的功率导致在给定时间段内的较少的能量消耗。因此,AP的功率控制对于降低能耗至关重要。我们的目标是确定功率分配为每个AP具有相同的容量约束,使所有的TD被覆盖,总功率最小化。我们定义这个问题为一个\emph{minimum power capacitated cover }(MPCC)的问题,并提出了一个\emph{minimum local ratio}(MLR)的功率控制方法,这个问题在多项式时间获得准确的结果。权力分配是在一系列回合中选择的。在每一轮中,我们选择功率分配,使其功率与其包含的当前未覆盖TD的数量之比最小化。在平局的情况下,我们选择实现最小比率的任意功率分配。我们继续选择功率分配,直到覆盖所有TD。最后通过实验验证了该方法的有效性。
2022-07-31 cs.DC cs.NI
Hierarchical Secure Distributed Linearly Separable Computation with Arbitrary Heterogeneous Data Assignment
Technical University of Berlin(柏林工业大学)
本文针对三层分层网络中的安全分布式线性可分计算,提出一种容忍用户掉线与串通的方案,在Kc=1时实现最优或阶最优通信速率,并扩展至Kc>1的多维任务。
2026-09-30 cs.DC
Multi-Tier Adaptive Memory Programming and Cluster- and Job-based Relocation for Distributed On-demand Crowdshipping
随着电子商务的快速增长,按需城市交付的时间很长,特别是食品,杂货和零售,通常需要在下订单后很短的时间内交付。这给传统的车辆运输方法带来了重大的财务和业务挑战。众包,雇用普通人与低工资率和有限的时间可用性,已成为一个有吸引力的替代方案。本文提出了一种多层自适应内存编程(M-TAMP),以解决按需分配的请求与空间分布的请求的起源和目的地和众包的起点众包。M-TAMP从多个初始解决方案开始,这些解决方案是基于向众包分配请求时的不同合理假设构建的,并通过波浪、阶段和步骤来组织解决方案搜索,模仿海浪和人类记忆功能,同时寻求最佳解决方案。通过主动地重新定位空闲众包来进一步执行分配,为此设计了计算高效的基于集群和作业的策略。数值实验表明,MTAMP优于一些现有的方法,和搬迁可以大大提高众包请求分配的效率。
2021-05-14 cs.DC math.OC
A Paradigm for Channel Assignment and Data Migration in Distributed Systems
在这篇手稿中,我们考虑在无线网络中的信道分配和异构存储系统中的数据迁移的问题。我们表明,软边着色的方法,这两个问题提供了严格的近似保证。在无线网络中出现的信道分配问题中,如果分配给它们的信道相同,则与顶点关联的一对边被称为冲突。我们的目标是分配通道(颜色边缘),以便最小化冲突的数量。该问题是NP-困难的减少边着色,我们提出了两种组合算法。第一个算法是基于分布式贪婪算法的,它给出的解最多比最优解有$2(1-\frac{1}{k})|E|$更多的冲突.第二个算法是$1 + \frac{|V|}{|E|}$,它给出了稠密图的($1 + o(1)$)-因子,并且是最好的可能,除非P = NP.我们还考虑了异构存储系统中的数据迁移问题。在这样的系统中,可能需要随着时间的推移重新配置数据布局以用于负载均衡或者在系统故障/升级的情况下重新配置数据布局。将数据尽快迁移到目标位置以获得系统的最佳性能至关重要。以前的大多数数据迁移结果都假设每个存储节点一次只能执行一次数据传输。然而,存储设备往往具有异构能力,因为由于存储需求的增加,设备可能随着时间的推移而增加。我们开发的算法,以尽量减少数据迁移时间。我们表明,它是可能找到一个最佳的迁移时间表时,所有的$c_v$的甚至。此外,虽然该问题是NP-困难的一般情况下,我们给出了一个有效的软边着色算法,提供了严格的$(1 + o(1))$近似保证。
2010-10-19 cs.DC
Interactive Byzantine-Resilient Gradient Coding for General Data Assignments
本研究针对分布式梯度下降中的拜占庭错误问题,提出交互式抗拜占庭梯度编码方案,仅需s+1复制因子即可在s个恶意节点下恢复全梯度,最多s轮交互且通信成本与样本数对数相关。
2024-01-30 cs.DC cs.IT math.IT
An algorithm for geo-distributed and redundant storage in Garage
本文提出了一种计算Garage地理分布式存储系统中数据到存储节点的分配的优化算法。我们讨论了算法的不同步骤的复杂性和可以向用户显示的度量。
2023-02-27 cs.DC cs.DS
Consensus-Before-Talk: Distributed Dynamic Spectrum Access via Distributed Spectrum Ledger Technology
本文提出了一种由分布式账本技术(DLT)利用的频谱礼仪架构--先讨论后讨论(CBT)。在CBT中,二级用户的频谱接入请求以分布式方式达成共识,从而实现无冲突的分布式动态频谱接入。为了达成这种共识,次用户需要为额外的请求交换延迟付费。在考虑共识延迟的基础上,研究了CBT协议下的端到端延迟。延迟分析和数值评估都验证了所提出的CBT实现了较低的端到端延迟,特别是在严重的二级用户流量下,与先听后说(LBT)基准计划相比。
2018-08-25 cs.CR cs.DC cs.NI
Heterogeneous Computation Assignments in Coded Elastic Computing
我们研究了异构编码弹性计算(CEC)网络的最优设计,其中机器具有不同的相对计算速度。Yang介绍的CEC { \it et al.}是一个框架,它减轻了弹性事件的影响,其中机器加入和离开网络。使用最大距离可分离(MDS)代码将一组数据分布在存储受限的机器之间,使得特定大小的机器的任何子集都可以执行所需的计算。这种设计消除了在每个弹性事件之后重新分发数据的需要。在这项工作中,我们开发了一个过程中的任意异构计算网络,通过定义一个最佳的计算负载,或分配给每台机器的计算数量,以尽量减少整体计算时间。然后,我们提出了一个算法来定义一个特定的计算分配之间的机器,利用MDS代码,并满足最佳的计算负载。
2020-01-12 cs.DC cs.IT math.IT
Optimal Fixed Priority Scheduling in Multi-Stage Multi-Resource Distributed Real-Time Systems
本研究针对多阶段多资源分布式实时系统,提出基于延迟合成代数的OPA兼容可调度性测试与最优优先级分配算法,并证明成对优先级分配优于总优先级顺序,通过整数线性规划和启发式算法实现可行调度,适用于边缘计算系统。
2024-03-20 cs.DC
A Combinatorial Design for Cascaded Coded Distributed Computing on General Networks
编码理论的方法已经发展到显着减少现代分布式计算系统中的通信负载。特别地,Li等人提出的编码分布式计算(CDC)可以有效地交换计算资源以减少MapReduce类计算系统中的通信负载。对于更一般的级联CDC,在r个节点处重复Map计算,以显著减少负责计算Q Reduce函数s次的节点之间的通信负载。在本文中,我们提出了一种新的低复杂度的级联CDC的组合设计,1)确定输入文件和输出函数的分配,2)需要显着较少的输入文件和输出函数的数量,和3)操作在异构网络中的节点具有不同的存储和计算能力。我们提供了一个分析表征的计算-通信的权衡,从我们所提出的方案可以优于国家的最先进的计划由李等人提出的同构网络。此外,当网络是异构的,我们表明,所提出的方案的性能可以优于其同类。此外,该方案是最佳的信息理论的逆界的一个常数的因素,同时固定的输入文件和输出功能的分配。
2020-08-02 cs.CC cs.DC cs.IT
Online Assignment Algorithms for Dynamic Bipartite Graphs
本文分析了由生产者和消费者节点组成的动态完全二部图中边的增量权重分配问题。目标是在满足一定约束条件的情况下使总成本最小化。成本和约束是边、节点和在线服务请求的属性的函数。这项工作的新颖之处在于,它使用一种方法来解决这个理论问题,实时分布式资源分配模型。本文研究了这种分配问题的变种,其中边,生产者和消费者可以消失和重新出现,或者他们的属性可以随着时间的推移而改变。原始-对偶算法用于解决这些问题,并评估其竞争比。
2011-05-02 cs.DC cs.DS
SMURF: Efficient and Scalable Metadata Access for Distributed Applications
随着大数据处理和分析主导分布式和云基础设施的使用,对分布式元数据访问和传输的需求也在增加。在许多应用程序域中,生成的数据量超过PB,而相应的元数据量达到TB甚至更多。本文提出了一种新的解决方案,有效的和可扩展的元数据访问的分布式应用程序在广域网,称为SMURF。我们的解决方案结合了新颖的流水线和并发传输机制与可靠性,提供分布式连续缓存和预取策略,以回避获取延迟,并实现可扩展的和高性能的元数据获取/预取服务在云中。我们还研究了真实跟踪日志中的语义局部性现象,这在元数据访问预测中没有得到很好的利用。我们实现了一种新的预取预测器的基础上,这一观察,并比较它与现有的三个国家的最先进的预取计划雅虎!Hadoop审计跟踪。通过有效地缓存和预取元数据的访问模式的基础上,我们的连续体缓存和预取机制显着提高本地缓存命中率,降低了平均读取延迟。我们从真实的审计跟踪中重放了大约2000万次元数据访问操作,其中我们的系统在预取预测期间实现了90%的准确性,并且与最先进的机制相比,平均获取延迟减少了50%。
2021-05-29 cs.DC cs.NI
Solutions for Distributed Memory Access Mechanism on HPC Clusters
Sano Centre for Computational Medicine(Sano计算医学中心)
本文提出并评估了高性能计算集群中远程内存访问机制的解决方案,比较了共享存储与MPI的性能,并指出医疗应用可能从中受益。
2025-12-02 cs.DC
Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data
Qatar University(卡塔尔大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
分布式学习算法旨在利用存储在用户设备处的分布式和多样的数据,以通过在参与设备之间执行训练并周期性地将它们的局部模型的参数聚合成全局模型来学习全局现象。联邦学习是一种有前途的范例,其允许在聚合参数之前在参与设备之间扩展本地训练,从而提供更好的通信效率。然而,在参与者的数据严重偏斜的情况下(即,非IID),局部模型可能过拟合局部数据,导致低性能的全局模型。在本文中,我们首先证明了性能下降的一个主要原因是用户设备上的类分布与全局分布之间的加权距离。然后,为了面对这一挑战,我们利用边缘计算范式设计了一个分层学习系统,该系统在用户边缘层执行联邦梯度下降,在边缘云层执行联邦平均。在这种分层架构中,我们形式化并优化了这个用户边分配问题,使得边级数据分布变得相似(即,接近IID),这增强了联合平均性能。我们在多个真实世界数据集上的实验表明,所提出的优化分配是易于处理的,并导致模型更快地收敛到更好的精度值。
2021-02-03 cs.DC cs.LG
SHORTSTACK: Distributed, Fault-tolerant, Oblivious Data Access
本文针对云服务中集中式代理在故障环境下破坏不经意数据访问安全的问题,提出分布式代理架构SHORTSTACK,在被动持久攻击者可任意迫使有界数量代理故障的模型下形式化证明并实验验证其安全性与近线性扩展性能。
2022-06-08 cs.CR cs.DC cs.NI
Distributed Management of Massive Data: an Efficient Fine-Grain Data Access Scheme
针对大规模分布式环境下海量数据块的高效存储和访问问题,提出了一种基于数据块的数据子集细粒度访问方法。这个问题在数据库、数据采掘和多媒体领域的应用中至关重要。我们提出了一个数据共享服务的基础上分布式,基于RAM的数据存储,同时利用基于DHT的,原生并行元数据管理方案。相对于最常用的网格存储基础设施,提供明确的数据本地化和传输机制,我们提供了一个透明的访问模型,通过全局标识符访问数据。我们的建议已通过原型实施,其初步评估提供了有前途的结果进行了验证。
2008-10-13 cs.DC
On Secure Distributed Implementations of Dynamic Access Control
访问控制的分布式实现在分布式存储协议中大量存在。虽然这种实现往往伴随着非正式的理由,其正确性,我们的正式分析表明,他们的正确性可能是棘手的。特别是,我们发现了几个微妙的标准协议的基础上的能力,可以打破一个简单的访问控制规范下的安全性。在同一时间,我们显示了一个明智的细化的规范,访问控制的安全实现是可能的。我们的模型和证明形式化的应用π演算,一些新的技术,可能是独立的利益。最后,我们指出我们的原则可以应用于安全地分发其他状态机。
2008-05-30 cs.CR cs.DC
Active Access: A Mechanism for High-Performance Distributed Data-Centric Computations
远程内存访问(RMA)是一种新兴的高性能编程模型,它直接使用RDMA硬件。然而,访问远程存储器不能调用活动的目标,复杂的实现和限制性能的数据为中心的算法。我们提出了主动访问(AA),一种机制,集成了著名的主动消息(AM)的语义与RMA,使高性能的分布式数据为中心的计算。AA支持一种新的编程模型,在这种模型中,用户指定在传入的放置和获取引用指定地址时触发的处理程序。AA基于对输入/输出存储管理单元(IOMMU)的一组扩展,IOMMU是一个为将I/O访问重新映射到存储器提供高性能硬件支持的单元。我们说明了AA优于现有的AM和RMA设计,加速各种代码,如分布式哈希表或日志计划,并启用新的协议,如增量检查点的RMA。我们还讨论了扩展IOMMU如何可以支持虚拟化的全局地址空间在分布式系统中,提供已知的功能,从节点上的内存虚拟化。我们期望AA能够增强大型计算中心的HPC操作和运行时系统的设计。
2020-10-18 cs.AR cs.DC cs.NI
Resource Allocation in One-dimensional Distributed Service Networks with Applications
我们考虑分配政策,分配资源给用户,资源和用户都位于一个一维线。首先,我们考虑单向分配策略,只分配资源给位于其左侧的用户。我们提出了向右移动(MTR)的政策,从左到右扫描分配最近的最右边的可用资源给用户,并将其与单向Gale-Shapley(UGS)匹配策略进行对比。虽然这两种策略在所有单向策略中,最小化请求的期望行进距离(请求距离),但MTR更公平。此外,我们表明,当用户和资源的位置是由统计点过程建模,资源被允许满足多个用户,单向政策下的空间系统可以映射到批量服务排队系统,从而允许许多排队论的结果,产生封闭形式的表达式的应用。当我们考虑不同的资源可以满足不同数量的用户时,我们也为批量服务队列生成了新的结果。我们还考虑双向政策,有没有方向上的限制资源分配和开发的算法计算的最优分配,这是更有效的比已知的算法在文献中,当有更多的资源比用户。单向和双向分配方案的性能的数值评估产生的设计准则,有利于资源配置。\np {最后,我们提出了一种启发式算法,它利用一维输入的最佳动态规划方案来获得二维场景的最佳分配问题的近似解,并根据经验在最佳解的恒定因子内产生请求距离。
2020-11-09 cs.DC cs.PF
The Approach to Managing Provenance Metadata and Data Access Rights in Distributed Storage Using the Hyperledger Blockchain Platform
本文提出了一种基于区块链技术和智能合约的新方法,以创建一个分布式系统来管理出处元数据,以及对分布式存储中数据的访问权,从保护元数据记录免受意外或故意扭曲的角度来看,该系统具有容错性,安全性和安全性。该方法的实现基于许可的区块链和Hyperledger Fabric区块链平台以及Hyperledger Composer。
2018-11-30 cs.DC
Adaptive Fixed Priority End-To-End Imprecise Scheduling In Distributed Real Time Systems
在端到端分布式实时的系统中,任务可以在不同的处理器上顺序执行。端到端任务的响应时间不能超过端到端任务的截止时间,才能将该任务视为可执行任务。在瞬时过载期间,可能错过最后期限或处理器可能饱和。不精确计算技术是通过权衡精确性和及时性来克服上述问题的一种方法。通过扩展现有的集成框架,我们开发了一个不精确的集成框架,用于在分布式实时的系统中调度固定优先级的端到端任务。为了满足不精确计算的要求,我们设计了一种新的优先级分配方案,称为全局强制相关方案。我们设计了一个处理器利用率调整算法,当处理器利用率大于1时,该算法可以减少处理器的负载。我们还扩展了在旧框架中提出的可扩展性分析算法,以允许自适应优先级分配,并满足不精确的计算概念。仿真结果表明,我们的新框架是更可靠和可预测的比现有的框架在瞬态过载期间。
2013-06-03 cs.DC
Personal Data Access Control Through Distributed Authorization
本文提出了一种个人信息管理系统的架构,在该系统中,个人可以通过智能合约定义对其个人数据的访问。这些运行在以太坊区块链上的智能合约实现了访问控制列表,并授予对个人数据引用的不变性,可追溯性和可验证性,这些数据本身存储在(可能是分布式的)文件系统中。设计了一种分布式授权机制,其中来自多个网络节点的信任是授予对数据的访问所必需的。为了这个目的,两个可能的替代方案描述:秘密共享方案和门限代理重新加密方案。这些替代品的性能进行实验比较的执行时间。阈值代理重新加密在不同的场景中似乎更快,特别是当增加消息大小,节点数量和阈值时,即授权数据公开所需的节点数量。
2021-01-25 cs.CR cs.DC cs.NI
Enabling Lock-Free Concurrent Fine-Grain Access to Massive Distributed Data: Application to Supernovae Detection
我们认为,在一个大规模的分布式环境中有效地管理大量数据的问题。我们认为数据串的大小在TB的顺序,共享和并发客户端访问。每次访问时,都会读取或修改一个字节级的字符串段。我们的目标是为客户端提供高效的细粒度访问数据字符串,尽可能并发,而不锁定字符串本身。这个问题对于天文学、数据库、数据采掘和多媒体领域的应用至关重要。我们说明了这些要求与搜索超新星的应用程序的情况下。我们的解决方案依赖于分布式、基于RAM的数据存储,同时利用基于DHT的并行元数据管理方案。所提出的架构和算法已通过软件原型验证,并在集群环境中进行评估。
2008-10-13 cs.DC
Privacy-Preserving Coding Schemes for Multi-Access Distributed Computing Models
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文提出了一种多接入分布式计算模型中的隐私保护编码方案,通过构建新的扩展放置交付数组家族,保障每个reducer分配函数的隐私。
2026-02-08 cs.DC
A Lower Bound for the Distributed Lovász Local Lemma
我们发现,任何随机Monte Carlo分布式算法的Lovász本地引理需要$Ω(\log \log n)$通信轮,假设它找到一个正确的分配概率很高。我们的结果甚至在$d = O(1)$的特殊情况下也成立,其中$d$是依赖图的最大度。通过先前的工作,有界度图中运行时间为$O(\log n)$轮的Lovász局部引理的分布式算法,并且在我们的工作之前的最佳下界是$Ω(\log^* n)$轮[Chung et al. 2014]。
2015-11-03 cs.CC cs.DC