SIMPLE: Disaggregating Sampling from GPU Inference into a Decision Plane for Faster Distributed LLM Serving
SIMPLE通过将采样分解到CPU侧,结合序列并行和热点词汇采样,显著提升分布式LLM服务的吞吐量和效率。
2025-11-30 cs.DC
Efficient Data Availability Sampling via Coded Distributed Arrays
University of Massachusetts Boston(马萨诸塞大学波士顿分校)
针对区块链数据可用性瓶颈,提出基于编码分布式数组的CDA方案,利用网络编码提升鲁棒性和效率,相比以太坊最新DAS方案RDA性能提升数倍。
2026-06-16 cs.DC
TraceMesh: Scalable and Streaming Sampling for Distributed Traces
TraceMesh提出一种基于局部敏感哈希和演化聚类的可扩展流式分布式追踪采样方法,通过低维投影与动态采样决策避免冗余,在采样准确性和效率上显著优于现有方法。
2024-06-11 cs.DC cs.SE
Distributed Sketching Methods for Privacy Preserving Regression
Stanford University(斯坦福大学)
在这项工作中,我们研究了大规模回归问题的分布式草图绘制方法。我们利用多个随机草图,减少问题的尺寸,以及保护隐私和提高离散弹性异步分布式系统。我们得到新的近似保证经典的草图绘制方法和分析的精度分布草图的参数平均。我们考虑的随机矩阵,包括高斯,随机Hadamard,均匀抽样和杠杆分数抽样分布设置。此外,我们提出了一个混合的方法相结合的采样和快速随机投影更好的计算效率。我们说明了分布式草图的性能在无服务器计算平台与大规模的实验。
2020-06-20 cs.CR cs.DC cs.LG
Distributed Matrix-Based Sampling for Graph Neural Network Training
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出基于矩阵的批量采样方法,将采样表示为稀疏矩阵乘法,减少分布式GNN训练通信开销,支持更大图,在128 GPU上比Quiver快2.5倍,并展示扩展性。
2024-04-19 cs.DC cs.LG cs.PF
Pigeons.jl: Distributed Sampling From Intractable Distributions
本文提出 Julia 软件包 Pigeons.jl,通过单线程、多线程及 MPI 分布式计算从复杂难处理概率分布中采样,并保证给定种子下的强并行不变性以支持可复现性与验证。
2023-08-18 cs.DC stat.CO
Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University(庆应义塾大学)
将多个计算节点互连的计算集群用于加速基于DQN(Deep Q-Network)的分布式强化学习。在分布式强化学习中,Actor节点通过与给定环境交互来获取经验,而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加,因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信,并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器,该服务器通过40 GbE(40 Gbit Ethernet)网络互连。评估结果表明,作为一种网络优化技术,内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术,行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%,并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
Sampling-based Distributed Training with Message Passing Neural Network
University of Notre Dame(圣母大学);Ansys, Inc.(安sys公司)
针对节点数量增加时基于边的图神经网络扩展难题,提出结合Nyström近似采样的分布式训练方法DS-MPNN,可扩展至$O(10^5)$节点,在达西流和翼型RANS模拟中准确率与单GPU相当且优于节点GCN。
2025-02-19 cs.DC cs.LG physics.flu-dyn
Estimation from Partially Sampled Distributed Traces
抽样通常是减少分布式跟踪的处理和存储成本的必要手段。在这项工作中,我们描述了一个可扩展的和自适应的采样方法,可以更好地保存感兴趣的事件比广泛使用的头为基础的采样方法。采样率可以单独和独立地为每个跨度选择,允许考虑跨度属性和本地资源约束。所得到的迹线通常仅部分而不是完全采样,这使得统计分析复杂化。为了充分利用给定的信息,提出了一种无偏估计算法。即使它不需要知道迹线是否完整,但与仅考虑完整迹线相比,它在许多情况下减少了估计误差。
2021-07-16 cs.DC cs.DS stat.CO
One-Shot Averaging for Distributed TD($λ$) Under Markov Sampling
Boston University(波士顿大学)
研究分布式强化学习下 TD($λ$) 策略评估的线性加速问题,提出“一次性平均”方法,使 $N$ 个智能体在最后一步才平均结果,显著减少通信量并实现 $N$ 倍加速。
2024-06-01 cs.DC cs.LG
Robust Distributed Arrays: Provably Secure Networking for Data Availability Sampling
本文提出鲁棒分布式数组,为数据可用性采样提供可证明安全的网络层,仅需最小诚实节点数,无需诚实多数假设。
2025-04-22 cs.DC cs.DS
DistGNN-MB: Distributed Large-Scale Graph Neural Network Training on x86 via Minibatch Sampling
Intel Corporation(英特尔公司)
在包含数十亿个顶点和边的图上,使用小批量采样大规模训练图神经网络提出了一个关键挑战:强缩放图和训练样本会导致计算量降低、通信量增加和潜在的性能损失。DistGNN-MB采用了一种新颖的历史嵌入缓存与计算通信重叠相结合,以解决这一挑战。在$3^{rd}$代英特尔至强可扩展处理器(每个插槽36个内核)的32节点(64插槽)群集上,DistGNN-MB在OGBN-Papers 100 M上训练3层GraphSAGE和GAT模型,使其在32个计算节点上分别以2秒和4.9秒的历元时间收敛。在这个规模下,DistGNN-MB训练GraphSAGE的速度比广泛使用的DistDGL快5.2倍。随着计算节点从2个扩展到32个,DistGNN-MB训练GraphSAGE和GAT的速度分别提高了10倍和17.2倍。
2022-11-11 cs.DC cs.LG
Parallel Weighted Random Sampling
用于从一组加权项进行有效采样的数据结构是许多应用的重要构建块。然而,很少有并行的解决方案是已知的。我们为共享内存和分布式内存机器填补了许多这些差距。我们给出了高效,快速,实用的并行算法,用于构建数据结构,支持采样单个项目(别名表,压缩数据结构)。这也产生了一个简化的和更节省空间的顺序算法别名表的建设。我们从有/无替换的$n$项目中抽取$k$的方法以及子集(泊松)抽样方法是输出敏感的,即,采样算法在不同样本的数量上使用线性工作。这在顺序的情况下也是有趣的。加权随机置换可以通过对适当的随机偏差进行排序来完成。我们表明,这是可能的线性工作,使用这些偏离的非线性变换。最后,我们给出了一个通信效率高,高度可扩展的方法(加权和未加权)水库采样。该算法是基于一个完全分布式模型的流算法,可能是独立的利益。实验别名表和采样与替换显示近线性加速的建设和查询使用多达158个线程的共享内存机器。在多达256个节点(5120个岩心)上进行分布式加权油藏采样的实验评估也显示出良好的加速比。
2021-07-19 cs.DC cs.DS
A Biased Estimator for MinMax Sampling and Distributed Aggregation
University of Minnesota(明尼苏达大学)
提出有偏MinMax估计方案B-MinMax,通过增加偏差换取方差减小,在无聚合或小样本聚合场景下获得更低的MSE。
2024-04-26 cs.DC cs.LG stat.AP
FeLoG: Scalable and Efficient Distributed Graph Embedding with Feedback Loop Mechanism
Huazhong University of Science and Technology(华中科技大学);Bowling Green State University(伯灵顿州立大学)
提出FeLoG系统,通过反馈耦合采样与训练、活动感知通信和轮次交错流水线,实现分布式图嵌入的加速和资源高效利用。
2026-08-24 cs.DC cs.LG
Exact bounds for distributed graph colouring
我们证明了分布图着色的时间复杂度的精确界。如果我们给出一条有向路径,该路径被适当地着色为$n$颜色,则通过先前的工作,已知我们可以在$\frac{1}{2} \log^*(n) \pm O(1)$通信轮中找到适当的3-着色。我们关闭的上限和下限之间的差距:我们表明,对于无限多$n$的时间复杂度正是$\frac{1}{2} \log^* n$通信轮。
2015-02-26 cs.DC cs.DS
Fast Computation of Small Cuts via Cycle Space Sampling
我们描述了一种新的基于采样的方法来确定无向图中的割。对于一个图(V,E),它的圈空间是E的所有子集的族,这些子集在每个顶点都有偶数度。我们证明,以高概率,采样的循环空间确定的削减的图。这导致了简单的新的线性时间顺序算法,找到所有的切割边缘和切割对(一组2个边缘,形成一个切割)的图。在图G=(V,E)中的分布式计算模型中,我们的方法对几个问题产生了更快的算法。G的直径用Diam表示,最大度用Delta表示。我们得到简单的O(直径)时间分布算法,找到所有的切割边缘,2-边连接组件,并削减对,匹配或改进以前的时间界限。在自然条件下,这些新算法是普遍最优的-即一个欧米茄(直径)时间下界举行的每一个图。我们得到了一个O(直径+Delta/log V)-时间分布式算法寻找割顶点,这是快于最好的以前的算法时,三角洲,直径= O(sqrt(V))。一个简单的扩展,我们的工作产生的第一个分布式算法与3-边连接组件的次线性时间。基本的分布式算法是蒙特卡洛,但它们可以在不增加渐近复杂性的情况下被拉斯维加斯。在EREW PRAM上的并行计算模型中,我们的方法产生了一个简单的算法,具有最佳的时间复杂度O(log V),用于寻找割对和3-边连接组件。
2010-07-21 cs.DC cs.DS
A Deterministic Distributed Algorithm for Exact Weighted All-Pairs Shortest Paths in $\tilde{O}(n^{3/2})$ Rounds
提出了一种确定性分布式算法来计算边加权有向图和无向图中的所有对最短路径。我们的算法在拥塞模型中以$\tilde{O}(n^{3/2})$轮运行,其中$n$是图中的节点数。这是第一个$o(n^2)$轮确定性分布式算法的加权APSP问题。我们的算法是相当简单的,并采用了一个确定性的分布式算法,我们开发的计算一个“阻塞集”\cite{King99},这已被用于顺序动态计算的APSP。
2018-04-15 cs.DC cs.DS
Near-Optimal Random Walk Sampling in Distributed Networks
在网络中执行随机游走是一种基本的原语,其在通信网络中已经找到了许多应用,诸如令牌管理、负载均衡、网络拓扑发现和构造、搜索以及对等成员资格管理。虽然几个这样的算法是无处不在的,并使用大量的随机游走样本,行走本身一直是天真地执行。在本文中,我们专注于在分布式网络中有效地执行随机游走采样的问题。给定带宽限制,目标是最小化以连续在线方式获得若干随机游走样本所需的轮数和消息数。我们提出了第一轮和消息最优分布式算法,提出了一个显着的改进,所有以前的方法。理论分析和全面的实验评估表明,我们的算法在不同类型的网络,不同的拓扑结构,他们表现得很好。特别是,我们的结果显示了如何连续执行几个随机游走(当源节点仅在运行时提供时,即,在线),使得长度为$\ell$的每次行走可以仅在$\tilde{O}(\sqrt{\ell D})$轮中精确地执行(其中$D$是网络的直径),以及$O(\ell)$消息。这大大改进了两种方法,需要$O(\ell)$轮次和$O(\ell)$消息的简单技术,以及[DasSarma et al. PODC 2010]的复杂算法,该算法具有与本文相同的轮次复杂度,但需要$Ω(m\sqrt{\ell})$消息(其中$m$是网络中的边数)。我们的理论结果是通过各种拓扑数据集上的大量实验得到证实。我们的算法是完全分散的,轻量级的,易于实现,并可以作为构建块的拓扑感知网络的设计。
2012-01-11 cs.DC cs.DS
Revisiting finite Abelian hidden subgroup problem and its distributed exact quantum algorithm
Sun Yat-sen University(中山大学);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Institute of Quantum Computing and Software, School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院量子计算与软件研究所);The Guangdong Key Laboratory of Information Security Technology, Sun Yat-sen University(中山大学广东省信息安全技术重点实验室);School of Mathematics, Sun Yat-sen University(中山大学数学学院)
本文提出了一种适用于任意有限阿贝尔群的精确量子算法,并利用中国剩余定理设计了分布式算法,同时开发了并行经典算法以降低查询复杂度。
2025-12-28 cs.DC quant-ph
Order-Optimal Regret in Distributed Kernel Bandits using Uniform Sampling with Shared Randomness
School of Electrical & Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种分布式核老虎机算法,通过本地均匀探索和与中央服务器的共享随机性,结合高斯过程稀疏近似,首次以次线性通信代价实现与集中式学习相同的最优遗憾阶。
2024-02-20 cs.DC cs.LG stat.ML
On Distributed Exact Sparse Linear Regression over Networks
在这项工作中,我们提出了一种算法,用于解决精确稀疏线性回归问题在网络上的分布式方式。特别地,我们考虑数据存储在不同计算机或代理之间的问题,这些计算机或代理试图协作地找到具有指定稀疏性k的公共回归量,即,L0范数小于或等于k。与现有文献使用L1正则化来近似稀疏性相反,我们用精确的稀疏性k来解决问题。在我们的建议中的主要新颖之处在于显示零对偶差距的问题制定,我们采用了一种双重的方法来解决这个问题,在一个分散的方式。这为研究具有显式稀疏约束的分布式优化问题奠定了基础。我们从理论上和经验表明,在适当的假设下,每个代理解决较小的和本地的整数规划问题,所有代理最终将达成共识,在同一稀疏最优回归。
2022-04-01 cs.DC math.OC
Approximate Distributed Joins in Apache Spark
连接操作是并行数据处理的基本构件。不幸的是,在大量数据集上计算equi-join是非常资源密集的。近似计算范式允许用户以精确性和延迟换取昂贵的数据处理操作。因此,等价连接算子是使用近似技术进行优化的自然候选者。虽然基于采样的方法被广泛用于近似,采样连接是一个引人注目的,但具有挑战性的任务,关于输出质量。在数据集样本上执行连接的朴素方法不会保留连接输出的统计属性。为了实现这一潜力,我们交织布鲁姆过滤器草图和分层采样与连接计算在一个新的运营商,近似连接,保留了统计特性的连接输出。ApproxJoin利用Bloom过滤器来避免在网络中混洗不可连接的数据项,然后应用分层采样来获得连接输出的代表性样本。我们的分析表明,ApproxJoin可扩展性很好,并显着减少了数据移动,而不会牺牲最终结果准确性的严格误差范围。我们在Apache Spark中实现了ApproxJoin,并使用微基准测试和真实案例研究对ApproxJoin进行了评估。评估表明,在相同的采样率下,ApproxJoin比未修改的基于Spark的连接实现了6- 9倍的加速。此外,加速还伴随着洗牌数据量的显着减少,这比未修改的基于Spark的连接少5- 82倍。
2018-05-15 cs.DB cs.DC
AI for Distributed Systems Design: Scalable Cloud Optimization Through Repeated LLMs Sampling And Simulators
Jacopo Tagliabue(独立研究者)
本文提出结合 LLM 随机代码生成与领域模拟器确定性验证的迭代生成-验证循环,用于分布式系统调度策略设计,并在 Bauplan 运行时上初步验证了吞吐量提升。
2025-10-20 cs.AI cs.DB cs.DC
Gradient Coding with Iterative Block Leverage Score Sampling
University of Michigan(密歇根大学);Stanford University(斯坦福大学)
本文提出一种迭代块杠杆分数采样方法,将随机数值线性代数与近似编码计算统一,用于分布式线性回归,以应对掉队节点故障,并通过均匀采样和加权实现高效近似求解。
2024-06-25 cs.DC cs.IR cs.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性,分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码,它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上,但在大型存储网络中,同时发生两个或多个节点故障的情况并不少见。为了利用机会,同时修复多个故障节点,合作修复机制,在这个意义上,要修复的节点之间可以交换数据,进行了研究。导出了合作修复的修复带宽的一个下界,并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
主成分分析(PCA)是机器学习领域的一种基本数据预处理工具。虽然PCA通常被认为是一种降维方法,但PCA的目的实际上是双重的:降维和不相关特征学习。此外,现代数据集中的维度和样本大小的一致性使得集中式PCA解决方案无法使用。在这种情况下,本文重新考虑PCA的问题时,数据样本分布在任意连接的网络中的节点。虽然存在一些分布式PCA的解决方案,但这些解决方案要么忽略了PCA的不相关特征学习方面,要么往往具有高通信开销,这使得它们效率低下和/或缺乏“精确”或“全局”收敛保证。为了克服上述问题,本文提出了一种分布式PCA算法FAST-PCA(快速和精确的分布式PCA)。该算法在通信方面是有效的,并被证明是线性和精确地收敛到主成分,导致降维以及不相关的功能。实验结果进一步支持了这些说法。
2022-02-15 cs.DC cs.LG eess.SP