On the relationship between a Gamma distributed precision parameter and the associated standard deviation in the context of Bayesian parameter inference
University of Warwick（华威大学）
在贝叶斯推断中，未知的测量不确定度通常根据伽马分布精度参数来量化，当在推断期间应利用关于测量不确定度的标准差的先验信息时，这是不切实际的。因此，本文介绍了一种伽马分布精度参数和相关的标准差分布之间的转换方法。所提出的方法是基于数值优化，并显示出足够的结果，为广泛的场景。
2021-01-15 cs.LG stat.ME
DistrEE: Distributed Early Exit of Deep Neural Network Inference on Edge Devices
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））；School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）
提出DistrEE分布式DNN推理框架，集成早停与分布式推理，设计早停策略控制终止，实现延迟与准确性的有效权衡。
2025-02-06 cs.AI cs.DC cs.LG
Distributed Inference for Linear Support Vector Machine
Shanghai Jiao Tong University（上海交通大学）；New York University（纽约大学）
现代数据规模的不断增长给现有的统计推断方法和理论带来了许多新的挑战，并要求发展分布式推断方法。本文研究了线性支持向量机（SVM）用于二元分类任务的分布式推理。尽管有大量关于SVM的文献，但对SVM的推理特性知之甚少，特别是在分布式环境中。在本文中，我们提出了一个多轮分布式线性型（MDL）估计进行推理的线性SVM。所提出的估计是计算效率。特别是，它只需要一个初始的SVM估计，然后通过解决简单的加权最小二乘问题，逐步完善的估计。在理论上，我们建立了估计量的Bahadur表示。在此基础上，进一步导出了渐近正态性，表明MDL估计达到了最优统计效率，即，与经典线性SVM在单个机器设置中应用于整个数据集的效率相同。此外，我们的渐近结果避免了机器或数据批次的数量，这是通常假设在分布估计文献中的条件，并允许发散维的情况下。我们提供模拟研究，以证明所提出的MDL估计的性能。
2019-09-20 cs.LG stat.ME stat.ML
Two-Stage Robust and Sparse Distributed Statistical Inference for Large-Scale Data
Aalto University（阿尔托大学）
在本文中，我们解决的问题进行统计推断的设置，涉及大规模的数据，可能是高维和污染的离群值。数据的高容量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段的分布式和强大的统计推断程序处理高维模型，促进稀疏。在第一阶段，称为模型选择，通过对不同的数据子集应用鲁棒Lasso估计来局部选择相关的预测因子。从每个计算节点的变量选择，然后融合的投票计划，找到完整的数据集的稀疏基。它以稳健的方式确定相关变量。在第二阶段，采用已开发的统计稳健且计算高效的自助方法。实际推断构造置信区间，找到参数估计值并量化标准差。与阶段1类似，本地推理的结果被传送到融合中心并在那里组合。通过使用分析方法，我们建立了良好的统计特性的强大的和计算效率的自助方法，包括一致性的固定数量的预测，和鲁棒性。建议的两阶段的强大和分布式推理程序表现出可靠的性能和稳健性，在变量选择，发现置信区间和自举近似的标准差，即使数据是高维和离群值污染。
2022-08-17 cs.LG eess.SP stat.ML
Distributed MCMC inference for Bayesian Non-Parametric Latent Block Model
Paris-Saclay University, UVSQ（巴黎萨克雷大学，凡尔赛大学校区）；Sorbonne Paris Nord University（索邦巴黎北大学）；LIPN（巴黎北部科学实验室）
本研究提出采用主从架构的DisNPLBM分布式MCMC推断方法，通过潜在多元高斯块分布实现非参数联合聚类，经实验验证在聚类准确率和效率上表现良好，还可应用于基因表达数据联合聚类且代码开源。
2024-02-01 cs.LG stat.CO stat.ML
Understanding Rate-Distortion Performance in Distributed Transformer Inference
Simon Fraser University（西蒙弗雷泽大学）
本文提出基于率-失真原理的压缩框架，通过学习紧凑编码在准确率与比特率间进行权衡，实验证明其在语言基准测试中能显著提升压缩效率。
2026-08-04 cs.IT cs.LG math.IT
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里，我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作，但这些工作中的大部分都假设了一个非对抗性的设置，在这个设置中，除了偶尔的统计故障之外，各个节点都按照算法框架的预期运行。然而，近年来，来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此，我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性，以及在不同的对抗性威胁模型下的学习。然而，部分由于世界对数据驱动决策的需求日益增长，保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中，我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge（剑桥大学）
高斯过程（GP）是函数概率推理的有力工具。它们已被应用于回归和非线性降维，并提供理想的属性，如不确定性估计，过拟合的鲁棒性，以及调整超参数的原则性方法。然而，这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型，允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明，推理规模以及数据和计算资源，同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明，GP的性能随着回归（200万记录的飞行数据）和潜变量建模（MNIST）中数据量的增加而提高。结果表明，GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Distributed Semi-Supervised Sparse Statistical Inference
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
针对分布式场景下高维去偏估计量计算成本高的问题，提出融合有标记与无标记数据的多轮分布式去偏估计量，适配多种损失函数，仅需一次高维逆协方差估计，提升了统计速率与计算效率。
2023-12-15 cs.LG stat.ML
Collage Inference: Using Coded Redundancy for Low Variance Distributed Image Classification
由云计算平台提供的MLaaS（ML-as-a-Service）产品正变得越来越流行。在云中托管预训练的机器学习模型，可随着需求的增长实现弹性可扩展性。但提供低延迟和减少延迟变化是一个关键要求。由于跨许多虚拟实例的资源分配的不确定性，云部署中的差异更难控制。我们提出拼贴推理技术，它使用一种新的卷积神经网络模型，拼贴cnn，提供低成本的冗余。拼贴cnn模型采用通过组合多个图像形成的拼贴图像，并且在一次拍摄中执行多图像分类，尽管精度略低。我们增加了一个传统的单一图像分类器模型的集合与一个单一的拼贴cnn分类器，作为其低成本的冗余备份。如果任何单个图像分类请求遇到减速，Collage-cnn将提供备份分类结果。在云中部署collage-cnn模型，我们证明了与基于复制的方法相比，推断的第99百分位尾部延迟可以减少1.2倍到2倍，同时提供高准确性。推理延迟的变化可以减少1.8倍到15倍。
2019-09-10 cs.CV cs.DC cs.IT
Distributed Learning for Cooperative Inference
Arizona State University（亚利桑那州立大学）；Boston University（波士顿大学）；University of Illinois（伊利诺伊大学）
我们研究的合作推理问题，一组代理在网络上进行交互，并寻求估计一个联合参数，最好地解释了一组观察。代理不知道网络拓扑或其他代理的观察结果。我们探讨了贝叶斯后验密度的变分解释，以及它与随机镜像下降算法的关系，提出了一种新的分布式学习算法。我们表明，在适当的假设下，所提出的算法产生的信念集中在真正的参数指数快速。我们提供了明确的非渐近界的收敛速度。此外，我们开发明确的和计算效率的算法属于指数族的观测模型。
2017-04-10 cs.LG cs.MA math.OC
HiDP: Hierarchical DNN Partitioning for Distributed Inference on Heterogeneous Edge Platforms
University of Turku（图尔库大学）；Politecnico di Milano（米兰理工大学）
针对边缘推理未考虑节点核心级异构性、资源利用率低导致延迟高的问题，提出分层DNN划分策略HiDP，通过全局与局部分层划分利用异构资源，在商用设备上评估显示延迟降38%、能耗降46%、吞吐量升56%。
2024-11-25 cs.AI cs.DC cs.LG
Priority-Aware Model-Distributed Inference at Edge Networks
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对边缘网络中多数据源共存的模型分布式推理，提出优先级感知的模型分配算法PA-MDI，基于优化问题求解，在真实测试平台上验证了其降低推理时间并实现优先级分配。
2024-12-16 cs.DC cs.LG
Streaming, Distributed Variational Inference for Bayesian Nonparametrics
LIDS（实验室信息与决策系统实验室）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
本文提出了一种方法来创建流，分布式推理算法的贝叶斯非参数（BNP）模型。在提出的框架中，处理节点接收一系列数据小批量，计算每个小批量的变分后验，并对中心模型进行异步流更新。与以前的算法相比，所提出的框架是真正的流，分布式，异步，学习率免费，和截断免费。开发框架的关键挑战是，BNP模型不会对其组件施加固有的排序，因此在执行每次更新之前，找到minibatch和中央BNP后验组件之间的对应关系。为了解决这个问题，本文提出了一个组合优化问题的组件对应，并提供了一个有效的解决方案。本文最后与DP混合模型的方法的应用，实验结果表明其实际的可扩展性和性能。
2015-10-30 cs.LG stat.ML
Deal: Distributed End-to-End GNN Inference for All Nodes
Amazon（亚马逊）；Rutgers University（罗格斯大学）
本文提出Deal，一个专用于数十亿边图的所有节点端到端推理的分布式GNN推理系统，通过挖掘采样中的共享机会、引入内存节省和通信高效的分布式原语以及分区流水线通信，将端到端推理时间最多减少7.70倍，图构建时间最多减少21.05倍。
2025-03-04 cs.DC cs.LG
Inference of global clusters from locally distributed data
University of Michigan（密歇根大学）
我们考虑分析多组观测数据的聚类分布的异质性问题，每组数据由协变量值索引，并推断从协变量域上聚集的观测值产生的全局聚类。我们提出了一种新的贝叶斯非参数方法依赖于空间建模的形式主义和嵌套层次的Dirichlet过程。我们提供了一个分析的模型属性，相关和对比的概念，本地和全球集群。我们还提供了一个有效的推理算法，并证明了我们的方法在几个数据的例子，包括对象跟踪和功能数据的功能标识信息是不可用的全局聚类分析的问题的效用。
2011-01-21 cs.LG stat.ME stat.ML
Communication-Efficient Separable Neural Network for Distributed Inference on Edge Devices
National Taiwan University（台湾大学）
神经网络的推理通常受到资源的限制（例如，计算能力、内存、带宽）。除了改进硬件设计和部署高效模型之外，还可以聚合许多设备的计算能力以启用机器学习模型。本文提出了一种利用模型并行性分离神经网络进行分布式推理的新方法。为了在通信延迟、计算延迟和性能之间取得更好的平衡，我们采用神经架构搜索（NAS）来搜索最佳传输策略，减少通信量。与基线相比，我们发现的最佳模型减少了86.6%的数据传输量，并且对性能影响不大。实验表明，在适当的设备规格和模型配置下，大型神经网络在边缘集群上的推理可以实现分布式和加速，为物联网智能应用的部署提供了一种新的解决方案。
2021-11-03 cs.DC cs.LG
Distributed Learning and Inference Systems: A Networking Perspective
本文从网络视角分析分布式AI训练与推理的复杂性，提出新框架DA-ITN，探讨其组件功能并指出相关挑战与研究方向。
2025-01-09 cs.LG cs.NI
Guardians of the Deep Fog: Failure-Resilient DNN Inference from Edge to Cloud
UT Dallas（德克萨斯大学达拉斯分校）；UC Berkeley（加州大学伯克利分校）
将深度神经网络（DNN）划分和分布在边缘、雾或云节点等物理节点上，可以增强传感器融合，并降低带宽和推理延迟。然而，当DNN分布在物理节点上时，物理节点的故障导致放置在这些节点上的DNN单元的故障。如果分布式DNN没有针对故障进行专门设计和适当训练，那么推理任务的性能将是不可预测的，并且很可能很差。受此启发，我们引入了deepFogGuard，这是一种DNN架构增强方案，用于使分布式DNN推理任务具有故障弹性。为了阐明deepFogGuard，我们介绍了分布式DNN推理的弹性的元素和模型。受DNN中剩余连接概念的启发，我们在分布式DNN中引入了跳过超连接，这是deepFogGuard提供弹性设计的基础。接下来，我们使用两个现有的传感和视觉应用数据集进行了广泛的实验，证实了deepFogGuard为边缘云网络中的分布式DNN提供弹性的能力。
2019-09-21 cs.LG cs.NI
User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling
Stockholm University（斯德哥尔摩大学）
针对AI推理服务需求增长带来的集中式服务成本上升问题，提出结合专用与用户贡献资源的协作式分布式推理系统，通过高维生成马尔可夫模型优化调度，可在用户规模扩大时提升性能并降低专用资源消耗。
2026-08-13 cs.AI cs.DC cs.LG
Going Beyond the Edge: Distributed Inference of Transformer Models on Ultra-Low-Power Wireless Devices
RWTH Aachen University（亚琛工业大学）；TU Darmstadt（德累斯顿技术大学）
本文提出CATS框架，通过在超低功耗无线设备上实现分布式变压器推断，使多个设备协同执行远大于单个设备能处理的模型。核心方法结合了变压器划分、无线通信和训练，采用SomeGather通信原语减少带宽和内存使用，同时设计高效的模型并行方法，并通过消息丢弃提高通信可靠性。
2026-05-18 cs.LG
LLMEasyQuant: Scalable Quantization for Parallel and Distributed LLM Inference
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
LLMEasyQuant通过模块化和系统感知的量化框架，实现高效低比特LLM推理，支持多种量化方法并优化多GPU和分布式环境下的性能。
2025-11-27 cs.LG
Privacy-Preserving Hierarchical Model-Distributed Inference
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Seagate Technology（希捷科技）
本文针对分层ML推理场景的数据与模型隐私保护需求，提出结合秘密共享、同态加密等技术的privateMDI方案，通过模型并行化和阶段优化降低通信开销，显著提升了隐私保护下的推理速度。
2024-09-15 cs.CR cs.LG
FSD-Inference: Fully Serverless Distributed Inference with Scalable Cloud Communication
University of Warwick（华威大学）
提出首个完全无服务器分布式ML推理系统FSD-Inference，利用云发布/订阅、队列和对象存储设计新通信方案，实现比有服务器方案更优的成本效益、可扩展性及与优化HPC方案相当的竞争性能。
2024-03-22 cs.AI cs.DC cs.LG
Distributed Parameter Map-Reduce
Leshi Internet Information & Technology Corp.（乐视互联网信息技术公司）
本文描述了如何将一个机器学习问题转化为一系列的map-reduce任务。研究了Logistic回归算法。在逻辑回归算法中，假设样本是独立的，并且每个样本都被分配了一个概率。参数通过最大化所有样本概率的乘积获得。训练样本的快速膨胀给机器学习方法带来了挑战。由于训练样本的数量太多，只能存储在分布式文件系统中，并由map-reduce风格的程序驱动。逻辑回归的主要步骤是推理。根据映射归约的思想，每个样本通过一个单独的映射过程进行推理。但推理的前提是映射过程保存样本中所有特征的参数。在本文中，我们提出了分布式参数映射减少，在其中不仅是样本，而且参数分布在分布式文件系统的节点。通过一系列的映射约简任务，为每个样本分配其特征参数，对样本进行推理，更新模型参数。反复进行上述过程直至收敛。我们在实际的Hadoop生产环境中测试了所提出的算法。实验表明，该算法的加速与簇节点数成线性关系。
2015-10-03 cs.DC cs.LG stat.ML
Early-Exit meets Model-Distributed Inference at Edge Networks
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出MDI-Exit框架，将早退机制引入模型分布式推理，通过自适应确定早退、卸载和数据准入策略，在边缘设备上实现固定精度下处理更多数据或固定数据速率下获得更高精度。
2024-08-08 cs.AI cs.DC cs.LG
Distributed Simulation and Distributed Inference
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Indian Institute of Science（印度科学学院）
来自大小为$k$的域上的未知概率分布$\bf p$的独立样本分布在$n$参与者之间，每个参与者持有一个样本。每个参与者可以在通信的同时消息传递模型中将$\ell$比特传送给中央裁判，以帮助裁判推断未知$\bf p$的属性。在$\ell<\log k$的通信匮乏设置中，推理所需的最少参与者数量是多少？我们开始探索一个通用的“模拟和推断”的策略，这样的推理问题，中心模拟所需数量的样本从未知的分布和应用标准的推理算法的配置设置。我们的第一个结果表明，对于$\ell<\log k$，即使是单个样本的完美模拟也是不可能的。尽管如此，我们提出了一个拉斯维加斯算法，模拟一个单一的样本从未知的分布使用$O(k/2^\ell)$样本的期望。作为直接推论，我们得到模拟-推断达到了$Θ(k^2/2^\ellε^2)$的最佳样本复杂度，用于学习未知分布到总变异距离$ε$。对于身份测试的原型测试问题，模拟和推断与$O(k^{3/2}/2^\ellε^2)$样本一起工作，这似乎是所有不使用任何额外资源的通信协议所固有的要求。有趣的是，我们可以使用公共硬币打破这一障碍。具体来说，我们展示了一个公共硬币通信协议，使用$O(k/\sqrt{2^\ell}ε^2)$样本进行身份测试。此外，我们表明，这是最佳的常数因子。我们理论上的样本最优协议很容易在实践中实现。我们的证明下限需要显示收缩$χ^2$距离的产品分布由于通…
2019-05-23 cs.DM cs.DS cs.IT
Distributed Inference with Sparse and Quantized Communication
Purdue University（普渡大学）；Sandia National Laboratories（桑迪亚国家实验室）
我们考虑分布式推理的问题，在网络中的代理观察到一个未知状态产生的私人信号流，并旨在唯一地识别这种状态从一组有限的假设。我们专注于代理之间的通信是昂贵的，并发生在有限带宽的通道的情况下。为了减少通信的频率，我们开发了一种新的事件触发的分布式学习规则，该规则基于对每个错误假设扩散低信念的原则。基于这一原则，我们设计了一个触发条件下，代理广播只有那些组件的信念向量，有足够的创新，只有那些邻居，需要这样的信息。我们证明，我们的规则保证收敛到真实的状态几乎可以肯定，尽管稀疏的通信指数快速，它有可能显着减少信息流的信息代理。接下来，为了处理有限精度的通信信道，我们提出了一个分布式学习规则，利用自适应量化的思想。我们表明，通过顺序地细化量化器的范围，每个代理几乎可以肯定地以指数速度学习真相，同时仅使用$1$位来编码其对每个假设的信念。对于我们提出的算法，我们严格的通信效率和学习率之间的权衡。
2021-06-07 cs.GT cs.IT cs.LG
KVDirect: Distributed Disaggregated LLM Inference
Rutgers University（罗格斯大学）；ByteDance（字节跳动）
KVDirect通过优化KV缓存传输，实现分布式解耦式LLM推理，采用张量通信、自定义通信库和拉取式传输策略，将每请求延迟降低55%。
2024-12-13 cs.DC cs.LG cs.PF
First-order Newton-type Estimator for Distributed Estimation and Inference
New York University（纽约大学）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
本文研究了具有不可微凸损失的一般统计问题的分布估计和分布推断。为了有效的计算，我们限制自己的随机一阶优化，它具有较低的每次迭代的复杂性。为了激励所提出的方法，我们首先研究了一个简单的分治随机梯度下降（DC-SGD）方法的理论特性。我们的理论表明，有一个限制的机器的数量和这个限制变得更加严格时，尺寸$p$大。为了克服这一局限性，本文提出了一种新的多轮分布式估计过程，近似牛顿步骤只使用随机次梯度。在我们的方法中的关键组成部分是一个计算有效的估计$Σ^{-1} w$，其中$Σ$是人口海森矩阵和$w$是任何给定的向量的建议。提出的一阶牛顿型估计器（FONE）不需要估计通常需要损失的二阶可微性的$Σ$（或$Σ^{-1}$），而是直接估计作为整体的感兴趣矢量$Σ^{-1} w$，并且适用于不可微损失。我们的估计量也有利于推断的经验风险最小化。结果表明，极限协方差中的关键项具有$Σ^{-1} w$的形式，可以通过FONE估计。
2021-02-04 cs.LG stat.ME stat.ML
Communication-Efficient Multi-Modal Edge Inference via Uncertainty-Aware Distributed Learning
Dept. of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学）
本文提出一种三阶段通信感知分布式学习框架，通过减少通信开销和提升稳健性，实现高效的多模态边缘推断。
2026-01-21 cs.LG eess.SP
OrderMoE: An expert similarity driven distributed edge MoE inference
Hong Kong University of Science and Technology（香港科技大学）；Universidad Politécnica de Madrid（马德里理工大学）；Guangdong University of Technology（广东工业大学）
研究在资源受限边缘基础设施部署MoE推理的挑战，提出OrderMoE框架，通过构建专家相似度模型、设计分组部署策略和选择算法，平衡推理延迟等指标，实验表明其能显著降低相关指标，仅带来小的推理质量下降。
2026-08-13 cs.DC cs.LG cs.NI
DEFER: Distributed Edge Inference for Deep Neural Networks
Crystal Springs Uplands School（水晶泉高地学校）；University of Southern California（南加州大学）
深度神经网络（DNN）等现代机器学习工具正在自然语言处理、计算机视觉和物联网等多个领域发挥革命性作用。一旦经过训练，深度学习模型就可以部署在边缘计算机上，以对这些应用程序的实时数据进行分类和预测。特别是对于大型模型，单个边缘设备上有限的计算和内存资源可能成为推理管道的吞吐量瓶颈。为了提高吞吐量并降低每个设备的计算负载，我们提出了DEFER（分布式边缘推理），这是一个分布式边缘推理的框架，它将深度神经网络划分为可以跨多个计算节点分布的层。该架构由单个“调度器”节点组成，用于将DNN分区和推理数据分发到相应的计算节点。计算节点以串联模式连接，其中每个节点的计算结果被中继到后续节点。然后将结果返回给Dispatcher。我们量化的吞吐量，能源消耗，网络负载，和开销为我们的框架在现实的网络条件下使用CORE网络仿真器。我们发现，对于ResNet 50模型，具有8个计算节点的DEFER的推理吞吐量比单设备推理高出53%，每个节点的能耗低63%。我们进一步减少网络通信的需求和能源消耗使用ZFP串行化和LZ4压缩算法。我们使用TensorFlow和Keras ML库在Python中实现了DEFER，并将DEFER作为开源框架发布，以造福研究社区。
2022-01-18 cs.LG
Real-Time Inference for Distributed Multimodal Systems under Communication Delay Uncertainty
SNS JU project 6G-GOALS under the EU’s Horizon Europe program（欧盟地平线欧洲计划下的SNS JU项目6G-GOALS）
本文提出了一种基于自适应时间窗口整合的非阻塞推理方法，以应对通信延迟不确定性，提升分布式多模态系统的实时推理性能。
2025-11-20 cs.LG
Learning to Shard: RL for Co-optimizing the Parallelism Degrees and Per-operator Sharding Dimensions in Distributed LLM Inference
Yale University（耶鲁大学）；Microsoft Azure（微软Azure）
针对分布式LLM推理现有静态并行策略性能不足的问题，提出基于RL的Learn to Shard方法，通过注意力策略从精英历史策略中学习，协同优化并行度与逐算子切分维度，在H100集群上实现显著吞吐量提升。
2025-08-29 cs.DC cs.LG
Model-Distributed Inference for Large Language Models at the Edge
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
MDI-LLM框架通过模型分区与循环流水线并行，在边缘低功耗设备上实现大语言模型的分布式推理，提升吞吐并降低内存需求。
2025-05-13 cs.AI cs.LG
Memory- and Communication-Aware Model Compression for Distributed Deep Learning Inference on IoT
Carnegie Mellon University（卡内基梅隆大学）
模型压缩已成为在物联网（IoT）上部署深度学习模型的重要研究领域。然而，对于内存极度受限的场景，即使是压缩的模型也无法容纳在单个设备的内存中，因此必须分布在多个设备上。这导致了一个分布式推理范例，其中内存和通信成本是一个主要的瓶颈。然而，现有的模型压缩技术不是通信感知的。因此，我们提出了神经网络（NoNN），这是一种新的分布式物联网学习范式，它将大型预训练的“教师”深度网络压缩成几个不相交和高度压缩的“学生”模块，而不会损失准确性。此外，我们提出了一个网络科学为基础的知识划分算法的教师模型，然后训练个别学生产生的不相交的分区。针对用户定义的内存/性能预算，在五个图像分类数据集上进行了广泛的实验，结果表明，NoNN的准确率高于几个基线，与教师模型的准确率相似，同时学生之间的沟通最少。最后，作为一个案例研究，我们在边缘设备上部署了CIFAR-10数据集的拟议模型，并证明了与大型教师模型相比，内存占用（高达24倍），性能（高达12倍）和每个节点的能量（高达14倍）的显着改进。我们进一步表明，对于多个边缘设备上的分布式推理，我们提出的NoNN模型导致总延迟w.r.t.减少高达33倍。最先进的模型压缩基线
2019-07-26 cs.CV cs.DC cs.LG
Cloud Is Closer Than It Appears: Revisiting the Tradeoffs of Distributed Real-Time Inference
University of California Los Angeles（加州大学洛杉矶分校）；University of California Riverside（加州大学河滨分校）
本文重新审视云推理在实时控制任务中的适用性，通过建立分析模型和仿真实验，证明云平台在高吞吐量资源下可有效缓解网络和排队延迟，从而在安全约束下优于本地推理。
2026-02-17 cs.AI cs.DC cs.LG
Fast Distributed Inference Serving for Large Language Models
Peking University（北京大学）
针对LLM推理服务中的队头阻塞和高延迟问题，提出分布式推理系统FastServe，采用基于输出token粒度的抢占式调度和跳过连接多级反馈队列调度器，并设计高效GPU内存管理机制，在相同延迟要求下相比vLLM显著提升吞吐量。
2024-09-25 cs.DC cs.LG
Complexity-aware Adaptive Training and Inference for Edge-Cloud Distributed AI Systems
Purdue University（普渡大学）
物联网和机器学习应用程序的普遍使用正在产生大量需要准确和实时处理的数据。虽然可以通过部署预训练模型来实现基于边缘的智能数据处理，但边缘设备的能量和内存限制需要在边缘和云之间进行分布式深度学习来处理复杂数据。在本文中，我们提出了一个分布式AI系统，利用边缘和云来进行训练和推理。我们提出了一个新的架构，MEANet，一个主块，一个扩展块，和一个自适应块的边缘。推理过程可以终止于主块、扩展块或云。MEANet被训练成将输入分类为简单/困难/复杂类。主块识别易类/难类的实例，并以高置信度对易类进行分类。只有属于硬类的概率高的数据才会被发送到扩展块进行预测。此外，只有当边缘处的神经网络在预测中显示出低置信度时，该实例才被认为是复杂的并被发送到云以进行进一步处理。这种训练技术适用于边缘设备上的大部分推理，而只针对边缘设备确定的一小部分复杂工作进行云计算。通过在CIFAR-100和ImageNet数据集上使用ResNets和MobileNetV 2的修改模型进行大量实验，评估了所提出的系统的性能。实验结果表明，该分布式模型在精度和能耗方面都有所提高，具有较强的自适应能力。
2021-09-14 cs.LG
Distributed Inference on Mobile Edge and Cloud: An Early Exit based Clustering Approach
IIT Bombay（印度理工学院孟买分校）
针对深度神经网络在资源受限设备部署难的问题，提出基于早退出策略的分布式推理方法DIMEE，兼顾卸载成本与准确率，在GLUE数据集上实现推理成本大降且准确率损失极小。
2024-10-06 cs.AI cs.DC cs.LG
Distributed Graph Neural Network Inference With Just-In-Time Compilation For Industry-Scale Graphs
Ant Group（蚂蚁集团）
本文针对工业级大规模图数据上GNN推理的内存与计算瓶颈，提出基于新编程接口和即时编译的分布式图学习范式，消除子图采样带来的信息丢失与冗余计算，在5亿节点、224亿边的图上实现最高27.4倍性能提升。
2025-03-08 cs.AI cs.DC cs.LG
Privacy-Aware Multi-Device Cooperative Edge Inference with Distributed Resource Bidding
The Hong Kong Polytechnic University（香港理工大学）
本文提出一种隐私感知的多设备协作边缘推理系统，通过分布式竞价机制分配MEC计算资源，并基于DEC-POMDP建模与MADDPG算法联合优化竞价值和特征压缩比，在保护隐私的同时提升分类准确率。
2024-12-30 cs.LG cs.NI cs.SY
AutoDiCE: Fully Automated Distributed CNN Inference at the Edge
University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
基于卷积神经网络（CNN）的深度学习方法在包括图像分类和语音识别在内的广泛应用领域中得到了广泛的应用和成功。对于训练的CNN的执行，即模型推理，我们现在见证了从云到边缘的转变。不幸的是，在边缘设备上部署和推断大型计算和内存密集型CNN是一项挑战，因为这些设备通常具有有限的功率预算和计算/内存资源。解决这一挑战的一种方法是利用跨多个边缘设备的所有可用资源，通过适当地划分CNN并在单独的边缘设备上运行每个CNN分区来部署和执行大型CNN。尽管在多个边缘设备上的大型CNN的这种分布、部署和执行是期望的和有益的方法，但是目前不存在采用经训练的CNN模型以及CNN分区规范并且完全自动化在多个边缘设备上的CNN模型分割和部署以促进边缘处的分布式CNN推断的设计和编程框架。因此，在本文中，我们提出了一种新的框架，称为AutoDiCE，用于将CNN模型自动拆分为一组子模型，并自动生成代码生成，用于在多个可能异构的边缘设备上分布式和协同执行这些子模型，同时支持边缘设备之间和内部的并行性。我们的实验结果表明，AutoDiCE可以提供分布式CNN推理，降低每个边缘设备的能耗和内存使用，同时提高整体系统吞吐量。
2022-07-20 cs.AI cs.DC cs.LG
Performance Modeling and Workload Analysis of Distributed Large Language Model Training and Inference
Interuniversity Microelectronics Centre (IMEC)（校际微电子中心）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出一个分析框架，用于建模分布式LLM训练与推理的性能，并分析技术扩展下瓶颈演变，为未来系统设计提供指导。
2024-07-19 cs.AR cs.DC cs.LG
Kunlun Anomaly Troubleshooter: Enabling Kernel-Level Anomaly Detection and Causal Reasoning for Large Model Distributed Inference
Alibaba Group（阿里巴巴集团）
本文提出首个面向大模型分布式推理的异常排查框架KAT，利用GPU函数跟踪数据实现纳秒级核级异常检测，并结合领域适配LLM进行因果推理，在生产环境中取得高精确率与召回率，显著提升排查效率。
2025-11-08 cs.AI cs.DC cs.LG
Minions: A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
Apple（苹果公司）
该研究提出Minions，一种聚合闲置苹果硅GPU的分布式虚拟GPU云，用于执行大规模机器学习推理，可利用现有硬件，无需额外采购GPU，为资源受限环境提供实用分布式GPU推理平台。
2026-10-12 cs.DC cs.LG
DistMLIP: A Distributed Inference Platform for Machine Learning Interatomic Potentials
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；LBNL（劳伦斯伯克利国家实验室）
DistMLIP是一种基于图级并行化的分布式推断平台，可提升机器学习互原子势的模拟效率和规模。
2026-01-31 cond-mat.mtrl-sci cs.DC cs.LG
Differentially Private Distributed Inference for Multicenter Clinical Studies
Cornell University（康奈尔大学）；University of Pittsburgh（匹兹堡大学）
针对多中心临床研究的数据隐私与集中难题，提出基于对数似然比交换的差分隐私分布式推断框架，揭示三者权衡，推导误差界，验证其在多类模拟研究中兼具高效性与低误差优势。
2026-07-31 cs.AI cs.CR cs.LG
EasyBalance: Cross-Layer Load Balancing in Distributed MoE Inference
EasyBalance是一种无需修改专家-设备映射的跨层负载均衡策略，通过联合执行跨层MoE工作负载缓解不平衡，可减少GPU空闲超40%，加速分布式MoE推理。
2026-08-11 cs.AI cs.LG
Distributed Speculative Inference (DSI): Speculation Parallelism for Provably Faster Lossless Language Model Inference
Weizmann Institute of Science（魏茨曼科学研究所）；Intel Labs（英特尔实验室）；Texas A&M University（得克萨斯农工大学）
提出分布式推测推理DSI，通过推测并行重叠目标模型与起草器执行，在任意起草器下可证明快于SI和标准自回归推理，单机仿真加速1.29–1.92倍。
2025-03-15 cs.AI cs.CL cs.DC
Understanding Capacity-Driven Scale-Out Neural Recommendation Inference
Facebook（脸书）；Drexel University（德雷塞尔大学）；Tufts University（塔夫茨大学）
深度学习推荐模型已经发展到TB级。传统的服务方案--将整个模型加载到单个服务器--无法支持这种规模。支持这种规模的一种方法是使用分布式服务或分布式推理，它将单个大型模型的内存需求划分到多个服务器上。这项工作是系统研究社区开发新的模型服务解决方案的第一步，考虑到巨大的系统设计空间。大规模深度推荐系统是一种新的工作负载，对研究至关重要，因为它们消耗了数据中心所有推理周期的79%。为此，这项工作描述和表征了使用数据中心服务基础设施的横向扩展深度学习推荐推理。这项工作专门探讨延迟有界推理系统，相比其他最近的作品面向吞吐量的培训系统。我们发现分布式推理的延迟和计算开销主要是由于模型的静态嵌入表分布和输入推理请求的稀疏性。我们进一步评估了三个类DLRM模型的三个嵌入表映射策略，并在端到端延迟，计算开销和资源效率方面指定了具有挑战性的设计权衡。总的来说，当数据中心规模推荐模型以分布式推理方式提供服务时，我们只观察到边际延迟开销-P99延迟在最佳情况配置中仅增加1%。延迟开销很大程度上是由于使用的商品基础设施和嵌入表的稀疏性。更令人惊讶的是，我们还展示了分布式推理如何提高数据中心规模推荐服务的效率。
2020-11-11 cs.DC cs.IR cs.LG
Scheduling Inference Workloads on Distributed Edge Clusters with Reinforcement Learning
Politecnico di Torino（都灵理工大学）；Saint Louis University（圣路易斯大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Telefónica Research（西班牙电信研究院）
许多实时应用（例如，增强/虚拟现实、认知辅助）依赖于深度神经网络（DNN）来处理推理任务。边缘计算被认为是部署此类应用程序的关键基础设施，因为将计算移动到数据源附近使我们能够满足严格的延迟和吞吐量要求。然而，边缘网络的约束性质给推理工作负载的管理带来了一些额外的挑战：边缘集群无法为DNN模型提供无限的处理能力，并且在端到端延迟要求方面，通常应该考虑网络和处理时间之间的权衡。在本文中，我们专注于在短时间尺度（即，几毫秒）。通过模拟，我们分析了几个政策在现实的网络设置和工作负载的一个大型ISP，强调需要一个动态的调度策略，可以适应网络条件和工作负载。因此，我们设计了ASET，一个基于强化学习的调度算法，能够根据系统条件调整其决策。我们的研究结果表明，ASET有效地提供了最好的性能相比，静态策略调度时，在一个分布式的边缘资源池。
2023-01-31 cs.LG cs.NI cs.SY
Characterizing and Understanding Distributed GNN Training on GPUs
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）
图神经网络（GNN）由于其在图上学习的有效性而在许多领域被证明是一种强大的模型。为了将GNN训练扩展到大型图，一种广泛采用的方法是分布式训练，它使用多个计算节点来加速训练。最大化性能是必不可少的，但分布式GNN训练的执行仍然是初步了解的。在这项工作中，我们对GPU上的分布式GNN训练进行了深入分析，揭示了几个重要的观察结果，并为软件优化和硬件优化提供了有用的指导。
2022-04-18 cs.DC cs.LG
