Diffusion Maximum Correntropy Criterion Algorithms for Robust Distributed Estimation
Xi’an University of Technology（西安理工大学）；Xi’an Jiaotong University（西安交通大学）；Southwest Jiaotong University（西南交通大学）
针对脉冲（长尾）噪声环境下的网络分布式估计问题，提出了基于最大相关熵准则（MCC）的鲁棒扩散自适应估计算法，包括自适应组合MCC和组合自适应MCC。在分布式估计中使用的成本函数通常基于均方误差（MSE）准则，这在测量噪声为高斯时是期望的。在非高斯情况下，例如脉冲噪声情况，基于MCC的方法可以实现比MSE方法好得多的性能，因为它们考虑了误差分布的顺序统计量。所提出的方法也可以优于鲁棒的扩散最小平均p-功率（DLMP）和扩散最小误差熵（DXM）算法。对新算法进行了均方收敛性分析。
2016-02-03 cs.LG stat.ML
On the Influence of Bias-Correction on Distributed Stochastic Optimization
University of California, Los Angeles（加州大学洛杉矶分校）；Google（谷歌）；EPFL（洛桑联邦理工学院）
本文研究分布式随机优化中偏差校正方法exact diffusion的性能，给出其优于/劣于传统无偏差校正算法的条件，证明其优势在稀疏网络拓扑上更显著，并通过仿真验证了理论结论。
2019-07-11 cs.DC cs.LG math.OC
ChunkFlow: Communication-Aware Chunked Prefetching for Layerwise Offloading in Distributed Diffusion Transformer Inference
University of California, Merced（加州大学梅尔德分校）；University of Chicago（芝加哥大学）；Yotta Labs（Yotta实验室）
ChunkFlow通过通信感知分块预取优化分层卸载，减少GPU内存占用并提升推理效率，在不同工作负载下实现内存与延迟的可调平衡。
2026-05-11 cs.DC cs.LG
Disentanglement in T-space for Faster and Distributed Training of Diffusion Models with Fewer Latent-states
Amazon（亚马逊）
该研究挑战扩散模型需大量潜态的假设，通过精心设计噪声调度实现少潜态训练，并提出T空间完全解耦的单潜态模型，组合后生成高质量样本且收敛速度快4-6倍。
2025-08-20 cs.CV cs.LG
Joint Energy Management and Coordinated AIGC Workload Scheduling for Distributed Data Centers: A Diffusion-Aided Reward Shaping Approach
针对AIGC在数据中心带来的能源管理与工作负载调度挑战，提出联合调度框架，考虑多种能源资源，制定系统效用最大化问题。因奖励稀疏限制DRL算法，开发扩散模型辅助奖励塑造方法，实验表明该方案能有效适应波动和异质性，实现高效学习收敛和系统效用。
2026-07-08 cs.LG cs.SY eess.SP
Federated Learning for Diffusion Models
Nanchang University（南昌大学）；Sun Yat-sen University（中山大学）；University of Virginia（弗吉尼亚大学）
针对非 IID 联邦场景下扩散模型训练性能不佳的问题，提出 FedDDPM 及低开销增强版 FedDDPM+，利用局部扩散模型生成全局辅助数据并校正聚合模型，实验证明其在多个数据集上优于现有方法。
2025-03-09 cs.CV cs.DC cs.LG
Study of Robust Distributed Diffusion RLS Algorithms with Side Information for Adaptive Networks
Southwest University of Science and Technology（西南科技大学）；Southwest Jiaotong University（西南交通大学）；CETUC, PUC-Rio（里约热内卢天主教大学CETUC研究中心）；University of York（约克大学）；Sichuan University（四川大学）
这项工作开发了鲁棒的扩散递归最小二乘算法，以减轻在脉冲噪声的存在下，代理网络中经常遇到的性能下降。第一个算法最小化指数加权最小二乘成本函数服从时间依赖约束的平方范数的中间更新在每个节点。提出了一种利用邻近节点边信息计算约束的递归策略，以进一步提高鲁棒性。我们还分析了所提出的算法的均方收敛行为。第二种算法是对第一种算法的改进，基于二分坐标下降迭代。它具有类似于前者的性能，但它的复杂性显着降低，特别是当输入回归的代理有一个转移结构，它是非常适合于实际的实施。仿真结果表明，所提出的算法优于以前报道的技术在各种脉冲噪声的情况下。
2019-02-04 cs.LG stat.ML
Enhancing Privacy in ControlNet and Stable Diffusion via Split Learning
University of Toronto（多伦多大学）
针对ControlNet分布式训练的隐私保护需求，提出无需服务器回传梯度的新型分布式学习架构，结合时间步采样策略、隐私激活函数等方法，在保障隐私和生成质量的同时提升训练效率。
2024-09-13 cs.CR cs.LG
Block Parallelism For Efficient Distributed Long-Context Diffusion Language Model Training
Stanford University（斯坦福大学）
针对块扩散语言模型长上下文训练瓶颈，提出上下文分片块并行（CSBP），通过分片干净序列并保持损坏K/V局部化，在H200/H100上实现1.18-7.59倍吞吐量提升，并提升下游基准通过率。
2026-09-18 cs.LG
FedPhD: Federated Pruning with Hierarchical Learning of Diffusion Models
School of Computing Science, University of Glasgow（Glasgow大学计算机科学学院）；College of Finance and Statistics, Hunan University（湖南大学金融与统计学院）
FedPhD提出结合同质性感知聚合的分层联邦学习与分布式结构化剪枝，高效训练扩散模型，降低通信成本88%，FID提升至少34%。
2025-07-08 cs.AI cs.DC cs.LG
Distributed dictionary learning over a sensor network
Ecole Centrale Lille（里尔中央理工学院）；INRIA Lille（里尔法国国家信息与自动化研究所）；University of Nice Sophia-Antipolis（尼斯索菲亚·安提波利斯大学）
我们考虑分布式字典学习的问题，其中一组节点需要从噪声测量中集体学习一个共同的字典。这种方法在包括传感器网络在内的几种情况下可能是有用的。扩散合作方案已被提出来解决分布式线性回归问题。在这项工作中，我们专注于一个基于扩散的自适应字典学习策略：每个节点记录的意见，并通过共享其本地字典与邻居合作。所得到的算法对应于分布式块坐标下降（交替优化）。除了字典学习，这种策略可以适用于许多矩阵分解问题，并推广到各种设置。本文介绍了我们的方法，并说明其效率的一些数值例子。
2013-04-12 cs.LG stat.AP stat.ML
Exact Subspace Diffusion for Decentralized Multitask Learning
Imperial College London（帝国理工学院）
本文提出精确扩散算法在子空间约束多任务学习中的推广，推导带噪声梯度近似下的均方偏差表达式，并通过数值实验验证其优于基于近似投影的方法。
2023-04-14 cs.DC cs.LG eess.SP
On Distributed Online Classification in the Midst of Concept Drifts
University of California（加州大学）
在这项工作中，我们分析了分布式在线学习算法在平稳和非平稳环境下的泛化能力。我们推导出界限的过度风险达到每个节点在一个连接的网络的学习者和研究的性能优势，扩散策略有超过个人的非合作处理。我们进行了大量的模拟来说明结果。
2013-01-01 cs.DC cs.LG cs.SI
Distributed Adaptive Networks: A Graphical Evolutionary Game-Theoretic View
University of Maryland, College Park（马里兰大学帕克分校）；Tsinghua University（清华大学）
分布式自适应滤波被认为是分布式网络数据处理和估计的有效方法。现有的分布式自适应滤波算法大多集中于设计不同的信息扩散规则，而没有考虑分布式网络的自然演化特性。在本文中，我们研究了自适应网络从博弈论的角度和制定的分布式自适应滤波问题作为一个图形进化博弈。该方法将网络中的节点视为参与者，将不同邻居的估计信息的局部组合视为不同的策略选择。我们表明，这种图形进化博弈框架是非常普遍的，可以统一现有的自适应网络算法。在此基础上，作为实例，我们进一步提出了两种误差感知的自适应滤波算法。此外，我们还利用图进化博弈理论分析了自适应网络上的信息扩散过程和系统的进化稳定策略。最后，仿真结果表明，我们的分析和所提出的方法的有效性。
2013-09-11 cs.GT cs.LG
Improving the Transient Times for Distributed Stochastic Gradient Methods
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
我们考虑分布式最优化问题，其中每个$n$代理拥有一个本地的成本函数，协作最小化的平均$n$费用函数在一个连接的网络。假设随机梯度信息是可用的，我们研究了分布式随机梯度算法，称为精确扩散与自适应步长（EDAS）适应的精确扩散方法和NIDS和执行非渐近收敛分析。我们不仅表明，EDAS渐近实现相同的网络独立的收敛速度集中随机梯度下降（SGD）最小化强凸和光滑的目标函数，但也表征了所需的瞬态时间的算法接近渐近收敛速度，表现为$K_T=\mathcal{O}\left(\frac{n}{1-λ_2}\right)$，其中$1-λ_2$代表混合矩阵的谱隙。据我们所知，当$n$费用函数的平均值是强凸的并且每个费用函数是平滑的时，EDAS实现了最短的过渡时间。数值模拟进一步证实和加强所获得的理论结果。
2021-05-11 cs.DC cs.LG cs.MA
SiloFuse: Cross-silo Synthetic Data Generation with Latent Tabular Diffusion Models
TU Delft（代尔夫特理工大学）；University of Neuchatel（纳沙泰尔大学）
针对跨筒仓垂直分布表格数据，本文提出 SiloFuse 分布式潜在扩散框架，以单步堆叠训练实现高质量、隐私可量化且通信高效的合成。
2024-04-04 cs.CR cs.DB cs.DC
Diffusion Adaptation over Networks
University of California, Los Angeles（加州大学洛杉矶分校）
自适应网络非常适合执行分散的信息处理和优化任务，并模拟自然界中遇到的各种类型的自组织和复杂行为。自适应网络由具有处理和学习能力的代理的集合组成。代理通过连接拓扑连接在一起，它们通过本地交互相互合作，以实时解决分布式优化，估计和推理问题。信息在网络中的持续扩散使代理能够根据流数据和网络条件调整其性能;它还导致相对于非合作代理的适应和学习性能得到改善。这篇文章提供了一个概述的扩散策略，适应和学习网络。文章分为几个部分：1.动机; 2。均方误差估计; 3.通过扩散策略的分布式优化; 4.自适应扩散策略; 5.最陡下降扩散策略的性能; 6.自适应扩散策略的性能; 7.比较合作策略的性能; 8.选择组合权重; 9.有噪声信息交换的扩散; 10.扩展和进一步考虑;附录A：克罗内克积的性质;附录B：图拉普拉斯和网络连通性;附录C：随机矩阵;附录D：块最大范数;附录E：与共识策略的比较;参考文献。
2013-05-05 cs.LG cs.MA
Coarse-grained and emergent distributed parameter systems from data
MIT（麻省理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们探讨推导分布参数系统的演化规律（特别是，偏微分算子和相关的偏微分方程，偏微分方程）时空数据。当然，这是一个经典的识别问题;我们在这里的重点是使用流形学习技术（特别是扩散映射的变体）与神经网络学习算法相结合，使我们能够在PDE的因变量甚至自变量都不是先验已知的并且必须从数据中导出时尝试这项任务。在扩散映射中用于相关粗变量检测的相似性度量涉及局部粒子分布观测之间的距离;对于自变量检测，我们使用局部短时动态之间的距离。我们通过一个说明性的PDE例子来演示每种方法。这种无变量的、涌现的空间识别算法与无方程的多尺度计算工具自然相连。
2020-11-17 cs.LG physics.comp-ph physics.data-an
Distributed Learning in Non-Convex Environments -- Part II: Polynomial Escape from Saddle-Points
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
从流数据中进行分布式学习的扩散策略采用局部随机梯度更新以及邻域上的迭代交换。在这项工作的第一部分[2]中，我们建立了代理围绕网络质心聚集，并继续研究这一点的动力学。我们建立了大梯度制度中的非凸环境中的预期下降，并引入了一个短期模型来研究有限时间范围内的动态。使用这个模型，我们建立在这项工作中的扩散策略是能够逃脱严格的鞍点O（1/ $μ$）迭代，它也能够返回近似二阶稳定点的多项式迭代次数。相对于以前的工作多项式逃离鞍点，其中大部分集中扰动或随机梯度下降，我们的方法需要较少的限制条件的梯度噪声过程。
2019-07-03 cs.LG cs.MA eess.SP
