Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates
Argonne National Laboratory（阿贡国家实验室）
差分隐私（DP）技术可以应用于联邦学习模型，以统计地保证数据隐私免受推理攻击的学习代理之间的通信。然而，在确保强大的数据隐私的同时，DP技术阻碍了实现更好的学习性能。本文提出了一种用于联邦学习的DP不精确交替方向乘子算法，该算法的目标扰动为Laplace分布的随机噪声。我们表明，我们的算法提供了$\barε$ -DP的每次迭代，其中$\barε$是由用户控制的隐私预算。我们还提出了该算法的收敛性分析。使用MNIST和FEMNIST数据集的图像分类，我们表明，我们的算法减少了测试误差最多$31\%$与现有的DP算法相比，同时实现了相同的数据隐私水平。数值实验也表明，我们的算法收敛速度比现有的算法。
2022-02-18 cs.LG
Federated Learning via Inexact ADMM
Beijing Jiaotong University（北京交通大学）；Imperial College London（伦敦帝国理工学院）
本文针对联邦学习优化效率问题，提出一种非精确ADMM算法，在温和条件下实现收敛，兼具计算与通信效率并能对抗滞后效应，数值性能优于现有主流联邦学习算法。
2023-09-24 cs.LG math.OC
Connecting Federated ADMM to Bayes
Harvard University（哈佛大学）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
本文建立了联邦ADMM与变分贝叶斯之间的理论联系，并据此提出两种新变体，通过数值实验验证了性能提升，从而改进联邦学习。
2025-02-28 cs.AI cs.LG stat.ML
Inexact-ADMM Based Federated Meta-Learning for Fast and Continual Edge Learning
Central South University（中南大学）；Arizona State University（亚利桑那州立大学）
为了满足许多物联网应用对性能、安全性和延迟的要求，必须立即在网络边缘做出智能决策。然而，有限的资源和有限的本地数据量对边缘AI的发展构成了重大挑战。为了克服这些挑战，我们探索能够利用以前任务中的知识转移的持续边缘学习。为了实现快速和持续的边缘学习，我们提出了一种平台辅助的联邦元学习架构，其中边缘节点协作学习元模型，并辅之以来自先前任务的知识转移。边缘学习问题被转换为正则化优化问题，其中从先前任务中学习到的有价值的知识被提取为正则化。然后，我们设计了一个基于ADMM的联邦元学习算法，即ADMM-FedMeta，其中ADMM提供了一种自然的机制，将原始问题分解为许多子问题，这些子问题可以跨边缘节点和平台并行求解。此外，不精确ADMM方法的一个变体是采用"解决"的子问题，通过线性近似以及海森估计，以减少每轮的计算成本$\mathcal{O}(n)$。我们提供了一个全面的分析ADMM-FedMeta，在收敛性能，快速适应性能，和遗忘效应的先验知识转移，一般非凸的情况下。广泛的实验研究证明了ADMM-FedMeta的有效性和效率，并显示它大大优于现有的基线。
2021-08-17 cs.LG cs.NI
Improved Communication Efficiency in Federated Natural Policy Gradient via ADMM-based Gradient Updates
Purdue University（普渡大学）；Columbia University（哥伦比亚大学）
本文提出FedNPG-ADMM框架，利用ADMM近似全局自然策略梯度方向，将联邦强化学习通信复杂度从O(d²)降至O(d)，同时保持与标准FedNPG相同的收敛速率和奖励性能。
2023-10-09 cs.LG math.OC
Federated ADMM from Bayesian Duality
RIKEN Center for AI Project（RIKEN人工智能项目中心）；University College London（大学学院伦敦）；Harvard University（哈佛大学）
本文提出了一种基于贝叶斯对偶性的方法，用于推广联邦ADMM，通过变分贝叶斯目标实现ADMM-like更新和新的非平凡扩展，提升深度异质任务的准确性。
2026-03-04 cs.LG math.OC stat.ML
Hierarchical Federated ADMM
Digital Futures（数字未来研究院）
本文提出基于ADMM的分层联邦学习框架及两种顶层采用ADMM的新算法，增强了隐私性，并在收敛速度和精度上优于传统方法。
2024-09-27 cs.AI cs.DC cs.IT
Communication Efficient Federated Learning via Ordered ADMM in a Fully Decentralized Setting
Lehigh University（利哈伊大学）；Army Research Laboratory（陆军研究实验室）
近年来，通信高效的分布式优化的挑战引起了人们的关注。在本文中，通信效率的算法，称为基于排序的交替方向乘法器（OADMM）的方法设计在一个一般的完全分散的网络设置，工作者只能与邻居交换消息。与经典的ADMM相比，OADMM的一个关键特性是在每次迭代时在工作者之间进行传输，使得具有最多信息数据的工作者首先将其局部变量广播给邻居，并且尚未传输的邻居可以基于接收到的传输来更新其局部变量。在OADMM中，如果当前的局部变量与先前传输的值没有足够的差异，我们禁止工作线程进行传输。OADMM的一个变体，称为SOADMM，提出了传输是有序的，但传输从来没有停止每个节点在每次迭代。数值结果表明，给定的目标精度，OADMM可以显着减少通信的数量相比，现有的算法，包括ADMM。我们还表明，数值SOADMM可以加速收敛，从而节省通信相比，经典的ADMM。
2022-02-05 cs.AI cs.LG
L-FGADMM: Layer-Wise Federated Group ADMM for Communication Efficient Decentralized Deep Learning
University of Oulu（奥卢大学）
本文提出了一种通信高效的分散式深度学习算法，即分层联邦组ADMM（L-FGADMM）。为了最小化经验风险，L-FGADMM中的每个工作者定期与两个邻居通信，其中针对其深层神经网络的不同层分别调整周期。一个约束优化问题，这种设置制定和解决使用随机版本的GADMM提出在我们以前的工作。数值计算表明，通过减少最大层的交换频率，L-FGADMM可以显着降低通信成本，而不会影响收敛速度。令人惊讶的是，尽管交换的信息和分散的操作较少，但间歇性地跳过L-FGADMM中的最大层共识会产生正则化效应，从而实现与联邦学习（FL）一样高的测试准确性，FL是一种借助中央实体实现整个层共识的基线方法。
2020-07-05 cs.DC cs.LG cs.NI
Certifiably-Robust Federated Adversarial Learning via Randomized Smoothing
University of Utah（犹他大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对联邦学习易受对抗攻击且缺乏可认证保证的问题，本文将随机化平滑引入联邦对抗训练，在分布式隐私设置下获得与集中式训练相当的 ℓ2 可认证鲁棒性，并使训练速度提升 2–3 倍。
2021-03-30 cs.LG
Function-Space ADMM for Decentralized Federated Learning: A Control Theoretic Perspective
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）；Center for Spatial Information Science, The University of Tokyo（东京大学空间信息科学中心）
本文提出FedF-ADMM方法，利用函数空间损失函数的凸性改进去中心化联邦学习，通过知识蒸馏投影到参数空间，并引入稳定系数提升鲁棒性，实验显示其收敛更快且更稳定。
2026-05-10 cs.LG cs.NI
From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
该研究将差分隐私机器学习建模为噪声不动点迭代，并据此为集中式、联邦式和完全去中心化学习提出隐私 ADMM 算法，证明其隐私放大与线性收敛效用保证。
2023-07-12 cs.CR cs.DC cs.LG
Personalized Federated Learning via ADMM with Moreau Envelope
本文提出基于ADMM与Moreau包络的个性化联邦学习框架FLAME，在较弱假设下实现次线性收敛，免调学习率，并设计有偏客户端选择策略加速收敛，实验证明其在异构数据上性能更优且通信效率达3.75倍平均加速。
2024-08-22 cs.DC cs.LG
Communication-Efficient Distributed Asynchronous ADMM
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Oregon State University（俄勒冈州立大学）
针对异步ADMM在联邦学习中的通信瓶颈，本文提出对交换数据进行粗量化以降低通信开销，并在神经网络等分布式学习任务上验证了收敛性。
2025-08-17 cs.LG eess.SP
A Linearized Alternating Direction Multiplier Method for Federated Matrix Completion Problems
University of Dayton Research Institute, University of Dayton（代顿大学研究院，代顿大学）；Oakland University（奥克兰大学）
针对分布式隐私场景下的矩阵补全，提出融合 ADMM、随机块坐标与近似梯度的 FedMC-ADMM，并证明其收敛与通信复杂度，实验显示性能更优。
2025-03-18 cs.LG
FedAPM: Federated Learning via ADMM with Partial Model Personalization
School of Computer Science（计算机科学学院）；Wuhan University（武汉大学）；School of Management（管理学院）；Xi’an Jiaotong University（西安交通大学）；La Trobe Business School（拉筹伯商学院）；La Trobe University（拉筹伯大学）；Hong Kong University of Science and Technology（香港科技大学）；Oceanbase Ant group（Oceanbase蚂蚁集团）
本文提出FedAPM框架，通过ADMM结合一阶与二阶近端项缓解部分模型个性化联邦学习中的客户端漂移问题，实现更稳定高效的收敛，并在多个异构多模态数据集上显著优于现有方法。
2025-06-05 cs.LG
Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU（挪威科技大学）；Linköping University（林雪平大学）；University of Southern Denmark（南丹麦大学）
本文研究了非凸非光滑稀疏惩罚下的分位数回归问题，提出了一种名为SIAD的单循环平滑ADMM算法，通过递增惩罚参数加速收敛，理论上确认了子梯度界收敛率为o(k^{-1/4})，数值实验证明其优于现有方法。
2023-09-04 cs.AI cs.LG stat.ML
Federated Learning Using Three-Operator ADMM
Ericsson AB（爱立信公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Princeton University（普林斯顿大学）
本文提出 FedTOP-ADMM 方法，通过三算子 ADMM 技术利用边缘服务器上的平滑成本函数与设备并行学习全局模型，相比 FedADMM 在通信效率上提升高达 33%。
2024-03-25 cs.LG eess.SP math.OC
On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer and Information Engineering, Jiangxi Normal University（江西师范大学计算机与信息工程学院）；La Trobe Business School, La Trobe University（拉筹伯大学拉筹伯商学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；Hong Kong University of Science and Technology（香港科技大学）
本文提出基于ADMM的优化框架FLAME，同时训练个性化与全局模型，在温和假设下建立全局收敛性，理论上提升鲁棒性与公平性，实验证明其在收敛速度、准确率及抗攻击能力上优于现有方法。
2024-07-23 cs.AI cs.LG
SPADE-DFL: Communication-Efficient Decentralized Federated Learning via Derivative-Free Linearized ADMM
Southeast University（东南大学）；Jiangsu Province Scientific Research Center for Applied Mathematics（江苏省应用数学科学研究中心）
提出SPADE-DFL，一种基于无导数线性化ADMM的去中心化联邦学习方法，通过控制局部更新不一致实现通信高效，在非凸目标下达到T^{-1/3}收敛界，并支持私有训练，实验显示更高准确率。
2026-09-25 cs.LG cs.NI
Federated Domain Generalization with Label Smoothing and Balanced Decentralized Training
Queen's University（女王大学）；Department of Electrical and Computer Engineering（电气与计算机工程学院）
本文提出 FedSB 方法，通过客户端标签平滑和去中心化预算均衡训练，缓解联邦学习中的数据异质性问题，并在多个多域数据集上取得领先性能。
2025-02-08 cs.AI cs.LG
An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering
University of Miami（迈阿密大学）
聚类分析将数据组织成合理的分组，是理解和学习的基本模式之一。广泛使用的K-means和层次聚类方法可能由于局部最小值而显着次优。最近引入的凸聚类方法将聚类问题转化为凸优化问题，并保证了全局最优解。然而，现有的基于交替方向乘子法（ADMM）或交替最小化算法（AMA）的凸聚类算法需要大量的计算和存储空间，限制了它们的应用。在本文中，我们开发了一个非常有效的平滑近似梯度算法（SSTRA）的凸聚类。我们的Sphera比ADMM或AMA为基础的凸聚类算法快一到两个数量级。Sundra所需的内存空间比ADMM和AMA所需的内存空间少至少一个数量级。计算机模拟和实际数据分析表明，该算法优于几个著名的聚类算法，包括K-均值和层次聚类。该算法的高效性和优越性将有助于凸聚类的广泛应用。
2020-06-22 cs.LG stat.ME stat.ML
Differentially Private Federated Learning with Laplacian Smoothing
Hong Kong University of Science and Technology（香港科技大学）；University of Utah（犹他大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
联邦学习旨在通过协作学习模型来保护数据隐私，而无需在用户之间共享隐私数据。然而，对手仍然能够通过攻击所发布的模型来推断私有训练数据。差分隐私提供了一个统计保护，以防止这种攻击的代价显着降低训练模型的准确性或实用性。本文研究了一种基于Laplacian平滑的差分私有联邦学习（DP-Fed-LS）效用增强方案，在不损失隐私预算的前提下，提高了注入高斯噪声的参数聚合的统计精度。我们的关键观察是，联邦学习中的聚合梯度通常具有一种平滑性，即随着频率的增长，图傅立叶基中的稀疏性以及傅立叶系数的多项式衰减，这可以通过拉普拉斯平滑有效地利用。在规定的差分隐私预算下，通过对非IID数据的均匀子采样，给出了DP-Fed-LS算法的收敛误差界，揭示了Laplacian平滑在有效维数和方差缩减等方面的效用改进.在MNIST、SVHN和Shakespeare数据集上的实验表明，该方法在均匀采样和泊松采样机制下均能提高模型精度，并具有DP保证和成员隐私性.
2021-09-10 cs.LG stat.ML
Noise-Robust and Resource-Efficient ADMM-based Federated Learning
Department of Electronic Systems, Norwegian University of Science and Technology（挪威科学技术大学电子系统系）；Department of Information and Communications Engineering, Aalto University（阿alto大学信息与通信工程系）；Commonwealth Scientific and Industrial Research Organisation（共同科学与工业研究组织）；SDU Applied AI and Data Science, The Maersk Mc-Kinney Moller Institute, Faculty of Engineering, University of Southern Denmark（南部丹麦大学应用人工智能与数据科学，马士基麦金尼莫勒研究所，工程学院）
本文提出了一种抗噪声且资源高效的联邦学习算法，通过改进ADMM方法，提高模型鲁棒性和通信效率。
2024-09-20 cs.DC cs.LG eess.SP
FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Fundación Deusto（德乌斯托基金会）；Universidad Autónoma de Madrid（马德里自治大学）
本文提出FedADMM-InSa算法，通过设计客户端本地更新的非精确性准则和自适应调整惩罚参数，在联邦学习中降低本地计算成本、增强鲁棒性并加速学习过程。
2024-07-31 cs.CR cs.DC cs.LG
Mobilizing Personalized Federated Learning in Infrastructure-Less and Heterogeneous Environments via Random Walk Stochastic ADMM
University of Michigan（密歇根大学）；University of Georgia（佐治亚大学）
针对无基础设施、无线连接且数据异构的联邦学习场景，提出 RWSADMM，利用服务器随机移动和硬不等式邻近约束实现个性化学习，并证明其快速收敛、准确率提升及通信与可扩展性优势。
2023-09-26 cs.DC cs.LG math.OC
Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU（挪威科技大学）；Aalto University（阿尔托大学）
针对物联网分布式稀疏高维数据的隐私保护分析需求，提出融合平滑机制与近端梯度框架的联邦分位数回归算法FSPG，可高效处理非凸惩罚与非光滑损失，提升估计精度与收敛可靠性。
2024-08-13 cs.AI cs.LG
Fully Decentralized, Scalable Gaussian Processes for Multi-Agent Federated Learning
Virginia Tech（弗吉尼亚理工大学）
在本文中，我们提出了分散和可扩展的算法高斯过程（GP）的训练和预测的多智能体系统。为了分散GP训练优化算法的实现，我们采用交替方向乘法器（ADMM）。一个封闭形式的解决方案，分散近端ADMM的情况下，GP超参数训练极大似然估计。用于GP预测的多个聚合技术是分散的，使用迭代和共识方法。此外，我们提出了一种基于协方差的最近邻选择策略，使代理子集能够执行预测。所提出的方法的有效性说明了与合成和真实数据的数值实验。
2022-03-06 cs.LG cs.MA cs.RO
Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊网络服务）；University of Chicago（芝加哥大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对纵向联邦学习中逐轮梯度通信成本高且消耗隐私预算的问题，提出多头 VIM 框架与 ADMM 方法，支持多次本地更新并提供用户级差分隐私，在四个数据集上显著提升性能与收敛速度。
2024-04-07 cs.CR cs.LG
Semi-asynchronous Hierarchical Federated Learning for Cooperative Intelligent Transportation Systems
Wuhan University（武汉大学）
协同智能交通系统（C-ITS）是一个很有前途的网络，通过利用参与者的优势，为自动驾驶车辆和道路基础设施提供安全、高效、可持续和舒适的服务。然而，C-ITS的组件通常会产生大量的数据，这使得探索数据科学变得困难。目前，联邦学习已被提出作为一种有吸引力的方法，允许用户合作地从受过训练的参与者中获益。因此，在本文中，我们提出了一种新的半异步分层联邦学习（SHFL）框架的C-ITS，使弹性边缘云模型聚合数据传感。我们进一步制定了一个联合的边缘节点关联和资源分配问题，建议SHFL框架下，以防止个性的异构道路车辆，实现通信效率。针对混合整数非线性规划（MINLP）问题，提出了一种分布式的交替方向乘子法（ADMM）-块坐标更新（BCU）算法。利用该算法，在训练精度和传输延迟之间取得了折衷。数值结果表明，该算法的优势，在训练开销和模型性能。
2021-10-18 cs.LG
Multi-Task Model Personalization for Federated Supervised SVM in Heterogeneous Networks
针对异构网络中设备算力差异导致联邦训练收敛慢的问题，提出基于ADMM的SVM高效迭代分布式方法，支持非独立同分布数据下的模型个性化，并引入随机掩码增强隐私。
2023-04-01 cs.LG
TablePuppet: A Generic Framework for Relational Federated Learning
ETH Zürich（苏黎世联邦理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chicago（芝加哥大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
提出关系型联邦学习（RFL）概念及通用框架TablePuppet，通过LoJ和LoU两步骤将学习下推至分布式关系表，结合计算优化与差分隐私，在保护隐私的同时实现与集中式基线相当的模型准确率。
2024-03-23 cs.DB cs.DC cs.LG
Fast and Flexible ADMM Algorithms for Trend Filtering
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种快速稳健的算法用于趋势过滤，解决其在大规模数据下的计算问题，并展示其在稀疏趋势过滤和等距趋势过滤中的扩展性。
2015-08-29 cs.LG cs.NA math.NA
Privacy-preserving Decentralized Aggregation for Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Microsoft（微软）；Nokia Bell Labs（诺基亚贝尔实验室）
联邦学习是一个很有前途的框架，用于跨多个区域的分散数据的学习。这种方法避免了昂贵的中央训练数据聚合成本，并且可以提高隐私性，因为分布式站点不必透露隐私敏感数据。在本文中，我们开发了一个隐私保护的分散聚合协议的联邦学习。我们制定了分布式聚合协议的交替方向乘法（ADMM），并检查其隐私的弱点。与以前的工作，使用差分隐私或同态加密的隐私，我们开发了一个协议，控制参与者之间的通信，在每一轮的聚合，以尽量减少隐私泄漏。我们建立了隐私保证，以对抗诚实但好奇的对手。我们还提出了一个有效的算法来构建这样的通信模式，灵感来自组合块设计理论。我们的安全聚合协议的基础上，这种新的组通信模式的设计，导致一个有效的算法，联邦训练的隐私保证。我们评估我们的联邦训练算法在图像分类和下一个词的预测应用程序的基准数据集与9和15个分布式站点。评估结果表明，我们的算法执行的标准集中式联邦学习方法，同时保护隐私的测试精度下降仅为0.73%。
2020-12-28 cs.DC cs.LG
Federated Reinforcement Learning for Resource Allocation in V2X Networks
Imperial College London（帝国理工学院）；Beijing Jiaotong University（北京交通大学）
本文提出联邦强化学习框架PASM，结合强化学习与联邦学习，通过不精确ADMM和自适应步长解决V2X网络资源分配问题，兼顾隐私、通信效率并保证收敛。
2023-10-15 cs.AI cs.LG eess.SP
ADMM for Structured Fractional Minimization
Peng Cheng Laboratory（鹏城实验室）
本文提出首个针对结构化分数最小化问题的交替方向乘子法FADMM，通过两种变体（Dinkelbach和二次变换）实现线性化近端分解，在O(1/ε³)复杂度内收敛到ε-近似临界点，并在多个实际应用中验证有效性。
2025-03-31 cs.LG cs.NA math.NA
Confederated Learning: Federated Learning with Decentralized Edge Servers
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Sun Yat-Sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
联邦学习（FL）是一种新兴的机器学习范例，其允许在不聚集中央服务器处的数据的情况下完成模型训练。大多数关于FL的研究考虑集中式框架，其中单个服务器被赋予中央权限以协调多个设备以迭代方式执行模型训练。由于严格的通信和带宽限制，这种集中式框架随着设备数量的增长而具有有限的可扩展性。为了解决这个问题，在本文中，我们提出了一个联合学习（CFL）框架。拟议的CFL由多个服务器组成，其中每个服务器与传统FL框架中的一组单独的设备连接，并且在服务器之间利用分散的协作，以充分利用分散在整个网络中的数据。提出了一种交替方向乘子法（ADMM）的CFL算法。所提出的算法采用随机调度策略，随机选择一个子集的设备访问各自的服务器在每次迭代，从而减轻了需要上传大量的信息从设备到服务器。理论分析证明所提出的方法。数值结果表明，该方法可以收敛到一个体面的解决方案显着快于基于梯度的FL算法，从而拥有一个显着的优势，在通信效率方面。
2022-05-30 cs.DC cs.LG math.OC
Towards Quantized Model Parallelism for Graph-Augmented MLPs Based on Gradient-Free ADMM Framework
Emory University（埃默里大学）；Xidian University（西安电子科技大学）；University of Virginia（弗吉尼亚大学）
虽然图神经网络（GNN）在深度学习社区中很受欢迎，但它们面临着一些挑战，包括过度平滑，过度挤压和梯度消失。最近，一系列的模型已经尝试通过首先增加节点特征，然后施加基于多层感知器（MLP）的节点功能来缓解这些问题，这些模型被广泛称为GA-MLP模型。然而，虽然GA-MLP模型享有更深的架构以获得更好的准确性，但它们的效率在很大程度上恶化。此外，由于样本之间的依赖性（即，节点）中。为了解决这些问题，本文提出了一个并行图深度学习交替方向乘法（pdADMM-G）框架来实现模型并行，而不是数据并行：GA-MLP模型的每一层中的参数都可以并行更新。扩展的pdADMM-G-Q算法通过引入量化技术降低了通信开销。以次线性收敛速率$o(1/k)$提供了到pdADMM-G算法和pdADMM-G-Q算法的（量化）稳定点的理论收敛，其中$k$是迭代次数。大量的实验证明了所提出的两种算法的收敛性。此外，它们在九个基准数据集上比所有最先进的比较方法都具有更大的加速比和更好的性能。最后但并非最不重要的是，所提出的pdADMM-G-Q算法减少了高达$45\%$的通信开销而不损失性能。我们的代码可在\url{https://github.com/xianggebenben/pdADMM-G}上找到。
2022-11-17 cs.DC cs.LG math.OC
Topological Federated Clustering via Gravitational Potential Fields under Local Differential Privacy
GFC通过引力势场拓扑持久性方法，在局部差分隐私下实现高效的隐私保护联邦聚类，提升隐私与准确性平衡。
2025-11-30 cs.AI cs.LG
FedRSPO+: A Heterogeneity-aware Algorithm for Decision-focused Federated Learning
Auburn University（奥本大学）
针对跨孤岛场景下决策聚焦联邦学习中的目标与可行集异构性问题，提出基于正则化投影平滑的FedRSPO+框架，并证明其决策误差界与跨客户端异构性界，实验验证平滑策略的有效性。
2026-10-08 cs.LG math.OC stat.ML
F-ACVAE: A Federated Adaptive Conditional Variational Auto-Encoder for Privacy-Preserving Intrusion Detection in IoT Networks
Department of Computer Engineering, Ne. C., Islamic Azad University, Neyshabur, Iran（伊朗奈什巴尔伊斯兰Azad大学计算机工程系）
针对物联网设备网络中入侵检测面临的挑战，提出F-ACVAE框架，通过选择性参数聚合实现跨设备协作训练，引入新策略增强稳定性，实验表明其检测性能高且通信开销低。
2026-07-07 cs.CR cs.LG
DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning
National University of Defense Technology（国防科技大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
针对去中心化联邦学习中的局部不一致与异构过拟合问题，提出 DFedADMM 及融合 SAM 的 DFedADMM-SAM，并给出非凸收敛率，实验验证其优于现有 SOTA 优化器。
2023-08-16 cs.DC cs.LG math.OC
Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm
Xidian University（西安电子科技大学）；JD Tech（京东科技）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JD Finance America Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）
垂直联邦学习（Vertical Federated Learning，VFL）由于多方协作建模的需求和隐私泄露的问题而受到越来越多的关注。评估VFL算法的完整指标列表应包括模型适用性，隐私安全性，通信成本和计算效率，其中隐私安全对VFL尤为重要。然而，据我们所知，不存在一个VFL算法满足所有这些标准很好。为了解决这个具有挑战性的问题，在本文中，我们揭示了零阶优化（ZOO）是一个理想的伴侣VFL。具体而言，ZOO可以1）提高VFL框架的模型适用性，2）防止VFL框架在好奇，共谋和恶意威胁模型下的隐私泄漏，3）支持廉价的通信和高效的计算。在此基础上，我们提出了一个新的和实用的VFL框架与黑箱模型，这是不可分割的相互关联的有前途的性质ZOO。我们相信，它需要一个实际的VFL框架设计匹配的所有标准的一大步。在此框架下，我们提出了两个新的{ \bf asy} nextraction { \bf r}阶{ \bf e}r算法，用于{ \bf v}垂直f{ \bf e}derated { \bf l}学习（AsyREVEL）。在非凸条件下，我们从理论上证明了AsyREVEL算法的收敛速度。更重要的是，我们证明了我们提出的框架下现有的VFL攻击的隐私安全性在不同的水平。在基准数据集上的大量实验表明，该框架具有良好的模型适用性、隐私安全性、通信成本低、计算效率高、可扩展性好和无损等特点。
2022-03-19 cs.DC cs.LG math.OC
FedEMA-Distill: Exponential Moving Average Guided Knowledge Distillation for Robust Federated Learning
Department of Science and Technology, TÉLUQ, University of Quebec（科学与技术系，TÉLUQ，魁北克大学）；Higher School of Technology, Hassan II University（技术高等学院，哈桑二世大学）
FedEMA-Distill通过结合指数移动平均与日志its聚合，提升联邦学习的鲁棒性和通信效率，减少通信开销并增强对抗性攻击下的稳定性。
2026-02-15 cs.AI cs.CE cs.DC
