Federated Variational Preference Alignment with Gumbel-Softmax Prior for Personalized User Preferences
Graduate School of AI, POSTECH, Pohang, Republic of Korea（POSTECH人工智能研究生院）；Department of CSE, POSTECH, Pohang, Republic of Korea（POSTECH计算机科学与工程系）；National AI Research Lab, Seoul, Republic of Korea（首尔国家人工智能研究实验室）
提出FedVPA-GP框架，通过联邦混合先验和正交损失解决联邦学习中用户偏好冲突和个性化问题，在HH-RLHF数据集上优于单一模型。
2026-05-29 cs.AI cs.DC cs.LG
Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications
Hong Kong University of Science and Technology（香港科技大学）；University of Science and Technology of China（中国科学技术大学）
针对softmax在超大类别场景下计算成本过高的问题，提出基于倒排多索引的MIDX采样器，通过分解softmax概率降低复杂度，经理论验证与多任务实验，在效果和效率上均优于现有方法。
2025-01-15 cs.LG
Federated Matrix Factorization: Algorithm Design and Application to Data Clustering
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
近年来，人们对数据隐私的要求使得联邦学习（FL）成为大规模异构网络中一种新的分布式学习范式。尽管已经提出了许多FL算法，但是很少有人考虑矩阵分解（MF）模型，该模型已知具有大量的信号处理和机器学习应用。与现有的FL算法是针对单一变量块的光滑问题而设计的不同，联邦MF（FedMF）算法需要处理两个变量块的非凸和非光滑问题（由于约束或正则化）。在本文中，我们提出了两个新的FedMF算法，即FedMAvg和FedMGS，模型平均和梯度共享原则的基础上，分别解决这一挑战。FedMAvg和FedMGS都采用每轮通信多步本地更新的方式来加快收敛速度，并只允许随机抽样的客户端子集与服务器通信以降低通信开销。分别给出了两种算法的收敛性分析，描述了数据分布、局部更新次数和部分客户端通信对算法性能的影响。通过集中在一个数据聚类任务，广泛的实验结果，以检查这两种算法的实际性能，以及证明他们的有效性，现有的分布式聚类算法。
2020-10-30 cs.DC cs.LG math.OC
First-Order Softmax Weighted Switching Gradient Method for Distributed Stochastic Minimax Optimization with Stochastic Constraints
Purdue University（普渡大学）
本文提出了一种适用于分布式随机博弈优化的Softmax加权切换梯度方法，通过统一的收敛保证和高效的算法设计，提高了联邦学习中的优化性能。
2026-07-14 cs.DC cs.LG
DSL: Understanding and Improving Softmax Recommender Systems with Competition-Aware Scaling
University of Surrey（萨里大学）
DSL通过双尺度softmax损失改进推荐系统，通过竞争意识缩放提升模型性能和鲁棒性，实验显示在多个基准和数据集上均取得显著提升。
2026-02-06 cs.AI cs.LG
Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation
Okinawa Institute of Science and Technology, Japan（冲绳科学技术大学院大学，日本）；Toyota Motor Corporation, Japan（丰田汽车公司，日本）
针对部分参与场景下拜占庭客户端可能占多数的问题，提出延迟动量聚合原则，通过聚合未采样客户端的缓存动量和采样客户端的即时动量，确保拜占庭客户端在服务器视角中保持少数，并实例化为DeMoA优化器，理论分析和实验验证其鲁棒性和高效性。
2026-05-29 cs.LG math.OC
FedGS: Federated Graph-based Sampling with Arbitrary Client Availability
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University（厦门大学信息学院福建省智慧城市感知与计算重点实验室）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
虽然联邦学习在优化机器学习模型而无需直接存取原始数据方面表现出了很好的效果，但其性能可能会受到间歇性客户端可用性的阻碍，这会减慢收敛速度并使最终学习模型产生偏差。在任意客户端可用性下实现稳定和无偏差的培训存在重大挑战。为了解决这些挑战，我们提出了一个名为Federated Graph-based Sampling（FedGS）的框架，以稳定全局模型更新并同时减轻任意客户端可用性的长期偏差。首先，我们使用数据分布依赖图（3DG）对客户端的数据相关性进行建模，该图有助于将采样的客户端数据彼此分开，这在理论上可以提高最佳模型更新的近似值。其次，受样本客户数据分布距离较远的约束，进一步最小化样本客户被抽样次数的方差，以减小长期偏差。为了验证FedGS的有效性，我们在七种客户端可用性模式下对三个数据集进行了实验。我们的实验结果证实了FedGS的优势，使一个公平的客户端采样方案，并提高模型的性能在任意客户端的可用性。我们的代码可在\url{https://github.com/WwZzz/FedGS}上获得。
2022-12-07 cs.LG
Real-time Federated Evolutionary Neural Architecture Search
University of Surrey（萨里大学）
联邦学习是一种分布式机器学习方法，用于隐私保护，两个主要的技术挑战阻碍了联邦学习的更广泛应用。一个是联邦学习对通信提出了很高的要求，因为大量的模型参数必须在服务器和客户端之间传输。另一个挑战是，在联邦学习中训练深度神经网络等大型机器学习模型需要大量的计算资源，这对于手机等边缘设备来说可能是不现实的。当在联邦学习中执行深度神经架构搜索时，问题变得更糟。为了解决上述挑战，我们提出了一种进化的方法来实时的【形】联邦神经架构搜索，不仅优化模型的性能，但也减少了本地负载。在搜索过程中，引入了双采样技术，其中对于每个个体，主模型的随机采样子模型被传输到多个随机采样的客户端进行训练，而无需重新初始化。这样，我们有效地减少了进化优化所需的计算和通信开销，避免了局部模型的大的性能波动，使得所提出的框架非常适合于实时的【形】联邦神经结构搜索.
2020-03-04 cs.DC cs.LG stat.ML
An Empirical Evaluation of Federated Contextual Bandit Algorithms
Google Research（谷歌研究院）
随着联邦学习在从用户设备本地的敏感数据学习中的采用增加，很自然地会问，学习是否可以使用用户与感兴趣的应用交互时生成的隐式信号来完成，而不是需要访问在许多任务中难以获得的显式标签。我们接近这样的问题与框架的联邦上下文强盗，并开发出变种突出的上下文强盗算法的集中设置为联邦设置。我们仔细评估这些算法在一系列的情况下使用公开的数据集模拟。我们的模拟模拟了现实世界中遇到的典型设置，例如由于数据的非平稳性和/或客户端之间的异质性而导致的初始预训练模型与后续用户交互之间的各种不一致。我们的实验揭示了令人惊讶的有效性的简单和常用的softmax启发式在平衡众所周知的探索开发权衡我们的设置的广度。
2023-03-17 cs.AI cs.LG
When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning
Peking University（北京大学）；Renmin University of China（中国人民大学）；Shanghai AI Lab（上海人工智能实验室）；Tencent Inc.（腾讯公司）；Tsinghua University（清华大学）
联邦学习已经成为一种广泛使用的框架，它允许在保护本地数据隐私的条件下，在分散的本地数据集上学习全局模型。然而，当训练样本不是独立同分布（非独立同分布）时，联邦学习面临严重的优化困难。在本文中，我们指出，客户抽样的做法起着决定性的作用，在上述优化困难。我们发现，负客户端采样将导致合并的数据分布的当前采样的客户端严重不一致的所有可用的客户端，并进一步使聚合梯度不可靠。为了解决这个问题，我们提出了一种新的学习率自适应机制，自适应调整服务器学习率的聚合梯度在每一轮，根据合并数据分布的一致性，当前采样的客户端和所有可用的客户端。具体而言，通过理论推导，找到了一个与最优服务器学习率正相关、能有效反映样本客户端合并数据分布的有意义且鲁棒的指标，并将其用于服务器学习率自适应。在多个图像和文本分类任务上的大量实验验证了该方法的有效性。
2023-01-25 cs.AI cs.CR cs.LG
MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes
Nanjing University（南京大学）；Nanjing University of Science and Technology（南京理工大学）
针对联邦学习中客户端类别不完整的Non-I.I.D.场景，提出MAP算法，通过受限softmax优化聚合、继承式私有模型存储个性化经验，同时实现聚合与个性化目标，经实验验证性能更优。
2024-04-14 cs.DC cs.LG
Robust Federated Learning by Mixture of Experts
University of Toronto（多伦多大学）
提出了一种基于混合专家模型（MoE）概念的加权平均模型，以提高联邦学习（FL）对中毒/损坏/过时局部模型的鲁棒性。这些威胁以及数据集的非IID性质可以大大降低FL模型的准确性。我们提出的MoE-FL设置依赖于用户和服务器之间的信任，其中用户与服务器共享其公共数据集的一部分。服务器通过解决优化问题或Softmax方法来应用鲁棒聚合方法，以突出异常情况并减少其对FL过程的不利影响。我们的实验表明，MoE-FL的性能优于传统的聚合方法的高速率的中毒数据从攻击者。
2021-04-23 cs.DC cs.LG cs.NE
Knowledge-Aware Federated Active Learning with Non-IID Data
The University of Sydney（悉尼大学）；ShanghaiTech University（上海科技大学）
针对非IID联邦数据中标注预算有限及全局与本地采样目标不匹配的问题，提出KAFAL，通过KSAS和KCFU实现隐私保护下的高效全局模型学习。
2023-09-30 cs.CV cs.LG
Semi-supervised Federated Learning for Activity Recognition
Imperial College London（帝国理工学院）
在家庭物联网传感数据上训练深度学习模型通常用于识别人类活动。最近，使用边缘设备作为客户端来支持本地人类活动识别的联邦学习系统已经成为一种新的范式，可以将本地（个人级别）和全局（组级别）模型结合起来。与传统的集中式分析和学习模型相比，这种方法提供了更好的可扩展性和可推广性，也提供了更好的隐私性。然而，联邦学习背后的假设依赖于客户端的监督学习。这需要大量的标记数据，这在不受控制的物联网环境中很难收集，例如远程家庭监控。在本文中，我们提出了一个活动识别系统，使用半监督联邦学习，其中客户端进行无监督学习的自编码器与未标记的本地数据学习一般表示，和云服务器进行监督学习的活动分类器与标记的数据。我们的实验结果表明，使用长短期记忆自动编码器和Softmax分类器，我们提出的系统的准确性高于集中式系统和使用数据增强的半监督联邦学习。准确性也与监督式联邦学习系统相当。同时，我们证明了我们的系统可以减少所需的标签数量和局部模型的大小，并具有更快的局部活动识别速度比监督联邦学习。
2021-03-31 cs.AI cs.LG
Label Granularity Skew in Federated Learning with Hierarchical Image Classification
School of Computer Science and Engineering, Soongsil University（崇实大学计算机科学与工程学院）；School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
本文针对联邦分层分类中存在的标签粒度偏差问题，提出FedBDFT方法，经实验验证该方法可显著提升严重标签粒度偏差下的鲁棒性，且能更好保留未见细粒度类别的分层表示。
2026-08-11 cs.LG
Supernet Training for Federated Image Classification under System Heterogeneity
KAIST（韩国科学技术院）
在许多设备和资源约束下，特别是在边缘设备上，深度神经网络的有效部署是存在数据隐私保护问题的最具挑战性的问题之一。传统方法已经发展为改进单个全局模型同时保持每个局部异构训练数据分散（即，数据异构性;联邦学习（FL）），或者训练支持不同架构设置的总体网络，以解决配备有不同计算能力的异构系统（即，系统异构性;神经架构搜索）。然而，很少有研究同时考虑这两个方向。本文提出了超网训练联邦（FedSup）框架，以同时考虑这两种情况，即，其中客户端发送和接收包含从其自身采样的所有可能架构的超网。该方法的灵感来自于观察到FL模型聚合期间的平均参数类似于超网训练中的权重共享。因此，所提出的FedSup框架将广泛用于训练Single Shot模型的权重共享方法与FL平均（FedAvg）相结合。此外，我们开发了一个有效的算法（E-FedSup）发送子模型到客户端的广播阶段，以减少通信成本和训练开销，包括几个策略，以提高超网训练在FL环境。我们验证了所提出的方法与广泛的实证评估。由此产生的框架还确保了数据和模型的异构性鲁棒性在几个标准的基准。
2022-10-06 cs.CV cs.LG
On Least Square Estimation in Softmax Gating Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究确定性MoE模型下最小二乘估计量的性能，提出强可识别性条件刻画专家函数收敛行为，发现带sigmoid、tanh激活的前馈网络专家估计速率远快于多项式专家，为专家选择提供理论依据。
2024-06-24 cs.LG stat.ML
LightTR: A Lightweight Framework for Federated Trajectory Recovery
University of Electronic Science and Technology of China（电子科技大学）；Aalborg University（奥尔堡大学）；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
本文提出轻量级联邦轨迹恢复框架LightTR，通过轻量本地轨迹嵌入模块和元知识增强的局部-全局训练方案，在保护数据隐私的同时实现高效的低采样轨迹恢复。
2024-05-06 cs.LG
FedSOL: Stabilized Orthogonal Learning with Proximal Restrictions in Federated Learning
Graduate School of AI KAIST（韩国科学技术院人工智能研究生院）；Department of Electrical and Computer Engineering, UBC（不列颠哥伦比亚大学电气与计算机工程系）；Samsung Advanced Institute of Technology（三星先进技术研究院）
本文提出FedSOL方法，通过正交学习策略识别与近端目标方向正交的本地梯度，以平衡联邦学习中的全局知识保留与本地学习，从而在数据异构场景下取得最优性能。
2024-03-28 cs.AI cs.CV cs.LG
FedSampling: A Better Sampling Strategy for Federated Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Sony AI（索尼人工智能）；Zhongguancun Laboratory（中关村实验室）；Institute for Precision Medicine of Tsinghua University（清华大学精准医学研究院）
针对联邦学习中客户端均匀采样导致数据量大的客户端贡献不足的问题，提出数据均匀采样策略FedSampling，基于服务器期望样本量与总样本量进行本地数据采样，并结合差分隐私保护估计总样本量，有效提升了数据不均衡下的模型性能。
2023-06-25 cs.LG
Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
标签分布偏斜引起的数据异质性已被证明是限制联邦学习中模型性能的一个重要障碍，联邦学习是特别为分散数据源上的协作模型训练而开发的，同时保护用户隐私。当参与的服务对象处于不稳定的环境中并经常辍学时，这一挑战可能更加严重。以往的工作和我们的经验观察表明，分类任务的分类头是更敏感的标签倾斜和FedAvg的不稳定性能主要在于在不同的类的不平衡的训练样本。有偏见的分类器头也会影响特征表示的学习。因此，保持平衡的分类器头对于构建更好的全局模型具有重要意义。为此，我们提出了一个简单而有效的框架，通过引入一个预先校准的softmax函数来计算交叉熵损失，并引入一个基于原型的特征增强方案来重新平衡局部训练，这对于边缘设备来说是轻量级的，可以促进全局模型聚合。通过对基准分类任务进行广泛的实验，证明了在存在非IID数据和客户端辍学的情况下，模型性能比现有基线有所提高。
2023-03-15 cs.DC cs.LG
Federated Learning of Generative Image Priors for MRI Reconstruction
Bilkent University（比尔肯特大学）；University of Southern California（南加州大学）
多机构的努力可以促进深度MRI重建模型的训练，尽管在跨站点共享成像数据期间会出现隐私风险。最近引入了联邦学习（FL），通过在不传输成像数据的情况下实现分布式训练来解决隐私问题。用于MRI重建的现有FL方法采用条件模型来经由成像算子的显式知识从欠采样采集映射到全采样采集。由于条件模型在不同的加速率或采样密度下泛化能力较差，因此成像算子在训练和测试之间必须是固定的，并且它们通常在不同的站点之间匹配。为了提高多机构合作的通用性和灵活性，在这里，我们介绍了一种新的方法，用于MRI重建的基础上联邦学习的生成图像先验（FedGIMP）。FedGIMP利用了两个阶段的方法：生成MRI先验的跨站点学习，以及成像操作员的受试者特定注入。全局MRI先验是通过无条件对抗模型学习的，该模型基于潜在变量合成高质量的MR图像。通过产生特定于站点的潜伏期的映射子网络来保留先前的特异性。在推理过程中，先验知识与特定于对象的成像算子相结合，以实现重建，并通过最小化数据一致性损失来进一步适应各个测试样本。多机构数据集上的综合实验清楚地表明，FedGIMP对基于条件模型的特定站点和联邦方法以及传统重建方法的泛化性能有所增强。
2022-04-06 cs.CV cs.LG eess.IV
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
在真实世界的联邦系统中训练分类模型的一个核心挑战是使用非IID数据进行学习。为了解决这个问题，大多数现有的工作涉及在局部优化中强制正则化或改进服务器上的模型聚合方案。其他作品也共享公共数据集或合成样本，以补充代表性不足的类的训练或引入一定程度的个性化。虽然有效，但他们缺乏对数据异构性如何影响深度分类模型的每一层的深入理解。在本文中，我们通过对不同层学习的表示进行实验分析来弥合这一差距。我们的观察结果令人惊讶：（1）在分类器中存在比其他层更大的偏差，以及（2）通过在联邦训练之后对分类器进行后校准可以显著提高分类性能。出于上述研究结果，我们提出了一种新的和简单的算法，称为分类器校准与虚拟表示（CCVR），调整分类器使用虚拟表示采样从近似高斯混合模型。实验结果表明，CCVR在流行的联邦学习基准测试（包括CIFAR-10、CIFAR-100和CINIC-10）上达到了最先进的性能。我们希望我们简单而有效的方法可以为未来的非IID数据联邦学习研究提供一些启示。
2021-10-28 cs.CV cs.DC cs.LG
A Unified Convergence Analysis for Semi-Decentralized Learning: Sampled-to-Sampled vs. Sampled-to-All Communication
针对半去中心化联邦学习中S2S和S2A两种服务器通信策略缺乏严格比较的问题，本文通过统一收敛框架分析其理论与实证表现，揭示了数据异质性对策略优势的影响，为部署提供设计指南。
2025-11-17 cs.AI cs.DC cs.LG
FedH2L: Federated Learning with Model and Statistical Heterogeneity
National University of Defense Technology（国防科技大学）；The University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）
联邦学习（FL）使分布式参与者能够在不牺牲个人数据隐私的情况下集体学习强大的全局模型。主流FL方法要求每个参与者共享一个共同的网络架构，并进一步假设数据是跨参与者采样的IID。然而，在实际部署中，参与者可能需要异构网络架构;并且数据分布几乎可以肯定在参与者之间是不均匀的。为了解决这些问题，我们引入了FedH 2L，它对模型架构不可知，并且对参与者之间的不同数据分布具有鲁棒性。与共享参数或梯度的方法相比，FedH 2L依赖于相互蒸馏，仅以分散的方式在参与者之间交换共享种子集的后验。这使得它具有极高的带宽效率，模型不可知性，并且在从异构孤岛中学习时，关键是生成能够在整个数据分布上表现良好的模型。
2021-07-27 cs.AI cs.LG
Achieving Linear Speedup in Non-IID Federated Bilevel Learning
Meta；The Ohio State University（俄亥俄州立大学）；University at Buffalo（布法罗大学）
联邦双层优化在各种新兴的机器学习和通信应用中受到越来越多的关注。近年来，一些基于Hessian向量的算法被提出来解决联邦双层优化问题。然而，联邦学习中的几个重要属性，如部分客户端参与和收敛的线性加速（即，收敛速度和复杂度相对于采样客户端的数量线性地提高）。数据库仍然开放。在本文中，我们填补了这些空白，提出了一个新的联邦双层算法命名为FedMBO与一个新的客户端抽样计划在联邦超梯度估计。我们证明了FedMBO在非独立同分布上达到了$\mathcal{O}\big(\frac{1}{\sqrt{nK}}+\frac{1}{K}+\frac{\sqrt{n}}{K^{3/2}}\big)$的收敛速度。数据集，其中$n$是每轮中参与客户端的数量，$K$是迭代的总数。这是第一个理论上的线性加速结果非i.i.d.联邦双层优化大量的实验验证了我们的理论结果，并证明了我们所提出的方法的有效性。
2023-02-10 cs.LG math.OC stat.ML
Communication-Efficient and Privacy-Adaptable Mechanism -- a Federated Learning Scheme with Convergence Analysis
Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学）
本文提出了一种通信高效且隐私适应的联邦学习方案CEPAM，并通过理论分析和实验评估其隐私保障和收敛性质。
2026-01-15 cs.LG
FedDRAW: Federated Dual Reputation Annealing Weighting for Heterogeneous Multi-Institutional Chest Radiograph Classification
Institute for Predictive Deep Learning in Medicine and Healthcare, Justus-Liebig University（尤斯图斯-李比希大学医学与医疗保健预测深度学习研究所）；Institute for Medical Informatics, University Medical Center Göttingen（哥廷根大学医学中心医学信息学研究所）
针对异构多机构胸部X线片分类中联邦学习的样本规模偏见问题，提出FedDRAW方法，结合数据规模先验与参数相似度的双退火调度聚合权重，在CheXpert等数据集上较7种基线取得最优性能，可生成偏见更小的诊断模型。
2026-09-07 cs.LG
Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一个具有马尔可夫噪声和异质性的联邦随机逼近通用框架，证明N个智能体协作求解联合不动点问题可获得N倍线性加速，并将其应用于联邦TD和Q学习算法。
2024-10-21 cs.LG
Smart Sampling: Helping from Friendly Neighbors for Decentralized Federated Learning
School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）
本文提出AFIND+算法，通过识别有益邻居、自适应调整采样数量并按其贡献聚合模型，在去中心化联邦学习中提升客户端性能，实验表明其优于现有采样算法且兼容主流DFL优化算法。
2024-07-05 cs.LG
An Enhanced Federated Prototype Learning Method under Domain Shift
SUSTech（南方科技大学）；USTC（中国科学技术大学）；CASIA（中国科学院自动化研究所）；UCAS（中国科学院大学）
本文针对联邦学习中的域偏移与数据异质性问题，提出FedPLCC方法，通过簇大小加权原型和按比例选择原型计算损失，在多个数据集上取得优于现有方法的性能。
2024-09-27 cs.AI cs.LG
Embedding Alignment for Unsupervised Federated Learning via Smart Data Exchange
Purdue University（普渡大学）；Zillow Group（Zillow集团）
联邦学习（FL）被认为是分布式机器学习（ML）最有前途的解决方案之一。在目前的大多数文献中，FL已经被研究用于监督ML任务，其中边缘设备收集标记数据。然而，在许多应用中，假设跨设备存在标记数据是不切实际的。为此，我们开发了一种新的方法，合作联邦无监督对比学习（CF-CL），FL跨边缘设备与未标记的数据集。CF-CL采用本地设备协作，其中通过设备到设备（D2 D）通信在设备之间交换数据，以避免由非独立和同分布（非i.i.d.）本地数据集。CF-CL引入了一种针对无监督FL设置的推拉式智能数据共享机制，其中，每个设备将其本地数据点的子集作为保留数据点推送到其邻居，并从其邻居拉取一组数据点，通过概率重要性采样技术进行采样。我们证明了CF-CL导致（i）跨设备对齐无监督学习的潜在空间，（ii）更快的全局收敛，允许更少的全局模型聚合;（iii）在极端非独立同分布中有效。跨设备的数据设置。
2022-08-04 cs.LG
FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning
Sungkyunkwan University（成均馆大学）
客户贡献评估，也称为数据估值，是联邦学习（FL）中客户选择和激励分配的关键方法。然而，由于原始数据的可访问性的限制，只有有限的信息，如每个客户端的本地权重和本地数据大小是开放的，以量化客户端的贡献。利用现有信息的数据大小，我们引入了一种经验评估方法，称为联邦客户贡献评估通过准确性近似（FedCCEA）。该方法建立了准确度近似模型（AAM），以样本数据量为输入，估计模拟测试的准确度，提取客户的数据质量和数据量来衡量客户的贡献。FedCCEA加强了一些优势：（1）支持客户端的数据大小选择，（2）无论客户端数量如何，都有可行的评估时间，以及（3）在非IID设置中的精确估计。我们证明了FedCCEA的优越性相比，以前的方法，通过几个实验：客户端的贡献分布，客户端删除，部分参与和鲁棒性测试。
2021-06-04 cs.AI cs.DC cs.GT
Enhancing Federated Learning Through Secure Cluster-Weighted Client Aggregation
School of Engineering and Built Environment, Deakin University（迪肯大学工程与建筑环境学院）；School of Electrical Engineering and Computer Science, The University of Queensland（昆士兰大学电气工程与计算机科学学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
本文提出ClusterGuardFL框架，利用相异度得分、k-means聚类和调和置信度得分动态分配客户端更新权重，有效解决联邦学习中数据异构性导致的性能差异、收敛挑战与隐私问题，显著提升模型鲁棒性与性能。
2025-03-29 cs.AI cs.LG
Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks
Purdue University（普渡大学）；EURECOM（欧洲通信研究中心）；University at Buffalo–SUNY（纽约州立大学布法罗分校）
针对联邦学习忽略异构资源和数据重叠的问题，提出联合设备采样与D2D卸载的优化方法，利用图卷积网络学习采样策略，在真实边缘测试平台上验证了精度提升和资源消耗降低。
2024-08-20 cs.DC cs.LG cs.NI
Suppressing Poisoning Attacks on Federated Learning for Medical Imaging
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
多个数据拥有实体之间的协作（例如，医院）可以加速训练过程并由于数据的可用性和多样性而产生更好的机器学习模型。然而，隐私问题使得在保持机密性的同时交换数据变得具有挑战性。联邦学习（FL）是一种很有前途的解决方案，它通过交换模型参数而不是原始数据来实现协作训练。然而，大多数现有的FL解决方案的工作假设下，参与的客户端是\emph{honest}，因此可能会失败，从恶意方的中毒攻击，其目标是恶化全球模型的性能。在这项工作中，我们提出了一个强大的聚合规则，称为基于距离的离群值抑制（DOS），是弹性拜占庭故障。该方法计算不同客户端的局部参数更新之间的距离，并使用基于Copula的离群值检测（COPOD）获得每个客户端的离群值得分。使用softmax函数将所得离群值分数转换为归一化权重，并使用局部参数的加权平均值更新全局模型。DOS聚合可以有效地抑制恶意客户端的参数更新，而不需要任何超参数选择，即使数据分布是异构的。两个医学成像数据集（CheXpert和HAM10000）的评估表明，与其他最先进的方法相比，DOS方法对各种中毒攻击具有更高的鲁棒性。代码可以在这里找到www.example.com。
2022-07-15 cs.CR cs.LG math.OC
Federated Neural Architecture Search with Model-Agnostic Meta Learning
University of Toronto（多伦多大学）；University of Virginia（弗吉尼亚大学）
本文提出 FedMetaNAS，将模型无关元学习与联邦神经架构搜索结合，通过 Gumbel-Softmax 松弛和软剪枝加速搜索并免去重训练，相比 FedNAS 加速超 50% 且准确率更高。
2025-04-08 cs.AI cs.DC cs.LG
LEFL: Low Entropy Client Sampling in Federated Learning
Iowa State University（爱荷华州立大学）
提出LEFL联邦学习客户端采样策略，基于模型高层特征对客户端进行一次性隐私保护聚类并分层采样，降低数据相对熵，使全局模型收敛率最高提升7.4%并减少通信轮次。
2024-02-13 cs.LG
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Owen Sampling Accelerates Contribution Estimation in Federated Learning
Department of Electrical and Software Engineering, University of Calgary, Calgary, Alberta, Canada（电气与软件工程系，卡里尔大学）；Department of Electrical Engineering and Computer Science, York University, Toronto, Ontario, Canada（电气工程与计算机科学系，约克大学）；School of Information, University of Michigan, Ann Arbor, Michigan, USA（信息学院，密歇根大学）
针对联邦学习中Shapley值贡献估计计算复杂度高的问题，提出基于Owen采样的FedOwen框架，结合自适应客户端选择策略，在相同预算下以更小误差近似Shapley值，准确率最高提升23%。
2025-10-06 cs.LG
Federated Learning With L0 Constraint Via Probabilistic Gates For Sparsity
Department Of Engineering And Information Technology, Åbo Akademi University（工程与信息技术系，阿博阿卡迪米大学）
通过概率门的L0约束实现联邦学习的稀疏性，提升模型泛化能力与通信效率。
2025-12-28 cs.DC cs.LG cs.SE
Training a Tokenizer for Free with Private Federated Learning
Cornell Tech（康奈尔科技校区）；Apple（苹果公司）
具有差分隐私的联邦学习，即私有联邦学习（PFL），使得可以在分布在用户设备上的私有数据上训练模型而不损害隐私。PFL对于诸如神经网络之类的模型是有效的，这些模型具有固定数量的参数，因此具有固定维度的梯度向量。这样的模型包括神经网络语言模型，但不包括本文的主题--标记器。训练分词器需要来自无限词汇表的单词的频率，并且用于查找无限词汇表的现有方法需要单独的隐私预算。一种解决方法是根据公开可用的数据对标记器进行训练。然而，在本文中，我们首先表明，与访问用户数据的违反隐私的“oracle”令牌化器相比，在不匹配的数据上训练的令牌化器会导致更差的模型性能，困惑度增加了20%。我们还表明，子词tokenizers更适合联邦上下文比字级的，因为他们可以编码新的单词，虽然每个单词有更多的令牌。其次，我们提出了一种新的方法来获得一个标记器，而不使用任何额外的隐私预算。在语言模型的私有联邦学习过程中，我们从模型中采样，在采样序列上训练新的标记器，并更新模型嵌入。然后，我们继续进行私有联邦学习，并获得“oracle”标记器的1%以内的性能。由于此过程仅间接地在私有数据上训练令牌化器，因此我们可以使用差分隐私的“后处理保证”，从而不使用额外的隐私预算。
2022-03-15 cs.CL cs.CR cs.LG
SGFusion: Stochastic Geographic Gradient Fusion in Federated Learning
New Jersey Institute of Technology（新泽西理工学院）；Kent State University（肯特州立大学）；Qatar Computing Research Institute（卡塔尔计算研究院）
本研究提出联邦学习算法SGFusion，通过层次随机图建模地理区域数据相关性，以带自注意力的随机梯度融合实现区域知识共享，在6国心率预测任务上以低计算成本提升了模型效用与收敛性。
2025-10-29 cs.LG
Communication-Efficient Heterogeneous Federated Learning with Generalized Heavy-Ball Momentum
Politecnico di Torino（都灵理工大学）；USC Viterbi School of Engineering（南加州大学维特比工程学院）；Vector Institute（矢量研究所）
本文提出广义重球动量（GHBM）方法，解决联邦学习中数据异构性和部分客户端参与导致的动量偏差问题，理论上证明其在无界异构性下收敛，并在大规模低参与度场景中显著提升性能。
2025-06-27 cs.AI cs.CV cs.LG
FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems
Eurecat（Eurecat技术中心）；Huawei UK Research Centre（华为英国研究中心）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
本文提出FedFNN算法，通过监督学习利用已采样用户的权重更新预测未采样用户的更新，在联邦推荐系统中实现比领先方法快5倍的训练收敛速度，并在客户端可用性有限时表现更优。
2023-09-14 cs.IR cs.LG
Efficient Core-selecting Incentive Mechanism for Data Sharing in Federated Learning
Northwestern Polytechnical University（西北工业大学）；China Electronics Technology Group Corporation（中国电子科技集团公司）
针对联邦学习中如实贡献数据与稳定协作的激励问题，提出基于合作博弈核心、松弛优化和采样联盟近似的高效核心选择机制，降低计算开销并验证其激励效果。
2023-09-26 cs.GT cs.LG
TabLeak: Tabular Data Leakage in Federated Learning
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出首个针对表格联邦学习的重建攻击 TabLeak，通过 softmax 松弛、池化集成和基于熵的不确定性量化，解决了表格数据泄漏中的优化与人工评估难题，并在多个数据集上以超过 90% 的准确率攻破此前被认为安全的设置。
2023-07-07 cs.CR cs.DC cs.LG
Randomized Quantization is All You Need for Differential Privacy in Federated Learning
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
针对联邦学习中的隐私与通信挑战，提出随机量化机制（RQM），通过两级随机化实现Rényi差分隐私，无需显式离散噪声，在隐私-精度权衡上优于先前工作。
2023-06-20 cs.CR cs.DC cs.LG
Personalized Subgraph Federated Learning with Differentiable Auxiliary Projections
Nanyang Technological University（南洋理工大学）；Shenzhen MSU-BIT University（深圳MSU-BIT大学）
针对子图联邦学习中的非IID问题，提出FedAux框架，通过可学习APV、软排序与一维卷积刻画客户端特征，并由服务器相似度加权聚合模型，理论与实验均验证其优势。
2025-09-30 cs.AI cs.LG
Bridging Generalization Gap of Heterogeneous Federated Clients Using Generative Models
School of Computing Technologies（计算技术学院）；RMIT University（皇家墨尔本理工大学）；Department of Computing Technologies（计算技术系）；Swinburne University of Technology（斯威本理工大学）
本文提出一种模型异质化的联邦学习框架，通过生成合成数据提升客户端在未见过数据上的泛化能力，同时减少通信和内存开销。
2026-02-13 cs.DC cs.LG
FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
Teleinfo, CAICT（中国信息通信研究院）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of British Columbia（不列颠哥伦比亚大学）；China University of Mining and Technology-Beijing（中国矿业大学（北京））；China University of Mining and Technology（中国矿业大学）；Beijing Jiaotong University（北京交通大学）
FedRE提出了一种表示纠缠框架，通过纠缠表示和纠缠标签编码提升模型异质联邦学习的性能，平衡模型效果、隐私保护和通信开销。
2026-03-27 cs.LG
A Comprehensive Survey of Federated Transfer Learning: Challenges, Methods and Applications
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院）
本文综述联邦迁移学习，针对FL中的分布、系统异构、增量数据与标注稀缺等挑战，分类梳理FTL方法、解决方案、应用、场景设定、数据集及相关研究。
2024-03-03 cs.DC cs.LG
Server-Proximal Aggregation for Federated Domain-Incremental Learning under Partial Participation: Task-Uniform Convergence and Backward Transfer
Stony Brook University, New York（石英布鲁克大学，纽约）
针对联邦域增量学习（FDIL）中客户端异构、任务顺序到达且标签空间固定的场景，提出无记忆算法SPECIAL，通过服务器端轻量近端项抑制累积漂移，实现反向知识迁移（BKT）保证和首个部分参与下的非凸收敛速率O((E/NT)^(1/2))。
2026-05-28 cs.LG
Robustness analytics to data heterogeneity in edge computing
Technical University of Denmark（丹麦技术大学）；University of Padova（帕多瓦大学）；Edge Hill University（边山大学）
联邦学习是一个框架，它联合训练一个模型\textit{with}在远程放置的集中式服务器上的完整知识，但\textit{without}访问存储在分布式机器上的数据的要求。一些工作假设从边缘设备生成的数据是从共同的总体分布中相同且独立地采样的。然而，这种理想的采样在许多情况下可能是不现实的。此外，基于内在代理的模型，如主动抽样方案，可能导致高度偏倚的抽样。因此，一个迫在眉睫的问题是，联邦学习对有偏抽样的鲁棒性如何？在这项工作\footnote{\url{https://github.com/jiaqian/robustness_of_FL}}，我们实验研究两个这样的情况。首先，我们研究了一个集中式分类器，它是从一组用具有类别异质性的数据训练的局部分类器中聚集起来的。其次，我们研究了通过边缘主动采样由数据训练的局部分类器集合聚合而成的分类器。我们在这两种情况下提出的证据表明，当适当选择本地训练迭代和通信频率时，联邦学习对数据异构性具有鲁棒性。
2021-10-24 cs.DC cs.LG
