Regularized least squares learning with heavy-tailed noise is minimax optimal
Merantix Momentum；Institute for Mathematical Stochastics, Technische Universität Braunschweig（数学概率研究所，布拉unsch维格技术大学）；Gatsby Computational Neuroscience Unit, University College London（盖茨计算神经科学单元，伦敦大学学院）
本文证明在噪声仅具有有限高阶矩的重尾条件下，再生核希尔伯特空间中的岭回归仍能达到此前仅在次指数噪声假设下成立的极小极大最优收敛速率，从而揭示了正则化最小二乘对重尾噪声的渐近鲁棒性。
2025-11-06 cs.LG math.ST stat.ML
Federated Minimax Optimization: Improved Convergence Analyses and Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Syracuse University（雪城大学）
在本文中，我们考虑非凸极大极小优化，这在许多现代机器学习应用中越来越突出，如GANs。在这些应用中，大规模基于边缘的训练数据收集需要通信高效的分布式优化算法来处理数据，例如在联邦学习中使用的算法。在本文中，我们分析了本地随机梯度下降上升（SGDA），本地更新版本的SGDA算法。SGDA是极大极小优化中使用的核心算法，但在分布式环境中并不容易理解。我们证明了局部SGDA算法对几类非凸-凹和非凸-非凹极大极小问题具有\textit{order-optimal}样本复杂度，并且对于客户数也具有\textit{linear speedup}样本复杂度.我们提供了一个新的和更严格的分析，提高了现有文献中的收敛性和通信保证。对于非凸PL和非凸单点凹函数，我们改进了已有的集中极大极小问题的复杂性结果。此外，我们提出了一个基于动量的局部更新算法，它具有相同的收敛保证，但优于本地SGDA在我们的实验中证明。
2022-03-09 cs.DC cs.LG math.OC
A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning
Northwestern University（西北大学）
针对联邦极小极大优化通信频繁、Local SGDA 恒定步长下难以精确收敛的问题，提出基于梯度跟踪的 FedGDA-GT，在强凸强凹条件下实现 O(log(1/ε)) 通信复杂度的线性收敛，并实验验证其优于 Local SGDA。
2023-06-06 cs.DC cs.LG
Federated Minimax Optimization with Client Heterogeneity
Carnegie Mellon University（卡内基梅隆大学）
随着GANs等现代应用的出现，极大极小优化的兴趣激增，它本质上比简单的最小化更具挑战性。驻留在多个边缘设备或\textit{clients}上的训练数据加剧了这种困难，特别是当这些客户端可以具有异构数据集和本地计算能力时。我们提出了一个通用的联邦极大极小优化框架，它包含了这样的设置和几个现有的方法，如本地SGDA。我们表明，天真的聚集异构本地进展的结果优化不匹配的目标函数-以前在标准联邦最小化观察到的现象。为了解决这个问题，我们建议通过连续通信回合之间进行的本地步骤的数量来规范化客户端更新。我们分析了所提出的算法的收敛性的非凸-凹和非凸-非凹函数的类和特征的异构客户端数据，部分客户端的参与，和异构本地计算的影响。我们的分析工作在更一般的假设下，客户端内的噪音和客户端间的异质性比迄今为止考虑在文献中。对于所有考虑的函数类，我们显着改善现有的计算和通信复杂性的结果。实验结果支持我们的理论主张。
2023-02-09 cs.DC cs.LG math.OC
A Wasserstein Minimax Framework for Mixed Linear Regression
MIT（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
多模态分布通常用于在统计学习任务中对聚类数据建模。本文研究混合线性回归（MLR）问题。我们提出了一个最佳的基于运输的框架MLR问题，Wasserstein混合线性回归（WMLR），它最小化学习和目标混合回归模型之间的瓦瑟斯坦距离。通过基于模型的对偶分析，WMLR将底层的MLR任务减少为非凸-凹极大极小优化问题，该问题可以通过梯度下降上升（GDA）算法证明求解以找到极大极小平稳点。在混合两个线性回归模型的特殊情况下，我们证明了WMLR具有全局收敛性和推广保证。我们证明了WMLR的样本复杂度与数据的维数成线性增长。最后，我们讨论了WMLR在联邦学习任务中的应用，其中训练样本由网络中的多个代理收集。与期望最大化算法不同，WMLR直接扩展到分布式、联邦学习设置。我们通过几个数值实验来支持我们的理论结果，这些实验突出了我们的框架处理混合模型联邦学习设置的能力。
2021-06-16 cs.LG math.OC stat.ML
Federated Compositional Deep AUC Maximization
Temple University（天普大学）；Texas A&M University（德克萨斯农工大学）
针对联邦学习中数据类别高度不平衡导致预测性能差的问题，提出直接优化AUC的联邦组合极小极大优化方法，开发带动量的本地随机组合梯度下降上升算法并给出复杂度界限，大量实验验证了其有效性。
2024-05-31 cs.LG
Efficient Algorithms for Federated Saddle Point Optimization
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
我们考虑了联邦环境下的强凸-凹极大极小问题，其中通信约束是主要的瓶颈。当客户端任意异构时，简单的Minibatch代理可以实现最佳性能。随着客户端变得更加同质化，在客户端使用多个局部梯度更新通过降低通信频率显著改善了Minibatch代理。我们的目标是设计一种算法，可以利用客户端的相似性的好处，同时恢复任意异构性（最多日志因素）下的Minibatch代理性能。我们给出了第一个实现这一目标的联邦极大极小优化算法。其主要思想是结合（i）SCAFFOLD（一种在客户端之间执行凸优化方差缩减的算法）来消除对异质性的最坏情况依赖性，以及（ii）Catalyst（一种基于修改目标的加速框架）来加速收敛，而不会放大客户端漂移。我们证明了该算法实现了我们的目标，并包括实验来验证理论。
2021-02-12 cs.DC cs.LG math.OC
Distributionally Robust Federated Averaging
The Pennsylvania State University（宾夕法尼亚州立大学）
在本文中，我们研究了通信有效的分布式算法的分布式鲁棒联邦学习通过周期平均与自适应采样。与标准的经验风险最小化相比，由于底层优化问题的极大极小结构，一个关键的困难来自于这样一个事实，即控制局部损失混合的全局参数只能在全局舞台上不频繁地更新。为了弥补这一点，我们提出了一个分布式鲁棒联邦平均（DRFA）算法，采用了一种新的快照计划，以近似的混合参数的历史梯度的积累。我们分析了DRFA的收敛速度在凸线性和非凸线性设置。我们还将所提出的想法推广到混合参数正则化的目标，并提出了一个近似的变体，称为DRFA-Prox，具有可证明的收敛速度。我们还分析了另一种优化方法，正则化的情况下，在强凸强凹和非凸（PL条件下）强凹设置。据我们所知，本文是第一个解决分布式鲁棒联邦学习减少通信，并分析分布式极小极大问题的局部下降方法的效率。我们在联邦学习环境中为我们的理论结果提供了确凿的实验证据。
2021-02-25 cs.DC cs.LG stat.ML
First-Order Softmax Weighted Switching Gradient Method for Distributed Stochastic Minimax Optimization with Stochastic Constraints
Purdue University（普渡大学）
本文提出了一种适用于分布式随机博弈优化的Softmax加权切换梯度方法，通过统一的收敛保证和高效的算法设计，提高了联邦学习中的优化性能。
2026-07-14 cs.DC cs.LG
Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features
Zhejiang Lab（之江实验室）；Xiamen University（厦门大学）
联邦学习（FL）为分布式机器学习任务提供了一种隐私保护解决方案。在实际的FL应用中，经常出现的数据异构性和长尾分布的共存是严重损害FL模型性能的一个挑战性问题。在本文中，我们揭示了一个有趣的事实，有偏见的分类器是导致全局模型性能不佳的主要因素。受上述发现的启发，我们提出了一种新的隐私保护FL方法，用于异构和长尾数据，通过联邦特征分类器再训练（CReFF）。在联邦特征上重新训练的分类器可以以隐私保护的方式产生与在真实数据上重新训练的分类器相当的性能，而不会泄漏本地数据或类分布的信息。在多个基准数据集上的实验表明，CReFF是一种有效的解决方案，可以在异构和长尾数据下获得有前途的FL模型。与最先进的FL方法的比较结果也验证了CReFF的优越性。我们的代码可在https://github.com/shangxinyi/CReFF-FL上获得。
2022-04-28 cs.LG
Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
AMS & MINDS（AMS与MINDS机构）；Johns Hopkins University（约翰斯·霍普金斯大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文针对分布式变分不等式问题提出统一框架，分析并设计了首个在异构数据上具有可证明改进通信复杂度的局部梯度下降-上升算法，在特化时能恢复现有最优算法的收敛保证。
2024-06-03 cs.LG math.OC stat.ML
Robust Decentralized Learning with Local Updates and Gradient Tracking
UC Santa Barbara（加州大学圣巴巴拉分校）；Massachusetts Institute of Technology（麻省理工学院）
针对去中心化学习中的数据异构与对抗鲁棒问题，提出融合本地更新和梯度跟踪的极小极大算法 Dec-FedTrack，证明其在非凸-强凹设定下收敛至驻点，并通过实验验证。
2025-03-13 cs.DC cs.LG
Minimax Policy for Heavy-tailed Bandits
Michigan State University（密歇根州立大学）
研究了最坏后悔和重尾报酬分布下的随机多臂强盗（MAB）问题。我们修改了minimax策略MOSS的亚高斯奖励分布，通过使用饱和的经验均值设计一个新的算法称为鲁棒MOSS。我们表明，如果存在的时刻的顺序$1+ε$的奖励分布，然后改进的策略有一个最坏情况下的遗憾匹配的下限，同时保持分布依赖的对数遗憾。
2020-11-18 cs.LG stat.ML
Private Mean Estimation of Heavy-Tailed Distributions
University of Waterloo（滑铁卢大学）；Northeastern University（东北大学）
给出了具有有界$k$阶矩分布的差分私有均值估计的极小极大样本复杂度的新的上界和下界。粗略地说，在单变量的情况下，我们表明，$n = Θ\left(\frac{1}{α^2} + \frac{1}{α^{\frac{k}{k-1}}\varepsilon}\right)$样本是必要的和足够的估计平均$α$ -准确性下$\varepsilon$ -差分隐私，或其任何常见的松弛。与不存在隐私约束的估计相比，该结果表明了定性上不同的行为，其中所有$k \geq 2$的样本复杂性都是相同的。我们也给算法的多变量设置的样本复杂性是一个因素的$O(d)$大于单变量的情况下。
2021-02-16 cs.CR cs.DS cs.IT
FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation
Xiamen University（厦门大学）；Hong Kong Baptist University（香港浸会大学）
联邦学习为在具有不同类型数据的分布式客户端上生成良好的深度学习模型提供了隐私保证。然而，处理非IID数据是联邦学习最具挑战性的问题之一。研究者们提出了各种方法来消除非IID的负面影响。然而，他们只关注非IID数据，前提是普遍的类别分布是平衡的。在许多实际应用中，普遍的类分布是长尾的，这导致模型严重偏差。因此，本文研究了联邦学习中非IID数据和长尾数据的联合问题，并提出了一种基于不平衡校正的联邦混合蒸馏（Federated Encoding Distillation with Imbalance Calibration，FEDIC）解决方案。为了处理非IID数据，FEDIC使用模型集成来利用在非IID数据上训练的模型的多样性。在此基础上，提出了一种基于logit调整和校准门控网络的精馏方法，有效地解决了长尾问题。我们在CIFAR-10-LT、CIFAR-100-LT和ImageNet-LT上使用高度非IID的实验环境评估了FEDIC，并与最先进的联邦学习和长尾学习方法进行了比较。我们的代码可在https://github.com/shangxinyi/FEDIC上获得。
2022-04-30 cs.LG
Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文研究在纯ε差分隐私下具有重尾梯度的随机凸优化问题，通过假设k阶矩有界而非梯度 Lipschitz 参数有界，推导出最优的过失界速率，并提出在多项式时间内以高概率达到该速率的算法。
2026-04-07 cs.CR cs.LG stat.ML
Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise
MIPT（莫斯科物理技术学院）；Mila（米拉研究所）；UdeM（蒙特利尔大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；WIAS（魏尔斯特拉斯应用分析和随机研究所）；HSE University（高等经济大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）
随机一阶方法，如随机外梯度（SEG）或随机梯度下降上升（SGDA）解决光滑极大极小问题，更一般地说，变分不等式问题（VIP）已经获得了很多关注，近年来由于对抗公式在机器学习中的日益普及。然而，虽然已知高概率收敛界更准确地反映了随机方法的实际行为，但大多数收敛结果都是在预期中提供的。此外，唯一已知的高概率复杂性结果是在限制性亚高斯（轻尾）噪声和有界域假设下推导出来的[Juditsky et al.，2011年]。在这项工作中，我们证明了第一个高概率的复杂性结果与对数依赖的置信水平的随机方法解决单调和结构化非单调VIP与非次高斯（重尾）噪声和无界域。在单调的情况下，我们的结果与光尾情况下最著名的结果相匹配[Juditsky等人，2011]，并且对于结构化非单调问题（诸如负共单调、拟强单调和/或星共单调问题）是新颖的。我们通过研究SEG和SGDA与裁剪实现了这些结果。此外，我们数值验证了许多实际的GAN公式的梯度噪声是重尾的，并表明裁剪提高了SEG/SGDA的性能。
2022-11-01 cs.LG math.OC
Differential Private Stochastic Optimization with Heavy-tailed Data: Towards Optimal Rates
Zhejiang Lab（之江实验室）；Ningbo University（宁波大学）；Beijing Institute of Technology（北京理工大学）；Zhejiang University（浙江大学）
针对差分隐私下重尾梯度凸优化速率次优的问题，提出裁剪法和迭代更新法，实现匹配极小极大下界的最优收敛速率，显著提升现有方法性能。
2024-08-19 cs.CR cs.DS cs.LG
Federated Instrumental Variable Analysis via Federated Generalized Method of Moments
Department of Computer Science and Engineering, IIIT Delhi（印度德里理工学院计算机科学与工程系）
针对高维非独立同分布数据下缺乏工具变量分析联邦算法的问题，提出基于联邦广义矩估计的联邦工具变量分析框架，将其表述为联邦零和博弈并用FedGDA算法求解，理论证明其能一致估计局部矩条件且实验验证有效。
2025-05-27 cs.AI cs.LG math.OC
FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning
School of Cyber Science and Engineering, Qufu Normal University（曲阜师范大学网络空间安全学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对联邦学习中数据异质与全局长尾分布导致的类别偏差问题，提出FedLF方法，通过自适应逻辑调整、连续类中心优化和特征去相关三项改进，在CIFAR-10-LT和CIFAR-100-LT上有效缓解性能下降。
2024-09-18 cs.LG
Personalized Federated Learning on Heterogeneous and Long-Tailed Data via Expert Collaborative Learning
Xiamen University（厦门大学）；University College London（伦敦大学学院）；A*STAR Institute of High Performance Computing（新加坡高性能计算研究院）；Guangdong University of Technology（广东工业大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy（广东省人工智能与数字经济实验室）
针对个性化联邦学习中的全局长尾分布与数据异构性问题，提出多专家协同学习方法ECL，通过差异化训练子集保障少数类学习，并在多个基准上超越现有方法。
2024-08-04 cs.LG
FedWCM: Unleashing the Potential of Momentum-based Federated Learning in Long-Tailed Scenarios
Shenzhen University（深圳大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文针对长尾分布下基于动量的联邦学习难以收敛和模型偏差问题，提出FedWCM方法，通过动态调整动量纠正方向偏差，实验证明其能解决不收敛并优于现有方法。
2025-07-20 cs.LG
Sketched Adaptive Federated Deep Learning: A Sharp Convergence Analysis
Siebel School of Computing and Data Science（西贝尔计算与数据科学学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出草图自适应联邦学习（SAFL）算法，通过理论分析证明其通信成本与环境维度呈对数依赖，在i.i.d.和非i.i.d.客户端设置中均实现高效收敛，且性能媲美先进通信高效算法。
2025-04-13 cs.LG
Can SGD Handle Heavy-Tailed Noise?
ETH Zürich（苏黎世联邦理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文严格证明朴素SGD在仅假设随机梯度有界p阶矩（1<p≤2）时，在凸、强凸和非凸问题中分别达到极小极大最优或匹配下界的样本复杂度，挑战重尾噪声使SGD失效的观点，确立其稳健的理论基础。
2026-10-05 cs.LG math.OC
Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation
Xiamen University（厦门大学）；Zhejiang Lab（之江实验室）
个性化联邦学习（PFL）旨在以隐私保护的方式基于所有客户端的知识为每个客户端学习个性化模型。现有的PFL方法通常假设跨所有客户端的底层全局数据是均匀分布的，而没有考虑长尾分布。FL环境中的数据异构性和长尾分布的联合问题更具挑战性，并严重影响个性化模型的性能。在本文中，我们提出了一种PFL方法称为联邦学习与对抗特征增强（FedAFA），以解决这个联合问题PFL。FedAFA通过生成平衡的特征集来增强本地少数类，从而为每个客户端优化个性化模型。局部少数类特征是通过从全局模型提取的局部多数类特征中以对抗性示例学习方式传递知识而生成的。在不同的数据异构性和长尾分布设置下的测试结果表明，与PFL算法相比，FedAFA算法显著提高了每个客户端的个性化性能.该代码可在https://github.com/pxqian/FedAFA上获得。
2023-03-27 cs.LG
CAPT: Class-Aware Prompt Tuning for Federated Long-Tailed Learning with Vision-Language Model
Xiamen University（厦门大学）；University College London（伦敦大学学院）；University of Nottingham（诺丁汉大学）；Zhejiang University（浙江大学）
针对联邦学习中非IID数据与长尾分布并存导致尾部类别性能严重退化的问题，本文提出类感知提示学习框架CAPT，通过双提示机制与异构性感知客户端聚类策略，在保持整体准确率的同时显著提升尾部类别性能。
2026-11-03 cs.CV cs.LG
Can Adaptive Gradient Methods Converge under Heavy-Tailed Noise? A Case Study of AdaGrad
Zijian Liu（刘子健）
本文研究 AdaGrad 在重尾梯度噪声下的收敛性，首次证明当尾指数 p 满足 4/3 < p ≤ 2 时，无需先验知识即可获得非凸优化的收敛率，并给出了算法相关的下界。
2026-05-30 cs.LG math.OC stat.ML
Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文理论证明梯度裁剪能消除异步SGD中最大延迟对复杂度的影响，基于次Weibull梯度噪声模型，首次实现异步优化的高概率收敛。
2026-06-12 cs.DC cs.LG math.OC
Towards Federated Long-Tailed Learning
Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）
在许多机器学习任务中，数据隐私和类不平衡是常态而不是例外。最近的尝试已经开始，一方面，解决从无处不在的私人数据中学习的问题，另一方面，从长尾数据中学习。然而，这两个假设可能在实际应用中成立，而同时缓解这两个问题的有效方法仍在开发中。在本文中，我们专注于学习长尾（LT）数据分布的背景下流行的隐私保护的联邦学习（FL）框架。我们在FL框架中描述了三种具有不同局部或全局长尾数据分布的场景，并强调了相应的挑战。在不同场景下的初步结果表明，大量的未来工作是非常必要的，以更好地解决联邦长尾学习任务的特点。
2022-06-30 cs.AI cs.DC cs.LG
You Are Your Own Best Teacher: Achieving Centralized-level Performance in Federated Learning under Heterogeneous and Long-tailed Data
Xiamen University（厦门大学）；University of Cambridge（剑桥大学）；Zhejiang University（浙江大学）；Nanchang University（南昌大学）
针对联邦学习中数据异构和长尾分布导致的性能差距，本文提出FedYoYo方法，通过增强自引导蒸馏和分布感知逻辑调整，实现集中式级别的性能，并在全局长尾设置下超越集中式方法5.4%。
2025-09-25 cs.LG
Minimax Demographic Group Fairness in Federated Learning
University College London（伦敦大学学院）；Duke University（杜克大学）；Apple Inc.（苹果公司）
联邦学习是一种越来越流行的范例，它使大量实体能够协作学习更好的模型。在这项工作中，我们研究了在联邦学习场景中的极大极小组公平性，在这种场景中，不同的参与实体在训练阶段可能只能访问人口组的一个子集。我们正式分析了我们提出的组公平性目标与现有的联邦学习公平性标准的不同之处，这些标准在参与者而不是人口统计组之间施加类似的性能。我们提供了一个优化算法- FedMinMax -解决所提出的问题，证明享有集中式学习算法的性能保证。我们通过实验将所提出的方法与其他最先进的方法在各种联邦学习设置中的组公平性进行比较，表明我们的方法具有竞争力或优越的性能。
2022-01-25 cs.DC cs.LG
A Secure Aggregation for Federated Learning on Long-Tailed Data
University of Technology Sydney（悉尼科技大学）；CSIRO（联邦科学与工业研究组织）；Zhejiang Lab（之江实验室）
针对联邦学习中长尾数据分布与拜占庭模型攻击并存的问题，提出一种两层安全聚合方法，借助“智库”机制剔除恶意模型并筛选含尾类信息的有价值模型。
2023-07-17 cs.CR cs.LG
Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics
Beijing University of Posts and Telecommunications（北京邮电大学）
针对长尾和非独立同分布数据中尾类稀疏分布导致模型聚合性能下降的问题，提出两阶段解耦联邦学习框架DFL-FS，通过特征统计聚类和特征再生校准分类器，在CIFAR10-LT和CIFAR100-LT数据集上提升了准确性和收敛速度。
2024-03-13 cs.AI cs.LG
Minimax Estimation for Personalized Federated Learning: An Alternative between FedAvg and Local Training?
University of Pennsylvania（宾夕法尼亚大学）；Meta AI Research（元人工智能研究）
本文从极小极大角度研究个性化联邦学习中FedAvg与纯本地训练的速率最优性，证明二者在不同数据异质性水平下分别最优，并表明在二者间选择的二分策略及FedAvg加本地微调策略在相应条件下均达到极小极大最优。
2025-03-11 cs.LG stat.ML
Communication-Efficient Federated AUC Maximization with Cyclic Client Participation
Department of Computer Science, Northern Illinois University（北伊利诺伊大学计算机科学系）；Department of Computer Science, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校计算机科学系）；Center for Research in Computer Vision, University of Central Florida（佛罗里达中央大学计算机视觉研究中心）
本文提出通信高效联邦AUC最大化方法，解决循环客户端参与下的优化挑战，通过平方替代损失和通用成对AUC损失实现高效学习。
2026-01-04 cs.DC cs.LG
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning
Peking University（北京大学）；Tencent Inc.（腾讯公司）
联邦学习（FL）已经成为一种流行的分布式学习范式，其涉及多个客户端以数据隐私保护的方式协作训练全局模型。然而，在现实世界中，数据样本通常遵循长尾分布，并且分散和长尾数据上的FL产生了一个表现不佳的全局模型，该模型严重偏向于大多数训练样本的头类。为了缓解这个问题，解耦训练最近被引入到FL中，考虑到它通过在实例平衡训练之后重新平衡有偏分类器在集中式长尾学习中取得了有希望的结果。然而，目前的研究限制了联合长尾学习中解耦训练的能力，使用一组伪特征重新训练次优分类器，由于FL中不存在全局平衡数据集。在这项工作中，为了更有效地重新平衡分类器，我们将局部真实数据与全局梯度原型相结合，形成局部平衡数据集，从而在局部训练期间重新平衡分类器。此外，我们在训练阶段引入了一个额外的分类器来帮助对全局数据分布进行建模，这解决了局部执行分类器重新平衡所导致的矛盾优化目标的问题。大量的实验表明，我们的方法始终优于现有的国家的最先进的方法在各种设置。
2023-01-26 cs.AI cs.LG
Parameter-Free Dynamic Regret under Heavy-Tailed Noise
Purdue University（普渡大学）
针对重尾噪声下在线凸优化无参数通用动态悔值的开放问题，提出HT-PAder算法并证明其最优性，无需预先知晓问题参数且提供极小极大保证。
2026-09-23 cs.AI cs.LG math.OC
Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping
ZJU-UIUC Institute, Zhejiang University, Haining 314400, China（浙江大学-UIUC研究院，浙江大学，海宁314400，中国）；Singapore University of Technology and Design（新加坡科技与设计大学）
针对空中联邦学习中重尾噪声损害训练性能的问题，本文提出中位数锚定裁剪（MAC）梯度裁剪方法，并推导其收敛速率，实验证明MAC能显著提升系统鲁棒性。
2025-07-06 cs.AI cs.LG
Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balancer
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Angelalign Technology Inc（时代天使科技有限公司）；State Key Laboratory of Oral Diseases, Sichuan University（四川大学口腔疾病研究国家重点实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究联邦长尾学习任务，提出Fed-GraB方法，通过DPA模块评估全局分布并利用SGB模块闭环重加权客户端梯度，有效缓解数据异质性导致的分布漂移，在保持多数类性能的同时提升少数类性能，在多个数据集上达到SOTA。
2023-11-26 cs.AI cs.LG
Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
School of Mathematics, China University of Mining and Technology（中国矿业大学数学学院）；School of Mathematical Sciences, Dalian University of Technology（大连理工大学数学科学学院）
针对联邦学习中重尾梯度噪声和通信噪声问题，提出基于方差缩减的VRA-FedSGD算法，通过动量方差缩减和非线性映射抑制噪声，在非凸和强凸目标下分别达到理论收敛速率，实验验证有效性。
2026-10-21 cs.LG math.OC
FedMM: Saddle Point Optimization for Federated Adversarial Domain Adaptation
University at Buffalo（布法罗大学）；Ant Group（蚂蚁集团）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
联邦对手领域自适应是一个独特的分布式极大极小训练任务，由于普遍存在的标签不平衡的客户端之间，每个客户端只看到一个子集的类的标签需要训练一个全球性的模型。为了解决这个问题，我们提出了一个分布式的极大极小优化称为FedMM，专门为联邦对手的领域自适应问题。即使在极端情况下，每个客户端都有不同的标签类，一些客户端只有无监督的任务，它也能很好地工作。我们证明了FedMM确保收敛到一个平稳点域移动的无监督数据。在各种基准数据集上，广泛的实验表明，FedMM始终实现显着的通信节省或显着的准确性提高联邦优化的基础上的梯度下降上升（GDA）算法。例如，当从头开始训练时，它在相同的通信回合中的准确性优于其他基于GDA的联邦平均方法，大约是$20\%$;并且当从预先训练的模型进行训练时，它始终优于不同网络的准确性从$5.4\%$提高到$9\%$。
2021-11-16 cs.LG
CDMA: A Practical Cross-Device Federated Learning Algorithm for General Minimax Problems
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Advanced Technology Institute, Zhejiang University（浙江大学先进技术研究院）；Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）
针对跨设备联邦学习中一般极小极大问题，本文提出实用算法CDMA，通过“收到足够响应即立即开始”机制应对客户端低可用性，并结合轻量级全局校正缓解网络延迟，理论与实验证明其高效。
2023-06-29 cs.DC cs.LG
Personalized Projected Ascent for Federated Stackelberg Optimization
Indian Institute of Science（印度科学学院）；CISPA（CISPA亥姆霍兹信息安全中心）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
针对联邦斯塔克尔伯格优化中跨客户端最大化变量不适定平均的问题，提出VR-SGDA算法，消除非凸-PL情形下的噪声底，在子群体鲁棒性和NLP对抗训练中验证了其优势。
2026-10-16 cs.LG
Taming Fat-Tailed ("Heavier-Tailed'' with Potentially Infinite Variance) Noise in Federated Learning
The Ohio State University（俄亥俄州立大学）
现有FL算法收敛性分析的一个关键假设是随机一阶信息中的噪声具有有限的方差。虽然这个假设涵盖了所有的轻尾（即，次指数）和一些重尾噪声分布（例如，对数正态分布、威布尔分布和一些帕累托分布），但它对于许多厚尾噪声分布（即，具有潜在无限方差的“长尾”），这在FL文献中已经被经验性地观察到。到目前为止，它仍然不清楚是否可以设计收敛算法FL系统的经验厚尾噪声。这促使我们在本文中通过提出一个称为FAT-Clipping（\ul{f} ederated \ul{a} averaging with \ul{t} wo-sided learning rates and \ul{clipping}）的算法框架来填补这一空白，该算法框架包含两个变体：FAT-Clipping per-round（FAT-Clipping-PR）和FAT-Clipping per-iteration（FAT-Clipping-PI）。具体而言，对于最大的$α\in (1,2]$，使在FL的肥尾噪声仍然有界$α$矩，我们表明，这两种变体实现$\mathcal{O}((mT)^{\frac{2-α}α})$和$\mathcal{O}((mT)^{\frac{1-α}{3α-2}})$收敛速度在强凸和一般非凸设置，分别，其中$m$和$T$的客户端和通信轮数。此外，与FAT-Clipping-PR相比，以更多的裁剪操作为代价，FAT…
2022-12-25 cs.AI cs.DC cs.LG
Improved Regret Bounds for Linear Bandits with Heavy-Tailed Rewards
University of Washington（华盛顿大学）；National University of Singapore（新加坡国立大学）
本文改进了线性老虎机在重尾奖励下的遗憾界，提出了一种基于消除的算法并给出了新的上界和下界。
2026-01-27 cs.IT cs.LG math.IT
Understanding the Statistical Accuracy-Communication Trade-off in Personalized Federated Learning with Minimax Guarantees
本文研究了个性化联邦学习中统计准确性与通信的权衡，定量刻画了个性化程度对样本与算法效率的影响，提供了选择个性化程度的理论见解，并证明了广泛研究的PFL公式的minimax最优性。
2025-06-01 cs.DC cs.LG math.ST
FEDTAIL: Federated Long-Tailed Domain Generalization with Sharpness-Guided Gradient Matching
Koita Centre for Digital Health IIT Bombay, Mumbai（Koita数字健康中心IIT博伊斯瓦尔，孟买）；Department of Electrical Engineering, IIT Bombay, Mumbai（电气工程系IIT博伊斯瓦尔，孟买）
本文提出 FedTAIL 联邦域泛化框架，通过锐度引导的梯度对齐、类别级锐度最小化、动态加权及条件分布对齐，解决长尾分布与优化冲突问题，并在集中式和联邦设置下达到 SOTA。
2025-06-10 cs.AI cs.CV cs.LG
Prediction with Expert Advice under Heavy-Tailed Losses
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对重尾损失下基于专家建议的预测问题，确定了极小极大伪遗憾率，提出两种无需知晓ε和θ的自适应算法，还给出ε和θ已知时的最优算法，成果为相关预测任务提供了理论与方法支撑。
2026-10-14 cs.LG stat.ML
Diffusion Models with Heavy-Tailed Targets: Score Estimation and Sampling Guarantees
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）
本文研究了厚尾目标下基于分数的扩散模型，推导了分数估计的最小最大速率，并提供了采样保证，揭示了轻尾与多项式尾情况下不同的收敛特性。
2026-01-10 cs.LG math.PR math.ST
Defending Against Gradient Inversion Attacks for Biomedical Images via Learnable Data Perturbation
Duke University（杜克大学）；Arizona State University（亚利桑那州立大学）
针对联邦学习中医疗数据梯度反转攻击的防御泛化性不足问题，提出基于潜在空间数据扰动与极小极大优化的防御方法，在同等模型效用下防御效果优于基线，具备医疗数据泛化潜力。
2025-03-19 cs.CV cs.LG
FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data
University of Electronic Science and Technology of China（电子科技大学）；Angelalign Technology Inc（时代天使科技有限公司）；Zhejiang University（浙江大学）；IHPC, Agency for Science, Technology and Research, Singapore（新加坡科技研究局信息通信研究院）；CFAR, Agency for Science, Technology and Research, Singapore（新加坡科技研究局计算科学与工程中心）；Singapore University of Technology and Design（新加坡科技设计大学）
针对联邦长尾学习中现有方法忽略局部性能、个性化联邦学习假设全局数据平衡的问题，提出FedLoGe方法，结合神经坍缩框架优化表征与分类器，同时提升局部和通用模型性能，实验效果优于现有方法。
2024-03-08 cs.AI cs.LG
Tackling Heavy-Tailed Rewards in Reinforcement Learning with Function Approximation: Minimax Optimal and Instance-Dependent Regret Bounds
Center for Data Science, Peking University（北京大学数据科学中心）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对带函数逼近的强化学习中重尾奖励的难题，设计了适用于线性老虎机和强化学习的算法，首次得到实例依赖的遗憾界并证明其极小极大最优性，还提出了可用于一般在线回归问题的新型鲁棒自归一化集中不等式。
2024-03-07 cs.AI cs.LG stat.ML
Bilateral Trade Under Heavy-Tailed Valuations: Minimax Regret without a Variance Bound
本文研究了在完全反馈情况下，交易者估值具有无限方差时的双边贸易问题，通过扩展自界性质和截断均值估计，提出了一个基于周期的算法，实现了最小最大后悔的精确速率。
2026-09-11 cs.GT cs.LG stat.ML
Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret
Michigan State University（密歇根州立大学）
我们研究了非平稳随机多臂强盗（MAB）问题，其中与每个手臂相关联的奖励的分布被假定为是时变的，并且期望奖励的总变化受到变化预算的影响。一个策略的遗憾是由使用该策略和使用一个预言机获得的预期累积回报的差异定义的，该预言机选择了每次具有最大平均回报的手臂。我们的最坏情况下的遗憾，这是一组满足变化预算的奖励分布序列的遗憾的上确界方面所提出的政策的性能。我们用三种不同的方法，即周期重置、滑动观察窗和折扣因子，扩展了基于置信上限（UCB）的策略，并证明了它们对于极大极小后悔是序最优的，即，任何政策所能达到的最低限度的最坏情况下的遗憾。我们还放松了奖励分布的亚高斯假设，并开发了鲁棒版本的建议政策，可以处理重尾奖励分布，并保持其性能保证。
2021-01-22 cs.LG
