Communication-Efficient and Byzantine-Robust Distributed Learning with Error Feedback
Halicioglu Data Science Institute, UC San Diego（哈利乔格鲁数据科学研究所，加州大学圣迭戈分校）；UC Berkeley（加州大学伯克利分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）；EECS department, UC Berkeley（加州大学伯克利分校电子工程与计算机科学系）
我们开发了一个通信高效的分布式学习算法，是强大的拜占庭工人机器。我们提出并分析了一个分布式梯度下降算法，执行一个简单的阈值的基础上梯度规范，以减轻拜占庭故障。我们证明了我们算法的（统计）错误率与Yin等人的算法相匹配。\cite{dong}，它使用更复杂的方案（坐标系中位数，修剪均值）。此外，为了提高通信效率，我们考虑了Karimireddi等人的一类通用的$δ$ -近似压缩器。\cite{errorfeed}，包含基于符号的压缩器和顶部$k$稀疏化。我们的算法分别使用压缩梯度和梯度范数进行聚集和拜占庭移除。我们建立了非凸光滑损失函数的统计出错率。结果表明，在压缩因子$δ$的一定范围内，压缩操作对收敛速度没有影响。此外，我们分析了压缩梯度下降算法与错误反馈（提出在\cite{errorfeed}）在分布式设置和拜占庭工人机器的存在。我们发现，利用错误反馈提高了统计出错率。最后，我们通过实验验证了我们的结果，并显示出良好的性能在凸（最小二乘回归）和非凸（神经网络训练）问题的收敛。
2021-08-14 cs.DC cs.LG stat.ML
On the Optimal Batch Size for Byzantine-Robust Distributed Learning
Nanjing University（南京大学）
研究固定梯度计算总数下拜占庭鲁棒分布式学习的最优批量大小问题，发现最优批量随拜占庭节点比例增加而增大，并提出ByzSGDnm方法缓解大批量导致的精度下降，在蓄意攻击下优于现有方法。
2023-05-23 cs.LG math.OC stat.ML
Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)
EPFL（洛桑联邦理工学院）；Georgetown University（乔治城大学）
本文研究了分布式随机梯度下降（D-SGD）方法中的拜占庭容错问题，D-SGD是分布式多智能体机器学习的一种流行算法。在这个问题中，每个代理独立于某个数据生成分布对数据点进行采样。在无故障的情况下，D-SGD方法允许所有代理学习最适合所有代理集体采样的数据的数学模型。我们考虑的情况下，当一小部分的代理可能是拜占庭式的故障。这种错误的代理可能不会正确地遵循规定的算法，并且可能通过共享任意不正确的随机梯度而使传统的D-SGD方法无效。我们提出了一个基于范数的梯度过滤器，命名为比较梯度消除（CGE），robustifies D-SGD方法对拜占庭代理。我们表明，CGE梯度过滤器保证容错对拜占庭代理的有界分数在标准的随机假设下，是计算上更简单的许多现有的梯度过滤器，如多KRUM，几何平均值，和频谱过滤器。我们的经验表明，通过模拟分布式学习神经网络，CGE的容错性与现有的梯度过滤器。我们还经验表明，随机梯度的指数平均提高了通用梯度滤波器的容错性。
2021-04-18 cs.DC cs.LG stat.ML
dSTAR: Straggler Tolerant and Byzantine Resilient Distributed SGD
University of California, Los Angeles（加州大学洛杉矶分校）；University of Pennsylvania（宾夕法尼亚大学）
dSTAR通过选择前k个响应工作节点的梯度并基于集成中位数过滤，同时应对掉队和拜占庭攻击，实现线性收敛和高精度，优于现有方法。
2026-09-21 cs.AI cs.CR cs.DC
Distributed Statistical Machine Learning in Adversarial Settings: Byzantine Gradient Descent
Cornell（康奈尔大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Purdue（普渡大学）
我们考虑了分布式统计机器学习在对抗环境中的问题，其中一些未知的和时变的工作机器子集可能会受到损害，并任意行为，以防止准确的模型被学习。此设置捕捉了联邦学习面临的潜在对抗性攻击-这是一种由Google研究人员提出的现代机器学习范式，并已被深入研究以确保用户隐私。形式上，我们专注于一个分布式系统组成的参数服务器和$m$工作机。每台工作机器都保存$N/m$数据样本，其中$N$是样本的总数。我们的目标是共同学习维度$d$的底层真实模型参数。在经典的批量梯度下降方法中，工作机器向服务器报告的梯度通过简单的平均来聚合，这容易受到单个拜占庭失败的影响。在本文中，我们提出了一个拜占庭梯度下降方法的基础上的几何中值的平均梯度。我们表明，我们的方法可以容忍$q \le (m-1)/2$拜占庭故障，参数估计收敛在$O(\log N)$轮估计误差为$\sqrt{d(2q+1)/N}$，因此接近最佳的错误率$\sqrt{d/N}$在集中式和无故障设置。该算法在每台工作机上的总计算复杂度为$O((Nd/m) \log N)$，在中心服务器上的总计算复杂度为$O(md + kd \log^3 N)$，总通信开销为$O(m d \log N)$。我们进一步提供了我们的一般结果的线性回归问题的应用。上述问题中出现的关键挑战是拜占庭故障在迭代和聚合梯度之间创建任意和未指定的依赖性。我们证明了聚集梯度一致收敛于真梯度函…
2017-10-23 cs.CR cs.DC cs.LG
Distributed Momentum for Byzantine-resilient Learning
Distributed Computing Laboratory (DCL), École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL）分布式计算实验室（DCL））
动量法是梯度下降的一种变体，因其在收敛方面的优势而被提出。在分布式环境中，动量可以在服务器端或工作端实现。当服务器使用的聚合规则是线性的时，加法的可交换性使两个部署等效。然而，鲁棒性和隐私是放弃线性聚合规则的动机之一。在这项工作中，我们证明了在工人侧使用动量的鲁棒性的好处。我们首先证明，在工人的计算动量降低了服务器的梯度估计的方差-范数比，加强拜占庭弹性聚合规则。然后，我们提供了一个广泛的实验演示的鲁棒性效果的工人侧动量分布式SGD。
2020-03-09 cs.CR cs.DC cs.LG
Distributed Training with Heterogeneous Data: Bridging Median- and Mean-Based Algorithms
University of Minnesota（明尼苏达大学）
近年来，基于中值的分布式非凸优化算法的研究引起了越来越多的关注。两个突出的这样的算法包括signSGD与多数表决，一个有效的方法，通过1位压缩的局部梯度，和medianSGD，最近提出的算法，以确保对拜占庭工人的鲁棒性通信减少。这些算法的收敛性分析主要依赖于假设所有的分布式数据都是从同一个分布中抽取的。然而，在诸如联邦学习之类的应用中，跨不同节点或机器的数据可能本质上是异构的，这违反了这样的iid假设。这项工作分析了signSGD和medianSGD在分布式设置与异构数据。我们表明，这些算法是非收敛的，每当有一些差距的预期中值和平均值在当地的梯度。为了克服这一差距，我们提供了一种新的梯度校正机制，扰动局部梯度与噪声，连同一系列的结果，证明关闭之间的差距的平均值和中位数的梯度。所提出的方法在很大程度上保留了这些方法的优良性质，如低的每迭代通信复杂性的signSGD，并进一步享受全局收敛到平稳的解决方案。我们的扰动技术可以独立的兴趣，当一个人希望估计平均通过中位数估计。
2019-06-06 cs.DC cs.LG math.OC
Weight for Robustness: A Comprehensive Approach towards Optimal Fault-Tolerant Asynchronous ML
Technion（以色列理工学院）
本文提出加权鲁棒聚合框架，将鲁棒聚合器及元聚合器扩展至加权版本以缓解异步延迟影响，并结合方差缩减技术首次在异步拜占庭环境中实现最优收敛速率，有效提升异步机器学习系统的容错性与性能。
2025-06-04 cs.LG
Byzantine-Resilient SGD in High Dimensions on Heterogeneous Data
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了拜占庭攻击下主从架构中的分布式随机梯度下降（SGD）。我们考虑异构数据模型，其中不同的工作人员可能有不同的本地数据集，我们不对数据生成进行任何概率假设。在我们算法的核心，我们使用Steinhardt等人（ITCS 2018）提出的用于鲁棒均值估计的多项式时间离群值过滤程序来过滤掉损坏的梯度。为了能够在我们的{ \em异构}数据设置中应用他们的过滤过程，其中工人计算{ \em随机}梯度，我们推导出一个新的矩阵浓度结果，这可能是独立的兴趣。我们提供了光滑强凸和非凸目标的收敛性分析。我们得到我们的结果下的有界方差假设局部随机梯度和{ \em确定性}条件下的数据集，即梯度相异性，并为这些数量，我们提供具体的界限在统计异质数据模型。我们给出了随机梯度的小批量大小和近似误差之间的权衡。我们的算法可以容忍高达$\frac{1}{4}$分数拜占庭工人。该算法在强凸环境下能以指数速度找到近似最优参数，在非凸环境下能以线性速度到达近似稳定点，从而在Byzantine-free环境下与vanilla SGD算法的收敛速度相当.我们还提出并分析了拜占庭弹性SGD算法与梯度压缩，工人发送$k$随机坐标的梯度。在温和的条件下，我们展示了一个$\frac{d}{k}$因子节省通信比特以及解码复杂度超过我们的压缩免费算法，而不影响其收敛速度（顺序）和近似误差。
2020-05-16 cs.CR cs.DC cs.LG
Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出首个支持客户端采样且可证明容忍拜占庭节点的分布式学习方法，通过梯度裁剪控制方差缩减中的梯度差，并结合通信压缩，在部分参与场景下达到与现有最先进方法相匹配的收敛速率。
2024-06-07 cs.AI cs.DC cs.LG
Bias-Corrected and Variance-Corrected MLE for the New Median Based Unit Weibull Distribution (MBUW)
针对小到中等样本量下新中位数单位威布尔分布（MBUW）的极大似然估计（MLE）存在偏差及参数高相关性导致方差膨胀的问题，提出偏差校正方法并应用于实际数据分析，同时阐述基于负对数似然重参数化的方差校正方法。
2025-02-14 math.PR stat.ME
Byzantine Fault-Tolerance in Federated Local SGD under 2f-Redundancy
EPFL（洛桑联邦理工学院）；Virginia Tech（弗吉尼亚理工大学）；Georgetown University（乔治城大学）
我们考虑联邦机器学习中的拜占庭容错问题。在这个问题中，该系统包括多个代理，每个代理具有本地数据，以及可信的集中式协调器。在无故障设置中，代理与协调员合作，以找到一个最小的聚合的本地成本函数定义在他们的本地数据。我们考虑的情况下，一些代理（$f$出$N$）是拜占庭故障。这样的代理不需要正确地遵循规定的算法，并且可以将任意的不正确的信息传递给协调器。在拜占庭代理人的存在下，一个更合理的目标，为非故障代理人是找到一个最小的总成本函数只有非故障代理人。这个特定的目标通常被称为精确容错。最近的工作表明，精确的容错是可以实现的，如果只有当非故障代理满足属性的$2f$ -冗余。现在，在此属性下，已知的技术赋予精确的容错的经典随机梯度下降（SGD）算法的分布式实现。然而，我们不知道联邦本地SGD算法的任何此类技术-联邦机器学习更常用的方法。为了解决这个问题，我们提出了一种新的技术命名为比较消除（CE）。我们表明，在$2f$冗余下，联邦本地SGD算法与CE确实可以获得精确的容错在确定性设置时，非故障代理可以准确地计算其本地成本函数的梯度。在一般的随机情况下，当代理只能计算无偏噪声估计的局部梯度，我们的算法实现了近似容错近似误差成正比的方差的随机梯度和拜占庭代理的分数。
2021-08-26 cs.DC cs.LG
High Dimensional Distributed Gradient Descent with Arbitrary Number of Byzantine Attackers
针对分布式学习中任意数量拜占庭攻击场景下现有鲁棒方法受维度诅咒困扰的问题，本文提出高维半验证均值估计聚合方法，摆脱维度√d依赖达到极小极大最优率，实验验证了其有效性。
2025-11-18 cs.CR cs.DC cs.LG
Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data
Sun Yat-Sen University（中山大学）；Pazhou Lab（琶洲实验室）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们考虑联邦学习问题，其中工人的数据不是独立同分布的（i.i.d.）。在学习过程中，未知数量的Byzantine工人可能会向中心节点发送恶意消息，导致显著的学习错误。大多数拜占庭健壮方法通过使用健壮的聚合规则来聚合接收到的消息来解决这个问题，但是依赖于所有常规工作者都具有i.i.d.的假设。数据，这在许多联邦学习应用程序中并非如此。鉴于减少随机梯度噪声对减轻拜占庭攻击的影响的重要性，我们使用了一种恢复策略来减少内部变化（描述每个常规工人上的样本异质性）和外部变化（描述常规工人之间的样本异质性）的影响，以及随机平均梯度算法来逐渐消除内部变化。然后用一个鲁棒的几何中值算子聚合方差减小的消息。我们证明了所提出的方法达到最优解的一个邻域的线性收敛速度和学习误差是由拜占庭工人的数量。数值实验证实了理论结果，并表明该方法优于国家的最先进的非独立同分布。设置.
2021-08-28 cs.LG stat.ML
Byzantine-Robust Federated Linear Bandits
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们研究了一个线性强盗优化问题，在联邦设置的大型集合的分布式代理合作学习一个共同的线性强盗模型。应用于此设置的标准联邦学习算法即使对一小部分代理也容易受到拜占庭攻击。我们提出了一种新的算法，利用几何中值的强大的聚集预言。我们证明，我们提出的算法是强大的拜占庭攻击不到一半的代理，并实现了次线性$\tilde{\mathcal{O}}({T^{3/4}})$遗憾与$\mathcal{O}(\sqrt{T})$步骤的通信$T$步骤。此外，我们通过基于树的机制，使我们的算法差异私有。最后，如果腐败的水平是已知的是小的，我们表明，使用几何中位数的平均预言鲁棒聚合进一步提高了遗憾界。
2022-04-03 cs.LG cs.MA stat.ML
On the Optimality of the Median-of-Means Estimator under Adversarial Contamination
Basque Center of Applied Mathematics (BCAM)（巴斯克应用数学中心）；IKERBASQUE-Basque Foundation for Science（巴斯克科学基金会）
本文研究了对抗性污染下中位数均值估计器的最优性，证明了其在有限方差及无限方差但有限绝对矩分布类中达到极小极大最优，并指出在轻尾分布下为次优。
2025-10-09 cs.LG math.ST stat.ML
Generalized Method of Moments and Percentile Method: Estimating parameters of the Novel Median Based Unit Weibull Distribution
针对新型基于中位数的单位 Weibull 分布在 MLE 参数估计中存在大方差的问题，本文引入 GMMs 与百分位法进行参数估计，并通过真实数据分析说明方法应用。
2024-10-28 math.PR stat.ME
Genuinely Distributed Byzantine Machine Learning
EPFL（洛桑联邦理工学院）
机器学习（ML）解决方案现在是分布式的，根据所谓的服务器/工作者架构。一个服务器保存模型参数，而几个工作人员训练模型。显然，这样的体系结构容易出现各种类型的组件故障，这些故障都可以包含在拜占庭行为的范围内。最近提出了几种方法来容忍拜占庭工人。然而，所有这些都需要信任一个中央参数服务器。在本文中，我们开始研究的“一般”拜占庭弹性分布式机器学习问题，没有个别组件是值得信赖的。我们表明，尽管存在$\frac{1}{3}$拜占庭参数服务器和$\frac{1}{3}$拜占庭工作人员（这是最佳的），但这个问题可以在异步系统中解决。我们提出了一个新的算法，ByzSGD，它解决了一般拜占庭弹性分布式机器学习问题，依靠三个主要计划。第一种是Scatter/Gather，它是一种通信方案，其目标是将模型之间的最大漂移限制在正确的服务器上。第二种是分布式中值收缩（DMC），它利用高维空间中中值的几何特性，使正确服务器中的参数彼此接近，确保学习收敛。第三个是最小直径平均（MDA），是一个非常健壮的梯度聚合规则，其目标是容忍拜占庭工人。与现有的替代方案相比，MDA需要对非拜占庭梯度估计的方差进行宽松的限制（例如，克鲁姆）。有趣的是，与普通的非拜占庭替代方案相比，ByzSGD确保了拜占庭的弹性，而不增加通信回合（在正常路径上）。ByzSGD需要，但是，大量的消息，我们表明，可以减少，如果我们假设同步。
2020-06-02 cs.DC cs.LG stat.ML
DRACO: Byzantine-resilient Distributed Training via Redundant Gradients
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
分布式模型训练易受拜占庭系统故障和敌对计算节点的影响，即，使用恶意更新来破坏存储在参数服务器（PS）处的全局模型的节点。为了保证某种形式的鲁棒性，最近的工作建议使用几何中值的变体作为聚合规则，代替梯度平均。不幸的是，基于中值的规则在大规模设置中可能会产生令人望而却步的计算开销，并且它们的收敛保证通常需要强有力的假设。在这项工作中，我们提出了DRACO，一个可扩展的框架，强大的分布式训练，使用编码理论的想法。在DRACO中，每个计算节点评估参数服务器使用的冗余梯度，以消除对抗性更新的影响。DRACO具有与问题无关的鲁棒性保证，它训练的模型与在无对抗设置中训练的模型相同。我们提供了大量的实验，在真实的数据集和分布式设置在各种大规模的模型，我们表明，DRACO是几倍，数量级快于基于中位数的方法。
2018-06-22 cs.DC cs.IT cs.LG
Median bias reduction in random-effects meta-analysis and meta-regression
在荟萃分析中，随机效应模型常用于综合不同研究的信息。虽然基于似然性的推理在限制属性和实施方面都很有吸引力，但其在随机效应荟萃分析中的应用可能会导致误导性结论，特别是当研究数量较少时。目前的文件显示，如何减少渐近偏差的极大似然估计的方差分量的方法，也可以大大提高推断的平均效应大小。这些结果是针对随机效应荟萃回归的更一般框架得出的，该框架允许平均效应大小随研究特定协变量而变化。
2018-05-23 stat.AP stat.ME
Simulations for estimation of heterogeneity variance $τ^2$ in constant and inverse variance weights meta-analysis of log-odds-ratios
研究间方差的一些常用估计量$τ^2$基于Cochran $Q$统计量，用于检验Meta分析中的异质性。我们介绍了新的点和区间估计的$τ^2$的对数优势比。这些包括新的DerSimonian-Kacker型矩估计的基础上的一阶矩的$Q_F$，$Q$统计与有效样本量的权重，和新的中位数无偏估计量。我们通过模拟研究了$τ^2$的这些新估计量的偏倚和覆盖率，为了比较的目的，研究了一些基于具有逆方差权重的$Q$统计量的著名估计量的偏倚和覆盖率，$Q_{IV}$，例如Mandel-Paule，DerSimonian-Laird和限制最大似然估计量，以及基于Kulinskaya-Dollinger（2015）改进的$Q_{IV}$近似的估计量。
2022-08-01 stat.ME
Comparative Study of the Median Based Unit Rayleigh and its Generalized Form the Generalized Odd Median Based Unit Rayleigh
论文在真实数据集上比较 MBUR 与新增形状参数的 GOMBUR，利用 MLE 和 Nelder Mead 优化器拟合多种竞争分布，并依据有效性、拟合优度、方差和标准误评估新参数价值。
2025-03-12 stat.AP
Early and Late Buzzards: Comparing Different Approaches for Quantile-based Multiple Testing in Heavy-Tailed Wildlife Research Data
针对重尾野生动物数据，比较基于中位数和IQR的多重检验方法，提出结合自助法的多重对比程序，并应用于鸟类繁殖性状分析。
2025-04-28 stat.ME
Enhanced Lepage-type test statistics for location-scale shifts with right-skewed data
针对右偏数据，提出结合稳健位置与尺度组件的增强型Lepage检验，提升10%-25%功效，并在生物医学数据中验证有效性。
2025-10-18 stat.ME
Target Localization in Wireless Sensor Networks using Error Correcting Codes
在这项工作中，我们考虑在无线传感器网络（WSNs）中使用量化数据的目标定位的任务。我们提出了一个能量有效的定位方案，通过建模它作为一个迭代分类问题。我们设计了基于编码的迭代目标定位方法，其中在每次迭代中，融合中心（FC）解决了M元假设检验问题，并决定下一次迭代的感兴趣区域（ROI）。即使在网络中存在拜占庭（恶意）传感器的情况下，基于编码的迭代方法也能很好地工作。我们进一步考虑了非理想信道的影响。我们建议使用软判决解码来补偿由于本地传感器和FC之间存在衰落信道而造成的损失。我们评估所提出的方案的拜占庭容错能力和目标区域的检测概率方面的性能。我们还提出了性能界限，这有助于我们在设计系统。我们提供了渐近分析所提出的计划，并表明，该计划实现完美的区域检测时，传感器的数量趋于无穷大的噪声方差无关。我们的数值结果表明，所提出的计划提供了类似的性能，在均方误差（MSE）相比，传统的极大似然估计（MLE），但计算效率更高，是弹性的错误，由于拜占庭和非理想信道。
2013-11-04 stat.AP
Byzantines can also Learn from History: Fall of Centered Clipping in Federated Learning
KUIS AI Center Koç University（科奇大学KUIS人工智能中心）；IPC Lab Imperial College London（伦敦帝国理工学院IPC实验室）；Koç University（科奇大学）
本文揭露了联邦学习中 Centered Clipping 框架的漏洞，提出可绕过其防御并降低测试准确率的新拜占庭攻击策略，同时设计了有效抵御该攻击及其他攻击的快速鲁棒防御机制。
2024-01-01 cs.AI cs.CR cs.DC
Defending Against Saddle Point Attack in Byzantine-Robust Distributed Learning
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们研究鲁棒分布式学习，涉及最小化非凸损失函数鞍点。我们考虑拜占庭设置，其中一些工人机器具有异常甚至任意和对抗性行为。在这种情况下，拜占庭机器可能会在远离任何真正的局部最小值的鞍点附近创建假的局部最小值，即使使用了鲁棒的梯度估计器。我们开发ByzantinePGD，一个强大的一阶算法，可以证明逃脱鞍点和假的局部极小值，并收敛到一个近似的真正的局部极小，具有低迭代复杂度。作为副产品，我们给出了一个更简单的算法和分析，在通常的非拜占庭设置逃逸鞍点。我们进一步讨论了三个强大的梯度估计，可用于ByzantinePGD，包括中位数，修剪均值，迭代滤波。我们在具体的统计环境中的性能特点，并认为他们的近最优的低维和高维制度。
2020-07-29 cs.CR cs.DC cs.LG
On the estimation of the median odds ratio for measuring contextual effects in multilevel binary data from complex survey designs
Institute of Statistical Research and Training（统计研究与培训中心）；University of Dhaka（达卡大学）
针对多水平二值数据，提出基于Delta方法的中位数比值比（MOR）区间估计，适用于两水平和三水平模型，模拟显示中到大样本下偏差小且覆盖概率满意。
2026-06-16 stat.ME
Communication-efficient Byzantine-robust distributed learning with statistical guarantee
School of Statistics and Mathematics（统计与数学学院）；Nanjing Audit University（南京审计大学）
通信效率和鲁棒性是现代分布式学习框架的两个主要问题。这是由于一些计算节点可能具有有限的通信能力或可能表现出对抗行为的实际情况。为了同时解决这两个问题，本文提出了两个通信高效和鲁棒的分布式学习算法的凸问题。我们的动机是基于替代似然框架和中位数和修剪平均操作。特别是，所提出的算法是可证明的强大的拜占庭故障，也实现了最佳的统计率强凸损失和凸（非光滑）的罚款。对于典型的统计模型，如广义线性模型，我们的结果表明，统计误差占主导地位的优化误差在有限的迭代。仿真和真实数据实验证明了我们的算法的数值性能。
2021-02-28 cs.DC cs.LG stat.ML
A Robust Moment System Based on Absolute Deviations and Quantile Slicing
Kingdom of Bahrain（巴林王国）
本文提出两种稳健的分位数切片矩系统，用于参数建模和统计推断，特别是在经典矩和L矩失效时描述分布的位置、尺度、偏斜和尾部行为。
2026-03-29 stat.ME
Confounding-adjustment methods for the causal difference in medians
对于连续结果，平均因果效应通常使用预期潜在结果的对比来定义。然而，在结果数据存在偏差的情况下，预期可能不再有意义。在实践中，典型的方法是“忽略或变换”-完全忽略偏度或变换结果以获得更对称分布，尽管这两种方法都不完全令人满意。或者，因果效应可以被重新定义为中位数潜在结果的对比，但估计这一参数的混淆调整方法的讨论是有限的。在这项研究中，我们描述和比较了混淆调整方法，以解决这一差距。考虑的方法是多变量分位数回归，逆概率加权（IPW）估计，加权分位数回归和两个鲜为人知的实现g-计算这个问题。出于澳大利亚儿童纵向研究中的队列调查的动机，我们进行了一项模拟研究，发现IPW估计，加权分位数回归和g-计算实现最小化偏差时，正确指定的相关模型，与g-计算另外最小化方差。这些方法为常见的“忽略或转换”方法和多变量分位数回归提供了有吸引力的替代方案，增强了我们获得有意义的因果效应估计的能力。
2023-02-03 stat.ME
Byzantine-Robust Clustered Federated Learning
Princeton University（普林斯顿大学）
针对多任务聚类联邦学习中的拜占庭攻击，本文基于 IFCA 融合逐坐标截断均值与中位数聚合，提出鲁棒迭代联邦聚类算法，并证明强凸损失下的收敛性。
2023-06-01 cs.DC cs.LG stat.ML
Robust nonparametric estimation via wavelet median regression
在本文中，我们开发了一个非参数回归方法，同时适应范围广泛的功能类的回归函数和强大的误差分布，包括那些重尾，甚至可能没有方差或手段。我们的方法是首先使用局部中位数的非参数回归与未知的噪声分布的问题转化为一个标准的高斯回归问题，然后应用小波块阈值的过程来构建一个估计的回归函数。它示出的估计同时达到最佳的收敛速率在很宽的范围内的Besov类，没有先验知识的平滑的基本功能或先验知识的误差分布。该估计器还自动适应底层函数的局部光滑性，并获得局部自适应极小极大率估计函数在一个点。在我们的发展中的一个关键技术成果是分位数耦合定理，它给出了一个紧界的分位数之间的耦合样本中位数和正常变量。这个中位数耦合不等式可能是独立的利益。
2008-10-27 math.ST stat.TH
Byzantine-Robust Federated Machine Learning through Adaptive Model Averaging
Imperial College London（帝国理工学院）
联合学习能够在许多参与者的情况下大规模训练协作机器学习模型，同时保护其数据集的隐私。标准的联邦学习技术容易受到拜占庭式故障、有偏见的本地数据集和中毒攻击的影响。在本文中，我们介绍了自适应联邦平均，一种新的算法，强大的联邦学习，旨在检测故障，攻击和不良更新的参与者提供的协作模型。我们提出了一个隐马尔可夫模型来建模和学习每个参与者在训练过程中提供的模型更新的质量。与现有的强大的联邦学习计划相比，我们提出了一个强大的聚合规则，在每次训练迭代中检测和丢弃坏的或恶意的局部模型更新。这包括阻止不需要的参与者的机制，这也提高了计算和通信效率。我们在4个真实数据集上的实验评估表明，我们的算法对错误，噪声和恶意参与者的鲁棒性明显更强，同时比其他最先进的强大联邦学习方法（如Multi-KRUM和坐标中值）在计算上更有效。
2019-09-11 cs.DC cs.LG stat.ML
Power Analysis for Experiments with Clustered Data, Ratio Metrics, and Regression for Covariate Adjustment
本文提出一个基于残差样本方差的统一框架，用于在聚类数据、比率指标和协变量调整情形下进行A/B测试标准误计算与功效分析，并估计协变量调整可使关键指标方差中位数降低66%，实验时间缩短66%。
2024-06-10 math.ST stat.ME stat.TH
Sensitivity analysis for random measurement error using regression calibration and simulation-extrapolation
在没有验证数据的情况下，可通过回归校准和模拟外推法对测量误差进行敏感性分析。没有为此目的进行比较。在多变量模型中进行了模拟研究，比较了回归校准和模拟外推的性能。根据偏倚、均方误差（MSE）和置信区间覆盖率、易错测量的范围可靠性（0.2-0.9）、样本量（125- 1，000）、重复次数（2-10）和R平方（0.03-0.75）评价了两种方法的性能。假设没有关于无误差测量的验证数据，而正确估计了测量误差方差。在各种情况下，回归校准无偏，而模拟外推有偏：中位偏倚分别为1.4%（四分位距（IQR）：0.8;2%）和-12.8%（IQR：-13.2;-11.0%）。观察到模拟外推（中位MSE：0.005，IQR：0.004;0.006）与回归校准（中位MSE：0.006，IQR：0.004;0.007）相比，效率略有提高。回归校准的置信区间覆盖率为95%的标称水平，模拟外推的置信区间覆盖率小于95%（中位覆盖率：92%，IQR：85;94%）。在没有验证数据的情况下，建议使用回归校准进行测量误差的敏感性分析。
2021-06-08 stat.AP
Bias-Aware External-Model-Assisted Inference in High-Dimensional Regression
University of Pennsylvania（宾夕法尼亚大学）
提出DEAL方法，通过偏差感知交叉拟合收缩步骤自适应调整外部估计器，在高维半监督线性回归中实现比去偏Lasso、PPI等更短的置信区间。
2026-10-30 stat.ME
CountSketches, Feature Hashing and the Median of Three
Aarhus University（奥胡斯大学）；University of Copenhagen（哥本哈根大学）
在本文中，我们重新审视经典的CountSketch方法，这是一个稀疏的，随机投影，转换（高维）欧几里得向量$v$到一个向量的维度$(2t-1) s$，其中$t, s > 0$是整数参数。已知即使对于$t=1$，CountSketch也允许估计$v$的坐标，其中方差由$\|v\|_2^2/s$限定。对于$t > 1$，估计量取$2t-1$独立估计值的中位数，并且估计值偏离$2 \|v\|_2/\sqrt{s}$以上的概率在$t$中呈指数级小。这表明选择$t$为所需逆失效概率的对数。然而，CountSketch的实现通常使用一个小的、恒定的$t$。以前的工作只预测在这种情况下，一个恒定的因素改善。我们的主要贡献是一个新的分析计数草图，显示了改善方差$O(\min\{\|v\|_1^2/s^2,\|v\|_2^2/s\})$时，$t > 1$。也就是说，对于足够大的$s$，方差与$s^{-2}$成比例地渐近减小。我们还研究了方差的设置中的内积是从两个CountSketches估计。这一发现表明，特征散列方法本质上与CountSketch相同，但不使用中值估计器，可以在可能使用中值估计器的设置中以较小的成本变得更可靠。我们在实验中证实了我们的理论发现，从而有助于证明为什么在实践中，一个小的常数的估计往往是足够的。我们改进的方差界是基于新的一般定理的方差和高的时刻的中位数的独立同分布。随机变…
2021-02-03 cs.DS cs.LG stat.ML
Optimal robust estimators for families of distributions on the integers
设F_{θ}是一类在非负整数集合Z 0上具有支集的分布族.本文给出了具有最小疏失误差灵敏度（GES）的M-估计量。我们首先定义一个在Z_0（umed（F））上支持的分布F的一致中位数为x+u的中位数，其中x和u分别是分布F和一致于[-0.5，0.5]的自变量。在一般条件下，我们证明了具有最小GES的估计满足umed（F_{n}）=umed（F_{θ}），其中F_{n}是经验分布.得到了这些估计量的渐近分布，除了当存在正整数k使得F_{θ}（k）=0.5时，该分布是正态分布。在最后一种情况下，渐近分布在0的每一侧表现为正态分布，但具有不同的方差。模拟Monte Carlo研究比较，对于泊松分布，效率和稳健性有限样本量的估计与其他稳健估计。
2019-11-10 math.ST stat.TH
Central limit theorem for the robust log-regression wavelet estimation of the memory parameter in the Gaussian semi-parametric context
本文研究了具有广义谱密度f的（可能）非平稳高斯时间序列记忆参数d的稳健估计。这个广义谱密度的特征在于记忆参数d和函数f*，它指定了过程的短程依赖结构。我们的设置是半参数的，因为f* 和d都是未知的，d是唯一感兴趣的参数。通过对不同尺度下小波系数估计方差的对数进行回归，估计记忆参数d。我们考虑的d的两个估计量是基于小波系数方差的稳健估计量，即由Alfresseuw和Croux（1993）提出的尺度估计量的平方和小波系数平方的中值。我们建立了这些稳健估计的中心极限定理，以及基于Moulines，Roueff和Taqqu（2007）提出的经典方差估计的d的估计。一些蒙特卡洛实验来说明我们的主张，并比较不同的估计性能。尼罗河数据和互联网流量数据包计数的性质进行了比较。理论结果和经验证据表明，稳健估计可以作为估计高斯时间序列记忆参数d的一种替代方法。
2010-11-19 math.ST stat.TH
Serial and nonserial sign-and-rank statistics: asymptotic representation and asymptotic normality
基于秩的推理的经典理论完全基于不考虑位置（截距）参数的普通秩，或者基于需要对称性假设的符号秩。如果在没有对称性假设的情况下，将中值视为位置参数，则普通秩的最大不变性属性将丧失于秩和符号。这种新的最大不变量因此提出了一种新的统计类别，基于普通的秩和符号。本文对这类统计量，在非序列和序列情形下，发展了一个拉·哈耶克的渐近表示论。相应的渐近正态性结果清楚地表明了符号如何为渐近方差增加单独的贡献，从而潜在地为渐近有效性增加贡献。如Hallin和Werker [Bernoulli 9（2003）137- 165]所示，以适当的方式对最大不变量进行条件化甚至可能导致半参数有效推理。半参数推理在回归和时间序列模型与中位数限制的应用将在即将到来的配套文件中详细处理。
2006-05-18 math.ST stat.TH
Sparse recovery by reduced variance stochastic approximation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文讨论了迭代随机最优化方法在从噪声观测中恢复稀疏信号问题中的应用。以随机镜像下降算法为基础，在期望目标函数光滑和二次优化的假设下，提出了一种求解随机最优化问题稀疏解的多阶段算法.所提出的算法的一个有趣的功能是线性收敛的近似解的初始阶段的例行梯度观测时，这是由于不良的初始近似的最优解的随机误差的分量大于“理想”的渐近误差分量，由于观测噪声“在最优解。“我们还展示了如何通过使用类似中位数的技术来直接提高相应解决方案的可靠性。我们说明了所提出的算法的性能在应用中的经典问题的恢复稀疏和低秩信号的广义线性回归框架。我们表明，在相当弱的假设下，回归和噪声分布，他们如何导致参数估计服从（最多的因素是对数的问题维度和置信水平）最好的已知我们的准确性界限。
2022-03-30 cs.LG stat.ML
Variance-Dependent Best Arm Identification
Shanghai University of Finance and Economics（上海财经大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；The Chinese University of Hong Kong（香港中文大学）
本文研究随机多臂老虎机中的最佳臂识别问题，提出一种基于分组中位数消除的自适应算法，利用奖励差距和方差信息将样本复杂度改进到最优，并消除了最佳臂上的额外ln n因子。
2023-05-27 cs.LG stat.ML
Bandits with heavy tail
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）；ICREA（加泰罗尼亚研究与高级研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
当报酬分布为亚高斯分布时，随机多臂强盗问题得到了很好的理解。本文在较弱的假设下，对某些$ε\in (0,1]$，研究了分布具有1+ε阶矩的Bandit问题.令人惊讶的是，2阶矩（即，有限方差）足以获得与次高斯奖励分布下相同阶的遗憾界。为了实现这样的遗憾，我们定义抽样策略的基础上，如截断的经验平均值，Catoni的M-估计，平均值估计的中位数。我们还推导出匹配下界，这也表明，当ε<1时，最佳可实现的遗憾会恶化。
2012-09-08 cs.LG stat.ML
