Stochastic gradient descent with gradient estimator for categorical features
Lokad；Litis（Litis实验室）
本文针对类别数据独热编码导致的稀疏性问题，提出一种新的梯度估计器，从理论和实验上证明其优于常用估计器，并发布匿名化零售数据集。
2023-04-18 cs.LG
Beyond Discreteness: Sample Complexity Analysis of Straight-Through Estimator for 1-bit Quantization
Department of Mathematics and Statistics, University at Albany, SUNY（纽约州立大学阿尔巴尼分校数学与统计学系）；Department of Mathematics, University of California, Irvine（加州大学欧文分校数学系）
本文首次对神经网络量化中直通估计器（STE）的样本复杂度进行分析，通过研究具有二元权重和激活的两层神经网络的量化感知训练，推导出保证STE优化收敛到全局最小值的样本复杂度界，并发现标签噪声下STE梯度方法的循环逃逸与回归特性，以及STE在非高斯数据上失效但可通过归一化恢复有效性。
2026-06-01 cs.LG math.OC
1-Bit FQT: Pushing the Limit of Fully Quantized Training to 1-bit
Beijing Jiaotong University（北京交通大学）；Tsinghua University（清华大学）
本文首次探索1-bit全量化训练极限，基于Adam和SGD理论分析提出激活梯度剪枝与样本通道联合量化策略，在保持硬件友好性的同时显著提升准确率并实现最高5.13倍训练加速。
2024-08-26 cs.CV cs.LG
signProx: One-Bit Proximal Algorithm for Nonconvex Stochastic Optimization
Washington University in St. Louis（圣路易斯华盛顿大学）
随机梯度下降（SGD）是大数据集并行和分布式处理中应用最广泛的最优化方法之一。分布式SGD的关键限制之一是需要在不同的计算节点之间定期传送梯度。为了减少这种通信瓶颈，最近的工作已经考虑了SGD的一位变体，其中在优化中仅使用每个梯度元素的符号。在本文中，我们提出了一个随机变量的近端梯度法，也使用一位每个更新元素扩展这一想法。在一组显式假设下，我们证明了该方法对非凸优化的理论收敛性。我们的结果表明，压缩方法可以与未压缩方法的收敛速度相匹配，这使得所提出的方法对于大型数据集的分布式处理具有潜在的吸引力。
2018-10-23 cs.LG math.OC stat.ML
A Rule for Gradient Estimator Selection, with an Application to Variational Inference
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
随机梯度下降（SGD）是现代机器学习的主力。有时，可以使用许多不同的潜在梯度估计器。在这种情况下，选择成本和方差之间的最佳折衷是很重要的。本文分析了SGD的收敛速度作为时间的函数，而不是迭代。这导致一个简单的规则来选择估计，导致最佳的优化收敛保证。这个选择对于SGD的不同变体是相同的，并且具有关于目标的不同假设（例如凸性或平滑性）。受这一原则的启发，我们提出了一种技术，自动选择一个估计时，有限池的估计。然后，我们扩展到无限的估计池，其中每一个控制变量的权重索引。这是通过减少到一个混合整数二次规划。从经验上讲，自动选择一个估计量执行的是事后选择的最佳估计量。
2019-11-05 cs.LG stat.ML
Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；University of British Columbia（不列颠哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了在仅给定目标分布无规范化的对数密度时，利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI，发现WVI在使用Price梯度估计时具有更优的收敛性，本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
2026-05-19 cs.LG math.OC stat.CO
Sequential 1-bit Mean Estimation with Near-Optimal Sample Complexity
National University of Singapore（新加坡国立大学）
本文研究了在1位通信约束下的分布式均值估计问题，提出基于随机和序列选择区间查询的均值估计器，证明其在有限均值和方差条件下满足(ε, δ)-PAC要求，并给出样本复杂性界，匹配无量化设置的最小最大下界。
2026-04-04 cs.IT cs.LG math.IT
Generalized Gumbel-Softmax Gradient Estimator for Generic Discrete Random Variables
EWHA Womans University（梨花女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
估计随机计算图中随机节点的梯度是深度生成建模领域的关键研究问题之一，它使神经网络参数的梯度下降优化成为可能。离散随机变量的随机梯度估计被广泛研究，例如Bernoulli和分类分布的Gumbel-Softmax重新参数化技巧。同时，其他离散分布的情况，如泊松分布，几何分布，二项分布，多项分布，负二项分布等，还没有被探索。本文提出了一种广义的Gumbel-Softmax估计，它能够重新参数化一般的离散分布，不限于伯努利和分类。该估计利用离散随机变量的截断，Gumbel-Softmax技巧，和一种特殊形式的线性变换。我们的实验包括（1）合成的例子和应用VAE，这表明我们的方法的有效性;和（2）主题模型，这表明所提出的估计在实践中的价值。
2023-02-22 cs.LG stat.ML
Robust Estimation via Robust Gradient Estimation
Carnegie Mellon University（卡内基梅隆大学）
我们提供了一个新的计算效率的估计类风险最小化。我们表明，这些估计是强大的一般统计模型：在经典的Huber ε-污染模型和重尾设置。我们的主力是一个新的强大的梯度下降的变种，我们提供的条件下，我们的梯度下降的变种提供准确的估计在一个一般的凸风险最小化问题。我们提供了具体的后果，我们的理论，线性回归，逻辑斯谛回归和估计的典型参数在指数家庭。这些结果为这些典型的统计模型提供了一些第一个计算上易处理的和可证明的鲁棒估计。最后，我们研究了我们提出的方法在合成和真实数据集上的实证性能，发现我们的方法令人信服地优于各种基线。
2018-04-20 cs.AI cs.LG stat.ML
A Note on Zeroth-Order Optimization on the Simplex
University of California, Berkeley（加州大学伯克利分校）；California Institute of Technology（加州理工学院）
本文对定义在概率单纯形上的光滑函数构造了一个零阶梯度估计。所提出的估计器只查询单纯形。我们证明了投影梯度下降和指数权重算法，当运行这个估计，而不是精确的梯度，收敛在一个$\mathcal O(T^{-1/4})$率。
2022-08-02 cs.GT cs.LG math.OC
Gradient estimators for normalising flows
Jagiellonian University（雅盖隆大学）
最近，一种称为神经马尔可夫链蒙特卡罗（NMCMC）的蒙特卡罗模拟机器学习方法正在获得关注。在其最流行的形式中，它使用神经网络来构建规范化流，然后对规范化流进行训练以近似期望的目标分布。在这篇文章中，我们提出了新的梯度估计随机梯度下降算法（和相应的\texttt{PyTorch}实现），并表明它导致更好的训练结果$ϕ^4$模型。对于这个模型，我们的估计器在标准方法所需时间的大约一半内实现了相同的精度，并最终提供了更好的自由能估计。我们将这种效应归因于新估计量的较低方差。与标准学习算法相反，我们的方法不需要估计相对于场的动作梯度，因此具有进一步加快具有更复杂动作的模型的训练的潜力。
2022-02-25 cond-mat.stat-mech cs.LG hep-lat
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks
Czech Technical University in Prague（布拉格捷克理工大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
在具有二进制激活和/或二进制权重的神经网络中，由于模型具有分段常数响应，所以通过梯度下降的训练是复杂的。我们考虑随机二元网络，通过在激活前添加噪声获得。期望的模型响应成为参数的平滑函数，其梯度是明确定义的，但准确估计它是具有挑战性的。我们提出了一种新的方法，这种估计问题相结合的采样和解析近似的步骤。该方法有一个显着减少的方差在一个小的偏差，这给出了一个非常实用的权衡与现有的无偏和有偏估计的价格。我们进一步表明，一个额外的线性化步骤导致一个深直通估计以前只知道作为一个特设启发式。我们通过实验证明了梯度估计的更高准确性，并证明了使用这两种方法在深度卷积模型中进行训练时更稳定，性能更好。
2020-11-04 cs.LG stat.ML
Learning low-precision neural networks without Straight-Through Estimator(STE)
Arm Machine Learning Research Lab（Arm机器学习研究实验室）
直通估计（STE）被广泛用于通过量化函数反向传播梯度，但STE技术缺乏完整的理论理解。我们提出了一种称为阿尔法混合（AB）的替代方法，该方法使用随机梯度下降（SGD）将神经网络量化为低精度。我们的方法（AB）通过将损失函数中的量化权重替换为量化权重w_q和具有不可训练标量系数$α$和$1-α$的对应全精度权重w的仿射组合来避免STE近似。在训练过程中，$α$从0逐渐增加到1;权重的梯度更新通过仿射组合的全精度项$(1-α)w$进行;模型从全精度逐渐转换为低精度。为了评估该方法，CIFAR 10数据集上的1位BinaryNet和ImageNet数据集上的8位，4位MobileNet v1，ResNet_50 v1/2使用alpha混合方法进行了训练，评估表明，与基于STE的量化结果相比，AB分别将top-1精度提高了0.9%，0.82%和2.93%。
2019-05-20 cs.LG stat.ML
Order-Optimal Sequential 1-Bit Mean Estimation in General Tail Regimes
National University of Singapore（新加坡国立大学）
本文针对1比特通信约束下的均值估计问题，提出一种基于随机化阈值查询的自适应估计器，在任意固定k>1的尾分布下达到样本复杂度阶数最优，并揭示了非自适应估计的显著差距。
2026-05-22 cs.IT cs.LG math.IT
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon（亚马逊）；University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）；Oxford University（牛津大学）
从数据中学习的方法取决于各种类型的调优参数，例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数，重要的是要比较类的估计，通过考虑规定的有限组的调整参数，而不仅仅是特别调整的方法。在这项工作中，我们调查类的方法通过类中最好的方法的相对性能。我们认为，线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法，梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计，当经验数据协方差阵的特征值衰减缓慢时，常数步长梯度下降优于岭回归，呈指数小于1的幂律。相反，如果特征值衰减迅速，作为幂律指数大于单位或指数，我们表明，岭回归优于梯度下降。(2)对于正交设计，我们计算精确的最小最大最优估计类（实现最小-最大-最小最优性），表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调，统计性能可以强烈依赖于调整参数。特别是，虽然最佳调整岭回归是我们设置中的最佳估计器，但当两种方法都只在200多个正则化参数上进行调整时，它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
8-bit Optimizers via Block-wise Quantization
Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
有状态优化器随时间保持梯度统计，例如，过去梯度值的指数平滑和（SGD与动量）或平方和（Adam）。与普通的随机梯度下降相比，这种状态可以用来加速优化，但使用了可能分配给模型参数的内存，从而限制了实际训练的模型的最大大小。在本文中，我们开发了第一个使用8位统计数据的优化器，同时保持使用32位优化器状态的性能水平。为了克服由此产生的计算，量化和稳定性的挑战，我们开发了块动态量化。分块量化将输入张量划分为独立量化的较小块。每个块在内核之间并行处理，从而实现更快的优化和高精度量化。为了保持稳定性和性能，我们将分块量化与两个额外的变化相结合：（1）动态量化，一种对大小幅度值都精确的非线性优化形式，以及（2）稳定的嵌入层，以减少来自语言模型中输入标记高度不均匀分布的梯度方差。因此，我们的8位优化器在一系列任务上保持32位性能，仅占用一小部分内存，包括1.5B参数语言建模，GLUE微调，ImageNet分类，WMT'14机器翻译，MoCo v2对比ImageNet预训练+微调，以及RoBERTa预训练，而无需更改原始优化器超参数。我们开源了我们的8位优化器作为一个简单的替代品，只需要两行代码的更改。
2022-06-20 cs.LG
Distributed Non-Convex Optimization with One-Bit Compressors on Heterogeneous Data: Efficient and Resilient Algorithms
Northeastern University（东北大学）
联邦学习（FL）是一个新兴的分散式学习框架，在这个框架下，大量的异构客户端协作训练一个模型，而不泄露他们的本地数据。通信不足、隐私泄露和拜占庭攻击是系统可扩展性的主要瓶颈。在本文中，我们专注于通信效率的分布式（随机）梯度下降的非凸优化，FL的驱动力。我们提出了两个算法，命名为{ \em自适应随机符号SGD（Ada-StoSign）}和{ \em $β$ -StoSign SGD（$β$ -StoSign）}，其中每一个压缩到位向量的局部梯度。为了处理无界梯度，Ada-StoSign使用了一种新颖的范数跟踪函数，该函数自适应地调整局部梯度的$\ell_{\infty}$上的粗略估计-梯度压缩中使用的关键参数。我们发现，Ada-StoSign收敛的期望率$O(\log T/\sqrt{T} + 1/\sqrt{M})$，其中$M$是客户端的数量。据我们所知，当$M$足够大时，Ada-StoSign优于最先进的基于符号的方法，其收敛速度为$O(T^{-1/4})$。在有界梯度假设下，$β$ -StoSign实现了可量化的拜占庭弹性和隐私保证，并与部分客户端参与和小批量梯度，这可能是无限的。我们通过MNIST和CIFAR-10数据集上的实验来证实和补充我们的理论。
2023-02-17 cs.CR cs.DC cs.LG
Unbiased least squares regression via averaged stochastic gradient descent
ESCP Business School（ESCP商学院）
针对在线最小二乘回归问题，提出基于随机化多水平蒙特卡洛的无偏时间平均SGD估计量，实现k阶步数下O(1/k)超额风险，还给出风险估计及平均起始版本，理论结果经数值实验验证。
2024-06-26 cs.LG stat.ME stat.ML
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习，是深度学习文献中最大的问题之一。为了回答这个问题，我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险，并讨论了其相对于一类线性估计器的优越性，包括神经切线核方法，随机特征模型，其他核方法，$k$ -NN估计器等。我们考虑了师生回归模型，并最终表明，在极大极小最优速率的意义上，任何线性估计器都可以被深度学习超越，特别是对于高维设置。所获得的超额界限是所谓的快速学习率，其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的，并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解，即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化，但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院）
建立统一的包含性KL推理梯度流和PDF框架，表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理，还开发了直接针对包含性KL散度的梯度流，为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Non-Uniform Noise-to-Signal Ratio in the REINFORCE Policy-Gradient Estimator
math.OC（数学优化）
研究REINFORCE策略梯度估计器的噪声信号比（NSR），通过精确刻画线性与多项式系统中的NSR，发现NSR在策略参数空间中高度非均匀，且通常在策略接近最优时增大甚至爆炸，导致训练不稳定和策略崩溃。
2026-05-29 cs.LG math.OC
Zeroth-Order Gradient Estimators under Decision-Dependent Noise
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学系研究科）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
针对决策依赖分布未知的随机优化问题，本文统一分析不同搜索方向的零阶梯度估计器的样本复杂度，证明多方向平均的估计器复杂度最低，并通过实验验证其实用性。
2026-11-11 math.OC
Stochastic Zeroth Order Gradient and Hessian Estimators: Variance Reduction and Refined Bias Bounds
本文提出沿 Stiefel 流形上的随机正交方向进行有限差分，构建低方差零阶梯度与 Hessian 估计器，并给出更精细的偏差界。
2023-03-30 cs.LG math.OC
Versatile Single-Loop Method for Gradient Estimator: First and Second Order Optimality, and its Application to Federated Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）
虽然方差缩减方法在解决大规模优化问题方面取得了巨大的成功，但其中许多方法存在累积误差，因此需要定期进行完整的梯度计算。在本文中，我们提出了一个单循环算法SLEDGE（单循环mEthoD梯度估计）有限和非凸优化，它不需要定期刷新的梯度估计，但实现了接近最优的梯度复杂度。与现有方法不同，SLEDGE具有通用性的优点;（i）二阶最优性，（ii）PL区域内的指数收敛，以及（iii）在数据异质性较小的情况下具有较小的复杂性。我们建立了一个有效的联邦学习算法，利用这些有利的属性。我们展示了输出的一阶和二阶最优性，并在PL条件下进行了分析。当本地预算足够大并且客户端较少（Hessian-）~异构时，该算法需要比现有方法（如FedAvg，SCAFFOLD和Mime）更少的通信轮次。数值实验验证了该方法的优越性。
2022-10-04 cs.LG math.OC stat.ML
A Hybrid Stochastic Policy Gradient Algorithm for Reinforcement Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；IBM Research（IBM研究院）；UConn（康涅狄格大学）；CWI Amsterdam（阿姆斯特丹数学与计算机科学中心）
我们提出了一种新的混合随机策略梯度估计相结合的无偏策略梯度估计，REINFORCE估计，与另一个有偏的，适应SARAH估计策略优化。混合策略梯度估计被证明是有偏的，但具有方差减少属性。使用这个估计，我们开发了一个新的近端混合随机策略梯度算法（ProxHSPGA）来解决复合策略优化问题，使我们能够处理的政策参数的约束或正则化。我们首先提出了一个单循环算法，然后介绍了一个更实用的重新启动的变种。我们证明了这两种算法可以实现最著名的轨迹复杂度$\mathcal{O}\left(\varepsilon^{-3}\right)$达到一阶稳定点的复合问题，这是优于现有的REINFORCE/GPOMDP $\mathcal{O}\left(\varepsilon^{-4}\right)$和SVRPG $\mathcal{O}\left(\varepsilon^{-10/3}\right)$在非复合设置。我们评估我们的算法在强化学习中的几个著名的例子的性能。数值结果表明，我们的算法优于两个现有的方法对这些例子。此外，在某些问题上，复合设置与非复合设置相比确实具有一些优势。
2020-09-21 cs.LG math.OC
SAGE: A Set-based Adaptive Gradient Estimator
Politecnico di Milano（米兰理工大学）；Imperial College（帝国理工学院）
本文提出基于集合的自适应梯度估计器SAGE，通过线性不等式刻画可接受梯度集合并自适应采样细化，在噪声环境下实现高样本效率和鲁棒性，数值优化实验中优于现有梯度估计方法。
2026-11-06 math.OC
Variance-Reduced Gradient Estimator for Nonconvex Zeroth-Order Distributed Optimization
School of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人学院）
本文研究了平滑非凸问题的分布式零阶优化，提出了一种新的方差减少梯度估计器，通过伯努利分布随机更新真实梯度的单个正交方向或在所有维度上计算梯度估计以进行方差校正，结合梯度跟踪机制解决了收敛速度与采样成本的平衡问题。
2026-04-09 cs.MA cs.SY eess.SY
Robust 1-bit Compressive Sensing via Gradient Support Pursuit
本文研究了基于最大似然估计框架的1比特压缩感知（CS）问题。为了解决这个问题，我们应用最近提出的梯度支持追踪算法，与一个小的修改。假设所提出的目标函数有一个稳定的限制Hessian，该算法被证明可以准确地解决1位CS问题。此外，该算法进行了比较，最先进的1位CS算法，通过数值模拟。结果表明，该方法对噪声具有鲁棒性，并且在中低输入SNR状态下，它实现了最佳的重建SNR与执行时间的折衷。
2013-04-24 cs.IT math.IT math.OC
LoCo: Low-Bit Communication Adaptor for Large-scale Model Training
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）；Sea AI Lab（Sea AI实验室）
针对低比特梯度通信压缩导致训练质量下降的问题，提出LoCo适配器，通过历史补偿误差移动平均估计当前压缩误差并补偿梯度，兼容通用优化器与分片策略，理论证明不影响收敛速度，实验提升训练速度14%-40%且无性能损失。
2024-11-29 cs.LG math.OC
An Efficient High-Dimensional Gradient Estimator for Stochastic Differential Equations
本文提出了一种新颖的无偏随机梯度估计器——生成器梯度估计器，用于高维参数化随机微分方程，其计算时间在高维参数下保持稳定，并在高维神经网络参数化的线性二次控制问题中显著提升了效率。
2024-09-26 math.OC
Stochastic Bias-Reduced Gradient Methods
我们开发了一个新的原始随机最优化：一个低偏差，低成本的最小化$x_\star$的任何Lipschitz强凸函数的估计。特别是，我们使用多层次的蒙特卡罗方法，由于Blanchet和Glynn把任何最佳的随机梯度法的估计$x_\star$偏$δ$，方差$O(\log(1/δ))$，和预期的采样成本的$O(\log(1/δ))$随机梯度评估。作为一个直接的后果，我们获得廉价的和几乎无偏梯度估计的Moreau-Yoshida包络的任何Lipschitz凸函数，使我们能够执行无量纲随机平滑。我们通过四个应用程序证明了我们的估计的潜力。首先，我们开发了一种方法，用于最大限度地减少$N$功能，改善最近的结果和匹配的下界的对数因子。第二和第三，我们使用简单的算法和透明的分析来恢复投影效率和梯度效率优化的最新速率。最后，我们表明，我们的估计的改进版本将产生一个接近线性时间，最优效用，微分私人非光滑随机最优化方法。
2021-10-28 cs.DS cs.LG math.OC
The generator gradient estimator is an adjoint state method for stochastic differential equations
本文证明针对过参数化 SDEs 的生成器梯度估计器本质上是一种伴随状态方法，且与用于随机化学反应网络的精确 eIPA 估计器高度相似。
2024-07-29 math.OC math.PR stat.ML
Solving Bayesian Risk Optimization via Nested Stochastic Gradient Estimation
在本文中，我们的目标是解决贝叶斯风险优化（BRO），这是最近提出的框架，制定输入不确定性下的模拟优化。为了有效地解决BRO问题，我们推导了嵌套随机梯度估计，并提出了相应的随机逼近算法。我们证明了我们的梯度估计是渐近无偏的和一致的，并且算法是渐近收敛的。我们证明了双边市场模型的算法的实证表现。我们的估计是独立的兴趣，随机梯度估计的情况下，嵌套的风险函数的文献。
2020-07-16 math.OC stat.CO
Dimension-free estimators of gradients of functions with(out) non-independent variables
University of Guyane（圭亚那大学）；UMR Espace-Dev, University of Guyane, University of Réunion, IRD, University of Montpellier（空间发展联合研究单位，圭亚那大学，留尼汪大学，法国国家科学研究中心，蒙彼利埃大学）
本文提出了一种无维度梯度估计方法，通过$\ell_p$-球分布实现对非独立变量函数梯度的高效估计，具有无维度的均方误差上界。
2025-12-31 math.OC math.PR math.ST
