Banker Online Mirror Descent
我们提出了银行家OMD,一个新的框架,推广了经典的在线镜像下降(OMD)技术在在线学习算法设计。Banker-OMD允许算法鲁棒地处理延迟反馈,并提供了在各种延迟反馈在线学习任务中实现$\tilde{O}(\sqrt{T} + \sqrt{D})$式后悔界限的一般方法,其中$T$是时间范围长度,$D$是总反馈延迟。我们展示了银行家OMD的力量与应用程序的三个重要的土匪的情况下,延迟反馈,包括延迟对抗多武装土匪(MAB),延迟对抗线性土匪,和一个新的延迟最好的两个世界MAB设置。Banker-OMD在所有三种设置中均实现了接近最佳的性能。特别是,它导致了第一个延迟对抗线性强盗算法实现$\tilde{O}(\text{poly}(n)(\sqrt{T} + \sqrt{D}))$遗憾。
2023-01-26 cs.LG stat.ML
Dynamic Online Gradient Descent with Improved Query Complexity: A Theoretical Revisit
National University of Defense Technology(国防科技大学);Dongguan University of Technology(东莞理工学院)
我们提供了一个新的理论分析框架来研究动态环境中的在线梯度下降。与以前的工作相比,新的框架恢复了最先进的动态遗憾,但不需要额外的梯度查询的每一个迭代。具体地说,当函数是$α$强凸和$β$光滑的,以实现最先进的动态遗憾,以前的工作需要$O(κ)$与$κ= \fracβα$查询的梯度在每次迭代。但是,我们的框架表明,查询的复杂性可以提高到$O(1)$,它不依赖于$κ$。这种改进对于病态问题是很有意义的,因为病态问题的目标函数通常具有很大的$κ$。
2019-01-08 cs.LG stat.ML
Lazy Online Gradient Descent is Universal on Polytopes
Trinity College Dublin(都柏林圣三一学院)
我们证明了常见的Lazy Online梯度下降算法在多面体域上是通用的。这意味着它得到了$O(1)$对i.i.d对手的伪遗憾,同时达到了众所周知的$O(\sqrt N)$最坏情况下的遗憾界限。为了比较的大部分文献集中在变种的对冲(指数权重)算法的单纯形。这些原则上可以提升到一般的多面体;然而,对于许多重要的类别,顶点的数量随着维度的增长而快速增长,这个过程在计算上是不可行的。提升过程也忽略了成本向量上的任何欧几里得界限,并且可以在伪遗憾界限中创建额外的维度因子。梯度下降比文献中的少数几个专门为多面体构建的算法更简单,并且适用于更广泛的环境。特别是现有的算法假设优化是唯一的,而我们的界限允许几个最佳顶点。
2022-08-31 cs.LG stat.ML
Statistical Inference for Online Decision Making via Stochastic Gradient Descent
Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
在线决策旨在通过个性化决策和递归更新决策规则来学习最优决策规则。在大数据的帮助下,这变得比以前更容易,但新的挑战也随之而来。由于决策规则应该每步更新一次,因此使用所有历史数据的离线更新在计算和存储方面是低效的。为此,我们提出了一个完全在线的算法,可以通过随机梯度下降在线决策和更新决策规则。它不仅是有效的,而且支持各种参数奖励模型。针对在线决策的统计推断问题,建立了算法产生的参数估计量和用于估计最优值的在线逆概率加权值估计量的渐近正态性。在线插件估计的参数和值估计的方差也被提供,并显示是一致的,使区间估计和假设检验是可能的,使用我们的方法。通过仿真和新闻文章推荐的实际数据应用,对所提出的算法和理论结果进行了测试。
2020-10-14 cs.LG stat.ML
Coordinate Descent with Online Adaptation of Coordinate Frequencies
Institut für Neuroinformatik(神经信息学研究所);Ruhr-Universität Bochum(波鸿鲁尔大学);Institut für Mathematik(数学研究所);Universität Potsdam(波茨坦大学)
坐标下降(CD)算法已成为解决机器学习中许多优化问题的首选方法。它们特别适用于训练线性模型,包括线性支持向量机分类、LASSO回归和逻辑斯谛回归。我们考虑一般CD与非均匀选择的坐标。而不是固定的选择频率预先,我们提出了一个在线自适应机制,这个重要的参数,称为自适应坐标频率(ACF)的方法。这种机制消除了预先估计最佳坐标频率的需要,并且在优化运行期间自动对不断变化的要求做出反应。我们证明了我们的ACF-CD方法的有用性,在机器学习上下文中出现的各种优化问题。我们的算法比最先进的训练方法提供了显着的速度提升。
2014-01-15 cs.LG stat.ML
The Many Faces of Exponential Weights in Online Learning
Leiden University(莱顿大学);Poznań University of Technology(波兹南理工大学)
在线学习的标准介绍可能会将在线梯度下降置于其中心,然后继续开发泛化和扩展,如在线镜像下降和二阶方法。在这里,我们将探索将指数权重(EW)放在首位的替代方法。我们表明,许多标准的方法和他们的遗憾界,然后作为一个特殊的情况下,通过插入合适的替代损失和发挥EW后验均值。例如,我们可以通过使用线性损失的高斯先验的EW来轻松恢复在线梯度下降,更一般地说,基于常规Bregman发散的在线镜像下降的所有实例也对应于具有依赖于镜像映射的先验的EW。此外,适当的二次代理损失自然会产生在线梯度下降的强凸损失和在线牛顿步骤。我们进一步解释了最近的几种自适应方法(iProd,Squint和专家硬币投注的变体)作为一系列密切相关的减少指数凹代理损失,然后由指数权重处理。最后,我们的EW解释的一个好处是,它开辟了从EW后验分布中抽样的可能性,而不是玩的意思。正如Bubeck和Eldan已经观察到的那样,这恢复了在线Bandit线性优化中最著名的速率。
2018-06-05 cs.LG stat.ML
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University(纽约大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);Purdue University(普渡大学)
本文提出了一种基于随机梯度下降的在线统计推断框架,通过逆概率权重提高估计效率,并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
Meta-descent for Online, Continual Prediction
University of Alberta(阿尔伯塔大学);Google DeepMind(谷歌DeepMind)
本文研究了非平稳在线连续预测问题的不同向量步长自适应方法。香草随机梯度下降可以大大改善,通过缩放更新与适当选择的步长的向量。许多方法,包括AdaGrad,RMSProp和AMSGrad,保持关于学习过程的统计数据,以近似二阶更新-逆Hessian的向量近似。另一类方法使用Meta梯度下降来调整步长参数以使预测误差最小化。这些元下降策略是有前途的非平稳问题,但还没有被广泛探讨准二阶方法。我们首先推导出一个通用的增量元下降算法,称为AdaGain,旨在适用于更广泛的算法,包括那些具有半梯度更新甚至具有加速的算法,如RMSProp。我们提供了一个实证比较的方法从两个家庭。我们的结论是,这两个家庭的方法可以很好地执行,但在非平稳预测问题的元下降方法表现出优势。我们的方法是特别强大的几个预测问题,并与国家的最先进的方法竞争的大规模,时间序列预测问题的真实数据从移动机器人。
2019-12-13 cs.LG stat.ML
Smoothed Online Convex Optimization in High Dimensions via Online Balanced Descent
Institute of High Performance Computing(高性能计算研究所);California Institute of Technology(加州理工学院)
我们研究平滑在线凸优化,在线凸优化的一个版本,学习者在两轮之间改变她的动作会受到惩罚。给定任何在线算法的竞争比的$Ω(\sqrt{d})$下界,其中$d$是动作空间的维数,我们问在什么条件下这个界可以被击败。我们引入了一种新的算法框架,在线平衡下降(OBD),它的工作原理是通过迭代投影到一个精心选择的水平集的当前成本函数,以平衡切换成本和命中成本的前一点。我们证明了OBD框架的一般性,通过展示如何,不同的选择“平衡”,OBD可以提高国家的最先进的性能保证竞争比和遗憾,特别是,OBD是第一个算法,以实现无量纲的竞争比,$3 + O(1/α)$,局部多面体的成本,其中$α$措施的“陡度”的成本。我们还证明了边界上的OBD的动态遗憾时,进行平衡的对偶空间是无量纲的,并意味着OBD有次线性静态遗憾。
2018-07-08 cs.DS cs.LG stat.ML
Online Learning Rate Adaptation with Hypergradient Descent
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
我们介绍了一种通用的方法,用于提高基于梯度的优化器的收敛速度,易于实现,在实践中效果良好。我们证明了该方法的有效性,在一系列的优化问题,通过将其应用到随机梯度下降,随机梯度下降Nesterov动量,亚当,表明它显着减少了手动调整这些常用算法的初始学习率的需要。我们的方法通过在优化期间使用相对于更新规则本身的学习率的梯度来动态地更新学习率。计算这种“超梯度”几乎不需要额外的计算,只需要将原始梯度的一个额外副本存储在内存中,并且只依赖于反向模式自动微分提供的内容。
2018-02-26 cs.LG stat.ML
An Efficient Algorithm For Generalized Linear Bandit: Online Stochastic Gradient Descent and Thompson Sampling
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校)
我们考虑上下文强盗问题,其中玩家根据过去的观察依次做出决策,以最大化累积奖励。虽然已经提出了许多算法的上下文强盗,他们中的大多数依赖于找到最大似然估计在每次迭代,这需要$O(t)$时间在$t$-th迭代和内存效率低。解决这个问题的一种自然方法是应用在线随机梯度下降(SGD),以便每步时间和内存复杂度可以降低到相对于$t$恒定,但基于在线SGD更新的上下文强盗策略,平衡探索和利用仍然难以捉摸。在这项工作中,我们表明,在线SGD可以应用到广义线性强盗问题。所提出的SGD-TS算法使用单步SGD更新来利用过去的信息,并使用汤普森采样进行探索,实现了$\tilde{O}(\sqrt{T})$遗憾,总时间复杂度在$T$和$d$中线性缩放,其中$T$是总轮数,$d$是特征数。实验结果表明,SGD-TS始终优于现有的算法在合成和真实的数据集。
2021-06-05 cs.LG stat.ML
Connections Between Mirror Descent, Thompson Sampling and the Information Ratio
DeepMind(深度思维);University of Copenhagen(哥本哈根大学)
Russo和Van Roy(2014)结合极大极小对偶的信息论分析已被证明是在完全和部分信息设置下分析在线学习算法的强大工具。在大多数应用中,它与基于镜像下降的经典分析有着诱人的相似之处。我们做了一个正式的连接,表明在大多数应用中的信息理论界可以从现有的在线凸优化技术。除此之外,对于$k$ -武装的对抗土匪,我们提供了一个有效的算法与遗憾匹配的最佳信息理论上界,并提高最知名的遗憾保证在线线性优化$\ell_p$ -球和土匪与图形反馈。
2019-05-28 cs.LG stat.ML
NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient Descent
The University of Sydney(悉尼大学)
多路数据分析已成为捕获存储在张量$\mathcal{X} \in \mathbb{R} ^{I_1 \times \dots \times I_N} $中的高阶数据集中的底层结构的重要工具。$CANDECOMP/PARAFAC$(CP)分解已被广泛研究并应用于通过$N$加载矩阵$A^{(1)}, \dots, A^{(N)}$来近似$\mathcal{X}$,其中$N$表示张量的阶。基于随机梯度下降(SGD)算法,提出了一种新的多路在线数据非凸问题CP分解求解器NeCPD。SGD在在线设置中非常有用,因为它允许我们在一个单步的步骤中更新$\mathcal{X}^{(t+1)}$。就全局收敛性而言,SGD算法在处理非凸问题时,存在许多鞍点。我们研究了Hessian矩阵来识别这些鞍点,然后尝试使用扰动方法来逃避它们,该方法在梯度更新步骤中添加了很少的噪声。我们进一步应用Nesterov的加速梯度(NAG)方法在SGD算法,以最佳地加快收敛速度和补偿海森计算延迟时间每历元。在结构健康监测领域使用基于实验室和现实生活中的结构数据集的实验评估表明,我们的方法提供了更准确的结果相比,现有的在线张量分析方法。
2020-03-18 cs.LG stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Shanghai Key Laboratory for Contempo(上海市现代(暂未完整,按原文提取))
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差,提出统一框架推导最后迭代的尖锐收敛速率,并将网络宽度要求从指数降至多项式,缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Non-Asymptotic Analysis of Online Multiplicative Stochastic Gradient Descent
Purdue University(普渡大学);University of Minnesota(明尼苏达大学)
过去的研究表明,通过miniatrix完成的随机梯度下降(SGD)误差的协方差在确定其正则化和逃离低电位点方面起着关键作用。在这一领域的一些新的研究的动机,我们证明了普遍性的结果表明,噪声类,具有相同的平均值和协方差结构的SGD通过miniphrase具有相似的属性。我们主要考虑乘法随机梯度下降(M-SGD)算法在以前的工作中介绍,它有一个更一般的噪声类比SGD算法通过miniatrics。我们建立了M-SGD算法在瓦瑟斯坦距离上的非渐近界。我们还表明,M-SGD误差近似是一个缩放的高斯分布,平均$0$在任何固定点的M-SGD算法。
2023-03-01 cs.LG math.ST stat.ML
Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学);Seoul National University(首尔国立大学);McMaster University(麦克马斯特大学)
我们开发了一种新的方法在线推断的参数估计的Polyak-Ruppert平均过程的随机梯度下降(SGD)算法的向量。我们利用计量经济学中时间序列回归的见解,通过随机尺度构建渐近关键统计。我们的方法是完全可操作的在线数据,并严格支持的功能中心极限定理。我们提出的推理方法与现有方法相比具有几个关键优势。首先,检验统计量以仅SGD迭代的在线方式计算,并且可以在没有任何重新排序方法的情况下获得临界值,从而允许适合于大量在线数据的高效实现。其次,没有必要估计渐近方差和我们的推理方法被证明是强大的SGD算法在模拟实验中的调整参数的变化与合成数据。
2021-10-07 cs.LG econ.EM math.ST
Convergence of Online Mirror Descent
City University of Hong Kong(香港城市大学)
在本文中,我们考虑在线镜像下降(OMD)算法,一类可扩展的在线学习算法,通过镜像映射利用数据的几何结构。给出了OMD算法收敛于镜像映射的Bregman距离的步长序列$\{η_t\}_{t}$的充分必要条件.在正方差的情况下,条件是$\lim_{t\to\infty}η_t=0, \sum_{t=1}^{\infty}η_t=\infty$。在零方差的情况下,它被简化为$\sum_{t=1}^{\infty}η_t=\infty$,对于零方差,可以通过采用恒定步长序列来实现线性收敛。给出了几乎处处收敛的一个充分条件。我们建立严格的误差界在温和的条件下的镜像映射,损失函数,和正则化。利用镜像映射的光滑性和强凸性以及损失函数,对OMD算法的一步过程进行了新的分析。
2019-12-13 cs.AI cs.LG math.OC
Latent Bandits Revisited
Google Research(谷歌研究院)
一个潜在的强盗问题是一个学习代理知道的手臂奖励分布的条件下,一个未知的离散的潜在状态。智能体的主要目标是识别潜在状态,之后它可以采取最佳行动。这种设置是在线和离线学习之间的自然中点-复杂的模型可以离线学习,代理在线识别潜在状态-在推荐系统中具有实际意义。在这项工作中,我们提出了一般的算法,这种设置的基础上,置信上限(UCB)和汤普森采样。我们的方法是上下文和模型的不确定性和错误的意识。我们提供了一个统一的理论分析,我们的算法,它有较低的遗憾比经典的强盗政策时,潜在状态的数量小于行动。一个全面的实证研究展示了我们的方法的优势。
2020-06-15 cs.AI cs.LG stat.ML
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Microsoft Research New England(微软新英格兰研究院)
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题,它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止,大多数关于这个问题的可证明算法都局限于离线设置,在离线设置中,它们同时使用所有观测值来提供未知矩阵的估计。然而,在许多应用程序中,在线版本更有吸引力,我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的,但是它们对于在线设置可能是非常低效的。在本文中,我们提出了第一个可证明的,有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始,然后执行非凸随机梯度下降(SGD)。在每次观察之后,它执行仅涉及两个高矩阵的一行的快速更新,从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置,在离线设置中,它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架,以表明SGD更新往往远离鞍面,并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
Beyond Online Balanced Descent: An Optimal Algorithm for Smoothed Online Optimization
California Institute of Technology(加州理工学院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
我们研究在线凸优化的设置,学习者寻求最大限度地减少每轮命中成本和移动成本的总和时,轮之间改变决定。我们证明了一个新的下界的竞争比的任何在线算法的设置成本是$m$ -强凸和移动成本的平方$\ell_2$规范。该下限表明,当$m$趋于零时,没有算法可以实现为$o(m^{-1/2})$的竞争比。没有现有的算法有竞争力的比率匹配这个界限,我们表明,国家的最先进的算法,在线平衡体面(OBD),有一个竞争力的比率是$Ω(m^{-2/3})$。我们还提出了两个新的算法,贪婪OBD(G-OBD)和正则OBD(R-OBD),并证明了这两个算法有一个$O(m^{-1/2})$的竞争比。当命中成本为拟凸且运动成本为平方$\ell_2$范数时,G-OBD的结果成立;而当命中成本为$m$ -强凸且运动成本为Bregman散度时,R-OBD的结果成立。此外,我们表明,R-OBD同时实现恒定的,无量纲的竞争比和次线性后悔时,击中成本是强凸的。
2019-10-21 cs.LG math.OC stat.ML
Variational Online Mirror Descent for Robust Learning in Schrödinger Bridge
Imperial College London(帝国理工学院);Seoul National University(首尔大学)
本文提出变分在线镜像下降法用于Schrödinger桥的鲁棒学习,通过Wasserstein-Fisher-Rao几何构建高斯混合参数化的Schrödinger势能,实现了更稳定和精确的SB求解。
2025-12-19 cs.LG stat.ML
Distributed Online Optimization in Dynamic Environments Using Mirror Descent
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
这项工作解决了非平稳环境中的分散在线优化问题。智能体网络的目标是跟踪全局时变凸函数的最小值。极小化器根据被未知的非结构化噪声破坏的已知动力学来演化。在每个时刻,全局函数可以被转换为有限数量的局部函数的总和,每个局部函数被分配给网络中的一个代理。此外,本地功能变得可用于代理顺序,和代理不具有未来的费用函数的先验知识。因此,智能体必须相互通信,以建立全局函数的在线近似。我们提出了一个分散的变化,著名的镜像下降,开发Nemirovksi和Yudin。使用Bregman散度的概念代替投影的欧氏距离,镜像下降已被证明是大规模优化的强大工具。我们的算法建立在镜像下降的基础上,同时确保代理执行共识步骤以遵循全局函数并考虑全局极小值的动态。为了衡量所提出的在线算法的性能,我们将其与离线算法进行比较,其中全局函数是先验的。两者之间的差距被称为动态遗憾。我们建立了一个遗憾的范围,规模成反比的频谱间隙的网络,更值得注意的是,它表示的偏差最小序列相对于给定的动态。然后,我们表明,我们的研究结果subconstitutes在分布式优化的结果。我们展示了我们的方法的应用分散跟踪的动态参数,并通过数值实验验证结果。
2016-09-09 cs.DC cs.LG math.OC
Online mirror descent and dual averaging: keeping pace in the dynamic case
University of British Columbia(不列颠哥伦比亚大学)
在线镜像下降(OMD)和双平均(DA)-在线凸优化的两个基本算法-被称为具有非常相似(有时相同)的性能保证时,使用固定的学习率。然而,在动态学习率下,OMD被证明不如DA,并且即使在诸如专家建议的预测之类的常见设置中也会遭受线性遗憾。我们修改OMD算法通过一个简单的技术,我们称之为稳定。我们给基本上相同的抽象的遗憾界OMD稳定和DA通过修改经典的OMD收敛性分析,在一个仔细的和模块化的方式,允许直接和灵活的证明。这些界限的简单推论表明,具有稳定性的OMD和DA在许多应用中享有相同的性能保证-即使在动态学习率下。我们还阐明了OMD和DA之间的相似性,并显示了简单的条件下,稳定的OMD和DA产生相同的迭代。
2021-09-03 cs.LG math.OC stat.ML
Conditional Accelerated Lazy Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们引入了一个条件加速惰性随机梯度下降算法,具有对随机一阶预言的最佳调用次数和收敛速度$O\left(\frac{1}{\varepsilon^2}\right)$,比Hazan和Kale [2012]的无投影,基于在线Frank-Wolfe的随机梯度下降算法收敛速度$O\left(\frac{1}{\varepsilon^4}\right)$有所提高。
2018-02-15 cs.LG stat.ML
Metatrace Actor-Critic: Online Step-size Tuning by Meta-gradient Descent for Reinforcement Learning Control
Borealis AI
强化学习(RL)在“深度”和“浅层”环境中都取得了许多成功。在这两种情况下,通常需要进行显著的超参数调优以实现良好的性能。此外,当使用非线性函数逼近时,状态表示中的非平稳性会导致学习不稳定。有各种各样的技术可以解决这个问题-最明显的是大的经验重放缓冲区或使用多个并行演员。这些技术的代价是远离传统上制定的在线RL问题(即,单个代理在线学习而不维护训练样本的大数据库)。元学习可以通过在线调整超参数并允许算法更鲁棒地调整问题中的非平稳性来潜在地帮助解决这两个问题。本文应用Meta梯度下降推导出一套步长调整算法,专门用于在线RL控制的资格痕迹。我们的新技术Metatrace使用了类似于$TD(λ)$等方法的资格跟踪。我们探索调整单个标量步长和每个学习参数的单独步长。我们首先评估Metatrace在经典的山地车问题中的线性函数逼近控制,然后在嘈杂的,非平稳的版本。最后,我们将Metatrace应用于Arcade学习环境中的5个游戏中的非线性函数逼近控制,在那里我们探索了它如何影响学习速度和对初始步长选择的鲁棒性。实验结果表明,Metatrace的元步长参数易于设置,Metatrace可以加快学习速度,并且Metatrace可以允许RL算法处理学习任务中的非平稳性。
2019-05-24 cs.AI cs.LG stat.ML
Robust Regression Revisited: Acceleration and Improved Estimation Rates
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
我们研究强污染模型下统计回归问题的快速算法,其目标是近似优化广义线性模型(GLM)给定的不利损坏的样本。在这条线的研究以前的工作是基于鲁棒的梯度下降框架的Prasad等。例如,一阶方法使用有偏梯度查询,或Diakonikolas等人的Sever框架。例如,一个迭代的离群点去除方法调用一个固定点查找器。我们提出了近线性时间算法的鲁棒回归问题,提高了运行时间或估计的保证相比,国家的最先进的。对于一般情况下的光滑GLM(如逻辑回归),我们表明,鲁棒的梯度下降框架的Prasad等。可以加速,并显示我们的算法扩展到优化Lipschitz GLM(例如支持向量机)的莫罗包络,回答了文献中的几个开放性问题。对于鲁棒线性回归的良好研究的情况下,我们提出了一种替代方法,获得改善的估计率比以前的近线性时间算法。有趣的是,我们的方法开始于在Bakshi和Prasad的平方和算法的上下文中引入的可识别性证明,该算法实现了最佳的出错率,同时需要大的多项式运行时间和样本复杂性。我们在Sever框架内重新解释了他们的证明,并在更少的分布假设下获得了一个更快,更采样效率更高的算法。
2021-06-22 cs.DS cs.LG math.OC
Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator
针对含多个局部最小值的一般非凸目标,提出两种结合 SGD 与乘子 bootstrap 的在线统计推断方法,并证明置信区间渐近有效。
2023-06-03 math.ST stat.ME stat.ML
Hebbian-Descent
Institut für Neuroinformatik, Ruhr Universität Bochum(波鸿鲁尔大学神经信息学研究所)
在这项工作中,我们提出了赫布后裔作为一个生物学上合理的学习规则,以及在单层人工神经网络的自联想学习异联想。它可以被用作梯度下降以及赫布学习的替代,特别是在在线学习中,因为它继承了它们的优点,而没有遭受它们的缺点。我们讨论了Hebbian学习的缺点,即相关输入数据存在问题,并且不能从多次查看训练模式中获益。对于梯度下降,我们确定激活函数的导数是有问题的,特别是在在线学习中。赫布下降解决了这些问题,摆脱了激活函数的衍生物,并通过中心,即保持神经活动的意思是自由的,导致一个生物学上合理的更新规则,可证明收敛,不遭受消失的错误项的问题,可以处理相关的数据,利润从看到模式几次,并使成功的在线学习时,使用中心。我们讨论了它的关系,赫布学习,对比学习,梯度下降,并表明,在严格的正导数的激活函数的情况下,赫布下降导致相同的更新规则作为梯度下降,但不同的损失函数。在这种情况下,赫布下降继承了梯度下降的收敛性质,但我们也表明,经验,它收敛时,激活函数的导数仅为非负的,如阶梯函数为例。此外,在均方误差损失的情况下,Hebbian-descent可以被理解为两个Hebb学习步骤之间的差,这在可逆和可积的激活函数的情况下实际上优化了广义线性模型。...
2019-05-25 cs.LG cs.NE stat.ML
Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction
Department of Statistics(统计系);University of Chicago(芝加哥大学);University of California, Irvine(加州大学尔湾分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出一种全新的在线去偏差协方差估计器,无需二阶导数即可显著提升估计精度,收敛速度为n^{(α-1)/2}√logn,优于现有无Hessian方法。
2026-04-23 cs.LG stat.ML
Online Statistical Inference for Parameters Estimation with Linear-Equality Constraints
Texas Tech University(德州理工大学);North Dakota State University(北达科他州立大学);New Jersey Institute of Technology(新泽西理工学院)
随机梯度下降(SGD)和投影随机梯度下降(PSGD)是计算无约束和约束优化问题中模型参数的可扩展算法。与SGD相比,PSGD通过投影将其迭代值强制到约束参数空间中。本文从统计的角度研究了当真参数满足线性等式约束时,基于PSGD的估计的极限分布。我们的理论研究结果揭示了投影的PSGD为基础的估计的不确定性中发挥的作用。作为一个副产品,我们提出了一个在线的假设检验过程来测试线性等式约束。对合成数据的模拟研究和对真实世界数据集的应用证实了我们的理论。
2022-03-22 cs.LG stat.ML
Efficient Phi-Regret Minimization in Extensive-Form Games via Online Mirror Descent
Salesforce Research(Salesforce研究院);Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校);Peking University(北京大学);MIT(麻省理工学院)
一个概念上有吸引力的方法来学习可拓形式游戏(EFG)是将它们转换为正常形式游戏(NFG)。这种方法使我们能够直接将NFG中最先进的技术和分析转化为学习EFG,但由于转换引入的游戏大小的指数爆炸,通常会遭受计算上的困难。在本文中,我们解决这个问题的自然和重要的设置为\emph{$Φ$-Hedge}算法-一个通用的算法,能够学习一大类NFG的平衡。我们表明,$Φ$ -对冲可以直接用于学习纳什均衡(零和设置),正常形式的粗相关均衡(NFCCE),和扩展形式的相关均衡(EFCE)的EFG。我们证明,在这些设置中,\emph{$Φ$-Hedge}算法是等效的标准在线镜像下降(OMD)算法EFG与适当的扩张正则化,并运行在多项式时间。这种新的连接进一步使我们能够设计和分析一类新的OMD算法的基础上修改其对数分区函数。特别是,我们设计了一个改进的算法与平衡技术,实现了一个尖锐的$\widetilde{\mathcal{O}}(\sqrt{XAT})$ EFCE下的带反馈的EFG $X$信息集,$A$的行动,和$T$情节后悔。据我们所知,这是第一个这样的速率,符合信息论的下限。
2022-10-27 cs.GT cs.LG stat.ML
Online Stochastic Gradient Descent with Arbitrary Initialization Solves Non-smooth, Non-convex Phase Retrieval
University of California, Berkeley(加州大学伯克利分校);University of California, Irvine(加州大学欧文分校)
本文证明了恒定步长在线随机梯度下降可从任意初始化收敛于非光滑、非凸的振幅平方损失相位恢复问题,并引入摘要状态空间等随机过程理论新工具,为更广泛的非凸优化分析提供支持。
2019-10-28 cs.IT cs.LG cs.NA
Online simultaneous inference for quantiles via smoothed stochastic gradient descent
Department of Mathematics and Statistics(数学与统计学系);Washington University in St.Louis(圣路易斯华盛顿大学);Chair of Statistics(统计学教授职位);Humboldt-Universität zu Berlin(柏林洪堡大学);University of Chicago(芝加哥大学)
本文提出基于平滑SGD的分位数在线同时推断方法,推导了相关理论界,提出在线乘数自助法,经模拟验证可准确估计分位数,适用于条件风险价值曲线等场景。
2026-09-02 cs.LG math.ST stat.ML
Efficient Model-Based Concave Utility Reinforcement Learning through Greedy Mirror Descent
本文针对CURL问题提出MD-CURL算法,利用非标准正则化实现闭式解和低计算复杂度,并进一步提出在线版本Greedy MD-CURL,在部分未知动态下保证次线性甚至对数遗憾。
2023-11-30 math.OC physics.data-an stat.ML
Parameter-free Mirror Descent
University of Alberta(阿尔伯塔大学);Boston University(波士顿大学)
提出改进的在线镜像下降框架,用于无界域中的自适应无参数算法,实现首个达到最优动态遗憾界的无约束在线线性优化,并构建新的无参数隐式更新及简化改进的无约束无尺度算法。
2024-02-08 cs.LG math.OC stat.ML
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England(微软新英格兰研究院);University of California Irvine(加州大学欧文分校);University of California Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
我们分析了优化非凸函数的随机梯度下降。在许多情况下,非凸函数的目标是找到一个合理的局部最小值,主要问题是梯度更新被困在鞍点。在本文中,我们确定严格的鞍性质的非凸问题,允许有效的优化。利用这一性质,我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知,这是第一个工作,使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解,它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题,提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Discounted Adaptive Online Learning: Towards Better Regularization
Harvard University(哈佛大学)
该研究针对对抗性非平稳环境在线学习的历史遗忘难题,提出基于FTRL的自适应折扣遗憾算法,改进恒定学习率梯度下降基线,还将其用于在线共形预测,简化分析并得到实例依赖性能保证。
2024-06-18 cs.LG stat.ML
Optimistic Online Mirror Descent for Bridging Stochastic and Adversarial Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);The University of Tokyo(东京大学);Paradigm Inc.(第四范式公司);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
该论文研究SEA模型下乐观在线镜像下降(OMD)的遗憾界,在凸、强凸和指数凹光滑函数下分别获得与FTRL相当或更优的静态遗憾界,并首次给出动态遗憾保证,同时提出处理非光滑函数的隐式更新算法。
2024-03-16 cs.LG stat.ML
Nonstationary Generalized Linear Bandits with Discounted Online Mirror Descent
Seoul National University(首尔国立大学)
提出DOMD-GLB算法,利用折扣在线镜像梯度处理非平稳广义线性老虎机,在保持O(1)每轮计算和内存成本的同时,实现动态遗憾界。
2026-09-29 cs.LG stat.ML
Online stochastic gradient descent on non-convex losses from high-dimensional inference
University of California, Berkeley(加州大学伯克利分校);University of Waterloo(滑铁卢大学)
本文研究高维推断中非凸损失上的在线随机梯度下降,提出基于信息指数的样本复杂度阈值,揭示初始搜索阶段消耗大部分数据,随后快速收敛。
2021-05-10 cs.LG math.PR math.ST
Online covariance estimation for stochastic gradient descent under Markovian sampling
University of California San Diego(加州大学圣迭戈分校);University of California, Davis(加州大学戴维斯分校)
该研究针对马尔可夫采样下的SGD提出在线重叠批均值协方差估计器,推导了匹配i.i.d场景最优水平的收敛速度,还得到SGD误差矩的相关结果,并通过数值实验和策略分类应用验证了方法的有效性。
2023-11-05 cs.LG math.OC math.ST
Noise-induced degeneration in online learning
London Mathematical Laboratory(伦敦数学实验室);Osaka University(大阪大学)
本研究针对神经网络梯度消失导致的平台现象,分析多层感知机退化子空间附近随机梯度下降的稳定性,发现噪声诱导同步的强平台现象及最优逃逸波动,揭示噪声诱导退化的普适性。
2021-12-04 cs.LG math.DS nlin.AO
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems
University of California, Berkeley(加州大学伯克利分校)
受在线典型相关分析问题的启发,我们提出了\emph{Stochastic Scaled-Gradient Descent}(SSGD)算法,用于最小化一般黎曼流形上随机函数的期望。SSGD推广了投影随机梯度下降的思想,并允许使用缩放的随机梯度而不是随机梯度。在球约束的特殊情况下,这是在广义特征向量问题中出现的,我们建立了一个非渐近有限样本界的$\sqrt{1/T}$,并表明,这个速度是minimax最优的,相关参数的多对数因子。在渐近方面,一个新的渐近平均参数,使我们能够实现本地渐近正态性的速率相匹配的Ruppert-Polyak-Juditsky平均。我们把这些想法结合在一起的应用程序在线典型相关分析,推导出,在文献中,第一次,一个最佳的一次性规模的算法与显式速度的局部渐近收敛到正态性。典型相关分析的数值研究也提供了合成数据。
2022-01-24 cs.LG math.OC stat.ML
Gradient Equilibrium in Online Learning: Theory and Applications
University of California, Berkeley(加利福尼亚大学伯克利分校);Inria(法国国家信息与自动化研究所)
该研究提出在线学习的梯度平衡新视角,证明恒定步长的标准在线学习方法可实现梯度平衡,并将其应用于分布偏移下黑箱预测去偏、分位数校准及成对偏好预测的无偏Elo分数生成。
2025-02-18 cs.LG math.OC math.ST
Optimality of the final model found via Stochastic Gradient Descent
研究了在无光滑性和严格凸性假设的情况下,随机梯度下降算法在凸目标下的收敛性质。我们考虑的问题,建立高概率的目标评估在候选极小返回SGD接近的最小值的目标。我们将关于最终候选最小值的结果(即在所有梯度步骤之后学习的最终模型参数)与[Zin03]的在线学习技术进行比较,该技术在SGD的不同步骤处获取模型参数的滚动平均值。
2018-10-22 cs.LG math.OC stat.ML
$ε$-Policy Gradient for Online Pricing
University of Edinburgh(爱丁堡大学);Alan Turing Institute(阿兰·图灵研究所);Naresuan University(那黎宣大学);Imperial College London(伦敦帝国学院)
本文提出ε-策略梯度算法用于在线定价,用梯度下降替代ε-贪婪中的贪婪利用并结合模型推断,通过量化探索与利用成本实现O(√T)阶期望遗憾。
2024-05-06 cs.LG math.OC q-fin.ST
Online Estimation with Rolling Validation: Adaptive Nonparametric Estimation with Streaming Data
本文针对在线非参数估计中的模型选择与超参数调优问题,提出一种加权滚动验证方法,以极低额外计算保持在线特性,并能提升估计器的启发式性能与自适应收敛速率。
2025-07-04 math.ST stat.ME stat.ML
Online and Offline Robust Multivariate Linear Regression
本研究提出多元线性回归的在线与离线鲁棒估计方法,基于鲁棒马氏最小二乘准则,证明渐近正态性,并在合成数据上展示鲁棒性与计算效率优势。
2025-10-10 math.ST stat.ML stat.TH
Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology Madras(电子工程系,印度理工学院马德拉斯)
针对标准在线鲁棒主成分分析(OR-PCA)依赖数据集敏感调参的问题,提出利用修正梯度下降的隐式正则化效应实现免调参,在模拟与真实数据集上表现优于或等同于调参后的OR-PCA,提升了大规模数据集的可扩展性。
2025-08-14 cs.CV cs.LG stat.ML
An algorithm for online tensor prediction
Microsoft(微软);Tufts University(塔夫茨大学)
我们提出了一种新的方法在线预测和学习张量($N$ -路阵列,$N >2$)从连续的测量。我们专注于3-D张量的特定情况下,并利用最近发展的结构化张量分解的框架中提出的[1]。在这个框架中,可以将三维张量视为线性算子,并以自然的方式将秩和正定性的概念适当地推广到张量。使用这些概念,我们提出了一个推广的矩阵指数梯度下降算法[2]的张量指数梯度下降算法,使用的概念冯诺依曼发散张量的扩展。然后按照与[3]类似的构造,我们利用该算法提出了一个在线学习和预测具有可证明后悔保证的张量的算法。模拟结果上的半合成数据集的评级演变的时间在当地的影响下,在社会网络。结果表明,优越的性能相比,其他(在线)凸张量完成方法。
2015-07-28 cs.IT cs.LG math.IT
Online Self-Concordant and Relatively Smooth Minimization, With Applications to Online Portfolio Selection and Learning Quantum States
National Taiwan University(台湾大学);Hon Hai (Foxconn) Quantum Computing Centre(鸿海(富士康)量子计算中心);National Center for Theoretical Sciences(台湾理论科学中心)
本文研究自和谐且相对光滑的在线凸优化,统一分析了在线镜像下降的遗憾界,并据此改进了在线投资组合选择中指数梯度变体的遗憾界,同时为在线量子态学习给出了每次迭代更快的算法。
2023-09-21 cs.LG math.OC q-fin.PM