Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science(印度科学学院)
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外,所提出的随机优化算法表现出良好的收敛速度,最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University(机械与工业工程系,东北大学)
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化,提出与曲率无关的遗憾界,并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
Introduction to Online Convex Optimization
Technion(以色列理工学院);Princeton University(普林斯顿大学)
本文提出将优化视为一个动态学习过程,强调在复杂环境中通过在线学习和经验积累进行稳健优化,并展示了该方法在现实系统中的成功应用。
2023-08-06 cs.LG math.OC stat.ML
Optimal Rates for Random Order Online Optimization
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们研究在线凸优化的随机顺序模型,最近提出的\citet{garber2020online},其中的损失函数可能会选择由对手,但然后提交给在线算法在一个统一的随机顺序。聚焦的情况下,累积损失函数是(强)凸的,但个别损失函数是光滑的,但可能是非凸的,我们给出的算法,实现最佳的界限,并显着优于结果的\citet{garber2020online},完全消除了维度的依赖性,并提高其缩放方面的强凸性参数。我们的分析依赖于算法稳定性和泛化之间的新联系,类似于在带替换i.i.d.~设置,以及对随机梯度下降的精细平均稳定性分析。
2021-06-29 cs.LG math.OC stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
本文研究了自适应在线凸优化问题,旨在设计一种通用的算法,该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的,在这个意义上,他们是最佳的损失函数的一个子类。为了解决这个问题,我们提出了一种新的在线方法,即Maler,它享有最佳的$O(\sqrt{T})$,$O(d\log T)$和$O(\log T)$遗憾边界一般凸,指数凹,和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法,并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University(魁北克人工智能研究所/麦吉尔大学);Purdue University(普渡大学)
本文提出了一种统一框架,用于分析在线凸优化中不同反馈类型和对手设定下的元算法,通过转换一阶算法为零阶算法,实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Smoothed Online Optimization for Regression and Control
Caltech(加州理工学院)
我们认为在线凸优化(OCO)的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现,最近提出的在线平衡下降(OBD)算法是恒定的竞争力,在这种设置中,与竞争比$3 + O(1/m)$,无论周围的尺寸。此外,我们表明,当成本函数的序列是$ε$ -光滑,OBD具有接近最佳的动态遗憾,并保持较强的每轮精度。我们证明了我们的方法的一般性,通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法,包括岭回归,逻辑回归,最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
Online Optimization with Costly and Noisy Measurements using Random Fourier Expansions
Delft University of Technology(代尔夫特理工大学)
本文分析了DONE,在线优化算法,迭代最小化一个未知的功能的基础上昂贵和嘈杂的测量。该算法以随机傅立叶展开(RFE)的形式维护未知函数的代理。每当有新的测量值可用时,替代值就会更新,然后用于确定下一个测量点。该算法与贝叶斯优化算法相当,但其每次迭代的计算复杂性不依赖于测量的数量。我们得出了几个理论结果,提供洞察力的超参数的算法应该如何选择。该算法相比,贝叶斯优化算法的基准问题和三个应用程序,即,光学相干断层扫描,光学波束形成网络调整,和机器人手臂控制。结果发现,DONE算法是明显快于贝叶斯优化在讨论的问题,同时实现类似或更好的性能。
2016-09-29 cs.LG math.OC stat.ML
Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
本文研究了Hölder平滑函数的在线学习,设计了无需预知平滑参数的梯度变分在线学习算法,通过在线到批处理转换及检测程序,首次为离线强凸优化提出了一种在平滑与非平滑机制下均具最优或近最优收敛的通用加速方法。
2025-11-04 cs.LG math.OC
Boosting for Online Convex Optimization
Princeton University(普林斯顿大学);Google AI(谷歌人工智能)
我们考虑了在线凸优化的决策框架与大量的专家。此设置在上下文和强化学习问题中普遍存在,其中策略类的大小使得在策略类内进行枚举和搜索不可行。相反,我们考虑推广在线提升的方法。我们定义了一个弱学习算法作为一种机制,保证乘法近似的遗憾对一个基类的专家。在这个访问模型中,我们给出了一个有效的提升算法,保证接近最优的遗憾对凸包的基类。我们认为完全和部分(a.k.a.)。Bandit)信息反馈模型。我们也给出了一个类似的有效的提升算法的i.i.d.统计设置。我们的研究结果同时推广在线助推和梯度提升保证上下文学习模型,在线凸优化和强盗线性优化设置。
2021-02-18 cs.LG stat.ML
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum(中国石油大学);College of Information Science and Engineering(信息科学与工程学院)
该研究围绕在线鞍点问题提出OCCO框架,以广义对偶间隙为性能度量,建立其与OCO的平行关系,开发两种相关算法并验证有效性,同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里,在线算法的发展,以跟踪时变系统引起了很多关注,特别是在在线凸优化的框架。同时,稀疏时变优化已经成为一个强大的工具,以处理广泛的应用,从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中,假设系统演化的一些先验信息是可用的。相比之下,在本文中,我们提出了一种在线学习方法,它不使用给定的模型,适用于对抗框架。具体来说,我们开发集中式和分布式算法,我们从理论上分析他们的动态遗憾,在网上学习的角度来看。此外,我们提出了数值实验,说明其实际有效性。
2020-01-31 cs.LG math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside(加州大学河滨分校);Caltech(加州理工学院)
本文提出学习增强去中心化在线优化算法LADO,在去中心化多智能体网络中结合基准策略与机器学习策略,兼顾最坏情况鲁棒性和平均性能,并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University(东北大学);Boston University(波士顿大学)
研究一般拟阵约束下的单调次模最大化在线优化问题,通过证明加权阈值势函数可凹松弛,将其归约为在线凸优化(OCO),结合舍入方案实现次线性遗憾,并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Online Convex Optimization with Unconstrained Domains and Losses
Stanford University(斯坦福大学)
我们提出了一个在线凸优化算法(RescaledExp),实现了最佳的遗憾,在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法,需要一个已知的界上的损失函数和任何算法,不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的,我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Predictive Online Convex Optimization
University of California, Berkeley(加州大学伯克利分校);University of Melbourne(墨尔本大学);University of Toronto(多伦多大学)
在在线凸优化中,我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的,其中关于当前回合的预测,例如,天气或负载的行为,可以用来改进仅通过过去的观察所做的预测。具体来说,我们引入了一个额外的预测步骤,遵循标准的在线凸优化步骤时,估计的梯度和下降方向的某些条件得到满足。我们表明,在这些条件下,没有任何假设的环境的可预测性,预测更新严格提高了标准更新的性能。对于不同的损失函数族,我们给出了两种类型的预测更新。我们提供了一个遗憾界,我们的预测在线凸优化算法。最后,我们将我们的框架应用到一个基于需求响应的例子中,该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
Regret Bound by Variation for Online Convex Optimization
Michigan State University(密歇根州立大学);NEC Laboratories America(NEC美国实验室)
在citep{Hazan-2008-extract}中,作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中,我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后,我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后,我们考虑了强盗设置,并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明,当成本函数的变化与试验次数无关时,在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley(加州大学伯克利分校)
本文将在线分布式加权对偶平均(DWDA)算法[1]的遗憾分析扩展到动态设置,并为分布式在线凸优化(OCO)算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异,并不显着依赖于时间范围。我们使用动态在线DWDA(D-ODWDA),制定了一个性能保证的分布式在线需求响应方法的供热,通风和空调(HVAC)系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能,并获得需求响应的决定,密切再现集中的最优。
2020-04-17 cs.LG math.OC
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
在这项工作中,乘性随机适用于学习率的随机最优化算法,从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置,以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下,自适应均匀分布的乘法随机性,不仅包括随机梯度下降,但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本,它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania(宾夕法尼亚大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Michigan(密歇根大学)
该研究提出在线双层优化问题,定义新的双层悔度概念,设计可利用平滑性的在线交替时间平均梯度方法,将单层在线算法悔度界拓展至双层场景,给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST(韩国科学技术院);The University of Sydney(悉尼大学)
针对具有随机约束的在线凸优化问题,本文提出了一种通用的在线原始-对偶无投影框架,并推导出多种设定下的次线性遗憾与约束违背界,在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Universal Online Optimization in Dynamic Environments via Uniclass Prediction
近年来,提出了几种通用的在线凸优化方法,可以同时处理凸、强凸和指数凹的代价函数。然而,这些算法中的大多数都是基于静态遗憾最小化设计的,但是这种遗憾的概念可能不适合变化的环境。为了解决这个缺点,我们提出了一个新的和直观的框架,在动态环境中的通用在线优化。与现有的通用算法不同,我们的策略不依赖于一组专家和相应的元算法的建设。相反,我们表明,动态在线优化的问题可以减少到一个单类预测问题。通过将单类损失函数的选择权留给用户,他们能够控制和优化动态遗憾边界,这反过来又会延续到原始问题中。据我们所知,这是第一篇论文提出了一个普遍的方法,国家的最先进的动态遗憾保证,即使是一般的凸成本函数。
2023-02-13 cs.LG stat.ML
Online Dynamic Submodular Optimization
Polytechnique Montreal(蒙特利尔理工学院);GERAD(GERAD研究院);Mila(米拉人工智能研究所)
本文针对动态环境下的在线子模优化问题,提出OSGA和OSPGD两种算法,给出与在线凸优化可比的动态遗憾界,并在电力系统需求响应与配电网重构中验证了有效性。
2024-05-02 cs.LG math.OC
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University(杜克大学);The University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学)
零阶优化(ZO)通常依赖于两点反馈来估计目标函数的未知梯度。然而,两点反馈不能用于时变目标函数的在线优化,其中在每个时间步仅可能对函数值进行单个查询。在这项工作中,我们提出了一个新的一点反馈在线优化方法,估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外,我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言,对于确定性和随机性问题,Lipschitz和光滑的目标函数,我们表明,使用残差反馈可以产生梯度估计与传统的一点反馈方法相比,具有更小的方差。因此,我们的遗憾界更严格相比,现有的遗憾界与传统的一点反馈,这表明,ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外,我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明,ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Online Stochastic Optimization with Multiple Objectives
Michigan State University(密歇根州立大学);GE Global Research(通用电气全球研究中心)
在本文中,我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法,达到了$O(T^{-1/3})$收敛速度。然后,利用约束优化中的拉格朗日理论,设计了一种新的原始-对偶随机近似算法,该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong(香港中文大学)
本文研究了在线非凸优化问题,它通过放松对代价函数的凸性假设,推广了经典的在线凸优化问题。对于这种类型的问题,经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中,我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法,达到了遗憾的$O(\sqrt{T})$,匹配著名的遗憾下界。据我们所知,这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
Tight Bounds for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science, Tata Institute of Fundamental Research(塔塔基础研究院技术与计算机科学学院)
本研究解决了约束在线凸优化的长期开放问题,通过结合AdaGrad自适应悔值界与李雅普诺夫优化,首次证明无额外假设下可同时实现$O(\sqrt{T})$悔值与$\tilde{O}(\sqrt{T})$累积约束违反量。
2024-05-15 cs.LG math.OC
Mirror Sinkhorn: Fast Online Optimization on Transport Polytopes
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文提出Mirror Sinkhorn算法,一种基于Sinkhorn缩放和镜像下降的单循环在线优化方法,用于传输多面体上的凸目标最小化,具有噪声鲁棒性,并提供理论保证和实验验证。
2023-06-20 cs.LG stat.ML
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题,在线学习(OL)从显示的偏好:学习者希望学习一个非战略代理的私人效用函数,通过观察代理的效用最大化的行动,在不断变化的环境。我们采用了在线逆优化设置,学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数,然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架,使一个统一的处理损失函数,并支持各种在线凸优化算法。我们证明与理论和实证证据表明,我们的框架的基础上新的损失函数(特别是在线镜像下降)的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设,以及显着的优势。
2021-06-04 cs.LG math.OC
Stochastic Averaging for Constrained Optimization with Application to Online Resource Allocation
University of Minnesota(明尼苏达大学);University of Pennsylvania(宾夕法尼亚大学);Fudan University(复旦大学);Florida Atlantic University(佛罗里达大西洋大学)
现有的随机网络资源分配方法面临着快速收敛和可容忍延迟的挑战。本文利用在线学习的进步,以促进随机资源分配任务。通过认识到拉格朗日乘数的核心作用,基本的约束最优化问题被制定为一个机器学习任务,涉及训练和操作模式,以学习所寻求的乘数在一个快速和有效的方式的目标。为此,一个订单最优的离线学习方法首先开发的批量训练,然后将其推广到在线设置称为学习和适应的过程。新的资源分配协议渗透随机逼近和统计学习的好处,以获得低复杂度的在线更新与学习误差接近统计精度限制,同时仍然保持适应性能,这在随机网络优化的上下文中保证队列稳定性。理论分析和仿真实验表明,该方法在延迟和收敛性能上都有明显的改善。
2017-02-26 cs.DC cs.LG math.OC
Bayesian Optimization for Policy Search via Online-Offline Experimentation
Facebook(脸书)
在线现场实验是评估现实世界交互式机器学习系统变化的黄金标准。然而,我们探索复杂的多维策略空间的能力--比如在推荐和排名问题中发现的那些--往往受到可以同时运行的实验数量有限的限制。为了减轻这些限制,我们用离线模拟器增强在线实验,并应用多任务贝叶斯优化来调整实时机器学习系统。我们描述了在这些类型的应用程序中出现的实际问题,包括使用模拟器和多任务内核的假设所产生的偏见。我们测量的经验学习曲线,显示了大量的收益,包括数据有偏见的离线实验,并显示这些学习曲线是如何与多任务高斯过程推广的理论结果是一致的。我们发现,改进的内核推理是一个显着的驱动程序的多任务泛化。最后,我们展示了几个贝叶斯优化的例子,通过结合离线和在线实验,有效地调整了一个活的机器学习系统。
2019-04-29 cs.LG stat.ML
Efficient Online Linear Optimization with Approximation Algorithms
Technion - Israel Institute of Technology(以色列理工学院)
我们重新审视问题的\textit{online linear optimization}的情况下,一组可行的行动是通过一个近似的线性优化预言与因子$α$乘法近似保证。这种设置是特别有趣的,因为它捕获了自然的在线扩展的研究\textit{offline}线性优化问题,这是NP难,但承认有效的近似算法。这里的目标是最小化$α$ \textit{-regret},它是\textit{online learning}中标准\textit{regret}对此设置的自然扩展。我们提出了新的算法,显着提高了甲骨文的复杂性,为充分的信息和土匪的变种的问题。主要是,对于这两种变体,我们提出了$α$ -遗憾界的$O(T^{-1/3})$,$T$是预测轮数,平均每次迭代仅使用$O(\log{T})$调用近似oracle。这些是第一个结果,以获得平均预言复杂性的$O(\log{T})$(或甚至多对数的$T$)和$α$ -遗憾界$O(T^{-c})$为一个常数$c>0$,为两个变种。
2017-09-10 cs.LG math.OC
Online Optimization with Predictions and Non-convex Losses
IIIS, Tsinghua University(清华大学交叉信息研究院);California Institute of Technology(加州理工学院)
我们研究在线优化的设置,在线学习者寻求优化每轮命中成本,这可能是非凸的,而在轮之间改变动作时会产生移动成本。我们要求:\textit{under what general conditions is it possible for an online learner to leverage predictions of future cost functions in order to achieve near-optimal costs?}先前的工作提供了接近最优的在线算法的特定组合的假设击中和切换成本,但没有一般的结果是已知的。在这项工作中,我们给出了两个一般的充分条件,指定击球和运动成本之间的关系,保证了一个新的算法,同步固定地平线控制(SFHC),提供了一个$1+O(1/w)$竞争比,其中$w$是学习者可用的预测数。我们的条件不要求成本函数是凸的,我们也得到了非凸的打击和运动成本的竞争比结果。我们的研究结果提供了第一个常数,无量纲的竞争比在线非凸优化运动成本。此外,我们给出了一个自然实例的例子,凸体追逐(CBC),其中不满足充分条件,我们可以证明没有在线算法可以具有收敛到1的竞争比。
2020-01-24 cs.LG stat.ML
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化(COCO-M),提出首次实现亚线性后悔和亚线性累积约束违反的算法,适用于时间变化约束,且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
Oracle-Based Robust Optimization via Online Learning
Technion(以色列理工学院)
鲁棒优化是不确定性优化中的一种常用框架,它是指当问题参数未知时,但已知参数属于某个给定的不确定性集合。在鲁棒优化框架中,所解决的问题是一个最小-最大问题,其中根据参数的最差可能实现的性能来判断解决方案。在许多情况下,某种类型的鲁棒最优化问题的直接解决方案需要解决更复杂类型的最优化问题,并且在某些情况下甚至是NP难的。例如,解决一个强大的圆锥二次规划,如在强大的SVM,椭球不确定性一般导致一个半定的计划。在本文中,我们开发了一种方法,近似解决一个强大的最优化问题使用工具,从在线凸优化,在每一个阶段的标准(非鲁棒)优化程序解决。我们的算法找到一个近似的强大的解决方案,使用一些调用的预言,解决了原来的(非鲁棒性)的问题,是成反比的目标精度的平方。
2014-02-25 cs.LG math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University(杜克大学)
在本文中,我们考虑的问题,分布式在线凸优化,在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中,我们表明,我们可以消除这种依赖性,假设当地的目标函数是强凸的。更准确地说,我们提出了一个梯度跟踪算法,代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Online Strongly Convex Optimization with Unknown Delays
Nanjing University(南京大学);Paradigm Inc.(第四范式公司)
研究了具有未知时滞的在线凸优化问题,其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法(OGD),并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界,其中$D$是$T$轮上的延迟之和.在本文中,我们进一步利用强凸性来提高遗憾界。具体地说,我们首先扩展了强凸函数的OGD的延迟变体,并建立了$O(d\log T)$的更好的遗憾界,其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外,我们考虑更具挑战性的强盗设置,并获得类似的理论保证,将经典的多点梯度估计到我们的扩展方法。据我们所知,这是第一个工作,解决在线强凸优化一般延迟设置。
2021-03-21 cs.LG math.OC
Adaptive Composite Online Optimization: Predictions in Static and Dynamic Environments
TU Delft(代尔夫特理工大学)
在线凸优化(OCO)由于其灵活的实时性和强大的性能保证,在过去的几年中受到了控制文献的关注。在本文中,我们提出了新的步长规则和OCO算法,同时利用梯度预测,功能预测和动态,特别是有关控制应用的功能。所提出的算法享有静态和动态的遗憾界的动态参考动作序列,梯度预测误差和功能预测误差,这是从文献中已知的规律性措施的概括。我们目前的结果凸和强凸成本。我们验证了所提出的算法在轨迹跟踪案例研究中的性能,以及使用真实世界的数据集进行投资组合优化。
2023-01-14 cs.LG math.OC
Safe Online Convex Optimization with Unknown Linear Safety Constraints
Texas A&M University(德克萨斯农工大学)
研究了安全在线凸优化问题,其中每个时间步的行动必须满足一组线性安全约束。我们的目标是选择一系列的行动,以尽量减少遗憾,而不违反安全约束在任何时间步骤(高概率)。指定线性安全约束的参数对于算法是未知的。该算法只能访问所选动作的约束的噪声观测。我们提出了一种算法,称为{安全在线投影梯度下降}(SO-PGD)算法,以解决这个问题。我们表明,在假设的安全基线行动的可用性,SO-PGD算法实现了遗憾$O(T^{2/3})$。虽然有许多算法的在线凸优化(OCO)的安全约束问题在文献中,他们允许在学习/优化过程中的约束违反,并一直专注于特征的累积约束违反。据我们所知,我们的工作是第一次提供了一个算法与可证明的保证遗憾,而不违反线性安全约束(高概率)在任何时间步。
2021-11-14 cs.LG math.OC
Community Exploration: From Offline Optimization to Online Learning
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Microsoft Research(微软研究院)
我们介绍了社区探索的问题,有许多现实世界的应用,如在线广告。在这个问题中,一个探险家分配有限的预算来探索社区,以最大限度地增加他可以满足的成员数量。我们提供了一个系统的研究社区探索问题,从离线优化到在线学习。对于离线设置的社区的大小是已知的,我们证明了贪婪的方法为非自适应探索和自适应探索是最优的。对于在线设置的社区的大小是不知道的,需要从多轮的探索学习,我们提出了一个“上置信度”的算法,实现了对数遗憾界。通过结合不同回合的反馈,我们可以实现恒定的遗憾界限。
2018-11-18 cs.LG stat.ML
Online Alternating Direction Method (longer version)
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
在线优化已经成为大规模优化的有力工具。本文介绍了一种基于交替方向法(ADM)的在线优化算法,该算法可以求解线性约束下的非光滑凸优化问题。我们引入了新的证明技术,ADM在批处理设置,这产生了O(1/T)的收敛速度ADM和形成的基础上,后悔分析在线设置。我们考虑两种情况下,在线设置,根据是否需要一个额外的Bregman分歧。在这两种情况下,我们建立遗憾的目标函数,以及一般和强凸函数的约束违反界限。我们还考虑了不精确的ADM更新,其中某些条款被线性化,以产生有效的更新,并显示随机收敛速度。此外,我们还简要讨论了在线ADM在某些场景下可以作为无投影的在线学习算法。初步的结果来说明所提出的算法的性能。
2013-07-10 cs.LG math.OC
Smoothed Online Convex Optimization in High Dimensions via Online Balanced Descent
Institute of High Performance Computing(高性能计算研究所);California Institute of Technology(加州理工学院)
我们研究平滑在线凸优化,在线凸优化的一个版本,学习者在两轮之间改变她的动作会受到惩罚。给定任何在线算法的竞争比的$Ω(\sqrt{d})$下界,其中$d$是动作空间的维数,我们问在什么条件下这个界可以被击败。我们引入了一种新的算法框架,在线平衡下降(OBD),它的工作原理是通过迭代投影到一个精心选择的水平集的当前成本函数,以平衡切换成本和命中成本的前一点。我们证明了OBD框架的一般性,通过展示如何,不同的选择“平衡”,OBD可以提高国家的最先进的性能保证竞争比和遗憾,特别是,OBD是第一个算法,以实现无量纲的竞争比,$3 + O(1/α)$,局部多面体的成本,其中$α$措施的“陡度”的成本。我们还证明了边界上的OBD的动态遗憾时,进行平衡的对偶空间是无量纲的,并意味着OBD有次线性静态遗憾。
2018-07-08 cs.DS cs.LG stat.ML
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls(江森自控);Iowa State University(爱荷华州立大学);New York University(纽约大学)
遗憾已被广泛采用的分布式,多智能体系统的在线优化算法的性能评估的选择度量。然而,与代理相关的数据/模型变化可能会显著影响决策,并需要代理之间的共识。此外,大多数现有的工作都集中在开发方法(无论是强或非强)凸损失,并已获得很少的结果,在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题,我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式,我们开发了一个基于共识的在线归一化梯度(CONGD)方法的伪凸损失,它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失,我们首先阐明了遗憾的设置分布式在线非凸学习的基础上,最近的进展,没有确定性算法可以实现次线性遗憾。然后,我们开发了分布式在线非凸优化与复合遗憾(DINOCO)没有访问的梯度,依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知,这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Online Learning via Offline Greedy Algorithms: Applications in Market Design and Optimization
Chicago Booth School of Business(芝加哥大学布斯商学院);MIT Sloan School of Management(麻省理工学院斯隆管理学院);Google Research(谷歌研究院)
在线决策的动机在时变组合环境中,我们研究的问题,离线算法转换到他们的在线同行。我们专注于离线组合的问题,是服从一个常数因子近似使用贪心算法,是强大的本地错误。对于这样的问题,我们提供了一个通用的框架,有效地将离线强大的贪心算法在线使用Blackwell逼近。我们表明,由此产生的在线算法有$O(\sqrt{T})$(近似)遗憾下的充分信息设置。我们进一步介绍了一个强盗扩展的Blackwell可接近性,我们称之为强盗Blackwell可接近性。我们利用这个概念,将贪婪的强大的离线算法转化为$O(T^{2/3})$(近似)的遗憾,在强盗设置。展示了我们的框架的灵活性,我们将我们的离线到在线的转换应用于收入管理,市场设计和在线优化的交叉点上的几个问题,包括在线平台中的产品排名优化,拍卖中的底价优化和子模块最大化。我们还扩展我们的减少贪婪的连续优化中使用的一阶方法,如用于最大化连续强DR单调子模函数凸约束。我们表明,我们的变换,当应用到这些应用程序中,导致新的遗憾界或改善目前已知的界限。我们补充我们的理论研究进行数值模拟我们的两个应用程序,在这两个我们观察到,我们的转换的数值性能优于理论保证在实际情况下。
2023-02-04 cs.DS cs.GT cs.LG
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University(澳大利亚国立大学)
本文研究动态环境下的在线随机类星体凸优化,建立基于累积路径变化和梯度方差的在线梯度下降遗憾界,并将其应用于时变参数的广义线性模型,给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Distributionally Time-Varying Online Stochastic Optimization under Polyak-Łojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
The Australian National University(澳大利亚国立大学);The University of Melbourne(墨尔本大学)
本文在 Polyak-Łojasiewicz 条件下研究分布时变的在线随机优化问题,利用 Wasserstein 距离度量分布漂移,建立在线随机梯度下降及近端梯度下降的动态遗憾界,并将其应用于条件风险价值统计学习问题。
2023-09-18 cs.LG math.OC
Primal-Dual Contextual Bayesian Optimization for Control System Online Optimization with Time-Average Constraints
EPFL(洛桑联邦理工学院);Swiss Federal Laboratories for Materials Science and Technology (Empa)(瑞士联邦材料科学与技术研究所(Empa))
本文提出原始-对偶上下文贝叶斯优化算法,用于受约束控制系统的在线优化,在实现次线性累积遗憾的同时保证零时间平均约束违反,并通过仿真验证了其性能优势。
2023-09-20 cs.LG math.OC
Hardness of Online Sleeping Combinatorial Optimization Problems
Google Research(谷歌研究院);Yahoo Research(雅虎研究院);Univ. of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们发现,几个在线组合优化的问题,承认有效的无悔算法成为计算困难的睡眠设置中的一个子集的行动变得不可用,在每一轮。具体来说,我们表明,这些问题的睡眠版本至少像PAC学习DNF表达式一样困难,这是一个长期存在的开放问题。我们显示了在线最短路径,在线最小生成树,在线$k$ -子集,在线$k$ -截断排列,在线最小割,在线二分匹配的睡眠版本的硬度。在线最短路径问题的睡眠版本的硬度结果解决了COLT 2015上提出的一个开放问题(Koolen等人,2015年)。
2016-12-19 cs.DS cs.LG
Projection-Free Online Optimization with Stochastic Gradient: From Convexity to Submodularity
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在线优化已经成为解决计算约束和部分信息下的大规模问题的成功框架。目前的在线凸优化方法在每一步都需要投影或精确的梯度计算,这两者对于大规模应用来说都是非常昂贵的。与此同时,在机器学习社区中,非凸优化的趋势日益增长,并且需要在线方法。连续DR-次模函数具有收益递减的性质,是一类可以有效优化的非凸函数。虽然已经引入了在线方法,但它们也存在类似的问题。在这项工作中,我们提出Meta-Frank-Wolfe,第一个在线投影算法,使用随机梯度估计。该算法依赖于在每一轮梯度的仔细采样,并实现了凸和连续子模块优化的最佳$O( \sqrt{T})$对抗遗憾界。我们还提出了一个简单的算法,只需要一个单一的随机梯度估计,在每一轮,并实现了$O(T^{2/3})$随机遗憾界凸和连续的子模块优化。我们应用我们的方法来开发一种新的“提升”框架的在线离散子模块最大化,也看到他们优于目前最先进的技术在各种实验。
2018-06-14 cs.AI cs.DS cs.LG
Online Convex Optimization in Adversarial Markov Decision Processes
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们考虑在线学习在情节无环马尔可夫决策过程(MDP),其中的损失函数可以任意改变情节之间,和过渡函数是未知的学习。我们展示了$\tilde{O}(L|X|\sqrt{|A|T})$后悔边界,其中$T$是情节的数量,$X$是状态空间,$A$是动作空间,$L$是每个情节的长度。我们的在线算法是使用熵正则化方法实现的,它允许扩展原始的对抗MDP模型来处理凸性能标准(不同的方式来聚合单个事件的损失),以及改进以前的遗憾界限。
2019-05-19 cs.AI cs.LG stat.ML
Online Convex Optimization with Switching Cost with Only One Single Gradient Evaluation
Indian Institute of Technology Bombay (IITB)(印度理工学院班加罗尔分校);Indian Institute of Technology Delhi (IITD)(印度理工学院德里分校);Tata Institute of Fundamental Research (TIFR)(塔塔基础研究机构)
本文研究仅需一次梯度评估的带切换代价在线凸优化问题,在节俭信息设定下针对线性切换代价推导出最优阶竞争比算法,并给出噪声梯度情形下竞争比随噪声幅度二次增长的算法。
2025-07-05 cs.DS cs.LG math.OC
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.(多邻国公司);Google, Inc.(谷歌公司)
在线凸优化的一些最引人注目的应用,包括在线预测和分类,是无约束的:自然可行集是R^n。现有的算法无法实现次线性遗憾,在这种情况下,除非对比较点x^* 的约束是已知的。我们提出的算法,没有这样的先验知识,提供接近最优的遗憾界相对于任何选择x^*。特别地,关于x^* = 0的后悔是恒定的。然后,我们证明下界表明,我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Exponentiated Subgradient Algorithm for Online Optimization under the Random Permutation Model
University of Washington(华盛顿大学)
在线最优化问题出现在许多资源分配任务中,其中对每个资源的未来需求和相关联的效用函数随时间而改变并且不是先验已知的,然而尽管未来不确定性,资源仍需要在每个时间点被分配。本文研究了具有一般凹效用的在线最优化问题。我们修改和扩展Devanur等人提出的在线优化算法。线性规划,这一一般设置。我们用于效用和需求到达的模型被称为随机排列模型,其中效用和需求的固定集合以随机顺序呈现给算法。我们证明,在此模型下,该算法实现了一个接近最优的假设,即投标预算比为$O (\frac{ε^2}{\log({m}/ε)})$,其中$m$是资源的数量的竞争比$1-O(ε)$,同时享有显着降低计算成本比Kesselheim等人提出的最优算法。我们绘制了所提出的算法和次梯度方法之间的连接在凸优化。此外,我们提出了数值实验,证明该算法的性能和速度相比,现有的算法。
2015-02-05 cs.DS cs.LG math.OC