Logarithmic Regret from Sublinear Hints
University of Utah（犹他大学）；Boston University（波士顿大学）；Google Research（谷歌研究院）
我们考虑在线线性优化问题，在每一步的算法发挥一个点$x_t$在单位球，并遭受损失$\langle c_t, x_t\rangle$的一些成本向量$c_t$，然后透露给算法。最近的工作表明，如果一个算法在播放$x_t$之前接收到一个与$c_t$具有非平凡相关性的提示$h_t$，那么它可以实现$O(\log T)$的遗憾保证，改进标准设置中的$Θ(\sqrt{T})$的界限。在这项工作中，我们研究的问题，是否一个算法真的需要在每一个时间步的提示。有些令人惊讶的是，我们发现，一个算法可以获得$O(\log T)$遗憾，只是$O(\sqrt{T})$提示下的自然查询模型，相反，我们还表明，$o(\sqrt{T})$提示不能保证比$Ω(\sqrt{T})$遗憾。我们给出了我们的结果的两个应用程序，充分研究的乐观遗憾界的设置和问题的在线学习与回避。
2021-11-09 cs.DS cs.LG stat.ML
HERO: Hint-Based Efficient and Reliable Query Optimizer
本文提出 HERO 学习型查询优化器，通过上下文感知模型集成、图存储及预算受控局部搜索，实现可靠提示推荐、高效探索与快速推理，并在 JOB 上取得 3 倍延迟提升。
2024-12-05 cs.AI cs.DB cs.LG
Improving Online-to-Nonconvex Conversion for Smooth Optimization via Double Optimism
Department of Electrical and Computer Engineering, The University of Texas at Austin（电气与计算机工程系，德克萨斯大学奥斯汀分校）；Google Research（谷歌研究）
本文提出了一种基于双乐观提示函数的在线乐观梯度方法，解决了非凸优化中在线到非凸转换框架的局限性，实现了统一的算法复杂度。
2026-02-08 cs.LG math.OC
Reflective Preference Optimization (RPO): Enhancing On-Policy Alignment via Hint-Guided Reflection
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Alibaba Group（阿里巴巴集团）
RPO通过提示引导的反思增强策略对齐，减少幻觉并提升多模态基准性能。
2025-12-15 cs.AI cs.LG
Lipschitz and Comparator-Norm Adaptivity in Online Learning
The Australian National University（澳大利亚国立大学）；Data61；Centrum Wiskunde & Informatica（数学和计算机科学中心）
我们研究在线凸优化的无界设置，既没有预测，也没有梯度约束。目标是同时适应梯度序列和比较器。我们首先开发无参数和无标度的算法，简化设置提示。我们提供两个版本：第一种方法使用每轮$O(d)$时间分别适应比较器和梯度的平方范数，第二种方法适应每轮时间$O(d^3)$中它们的平方内积（仅测量比较器方向上的方差）。然后，我们推广两个前减少无界设置;一个不需要提示，第二个处理范围比问题（这已经出现在以前的工作）。我们讨论了他们的最优性，根据事先和新的下限。我们应用我们的方法，以获得更清晰的遗憾界尺度不变的线性模型的在线预测。
2020-08-08 cs.LG stat.ML
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
Online hyperparameter optimization by real-time recurrent learning
New York University（纽约大学）
传统的超参数优化方法是计算密集型的，并且难以推广到需要动态适应超参数的场景，例如终身学习。在这里，我们提出了一个在线的超参数优化算法，是渐近精确和计算易处理的，无论是在理论上和实践中。我们的框架利用了超参数优化和递归神经网络（RNN）中参数学习之间的类比。它采用了一系列经过充分研究的RNN在线学习算法来同时调整超参数和网络参数，而无需重复进行迭代优化。与标准方法相比，该过程在挂钟时间的一小部分上系统地产生更好的泛化性能。
2021-04-08 cs.LG
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Hot Swapping for Online Adaptation of Optimization Hyperparameters
University of California, Irvine（加州大学尔湾分校）；eBay Research Labs（eBay研究实验室）
我们描述了一个一般的框架在线适应优化超参数“热交换”在学习过程中的值。我们调查这种方法的背景下，自适应学习率选择使用的探索-利用策略，从多臂土匪文献。在一个基准神经网络上的实验表明，与AdaDelta和具有穷举超参数搜索的随机梯度等知名替代方案相比，热插拔方法始终导致更好的解决方案。
2015-04-13 cs.LG
An Application of Online Learning to Spacecraft Memory Dump Optimization
Università degli Studi di Milano（米兰大学）；Toulouse School of Economics（图卢兹经济学院）；CLC Space GmbH（CLC航天有限公司）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一个真实世界的应用程序的在线学习与专家的意见，空间业务领域，测试我们的理论现实生活中的数据来自哥白尼哨兵-6卫星。我们表明，在航天器内存转储优化，一个轻量级的跟随领导者算法导致性能的增加超过$60\%$相比，传统的技术。
2022-09-24 cs.LG
Adaptive Bound Optimization for Online Convex Optimization
Google, Inc.（谷歌公司）
我们引入了一个新的在线凸优化算法，自适应地选择其正则化函数的基础上观察到的损失函数。这与使用固定正则化函数（如L2平方）并仅通过单个时间相关参数对其进行修改的先前算法形成对比。我们的算法的遗憾界是最坏情况下的最优，并为某些现实类的损失函数，他们比现有的界限。这些边界是依赖于问题的，这意味着它们可以利用实际问题实例的结构。然而，至关重要的是，我们的算法不需要提前知道这个结构。相反，我们证明竞争的保证，表明算法提供了一个最好的约束（一定的功能形式）在事后的一个恒定的因素内的界限。
2010-07-07 cs.LG
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Online Convex Optimization Using Predictions
利用预测是在线算法的一个关键领域，但尚未得到充分开发。本文研究了一类在线优化问题，我们有外部噪声预测。我们提出了一个随机预测误差模型，该模型概括了学习和随机控制社区中的先验模型，结合了预测误差之间的相关性，并捕捉到预测随着时间的推移而改善的事实。我们证明，实现次线性的遗憾和恒定的竞争比在线算法需要使用一个无界的预测窗口在对抗设置，但在更现实的随机预测误差模型下，可以使用平均固定地平线控制（AFHC），同时实现次线性的遗憾和恒定的竞争比在预期中使用一个恒定大小的预测窗口。此外，我们表明，AFHC的性能是紧密集中在其平均值。
2015-04-25 cs.LG
Online Stochastic Linear Optimization under One-bit Feedback
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Michigan State University（密歇根州立大学）
在本文中，我们研究了在线随机线性优化的一个特殊的强盗设置，其中只有一位的信息是在每一轮透露给学习者。这个问题已经在很多领域得到应用，包括在线广告和在线推荐。我们假设二进制反馈是一个随机变量产生的logit模型，并以最小化的遗憾所定义的未知线性函数。虽然现有的广义线性强盗的方法可以应用到我们的问题，高的计算成本使其不切实际的现实世界的问题。为了解决这个问题，我们开发了一个有效的在线学习算法，利用特定的结构的观察模型。具体地说，我们采用在线牛顿步骤来估计未知参数，并推导出一个紧的置信区域的基础上的指数的逻辑损失。分析表明，该算法达到了$O(d\sqrt{T})$的遗憾界，与随机线性强盗的最优解相匹配.
2015-09-25 cs.LG
Hybrid Preference Optimization for Alignment: Provably Faster Convergence Rates by Combining Offline Preferences with Online Exploration
University of Washington（华盛顿大学）；Apple（苹果公司）
本文提出混合偏好优化（HPO），结合在线探索与离线偏好，放宽集中性条件并提高样本效率，首次给出混合RLHF的可证明最优理论界，证明其优于纯离线或纯在线方法。
2024-12-13 cs.LG
Understanding Curriculum Learning in Policy Optimization for Online Combinatorial Optimization
University of Washington（华盛顿大学）；Facebook AI Research（Facebook AI研究院）；Tsinghua University（清华大学）
该研究首次系统研究在线组合优化的策略优化方法，将其建模为隐马尔可夫决策过程并证明自然策略梯度的收敛界，从理论上解释课程学习降低分布偏移的作用，还简化了课程方案并通过实验验证。
2023-11-03 cs.LG
Training-Free Query Optimization via LLM-Based Plan Similarity
Ershov Institute of Informatics Systems（信息系统埃尔绍夫研究所）；Novosibirsk State Technical University（新西伯利亚国立技术大学）
本文提出LLM-PM框架，利用预训练执行计划嵌入的k近邻投票推荐数据库提示集，无需额外训练即可优化SQL查询，在JOB-CEB基准上实现平均21%的查询延迟降低。
2025-07-07 cs.DB cs.LG
Optimal Recalibration of an Online Predictor
Northeastern University（东北大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种在线算法，实现在线预测器的最优重新校准，同时达到ε-校准和ε²-校准，改进了以往单独实现这些属性的工作。
2026-07-23 cs.DS cs.LG stat.ML
A Unified Analysis Method for Online Optimization in Normed Vector Space
China University of Petroleum-Beijing（中国石油大学（北京））
本文从高层次统一理论的角度研究在线优化问题。本文不仅在赋范向量空间中推广了Optimistic-DA和Optimistic-MD，而且统一了它们的动态后悔分析方法。由于引入了$ϕ$ -convex，遗憾边界是最严格的。作为实例，归一化指数次梯度和贪婪/懒惰投影的遗憾界优于目前已知的最优结果。通过用单调算子代替在线博弈中的损失，并扩展后悔算子的定义，即后悔$^n$，将在线凸优化问题推广到在线单调优化问题。
2022-02-13 cs.LG math.OC
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science（印度科学学院）
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外，所提出的随机优化算法表现出良好的收敛速度，最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Oracle-Efficient Online Learning for Beyond Worst-Case Adversaries
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们研究了甲骨文有效的算法，超越最坏情况分析的在线学习。我们专注于两个设置。首先，[RST 11，HRS 22]的平滑分析设置，其中对手被约束为从密度上限为$1/σ$乘以均匀密度的分布生成样本。第二，设置$K$ -提示转换学习，其中学习者被给予每个时间步长对$K$提示的访问，所述提示被保证包括真实实例。我们给出了第一个已知的甲骨文有效的算法，这两个设置只依赖于伪（或VC）维的类和参数$σ$和$K$，捕捉对手的力量。特别是，我们实现了$ \widetilde{O} ( \sqrt{T dσ^{-1}} ) $和$ \widetilde{O} ( \sqrt{T dK} ) $学习实值函数和$ O ( \sqrt{T dσ^{-\frac{1}{2}} } )$学习二进制值函数的预言有效的遗憾界。对于平滑的分析设置，我们的结果给出了第一个具有平滑对手的在线学习的预言机有效算法[HRS 22]。这对比了[HK 16]建立的在线学习与最坏情况对手和离线学习之间的计算分离。我们的算法还实现了改进的界限，最坏情况下设置小域。特别地，我们给出了一个预言机有效的算法，遗憾的是$O ( \sqrt{T(d |\mathcal{X}|)^{1/2} })$，这是一个改进的早期$O ( \sqrt{T|\mathcal{X}|})$绑定[DS 16]。
2022-11-22 cs.DS cs.LG stat.ML
Hardness of Online Sleeping Combinatorial Optimization Problems
Google Research（谷歌研究院）；Yahoo Research（雅虎研究院）；Univ. of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们发现，几个在线组合优化的问题，承认有效的无悔算法成为计算困难的睡眠设置中的一个子集的行动变得不可用，在每一轮。具体来说，我们表明，这些问题的睡眠版本至少像PAC学习DNF表达式一样困难，这是一个长期存在的开放问题。我们显示了在线最短路径，在线最小生成树，在线$k$ -子集，在线$k$ -截断排列，在线最小割，在线二分匹配的睡眠版本的硬度。在线最短路径问题的睡眠版本的硬度结果解决了COLT 2015上提出的一个开放问题（Koolen等人，2015年）。
2016-12-19 cs.DS cs.LG
Scale-Free Algorithms for Online Linear Optimization
Yahoo Labs（雅虎实验室）
我们设计的在线线性优化算法，具有最佳的遗憾，并在同一时间不需要知道任何上限或下限的损失向量的范数。我们通过尺度不变性实现对损失向量范数的自适应，即，如果损失向量序列乘以任何正常数，我们的算法会做出完全相同的决定。我们的算法适用于任何决策集，有界或无界。对于无界决策集，这些是第一个真正的在线线性优化自适应算法。
2015-07-01 cs.LG math.OC
Understanding the performance gap between online and offline alignment algorithms
Google DeepMind（谷歌DeepMind）
该研究针对在线与离线大模型对齐算法的性能差距展开，通过消融实验发现数据等因素无法解释差异，明确在线策略采样在AI对齐中的关键作用，指出离线对齐算法的根本性挑战。
2026-10-06 cs.AI cs.LG stat.ML
Adversaries in Online Learning Revisited: with applications in Robust Optimization and Adversarial training
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）；Alibaba Inc（阿里巴巴公司）
我们重新审视了在线学习中的“对手”概念，其动机是使用在线学习方法解决鲁棒优化和对抗训练。虽然在线学习中的一个经典设置涉及“对抗”设置，但似乎这个概念的使用不太严格，导致应用在线学习的结果和见解时出现混乱。具体来说，有两种根本不同类型的对手，这取决于“对手”是否能够预测在线学习算法的外生随机性。这与鲁棒优化和对抗训练特别相关，因为对抗序列通常是预期的，并且许多在线学习算法在这种情况下无法实现减少遗憾。然后，我们将其应用于通过在线学习解决鲁棒优化问题或（等效地）对抗性训练问题，并使用假想游戏为各种各样的问题类建立一种通用方法。在这种情况下，两个参与人相互博弈，原始参与人参与决策，双重参与人参与不确定数据的实现。当博弈结束时，原始参与者已经获得了一个近似鲁棒的解。这个元游戏允许解决各种鲁棒优化和多目标优化问题，并推广了arXiv：1402.6361的方法。
2021-01-27 cs.LG math.OC
Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
本文研究了Hölder平滑函数的在线学习，设计了无需预知平滑参数的梯度变分在线学习算法，通过在线到批处理转换及检测程序，首次为离线强凸优化提出了一种在平滑与非平滑机制下均具最优或近最优收敛的通用加速方法。
2025-11-04 cs.LG math.OC
Online Combinatorial Linear Optimization via a Frank-Wolfe-based Metarounding Algorithm
Kyushu University（九州大学）；RIKEN AIP（理化学研究所先进智能项目）
本文提出了一种基于Frank-Wolfe的全新metarounding算法，在存在基于松弛的近似算法假设下，将组合线性优化近似算法转化为在线优化算法，并在理论和实践上均显著提升了效率。
2023-11-19 cs.DS cs.LG
Boosting for Online Convex Optimization
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们考虑了在线凸优化的决策框架与大量的专家。此设置在上下文和强化学习问题中普遍存在，其中策略类的大小使得在策略类内进行枚举和搜索不可行。相反，我们考虑推广在线提升的方法。我们定义了一个弱学习算法作为一种机制，保证乘法近似的遗憾对一个基类的专家。在这个访问模型中，我们给出了一个有效的提升算法，保证接近最优的遗憾对凸包的基类。我们认为完全和部分（a.k.a.）。Bandit）信息反馈模型。我们也给出了一个类似的有效的提升算法的i.i.d.统计设置。我们的研究结果同时推广在线助推和梯度提升保证上下文学习模型，在线凸优化和强盗线性优化设置。
2021-02-18 cs.LG stat.ML
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
该研究围绕在线鞍点问题提出OCCO框架，以广义对偶间隙为性能度量，建立其与OCO的平行关系，开发两种相关算法并验证有效性，同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里，在线算法的发展，以跟踪时变系统引起了很多关注，特别是在在线凸优化的框架。同时，稀疏时变优化已经成为一个强大的工具，以处理广泛的应用，从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中，假设系统演化的一些先验信息是可用的。相比之下，在本文中，我们提出了一种在线学习方法，它不使用给定的模型，适用于对抗框架。具体来说，我们开发集中式和分布式算法，我们从理论上分析他们的动态遗憾，在网上学习的角度来看。此外，我们提出了数值实验，说明其实际有效性。
2020-01-31 cs.LG math.OC
Smoothed Online Combinatorial Optimization Using Imperfect Predictions
Adobe Research（奥多比研究院）
平滑在线组合优化考虑重复选择组合决策以最小化未知变化成本函数的学习者，并在连续轮中对切换决策进行惩罚。研究了不完全预测模型下的平滑在线组合优化问题，其中模型可以预测未来成本函数的不确定性。我们表明，使用预测计划在有限的时间范围内导致后悔依赖于总预测的不确定性和额外的切换成本。这一观察表明，选择一个合适的规划窗口，以平衡不确定性和切换成本，这导致了一个在线算法与保证的上限和下限的累积遗憾。从经验上讲，我们的算法显示了显着的改善，累积遗憾相比，其他基线合成在线分布式流媒体问题。
2023-01-13 cs.AI cs.LG
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Online Convex Optimization with Unconstrained Domains and Losses
Stanford University（斯坦福大学）
我们提出了一个在线凸优化算法（RescaledExp），实现了最佳的遗憾，在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法，需要一个已知的界上的损失函数和任何算法，不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的，我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Online Nonconvex Bilevel Optimization with Bregman Divergences
Stony Brook University（石溪大学）；Bloomberg（彭博公司）；Institute for Advanced Computational Science（高级计算科学研究所）
该研究针对在线非凸-强凸双层优化问题，提出基于自适应Bregman散度的确定性OBBO和带窗口平均方差缩减的随机SOBBO算法，提升双层局部悔值速率，实验验证其在超参数优化、元学习任务上优于现有基准。
2024-09-16 cs.LG math.OC
Predictive Online Convex Optimization
University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）；University of Toronto（多伦多大学）
在在线凸优化中，我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的，其中关于当前回合的预测，例如，天气或负载的行为，可以用来改进仅通过过去的观察所做的预测。具体来说，我们引入了一个额外的预测步骤，遵循标准的在线凸优化步骤时，估计的梯度和下降方向的某些条件得到满足。我们表明，在这些条件下，没有任何假设的环境的可预测性，预测更新严格提高了标准更新的性能。对于不同的损失函数族，我们给出了两种类型的预测更新。我们提供了一个遗憾界，我们的预测在线凸优化算法。最后，我们将我们的框架应用到一个基于需求响应的例子中，该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
A Survey on Distributed Online Optimization and Game
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）
分布式在线优化和博弈在过去十年中得到了越来越多的研究，主要是由于其在传感器网络，机器人（例如，分布式目标跟踪和编队控制）、智能电网、深度学习等等。在这些问题中，有一个可以合作的代理网络（即，分布式在线优化）或非协作（即，网络游戏，通过信息交流。在动态甚至对抗环境中，每个代理的局部成本函数往往是时变的。每一次，决策必须由每个代理人根据手头的历史信息做出，而不知道成本函数的未来信息。对于这些问题，目前还缺乏一个全面的调查。本文旨在从问题设置、通信、计算、算法和性能的角度对分布式在线优化和博弈进行全面的概述。此外，还讨论了一些潜在的未来发展方向。
2023-01-21 cs.LG math.OC
Online Mixed-Integer Optimization in Milliseconds
我们提出了一种使用机器学习以非常高的速度解决在线混合整数优化（MIO）问题的方法。通过利用在线优化的重复性，我们能够大大加快解决方案的时间。我们的方法使用[BS 21]中提出的优化框架的声音将最优解编码为表示为策略的少量信息量。这样，优化算法的核心部分就变成了一个可以很快解决的多类分类问题。在这项工作中，我们将该框架扩展到实时和高速应用程序，重点是参数混合整数二次优化（MIQO）。我们提出了一个非常快速的在线优化算法，包括一个前馈神经网络（NN）的评价和一个线性系的解决方案，其中矩阵已经被分解。因此，这种在线方法不需要任何求解器或迭代算法。我们所提出的方法的速度都在所需的总计算和测量的执行时间。我们估计的浮点运算（触发器）的数量需要完全恢复的最优解的函数的问题尺寸。与最先进的MIO例程相比，我们的方法的在线运行时间是非常可预测的，并且可以低于单个矩阵分解时间。我们基准我们的方法对国家的最先进的求解器Guesthouse获得从两到三个数量级的加速从燃料电池能源管理，稀疏的投资组合优化和运动规划与避障的例子。
2021-03-23 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
在这项工作中，乘性随机适用于学习率的随机最优化算法，从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置，以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下，自适应均匀分布的乘法随机性，不仅包括随机梯度下降，但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本，它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Inverse Multiobjective Optimization Through Online Learning
Amazon（亚马逊）；University of Pittsburgh（匹兹堡大学）
我们研究的问题，学习的目标函数或约束的多目标决策模型的基础上，一组顺序到达的决定。特别是，这些决策可能不准确，可能带有测量噪声，或者是决策者有限理性的结果。在本文中，我们提出了一个通用的在线学习框架来处理这个学习问题，使用逆多目标优化。更准确地说，我们开发了两个在线学习算法与隐式更新规则，可以处理噪声数据。数值结果表明，这两种算法都能很好地学习参数，并且对噪声具有很好的鲁棒性。
2022-12-24 cs.LG math.OC
On the Variance of Unbiased Online Recurrent Optimization
Mila（米拉）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维）
最近提出的无偏在线循环优化算法（UORO，arXiv：1702.05043）使用RTRL的无偏近似来实现RNN中完全在线的基于梯度的学习。在这项工作中，我们分析了由UORO计算的梯度估计的方差，并提出了几种可能的变化，在理论和实践中减少这种方差的方法。我们还对UORO（及其现有的方差降低技术）的理论和直观理解做出了重大贡献，并证明了其梯度估计与如果将少量噪声添加到RNN的隐藏单元中，则由REINFORCE计算的梯度估计之间的基本联系。
2019-02-06 cs.LG stat.ML
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST（韩国科学技术院）；The University of Sydney（悉尼大学）
针对具有随机约束的在线凸优化问题，本文提出了一种通用的在线原始-对偶无投影框架，并推导出多种设定下的次线性遗憾与约束违背界，在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain（谷歌大脑）
我们描述了一个框架，推导和分析在线优化算法，包括自适应，数据相关的正则化，也称为预处理。这样的算法已被证明是有用的随机优化，根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献，包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此，我们获得了新的收敛性证明，这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Universal Online Optimization in Dynamic Environments via Uniclass Prediction
近年来，提出了几种通用的在线凸优化方法，可以同时处理凸、强凸和指数凹的代价函数。然而，这些算法中的大多数都是基于静态遗憾最小化设计的，但是这种遗憾的概念可能不适合变化的环境。为了解决这个缺点，我们提出了一个新的和直观的框架，在动态环境中的通用在线优化。与现有的通用算法不同，我们的策略不依赖于一组专家和相应的元算法的建设。相反，我们表明，动态在线优化的问题可以减少到一个单类预测问题。通过将单类损失函数的选择权留给用户，他们能够控制和优化动态遗憾边界，这反过来又会延续到原始问题中。据我们所知，这是第一篇论文提出了一个普遍的方法，国家的最先进的动态遗憾保证，即使是一般的凸成本函数。
2023-02-13 cs.LG stat.ML
Capacity Provisioning Motivated Online Non-Convex Optimization Problem with Memory and Switching Cost
本文研究带记忆和切换代价的在线非凸优化问题，通过调节活跃服务器数量最小化作业总延迟，并针对最坏情况和随机输入分别提出竞争算法。
2024-07-01 cs.DS cs.LG
Online Bandit Linear Optimization: A Study
本文介绍了在线Bandit线性优化的概念，并探讨了一种由Abernethy等人创建的名为SCRiBLe（Bandit Learning中的自一致正则化）的高效设置。\cite{abernethy} . SCRiBLe设置和算法在输入空间的维度上产生$O(\sqrt{T})$遗憾界限和多项式运行时间复杂度界限。在本文中，我们建立到强盗线性优化的情况下，研究SCRiBLe。
2018-05-11 cs.AI cs.LG stat.ML
Online Dynamic Submodular Optimization
Polytechnique Montreal（蒙特利尔理工学院）；GERAD（GERAD研究院）；Mila（米拉人工智能研究所）
本文针对动态环境下的在线子模优化问题，提出OSGA和OSPGD两种算法，给出与在线凸优化可比的动态遗憾界，并在电力系统需求响应与配电网重构中验证了有效性。
2024-05-02 cs.LG math.OC
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Online Stochastic Optimization with Multiple Objectives
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）
在本文中，我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法，达到了$O(T^{-1/3})$收敛速度。然后，利用约束优化中的拉格朗日理论，设计了一种新的原始-对偶随机近似算法，该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Online Convex Optimization with Long Term Constraints for Predictable Sequences
University of California Irvine（加州大学欧文分校）；Expedia Group（亿客行集团）
在本文中，我们研究了用于在线学习的在线凸优化（OCO）框架。OCO为许多应用程序提供了非常强大的在线学习框架。在这种情况下，我们研究了一个特定的框架OCO称为{ \it OCO长期约束}。长期约束通常被引入作为替代方案，以降低在线优化中的每个更新步骤处的投影的复杂性。虽然已经在具有长期约束的在线优化方面取得了许多算法进步，但是这些算法通常假设确定在线学习者的成本的特定$T$有限步骤上的成本函数序列是逆向生成的。在许多情况下，成本函数的序列可能不是不相关的，并且因此可以从直到某个时间点所观察到的那些成本函数预测。在本文中，我们研究的设置序列是可预测的。我们提出了一种新的在线优化算法，可以利用这种可预测性的长期约束的在线优化。我们表明，与预测，可以提供序列中的下一个函数的梯度信息，我们的算法可以实现一个整体的遗憾和约束违反率，严格小于没有预测的情况下可实现的速率。
2022-10-30 cs.LG cs.SY eess.SY
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
COOPO: Cyclic Offline-Online Policy Optimization Algorithm
Department of Mechanical Engineering, Iowa State University（伊阿华州立大学机械工程系）；Department of Computer Science, Iowa State University（伊阿华州立大学计算机科学系）；Department of Industrial and Manufacturing Systems Engineering, Iowa State University（伊阿华州立大学工业与制造系统工程系）；Translational AI Center, Iowa State University（伊阿华州立大学转化人工智能中心）
本文提出COOPO算法，通过循环离线训练和在线微调来解决离线强化学习的分布偏移和性能受限问题，以及在线强化学习的环境交互成本高问题，通过周期性回归离线训练减少遗忘和漂移，提升样本效率和性能。
2026-05-18 cs.AI cs.LG
