Online simultaneous inference for quantiles via smoothed stochastic gradient descent
Department of Mathematics and Statistics（数学与统计学系）；Washington University in St.Louis（圣路易斯华盛顿大学）；Chair of Statistics（统计学教授职位）；Humboldt-Universität zu Berlin（柏林洪堡大学）；University of Chicago（芝加哥大学）
本文提出基于平滑SGD的分位数在线同时推断方法，推导了相关理论界，提出在线乘数自助法，经模拟验证可准确估计分位数，适用于条件风险价值曲线等场景。
2026-09-02 cs.LG math.ST stat.ML
Efficient Online Proportional Sampling with Applications to Smoothed Online Learning
研究高维域在线比例采样问题，设计支持高效更新和采样的数据结构，在不同对手下证明数据结构深度界，应用于在线学习获高效无悔算法及次线性遗憾保证。
2026-07-14 cs.AI cs.CG cs.GT
Demystifying Online Clustering of Bandits: Enhanced Exploration Under Stochastic and Smoothed Adversarial Contexts
The Chinese University of Hong Kong（香港中文大学）
本文针对老虎机在线聚类中识别用户簇所需的强假设问题，提出UniCLUB和PhaseUniCLUB两种增强探索算法，并引入平滑对抗情境设置以消除i.i.d.要求，在更弱假设下取得与先前工作相当的遗憾界并提升实际性能。
2025-01-01 cs.AI cs.LG stat.ML
Beyond Worst-Case Online Classification: VC-Based Regret Bounds for Relaxed Benchmarks
Yale University（耶鲁大学）；MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
该研究针对在线二分类，提出与捕捉平滑最优性的松弛基准竞争的方法，算法后悔界仅依赖VC维与实例空间复杂度，对广义间隔γ呈O(log(1/γ))依赖并补充匹配下界，连接对抗鲁棒性与平滑在线学习思想。
2025-04-14 cs.LG stat.ML
Infinite Action Contextual Bandits with Reusable Data Exhaust
University of Virginia（弗吉尼亚大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research NYC（微软研究院纽约分院）
针对无限动作上下文赌博机中平滑遗憾方法产生的数据废气缺乏良定义重要性权重、妨碍离线模型选择的问题，本文提出一种保持同等遗憾保证且权重良定义的在线算法，计算成本仅升至平滑度阶且仍与动作集无关。
2023-06-07 cs.LG
Oracle-Efficient Online Learning for Beyond Worst-Case Adversaries
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们研究了甲骨文有效的算法，超越最坏情况分析的在线学习。我们专注于两个设置。首先，[RST 11，HRS 22]的平滑分析设置，其中对手被约束为从密度上限为$1/σ$乘以均匀密度的分布生成样本。第二，设置$K$ -提示转换学习，其中学习者被给予每个时间步长对$K$提示的访问，所述提示被保证包括真实实例。我们给出了第一个已知的甲骨文有效的算法，这两个设置只依赖于伪（或VC）维的类和参数$σ$和$K$，捕捉对手的力量。特别是，我们实现了$ \widetilde{O} ( \sqrt{T dσ^{-1}} ) $和$ \widetilde{O} ( \sqrt{T dK} ) $学习实值函数和$ O ( \sqrt{T dσ^{-\frac{1}{2}} } )$学习二进制值函数的预言有效的遗憾界。对于平滑的分析设置，我们的结果给出了第一个具有平滑对手的在线学习的预言机有效算法[HRS 22]。这对比了[HK 16]建立的在线学习与最坏情况对手和离线学习之间的计算分离。我们的算法还实现了改进的界限，最坏情况下设置小域。特别地，我们给出了一个预言机有效的算法，遗憾的是$O ( \sqrt{T(d |\mathcal{X}|)^{1/2} })$，这是一个改进的早期$O ( \sqrt{T|\mathcal{X}|})$绑定[DS 16]。
2022-11-22 cs.DS cs.LG stat.ML
Greedy Algorithm almost Dominates in Smoothed Contextual Bandits
Harvard University（哈佛大学）；Microsoft Research NYC（微软纽约研究院）；Microsoft Research, New York（微软纽约研究院）；Carnegie Mellon University（卡内基梅隆大学）
在线学习算法广泛用于网络搜索和内容优化，必须平衡探索和利用，可能会牺牲当前用户的体验，以获得信息，从而在未来做出更好的决策。虽然在最坏的情况下是必要的，但与总是通过选择当前看起来最优的动作来“利用”的贪心算法相比，显式探索具有许多缺点。我们要问的是，在什么条件下，数据的内在多样性使得明确的探索变得不必要。我们建立在最近的工作线上的线性上下文土匪模型的贪心算法的平滑分析。我们改进了以前的结果表明，贪婪的方法几乎匹配的最佳可能的贝叶斯后悔率的任何其他算法在同一问题的情况下，只要多样性条件成立，这种遗憾是最多$\tilde O(T^{1/3})$。
2021-12-27 cs.LG stat.ML
On the Performance of Empirical Risk Minimization with Smoothed Data
MIT（麻省理工学院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文研究基准测度未知的平滑在线学习中经验风险最小化（ERM）的性能，证明其误差可达 $\tilde O(\sqrt{\mathrm{comp}(\mathcal F)\cdot T})$，并给出紧的下界，揭示平滑数据与 iid 数据下 ERM 的性能分离。
2024-02-22 cs.LG stat.ML
Online RL in Linearly $q^π$-Realizable MDPs Is as Easy as in Linear MDPs If You Learn What to Ignore
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
本文证明在线性 $q^π$-可实现 MDP 中，通过识别并跳过所有动作值近似相等的状态，可将问题转化为线性 MDP，从而实现在线 RL 的样本复杂度为 $\ ext{polylog}(H,d)/ε^2$，并给出首个多项式样本复杂度算法。
2023-12-20 cs.LG stat.ML
Oracle-Efficient Smoothed Online Learning for Piecewise Continuous Decision Making
MIT（麻省理工学院）
本文提出广义括号数复杂度，结合对手约束与空间大小，证明跟随扰动领导者算法在分段连续决策中实现Oracle调用次数最优的低遗憾，应用于在线预测与规划。
2024-03-19 cs.LG stat.ML
Smoothed Online Learning for Prediction in Piecewise Affine Systems
MIT（麻省理工学院）
本文提出分段仿射系统中基于平滑在线学习框架的首个预测与模拟算法，在弱平滑假设下实现多项式遗憾界，并高效利用优化预言机，以Wasserstein距离度量模拟误差。
2024-03-19 cs.LG stat.ML
Smoothed Analysis of Online and Differentially Private Learning
Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）
对算法的鲁棒性和隐私性的实际和普遍需求激发了在线对抗和差异隐私学习算法的设计。在这些设置中表征可学习性的主要数量是假设类的Littlestone维度[Ben-David等人，2009年，Alon等人，2019年]。这种特征通常被解释为不可能的结果，因为线性阈值和神经网络等类具有无限的Littlestone维数。在本文中，我们应用平滑分析的框架[Spielman和Teng，2004]，其中逆向选择的输入被自然稍微扰动。我们表明，从根本上更强的遗憾和错误的保证是可能的平滑的对手比最坏情况下的对手。特别是，我们得到的遗憾和隐私的误差范围，只依赖于VC维和括号数的假设类，和扰动的大小。
2020-06-17 cs.DS cs.LG stat.ML
Non-Stationary Functional Bilevel Optimization
Applied Mathematics and Statistics, Stony Brook University, Stony Brook, NY, USA（应用数学与统计学系，史泰文布鲁克大学）；Inria, CNRS, Grenoble INP, LJK, Université Grenoble Alpes（法国国家信息与自动化技术研究院、国家科学研究中心、格勒诺布尔INP、LJK、格勒诺布尔阿尔卑斯大学）
SmoothFBO是首个在非平稳函数双层优化中具有理论保证和实际可扩展性的算法，通过时间平滑的随机超梯度估计器提升稳定性和性能。
2026-09-04 cs.LG stat.ML
Regret and Sample Complexity of Online Q-Learning via Concentration of Stochastic Approximation with Time-Inhomogeneous Markov Chains
MBZUAI, UAE（MBZUAI, 阿拉伯联合酋长国）；Stanford University, USA（斯坦福大学, 美国）；EPITA, France（EPITA, 法国）；Indian Institute of Technology Bombay, India（印度班加罗尔理工学院, 印度）
本文首次为无限时间折扣马尔可夫决策过程中的经典在线Q学习提供了后悔界，不依赖乐观或奖励项。通过分析退火Q学习并结合平滑ε_n-贪心探索方案，证明了近似O(N^{9/10})的后悔界，并获得样本复杂性保证。
2026-05-15 cs.LG stat.ML
Smoothed Online Convex Optimization in High Dimensions via Online Balanced Descent
Institute of High Performance Computing（高性能计算研究所）；California Institute of Technology（加州理工学院）
我们研究平滑在线凸优化，在线凸优化的一个版本，学习者在两轮之间改变她的动作会受到惩罚。给定任何在线算法的竞争比的$Ω(\sqrt{d})$下界，其中$d$是动作空间的维数，我们问在什么条件下这个界可以被击败。我们引入了一种新的算法框架，在线平衡下降（OBD），它的工作原理是通过迭代投影到一个精心选择的水平集的当前成本函数，以平衡切换成本和命中成本的前一点。我们证明了OBD框架的一般性，通过展示如何，不同的选择“平衡”，OBD可以提高国家的最先进的性能保证竞争比和遗憾，特别是，OBD是第一个算法，以实现无量纲的竞争比，$3 + O(1/α)$，局部多面体的成本，其中$α$措施的“陡度”的成本。我们还证明了边界上的OBD的动态遗憾时，进行平衡的对偶空间是无量纲的，并意味着OBD有次线性静态遗憾。
2018-07-08 cs.DS cs.LG stat.ML
Efficient and Near-Optimal Smoothed Online Learning for Generalized Linear Functions
MIT（麻省理工学院）
由于顺序和批量统计学习之间的复杂性存在巨大差距，最近的工作研究了平滑的顺序学习设置，其中自然界被限制为选择密度为1/σ的上下文，相对于已知的度量μ。不幸的是，对于某些函数类，在统计上最优的后悔和可以有效实现的后悔之间存在指数差距。在本文中，我们给出了一个计算效率高的算法，是第一个享受统计最优的log（T/σ）遗憾的可实现的K-明智的线性分类。我们将我们的结果扩展到真正的分类器在上下文的过参数化多项式特征化中是线性的设置，以及假设访问适当的ERM Oracle的可实现的分段回归设置。有些令人惊讶的是，标准的基于分歧的分析不足以达到1/σ的后悔对数。相反，我们开发了一种新的表征的几何形状的不一致区域引起的广义线性分类。一路上，我们开发了许多独立感兴趣的技术工具，包括某些矩阵平均值的行列式的一般反集中界限。
2022-05-25 cs.LG stat.ML
Smoothed Online Optimization for Regression and Control
Caltech（加州理工学院）
我们认为在线凸优化（OCO）的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现，最近提出的在线平衡下降（OBD）算法是恒定的竞争力，在这种设置中，与竞争比$3 + O(1/m)$，无论周围的尺寸。此外，我们表明，当成本函数的序列是$ε$ -光滑，OBD具有接近最佳的动态遗憾，并保持较强的每轮精度。我们证明了我们的方法的一般性，通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法，包括岭回归，逻辑回归，最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
The Sample Complexity of Approximate Rejection Sampling with Applications to Smoothed Online Learning
MIT（麻省理工学院）
本文刻画了在有界 f-散度条件下近似拒绝采样的最优样本复杂度，并将其应用于放宽对手约束的平滑在线学习场景，同时比较了重要性采样与拒绝采样的效果。
2024-02-23 cs.LG stat.ML
Smoothed Bernstein Online Aggregation for Day-Ahead Electricity Demand Forecasting
House of Energy Markets and Finance（能源市场与金融研究院）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
我们介绍了IEEE数据端口竞赛的获胜方法，即提前一天的电力需求预测：后COVID范式。日前负荷预测方法是基于多点预测模型的在线预测组合。它包含四个步骤：i）数据清洗和预处理，ii）假日调整程序，iii）个体预测模型的训练，iv）通过平滑Bernstein在线聚合（BOA）的预测组合。该方法灵活，可快速适应COVID-19期间和之后发生的新能源系统情况。单个预测模型的范围从相当简单的时间序列模型到复杂的模型，如广义加性模型（GAM）和lasso估计的高维线性模型。它们有效地结合了自回归、日历和天气效果。所有步骤都包含新的概念，有助于所提出的方法的出色的预测性能。这尤其适用于假日调整程序和完全自适应平滑BOA方法。
2021-07-13 cs.CE cs.LG cs.SY
Revisiting Smoothed Online Learning
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们重新审视的平滑在线学习的问题，其中在线学习者遭受击中成本和切换成本，并针对两个性能指标：竞争比和动态后悔与切换成本。为了限制竞争比，我们假设每轮学习者都知道命中成本，并通过优化问题研究平衡两个成本的简单想法。令人惊讶的是，我们发现，最小化击中成本单独是$\max(1, \frac{2}α)$ -竞争的$α$ -多面体函数和$1 + \frac{4}λ$ -竞争的$λ$ -二次增长函数，这两个改善国家的最先进的结果显着。此外，当命中成本是凸的和$λ$ -二次增长，我们通过最小化的命中成本和转换成本的加权和的竞争比降低到$1 + \frac{2}{\sqrtλ}$。为了将动态后悔与切换成本绑定，我们遵循在线凸优化的标准设置，其中命中成本是凸的，但在进行预测之前对学习者隐藏。我们修改Ader，一个现有的算法设计的动态遗憾，稍微考虑到切换成本时，测量性能。该算法称为Smoothed Ader算法，在考虑切换代价的情况下，获得了动态后悔的最优$O(\sqrt{T(1+P_T)})$界，其中$P_T$是比较器序列的路径长度.此外，如果击中成本在每轮开始时可达，我们得到了类似的保证，没有有界梯度条件，并建立了一个$Ω(\sqrt{T(1+P_T)})$下界，以确认最优性。
2021-05-18 cs.LG math.OC stat.ML
Beyond Online Balanced Descent: An Optimal Algorithm for Smoothed Online Optimization
California Institute of Technology（加州理工学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们研究在线凸优化的设置，学习者寻求最大限度地减少每轮命中成本和移动成本的总和时，轮之间改变决定。我们证明了一个新的下界的竞争比的任何在线算法的设置成本是$m$ -强凸和移动成本的平方$\ell_2$规范。该下限表明，当$m$趋于零时，没有算法可以实现为$o(m^{-1/2})$的竞争比。没有现有的算法有竞争力的比率匹配这个界限，我们表明，国家的最先进的算法，在线平衡体面（OBD），有一个竞争力的比率是$Ω(m^{-2/3})$。我们还提出了两个新的算法，贪婪OBD（G-OBD）和正则OBD（R-OBD），并证明了这两个算法有一个$O(m^{-1/2})$的竞争比。当命中成本为拟凸且运动成本为平方$\ell_2$范数时，G-OBD的结果成立;而当命中成本为$m$ -强凸且运动成本为Bregman散度时，R-OBD的结果成立。此外，我们表明，R-OBD同时实现恒定的，无量纲的竞争比和次线性后悔时，击中成本是强凸的。
2019-10-21 cs.LG math.OC stat.ML
Online Learning with Composite Loss Functions
Microsoft Research（微软研究院）；University of Chicago（芝加哥大学）；Technion（以色列理工学院）
我们研究一类新的在线学习问题，其中每个在线算法的行动被分配一个对抗值，并且算法在每一步的损失是分配给其最近行动的值的已知和确定性函数。这类问题包括算法的损失是最近对抗值的最小值，最近值的最大值，或最近值的线性组合。我们分析了这类问题在接受强盗反馈时的极大极小遗憾，证明了当使用最小或最大函数时，极大极小遗憾是$\tilde Ω(T^{2/3})$（所谓的硬在线学习问题），而当使用线性函数时，极大极小遗憾是$\tilde O(\sqrt{T})$（所谓的易学习问题）.在此之前，唯一已知的可证明困难的在线学习问题是具有转换成本的多臂强盗问题。
2014-05-18 cs.LG
Mitigating the Length-Scaling Tax with Online Distillation
ByteDance Seed（字节跳动Seed）；Tongji University（同济大学）；Peking University（北京大学）
提出长度自蒸馏（LSD）方法，通过在线策略蒸馏缓解RL后训练中的长度扩展税，在保持性能的同时显著减少简单查询的回答长度，实验显示LST从19.0%降至-3.7%（单轮）和从31.4%降至13.7%（多轮）。
2026-10-01 cs.AI cs.LG
Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning
Stanford University（斯坦福大学）
提出无需重置的微调系统RoboFuME，结合校准离线强化学习与视觉语言模型构建奖励分类器，实现机器人自主在线微调并显著提升目标任务学习效率。
2023-10-23 cs.AI cs.LG cs.RO
Smoothed Online Optimization for Target Tracking: Robust and Learning-Augmented Algorithms
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Akamai Technologies（Akamai技术公司）
本文提出SOOTT框架整合跟踪、扰动和切换成本，并设计鲁棒算法BEST及学习增强变体CoRT，在预测准确时提升性能且保持鲁棒性，通过工作负载调度案例验证了有效性。
2025-09-07 cs.LG cs.SY eess.SY
Agnostic Smoothed Online Regression with Adversarial Responses
University of Michigan（密歇根大学）
针对对抗性响应的平滑在线回归，提出Hedge-Cover算法，实现次线性遗憾并匹配下界，解决开放问题，并量化噪声影响。
2026-09-29 cs.LG math.ST stat.ML
Dynamic Local Regret for Non-convex Online Forecasting
Stevens Institute of Technology（史蒂文斯理工学院）；Amazon（亚马逊）
我们考虑非凸机器学习模型的在线预测问题。预测引入了若干挑战，例如（i）频繁更新对于处理概念漂移问题是必要的，因为环境的动态随时间变化，以及（ii）现有技术的模型是非凸模型。我们用一个新的后悔框架来应对这些挑战。标准的后悔度量通常不考虑动态环境和非凸模型。我们引入了一个局部遗憾的非凸模型在动态环境中。我们提出了一个更新规则招致的成本，根据我们提出的本地遗憾，这是次线性的时间T。我们的更新使用时间平滑梯度。使用真实世界的数据集，我们表明，与最先进的竞争对手相比，我们的时间平滑方法产生了几个好处：结果对新数据更稳定;训练对超参数选择更鲁棒;我们的方法比其他方法计算效率更高。
2019-10-25 cs.LG stat.ML
Distributionally-Constrained Adversaries in Online Learning
Columbia University（哥伦比亚大学）
本文提出分布约束对抗者框架，刻画可学习分布类，并证明对线性分类器等自然函数类，无需先验知识即可同时对抗任意可学习分布类内的对抗者。
2025-06-17 cs.LG math.ST stat.ML
Online Learning: Stochastic and Constrained Adversaries
University of Pennsylvania（宾夕法尼亚大学）；TTIC（丰田理工学院芝加哥分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习理论主要集中在两个主要的学习场景。第一种是经典的统计设置，其中实例是独立同分布的。第二种情况是在线学习，完全对抗性的情况，其中对手在每个时间步都选择最差的实例提供给学习者。可以说，在现实世界中，这两个假设都是不合理的。因此，重要的是要研究问题的一系列假设的数据。不幸的是，在这方面的理论成果是稀缺的，可能是由于缺乏一般的分析工具。专注于遗憾的制定，我们定义了一个游戏的最小最大值的对手在他的动作受到限制。该框架捕捉了对数据的随机和非随机假设。建立在顺序对称化方法，我们定义了一个概念的分布依赖的拉德马赫复杂度的频谱问题，从i.i.d.最坏的情况。这些界限让我们可以立即推导出变分类型的界限。然后我们考虑i.i.d.对手，并显示等价的在线和批量学习。在监督设置中，我们考虑各种混合假设的方式，x和y变量的选择。最后，我们考虑平滑的学习问题，并表明半空间是在线学习的平滑模型。事实上，在对手的决策中加入指数级的小噪声，将这个具有无限Littlestone维数的问题变成了一个可学习的问题。
2011-04-27 cs.GT cs.LG stat.ML
Online Classification with Predictions
本文研究带预测的在线分类，设计一种学习器，其遗憾随预测质量提升而改善且不劣于最坏情况，并证明在预测容易时可达直推式在线学习的性能。
2024-05-22 cs.DS cs.LG stat.ML
Online Optimization with Memory and Competitive Control
Tsinghua University（清华大学）
针对一类新的带记忆的在线优化问题，提出了竞争算法。我们考虑的设置，学习者寻求最小化的命中成本和切换成本，取决于以前的$p$决定的总和。此设置泛化平滑在线凸优化。所提出的方法，乐观正则化在线平衡下降，实现了恒定的，无量纲的竞争比。此外，我们展示了具有记忆的在线优化与具有对抗性干扰的在线控制之间的联系。这种联系，反过来，导致一个新的恒定竞争的政策，丰富的在线控制问题。
2021-01-08 cs.LG cs.SY eess.SY
Learning The Best Expert Efficiently
Trinity College Dublin（都柏林圣三一学院）
我们考虑在线学习问题的目的是实现遗憾，这是有效的意义上说，它是相同的顺序，最低的遗憾K专家。这是一个实质上更强的要求，即相对于最佳专家和标准算法实现$O(\sqrt{n})$或$O(\log n)$遗憾是不够的，即使在可用动作的遗憾彼此非常不同的简单情况下。我们表明，一个特定的懒惰形式的在线次梯度算法可以用来实现最小的遗憾，在一些“容易”的制度，同时保留$O(\sqrt{n})$最坏情况下的遗憾保证。我们还表明，对于某些类别的问题，最小的遗憾策略存在一些剩余的“硬”制度。
2019-11-11 cs.LG stat.ML
Group-wise oracle-efficient algorithms for online multi-group learning
Columbia University（哥伦比亚大学）
针对组族过大无法显式枚举的在线多组学习问题，提出仅通过优化预言机访问组的分组算法，在i.i.d.、平滑对抗及转导对抗等多种设置下实现了次线性预测遗憾。
2025-07-14 cs.GT cs.LG stat.ML
SOL: A Library for Scalable Online Learning Algorithms
Singapore Management University（新加坡管理大学）；University of Science and Technology of China（中国科学技术大学）
SOL是一个可扩展的在线学习算法的开源库，特别适合高维数据的学习。该库为大规模二进制和多类分类任务提供了一系列规则和稀疏的在线学习算法，具有高效率，可扩展性，可移植性和可扩展性。SOL是用C++实现的，并为用户和开发人员提供了一系列易于使用的命令行工具，python包装器和库调用，以及为初学者和高级用户提供的全面文档。SOL不仅是一个实用的机器学习工具箱，也是在线学习研究的综合实验平台。实验表明，SOL是高效和可扩展的大规模机器学习与高维数据。
2016-10-28 cs.LG stat.ML
Making Non-Stochastic Control (Almost) as Easy as Stochastic
UC Berkeley（加州大学伯克利分校）
最近的文献在理解\emph{online LQR}方面取得了很大的进展：现代学习理论对经典控制问题的理解，在经典控制问题中，学习者试图最优地控制具有完全可观察状态的未知线性动力系统，受i.i.d.高斯噪声现在可以理解，时间范围上的最优后悔$T$与最优控制律的比例为$\widetildeΘ(\sqrt{T})$。在本文中，我们证明了即使在更一般的非随机控制模型中也可以达到相同的遗憾率（针对合适的基准），其中系统由\emph{arbitrary adversarial}噪声驱动（Agarwal et al. 2019）。换句话说，就是\emph{stochasticity confers little benefit in online LQR}。我们达到最佳的$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾的动态是未知的学习者，和$\mathrm{poly}(\log T)$遗憾时，已知的，提供的成本函数是强凸的（如在LQR）。我们的算法基于在线牛顿步骤的一种新变体（Hazan et al. 2007），它适应于可能由对抗性干扰引起的几何形状，我们的分析取决于OCO-记忆框架中某些结构性损失的通用“政策遗憾”界限（Anava et al. 2015）。此外，我们的研究结果容纳了非随机控制设置的全部一般性：对抗性选择（可能是非二次）成本，部分状态观测，以及完全…
2020-10-05 cs.LG math.OC stat.ML
Discounted Online Convex Optimization: Uniform Regret Across a Continuous Interval
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出平滑在线梯度下降（SOGD）算法，通过维护多个OGD实例并利用DNP预测器聚合，实现对未知折扣因子的自适应，在连续区间上同时达到统一折扣遗憾界。
2025-05-26 cs.LG stat.ML
Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
Google Research（谷歌研究）
本文提出两种高效方法，通过平滑技术实现自适应矩阵在线学习，解决了传统方法中二次投影的高成本问题，并在非光滑非凸优化中提供收敛保证。
2026-02-09 cs.LG math.OC stat.ML
Data-Dependent Bounds for Online Portfolio Selection Without Lipschitzness and Smoothness
National Taiwan University（国立台湾大学）
该研究首次为非利普希茨、非光滑损失的在线凸优化场景下的在线投资组合选择，提出数据相关的小损失与渐变悔界，设计的算法兼具良好悔速率与计算效率，并给出新型理论分析方法。
2023-11-04 cs.LG math.OC stat.ML
