Improved Complexity for Smooth Nonconvex Optimization: A Two-Level Online Learning Approach with Quasi-Newton Methods
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对仅用梯度信息求光滑非凸函数 $ε$-FOSP 的问题,论文将其转化为双层在线学习并提出乐观拟牛顿算法,在 $d=O(ε^{-1/2})$ 时改进复杂度,并首次证明拟牛顿法有望优于梯度下降型方法。
2024-12-03 cs.LG math.OC stat.ML
Online Planning Algorithms for POMDPs
McGill University(麦吉尔大学);Laval University(拉瓦尔大学)
部分可观测马尔可夫决策过程(POMDPs)为随机域中不确定性下的序贯决策提供了一个丰富的框架。然而,解决POMDP往往是棘手的,除了小问题,由于其复杂性。在这里,我们专注于在线方法,减轻计算复杂性计算良好的本地政策在执行过程中的每个决策步骤。在线算法通常由前瞻搜索组成,以找到在环境中的每个时间步执行的最佳动作。我们在这里的目标是调查现有的各种在线POMDP方法,分析其属性,并讨论其优点和缺点;并彻底评估这些在线方法在不同的环境下的各种指标(返回,误差界减少,下界改进)。我们的实验结果表明,国家的最先进的在线启发式搜索方法可以有效地处理大POMDP域。
2014-01-15 cs.AI
Sample Complexity of Distributionally Robust Off-Dynamics Reinforcement Learning with Online Interaction
Duke University(杜克大学)
本文研究在线交互受限的离动态鲁棒强化学习,提出上确界访问比刻画探索难度,并设计首个计算高效且遗憾次线性的算法,同时证明其最优性并通过实验验证。
2025-11-07 cs.AI cs.LG cs.RO
ZigZag: A new approach to adaptive online learning
Cornell University(康奈尔大学);University of Pennsylvania(宾夕法尼亚大学)
我们开发了一个新的家庭的算法的在线学习设置与遗憾对任何数据序列的经验Rademacher的复杂性,该序列的界限。为了发展一个关于何时可以实现这种类型的自适应遗憾界的一般理论,我们建立了与Banach空间中鞅的解耦不等式理论的联系。当假设类是一组在某个范数下有界的线性函数时,这样的后悔界是可达到的当且仅当范数满足一定的鞅解耦不等式。唐纳德·伯克霍尔德(Donald Burkholder)对解耦不等式的著名几何刻画(1984年)指出,这样的不等式成立当且仅当存在一个特殊的函数,称为伯克霍尔德函数,满足某些限制的非线性性质。我们的在线学习算法在查询这个函数方面是有效的。我们实现我们的一般理论,给出新的有效算法类,包括LP规范,Schatten p-规范,群规范,再生核希尔伯特空间。经验Rademacher复杂性遗憾界限意味着-当用于i.i.d.设置-在线到批处理转换后的过度风险的数据依赖复杂性。为了展示经验Rademacher复杂性遗憾界的力量,我们得到了改进的率与低秩专家任务和在线矩阵预测任务的在线学习的监督学习推广。除了获得严格的数据相关的遗憾界限,我们的算法享有提高效率比以前的技术的基础上Rademacher复杂性,自动工作在无限的地平线设置,是无标度的。为了获得这样的自适应方法,我们引入了新的机械,所得到的算法不是基于在线凸优化的标准工具。
2017-04-13 cs.LG math.OC stat.ML
Online Orthogonal Matching Pursuit
Laboratoire de Mathématiques d’Orsay(奥赛数学实验室);Univ. Paris-Sud(巴黎南大学);Université Paris-Saclay(巴黎萨克雷大学)
特征选择的贪婪算法被广泛用于恢复线性模型中的稀疏高维向量。在经典的过程中,主要的重点放在样本的复杂性,很少或根本没有考虑所需的计算资源。提出了一种新的在线算法:在线正交匹配追踪(OOMP),用于稀疏线性回归随机设计环境下的在线支持度恢复。我们的程序选择功能顺序,交替之间的分配样本只需要候选功能,并优化选定的一组变量,以估计的回归系数。证明了算法输出的理论保证,并分析了算法的计算复杂度。
2021-02-10 cs.LG stat.ML
Optimal and Low-Complexity Dynamic Spectrum Access for RF-Powered Ambient Backscatter System with Online Reinforcement Learning
环境反向散射已被引入用于低功率无线通信的广泛应用。在这篇文章中,我们提出了一个最佳的和低复杂度的动态频谱接入框架的RF供电的环境后向散射系统。在该系统中,次级发射器不仅从环境信号(来自现任用户)中获取能量,而且还将这些信号反向散射到其接收器以进行数据传输。在环境信号动态变化的情况下,首先采用马尔可夫决策过程(MDP)框架,以系统吞吐量最大化为目标,获得次发射机的最优策略。然而,基于MDP的优化需要环境参数的完整知识,例如,信道空闲的概率和成功的分组传输的概率,这可能是不实际获得的。为了应对这种不完整的知识的环境,我们开发了一个低复杂度的在线强化学习算法,允许二次发射机“学习”,从它的决定,然后达到最佳的政策。仿真结果表明,该学习算法不仅能有效地应对环境的动态变化,而且与传统方法相比,平均吞吐量提高了50%,阻塞率和延迟降低了80%.
2018-09-08 cs.AI cs.NI
Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Jilin University(吉林大学)
针对现有成对学习OGD算法仅适用于线性模型、需样本独立假设的问题,提出基于随机样本与移动平均的轻量级核化OGD算法,结合随机傅里叶特征降核计算复杂度,在多场景下性能更优。
2024-02-02 cs.LG
Policy Mirror Descent with Temporal Difference Learning: Sample Complexity under Online Markov Data
Wenye Li(李文悦);Hongxu Chen(陈红旭);Jiacai Liu(刘家才);Ke Wei(魏凯)
本文提出基于时间差学习的策略镜像下降算法,通过自适应步长实现在线马尔可夫数据下的样本复杂性优化。
2025-12-30 cs.LG math.OC
A Neural Network Approach for Online Nonlinear Neyman-Pearson Classification
我们提出了一种新的Neyman-Pearson(NP)分类器,这是第一次在文献中的在线和非线性。该分类器以在线方式对二进制标记的数据流进行操作,并在用户指定且可控的误报率下最大化检测能力。我们的NP分类器是一个单隐层前馈神经网络(SLFN),它是初始化与随机傅立叶特征(RFFs)构建核空间的径向基函数在其隐藏层与正弦激活。RFF的这种使用不仅提供了具有很强的非线性建模能力的出色初始化,而且还以指数方式降低了参数复杂性并使网络紧凑化以减轻过拟合,同时大大提高了处理效率。我们顺序学习SLFN与随机梯度下降更新的基础上的拉格朗日NP目标。因此,我们获得了一个快速的在线自适应和强大的非线性Neyman-Pearson建模。该算法的计算复杂度为O(N),空间复杂度为O(1)空间复杂度(N:数据实例数),适合于大规模数据应用,并具有良好的误报率可控性和实时性。在我们对几个真实数据集进行的大量实验中,我们的算法比竞争对手的最先进技术具有更高的性能,无论是在NP分类目标方面具有可比的计算复杂度和空间复杂度,还是在复杂度显著降低的情况下实现可比的性能。
2020-08-30 cs.LG stat.ML
Nearly Optimal Algorithms with Sublinear Computational Complexity for Online Kernel Regression
Tianjin University(天津大学)
针对在线核回归中遗憾界与计算成本的权衡难题,提出AOGD-ALD和NONS-ALD两种算法,通过动态维护近正交基近似核映射,在次线性复杂度下实现两类近优遗憾界。
2023-06-14 cs.LG stat.ML
A Low Complexity Algorithm with $O(\sqrt{T})$ Regret and $O(1)$ Constraint Violations for Online Convex Optimization with Long Term Constraints
University of Southern California(南加州大学)
研究了复杂约束集上的在线凸优化问题,该约束集通常由多个函数约束和一个集合约束组成。传统的在线投影算法(Zinkevich,2003)可能难以实现,由于投影操作的潜在高计算复杂性。在本文中,我们放宽了功能的限制,允许他们在每一轮被违反,但仍然需要他们在长期内得到满足。这种类型的放松在线凸优化(具有长期约束)首先在Mahdavi等人(2012)中考虑。先前的工作提出了一种算法,以实现$O(\sqrt{T})$遗憾和$O(T^{3/4})$约束违反一般问题和另一种算法,以实现$O(T^{2/3})$界的遗憾和约束违反时,约束集可以被描述为有限数量的线性约束。\citet{Jenatton16ICML}中的最新扩展可以实现$O(T^{\max\{θ,1-θ\}})$遗憾和$O(T^{1-θ/2})$约束违反,其中$θ\in (0,1)$。目前的论文提出了一种新的简单的算法,产生改进的性能相比,以前的作品。新算法实现了一个$O(\sqrt{T})$遗憾界$O(1)$约束违反。
2020-05-18 cs.LG math.OC stat.ML
Online Sub-Sampling for Reinforcement Learning with General Function Approximation
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angles(加利福尼亚大学洛杉矶分校)
本文提出在线子采样框架,通过度量数据点信息增益指导探索,将策略更新次数从Ω(K)降至poly log(K),显著降低通用函数逼近强化学习的计算复杂度。
2023-04-18 cs.AI cs.LG math.OC
Composite Online-to-Nonconvex Conversion with Optimal Oracle Complexity
The University of Tokyo(东京大学);The University of Osaka(大阪大学);RIKEN(理化学研究所)
针对随机非光滑非凸复合优化问题,扩展在线到非凸转换框架,提出新的在线学习器损失,得到的算法在一阶或零阶查询下达到最优神谕复杂度,且凸正则项未增加复杂度。
2026-10-09 cs.LG math.OC stat.ML
Screening for Sparse Online Learning
Institute of Natural Sciences(自然科学研究院);Shanghai Jiao Tong University(上海交通大学);University of Bath(巴斯大学)
稀疏促进正则化器被广泛用于将低复杂度结构(例如,稀疏性的l1范数)强加给监督学习的回归系数。在确定性优化领域中,由迭代算法(如近似梯度下降)生成的序列表现出“有限活性识别”,即它们可以在有限次数的迭代中识别低复杂度结构。然而,大多数在线算法(如近端随机梯度下降)不具有的性质,由于消失的步长和非零的方差。本文结合一个筛选规则,给出了如何剔除在线算法产生的迭代中的无用特征,从而实现有限活动识别。一个结果是,当与任何收敛的在线算法相结合时,可以利用正则化器施加的稀疏性来获得计算增益。在数值上,可以获得显著的加速度。
2022-11-11 cs.LG math.OC
Online Robust Planning under Model Uncertainty: A Sample-Based Approach
本文提出鲁棒稀疏采样(RSS),首个面向鲁棒MDP的在线规划算法,利用样本平均近似高效计算鲁棒值函数,在不确定动力学环境中优于标准稀疏采样。
2025-09-19 cs.AI
Projection-free Distributed Online Learning with Sublinear Communication Complexity
Nanjing University(南京大学);Paradigm Inc.(第四范式公司)
为了解决分布式在线学习中的复杂约束问题,提出了一种无投影的分布式在线条件梯度算法(D-OCG),并给出了凸损失下的$O(T^{3/4})$遗憾界,其中$T$是总轮数.然而,它需要$T$通信轮次,并且不能利用损失的强凸性。本文提出了一种改进的D-OCG,即D-BOCG,它可以达到相同的$O(T^{3/4})$遗憾界只有$O(\sqrt{T})$通信轮凸损失,和一个更好的遗憾界的$O(T^{2/3}(\log T)^{1/3})$与$O(T^{1/3}(\log T)^{2/3})$通信轮的强凸损失.其核心思想是采用延迟更新机制降低通信复杂性,并重新定义D-OCG中的代理损失函数以充分利用D-OCG的强凸性。此外,我们提供了下界证明,$O(\sqrt{T})$通信轮所需的D-BOCG是最佳的(在$T$方面),为实现$O(T^{3/4})$遗憾与凸损失,和$O(T^{1/3}(\log T)^{2/3})$通信轮D-BOCG所需的是近最佳的(在$T$方面),为实现$O(T^{2/3}(\log T)^{1/3})$遗憾与强凸损失的多对数因子。最后,为了处理更具挑战性的bandit设置,其中只有损失值可用,我们将经典的一点梯度估计纳入D-BOCG,并获得类似的理论保证。
2022-06-14 cs.LG stat.ML
Improved Kernel Alignment Regret Bound for Online Kernel Learning
Tianjin University(天津大学)
本文提出改进的在线核学习算法,在Hinge损失下优化核对齐遗憾界,依据特征值衰减率实现更优的遗憾与计算复杂度,并扩展到批量学习提升风险界。
2024-03-13 cs.LG
Near-Optimal Sample Complexity for Online Constrained MDPs
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种基于模型的对偶算法,解决了在线约束马尔可夫决策过程的安全性问题,证明了在允许小规模违规的情况下,算法能以近最优样本复杂度生成安全策略。
2026-02-16 cs.LG stat.ML
Graph-Aided Online Multi-Kernel Learning
University of California, Irvine(加州大学欧文分校)
多核学习(MKL)已广泛应用于函数逼近任务。MKL的关键问题是将内核组合到指定的字典中。字典中包含不相关的核会降低MKL的准确性,并增加计算复杂性。为了提高函数逼近的精度,降低计算复杂性,研究了数据驱动的核函数选择方法.具体地说,基于内核之间的相似性,新的框架构造和细化一个图,以帮助选择一个子集的内核。此外,随机特征近似被用来使连续获得的数据的在线实施。理论分析表明,我们提出的算法享有更严格的次线性遗憾界相比,最先进的基于图的在线MKL替代品。在一些真实数据集上的实验也展示了我们新的图形辅助框架的优势。
2021-02-09 cs.LG
A Computational Separation between Private Learning and Online Learning
Boston University(波士顿大学)
最近的一项工作表明,差异私人PAC学习和在线学习之间的定性等价性:一个概念类是私人学习的,当且仅当它是在线学习有限的错误界。然而,这种等价的两个方向都在样本和计算效率方面造成了重大损失。研究这种联系的一个特殊案例,Gonen,Hazan和Moran(NeurIPS 2019)表明,统一或高度样本效率的纯私人学习者可以高效地编译成在线学习者。我们表明,假设存在的单向函数,这样一个有效的转换是不可能的,即使是一般的纯私人学习多项式样本的复杂性。这解决了Neel,Roth和Wu的问题(FOCS 2019)。
2020-07-11 cs.LG stat.ML
Best of many worlds: Robust model selection for online supervised learning
UC Berkeley(加州大学伯克利分校)
我们介绍了在线,全信息预测的算法,具有竞争力的上下文树专家未知的复杂性,在概率和对抗性设置。我们表明,通过将结构风险最小化的概率框架到现有的自适应算法,我们可以鲁棒地学习不仅存在的随机结构时,它的存在(导致常数,而不是$\mathcal{O}(\sqrt{T})$遗憾),但也正确的模型顺序。因此,我们获得的遗憾界的竞争力与遗憾的最佳算法,拥有强大的边信息的复杂性的最佳上下文树专家和生成数据的过程是否是随机的或对抗性的。这些是第一个建设性的保证,同时适应模型和随机性的存在。
2018-05-22 cs.LG stat.ML
Adaptive Online Learning
Cornell University(康奈尔大学);University of Pennsylvania(宾夕法尼亚大学)
提出了一个在在线学习框架下研究自适应后悔界的一般框架,包括模型选择界和数据依赖界。给定一个依赖于数据或模型的界限,我们会问:“是否存在某种算法可以达到这个界限?“我们表明,对最近引入的顺序复杂性度量的修改可以通过提供实现自适应速率的充分条件来回答这个问题。特别是每个自适应速率诱导一组所谓的偏移复杂度的措施,并获得这些数量的小上限是足以证明可扩展性。我们的分析技术的一个基石是使用单侧尾不等式来约束偏移随机过程的上界。我们的框架恢复和改进了各种各样的自适应边界,包括分位数边界,二阶数据相关边界和小损失边界。此外,我们推导出一种新的类型的自适应范围的谱范数的基础上在线线性优化,以及一个新的在线PAC-Bayes定理,适用于可数无限集。
2020-02-13 cs.LG stat.ML
On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系);Google Research, Mountain View(谷歌研究院(山景城))
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算,即使在非常简单的学习设置中。我们的结果意味着,在弱复杂性理论的假设下,不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
The Crucial Role of Samplers in Online Direct Preference Optimization
IIIS, Tsinghua University(清华大学交叉信息研究院);University of Washington(华盛顿大学)
本文严格分析了不同采样策略对DPO收敛速度的影响,提出在线采样器实现二次收敛,并通过结合后验分布和logit混合在实际设置中改进性能,在Safe-RLHF数据集上比原始DPO高出7.4%以上。
2025-02-02 cs.CL cs.LG
Second-Order Kernel Online Convex Optimization with Adaptive Sketching
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧研究中心)
核在线凸优化(Kernel Online Convex Optimization,KOCO)是一个结合了非参数核模型的表达能力和在线学习的后悔保证的框架。一阶KOCO方法,如函数梯度下降,每次迭代只需要$\mathcal{O}(t)$时间和空间,并且,当损失的唯一信息是它们的凸性时,实现极小极大最优$\mathcal{O}(\sqrt{T})$遗憾。尽管如此,核问题中的许多常见损失,如平方损失、逻辑损失和平方铰链损失,都具有可以利用的更强的曲率。在这种情况下,二阶KOCO方法实现了$\mathcal{O}(\log(\text{Det}(\boldsymbol{K})))$遗憾,我们将其显示为$\mathcal{O}(d_{\text{eff}}\log T)$,其中$d_{\text{eff}}$是问题的有效维度,通常远小于$\mathcal{O}(\sqrt{T})$。二阶方法的主要缺点是其高得多的$\mathcal{O}(t^2)$空间和时间复杂度。在本文中,我们介绍了核在线牛顿步骤(KONS),一个新的二阶KOCO方法,也实现了$\mathcal{O}(d_{\text{eff}}\log T)$遗憾。为了解决二阶方法的计算复杂性,我们引入了一个新的矩阵素描算法的核心矩阵$\boldsymbol{K}_t$,并表明,对于一个选定的参数$γ\leq 1$,我们的素描KONS减…
2017-06-15 cs.LG stat.ML
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science(印度科学学院)
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外,所提出的随机优化算法表现出良好的收敛速度,最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Efficient Online Linear Optimization with Approximation Algorithms
Technion - Israel Institute of Technology(以色列理工学院)
我们重新审视问题的\textit{online linear optimization}的情况下,一组可行的行动是通过一个近似的线性优化预言与因子$α$乘法近似保证。这种设置是特别有趣的,因为它捕获了自然的在线扩展的研究\textit{offline}线性优化问题,这是NP难,但承认有效的近似算法。这里的目标是最小化$α$ \textit{-regret},它是\textit{online learning}中标准\textit{regret}对此设置的自然扩展。我们提出了新的算法,显着提高了甲骨文的复杂性,为充分的信息和土匪的变种的问题。主要是,对于这两种变体,我们提出了$α$ -遗憾界的$O(T^{-1/3})$,$T$是预测轮数,平均每次迭代仅使用$O(\log{T})$调用近似oracle。这些是第一个结果,以获得平均预言复杂性的$O(\log{T})$(或甚至多对数的$T$)和$α$ -遗憾界$O(T^{-c})$为一个常数$c>0$,为两个变种。
2017-09-10 cs.LG math.OC
Normalized Online Learning
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Microsoft Research(微软研究院)
我们引入独立于特征尺度的在线学习算法,证明遗憾界依赖于数据中存在的尺度比而不是绝对尺度。这有几个有用的效果:不需要预归一化数据,测试时间和测试空间复杂度降低,算法更健壮。
2014-08-09 cs.LG stat.ML
Normalized Online Learning
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Microsoft Research(微软研究院)
我们引入独立于特征尺度的在线学习算法,证明遗憾界依赖于数据中存在的尺度比而不是绝对尺度。这有几个有用的效果:不需要预归一化数据,测试时间和测试空间复杂度降低,算法更健壮。
2013-05-28 cs.LG stat.ML
The Sample Complexity of Approximate Rejection Sampling with Applications to Smoothed Online Learning
MIT(麻省理工学院)
本文刻画了在有界 f-散度条件下近似拒绝采样的最优样本复杂度,并将其应用于放宽对手约束的平滑在线学习场景,同时比较了重要性采样与拒绝采样的效果。
2024-02-23 cs.LG stat.ML
Disagreement-based Active Learning in Online Settings
Cornell University(康奈尔大学)
我们研究在线主动学习分类流实例的统计学习理论的框架内。每次,学习器要么查询当前实例的标签,要么根据过去看到的示例预测标签。我们的目标是最小化查询的数量,同时限制预测错误的数量超过长度$T$的地平线。我们开发了一个基于分歧的在线学习算法的一般假设空间和Tsybakov噪声下。我们表明,该算法有一个标签的复杂度为$O(dT^{\frac{2-2α}{2-α}}\log^2 T)$的约束下有界遗憾的分类错误,其中$d$是VC维的假设空间和$α$是Tsybakov噪声参数。我们进一步建立了一个匹配(多对数因子)下界,证明了该算法的顺序最优性。我们解决标签的复杂性和遗憾之间的权衡,并表明该算法可以修改操作在权衡曲线上的不同点。
2020-11-16 cs.LG stat.ML
Learning in Structured Stackelberg Games
Carnegie Mellon University(卡内基梅隆大学);University of California(加州大学)
本文研究了结构化Stackelberg游戏,提出Stackelberg-Littlestone维度以优化在线学习算法,并在分布设定中提供样本复杂度的上下界。
2026-09-22 cs.GT cs.LG
Online Learning and Information Exponents: On The Importance of Batch size, and Time/Complexity Tradeoffs
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);École Normale Supérieure - PSL(巴黎高等师范学院-PSL大学);CNRS(法国国家科学研究中心)
本文研究批量大小对两层神经网络单遍 SGD 训练时间的影响,刻画了基于信息指数的最优批量大小,并提出相关损失 SGD 突破大批量限制,用低维 ODE 系统刻画训练动态并通过实验验证。
2024-06-04 cs.LG stat.ML
Stochastic Approximation for Online Tensorial Independent Component Analysis
University of California, Berkeley(加州大学伯克利分校)
独立分量分析(ICA)是统计机器学习和信号处理领域的一种常用降维工具。在本文中,我们提出了一个在线张量ICA算法的收敛性分析,通过查看问题作为一个非凸随机逼近问题。对于估计一个组件,我们提供了一个基于动力学的分析,以证明我们的在线张量ICA算法与特定的步长选择实现了尖锐的有限样本误差界。特别地,在对数据生成分布和缩放条件的温和假设下,使得$d^4/T$足够小直到数据维度$d$和样本大小$T$的多对数因子,可以获得$\tilde{O}(\sqrt{d/T})$的尖锐有限样本误差界。
2021-07-29 cs.LG math.OC stat.ML
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University(波士顿大学);Google Research(谷歌研究)
本文提出新算法,通过将非光滑非凸优化归约为在线学习,将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1}),并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Online Lewis Weight Sampling
Carnegie Mellon University(卡内基梅隆大学)
Cohen和Peng的开创性工作将Lewis加权抽样引入了理论计算机科学界,产生了快速行抽样算法,用于近似$\ell_p$的$d$维子空间,误差高达$(1+ε)$。一些作品已经将这个重要的原语扩展到其他设置,包括在线coreset和滑动窗口模型。但是,这些结果仅适用于$p\in\{1,2\}$,而$p=1$的结果需要次优的$\tilde O(d^2/ε^2)$样本。在这项工作中,我们设计了第一个接近最佳的$\ell_p$子空间嵌入的所有$p\in(0,\infty)$在线coreset和滑动窗口模型。在这两个模型中,我们的算法存储$\tilde O(d^{1\lor(p/2)}/ε^2)$行。这回答了[BDMMUWZ 2020]的主要开放问题的实质性推广,并给出了所有$p\notin\{1,2\}$的第一个结果。对于我们的结果,我们给出了第一次分析的“一次出手”的刘易斯重量抽样的抽样行的比例,其刘易斯重量,与样本复杂度$\tilde O(d^{p/2}/ε^2)$的$p>2$。以前,该方案仅已知具有样本复杂度$\tilde O(d^{p/2}/ε^5)$,而如果使用更复杂的递归采样,则已知$\tilde O(d^{p/2}/ε^2)$。递归抽样不能在线实现,因此需要分析一次刘易斯加权抽样。我们的分析使用了一个新的连接到在线数值线性代数。作为应用,我们获得了第一个单遍流coreset…
2022-12-17 cs.DS cs.LG stat.ML
Majorizing Measures, Sequential Complexities, and Online Learning
MIT(麻省理工学院)
我们介绍了一般的链接和优化措施,控制顺序拉德马赫复杂度的技术。我们与占优势的措施,分数覆盖数的概念,我们表明,占主导地位的顺序尺度敏感的尺寸在一个水平独立的方式,并在额外的复杂性假设下,建立一个严格的控制最坏情况下的顺序拉德马赫复杂度的顺序尺度敏感的尺寸的积分。最后,我们建立了最坏情况序列拉德马赫复杂度的紧压缩不等式。上述内容解决了将经验过程的经典理论扩展到序列情况中的一些悬而未决的问题,并反过来为在线学习建立了尖锐的结果。
2021-02-02 cs.LG stat.ML
Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning
Google(谷歌);Purdue University(普渡大学)
理论结果表明,贝叶斯方法可以实现在线逻辑回归的遗憾下界。然而,在实践中,这种技术可能不可行,特别是对于非常大的特征集。对于巨大的稀疏特征集,必须使用各种近似,从而减少理论上的优势。通常,他们应用随机梯度方法,超参数必须根据一些替代损失进行调整,从而击败贝叶斯方法的理论优势。替代损失,定义为近似的混合,需要的技术,如蒙特卡罗抽样,增加每个例子的计算。我们提出了低复杂度的分析近似稀疏在线逻辑和概率回归。与变分推理和其他方法不同,我们的方法使用解析闭合形式,大大降低了计算量。与密集的解决方案不同,作为高斯混合,我们的方法允许具有巨大特征集的稀疏问题,而不会增加复杂性。使用解析闭合形式,也不需要对代理损失应用随机梯度方法,也不需要调整和平衡学习和正则化超参数。经验结果顶部的性能更涉及计算的方法。像这样的方法,我们的方法仍然揭示每个功能和每个例子的不确定性措施。
2021-01-28 cs.LG stat.ML
Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
我们研究了在线不安分的强盗问题,其中每个手臂的状态根据马尔可夫链演变,并且拉动手臂的奖励取决于被拉动的手臂和对应的马尔可夫链的当前状态。在本文中,我们提出了Restless-UCB,这是一种遵循探索然后提交框架的学习策略。在Restless-UCB中,我们提出了一种新的方法来构造离线实例,它只需要$O(N)$时间复杂度($N$是手臂的数量),并指数优于现有的学习策略的复杂度。我们还证明了Restless-UCB达到了$\tilde{O}((N+M^3)T^{2\over 3})$的后悔上界,其中$M$是马尔可夫链状态空间大小,$T$是时间范围。与现有的算法相比,我们的结果消除了指数因子(在$M,N$)的遗憾上限,由于一个新的开发的稀疏性一般不安土匪问题的过渡。因此,我们的分析技术也可以采用收紧现有算法的遗憾界。最后,我们进行实验的基础上,真实世界的数据集,比较的Restless-UCB政策与国家的最先进的基准。实验结果表明,Restless-UCB算法在后悔方面优于现有算法,并显著减少了运行时间。
2020-11-06 cs.LG
Low-Complexity Nonparametric Bayesian Online Prediction with Universal Guarantees
Amadeus SAS(艾玛迪斯公司);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所)
我们提出了一种新的非参数在线预测的离散标签条件下的多变量连续功能。该预测器基于由具有随机选择的方向和递归贝叶斯分布的完整k-d树引起的特征空间离散化,其允许自动学习表征条件分布的最相关特征尺度。我们证明了它的逐点普适性,即,它实现了标准化的对数损失性能,其渐近地与给定特征的标签的真实条件熵一样好。处理第$n$个样本点的时间复杂度是相对于生成数据点的分布的概率的$O(\log n)$,而其他精确的非参数方法需要处理所有过去的观测。在具有挑战性的数据集上的实验表明,与标准和最先进的方法相比,我们的算法的计算和统计效率。
2020-01-31 cs.IT cs.LG math.IT
An Online Gradient-Based Caching Policy with Logarithmic Complexity and Regret Guarantees
University of Verona(维罗纳大学);Inria(法国国家信息与自动化研究所)
针对具有遗憾保证的在线缓存策略计算复杂度过高的问题,本文提出一种相对目录规模为对数复杂度的基于梯度的新变体,并在百万级请求与项目的真实轨迹上验证其实用收益。
2024-06-17 cs.LG cs.NI cs.OS
Online Deterministic Annealing for Classification and Clustering
University of Maryland(马里兰大学)
提出一种在线无梯度原型学习算法,通过退火过程避免局部最优、增强鲁棒性并渐进增加模型复杂度,实现分类与聚类,且需极少超参数调优,并揭示Bregman散度的核心作用。
2022-01-10 cs.LG
Finite Littlestone Dimension Implies Finite Information Complexity
EPFL(洛桑联邦理工学院)
我们证明了Littlestone维数为$d$的函数的每一个在线学习类都有一个有限信息复杂度的学习算法。为此,我们使用全局稳定算法的概念。一般来说,这种全局稳定算法的信息复杂度是大而有限的,在$d$中大致是指数的。我们还表明,有改进的余地,对于一个规范的在线学习类,指标功能的仿射子空间的尺寸$d$,信息的复杂性可以上界数学$d$。
2022-06-27 cs.IT cs.LG math.IT
Online, Informative MCMC Thinning with Kernelized Stein Discrepancy
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Supply Chain Optimization Technologies(亚马逊供应链优化技术部门)
贝叶斯推理中的一个基本挑战是目标分布的有效表示。许多非参数方法通过使用马尔可夫链蒙特卡罗(MCMC)的变体对大量点进行采样来实现。我们提出了一个MCMC变体,它只保留那些超过KSD阈值的后验样本,我们称之为KSD细化。我们建立的收敛性和复杂性权衡的几个设置KSD细化KSD阈值参数,样本大小,和其他问题的参数的函数。最后,我们提供了对其他在线非参数贝叶斯方法,生成低复杂性的后验表示,并观察优越的一致性/复杂性权衡实验比较。代码可在github.com/colehawkins/KSD-Thinning上获得。
2022-04-21 cs.LG stat.ML
Online Complexity Estimation for Repetitive Scenario Design
ICTEAM, UCLouvain(ICTEAM,UCLouvain)
针对需反复求解、可调整样本量控制风险的重复场景设计问题,提出基于过往数据实时学习风险概率密度函数以快速得到最优样本量的方法,证明其在固定复杂度问题上的收敛性并在多类难题中验证了效率。
2025-09-05 cs.LG math.OC
From Static Constraints to Dynamic Adaptation: Sample-Level Constraint Relaxation for Offline-to-Online Reinforcement Learning
Department of Computer Science, Florida State University, Tallahassee, FL, USA(佛罗里达州立大学计算机科学系)
本文提出DARE框架,通过行为一致性实现样本级约束放松,解决了离线到在线强化学习中保留离线保守性与适应在线反馈之间的挑战,改进了细调稳定性并优于现有基线。
2026-05-17 cs.LG
Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck
U.S. Army Research Laboratory(美国陆军研究实验室);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
高斯过程为广泛应用于科学和工程的非线性非参数贝叶斯推断提供了一个框架。不幸的是,它们的计算负担与训练样本量成立方比例,在样本永久到达的情况下,训练样本量接近无穷大。这个问题需要近似用于流数据,迄今为止大多缺乏收敛保证。因此,我们开发了第一个在线高斯过程近似,它保持了对总体后验的收敛,即,渐近后验一致性,同时改善其棘手的复杂性增长与样本量。我们提出了一个在线压缩方案,每个后验更新后,修复一个错误的邻居相对于Hellinger度量集中在当前的后验,和greatlesses抛出过去的内核字典元素,直到它的边界被击中。我们称之为吝啬的在线高斯过程(POG)的方法。为了减小误差半径,精确的渐近一致性被保持(定理1(i)),代价是极限中的无限记忆。另一方面,对于恒定的误差半径,POG收敛到人口后验的邻域(定理1(ii)),但在最坏的情况下,由特征空间的度量熵确定的有限记忆(定理2)。几个非线性回归问题的实验结果,阐明了这种方法的优点相比,固定的子空间维度定义的历史,过去的点的替代品。
2021-07-15 cs.LG math.ST stat.ML
Scheduling to Learn In An Unsupervised Online Streaming Model
TIFR, Mumbai(孟买塔塔基础研究院);IIT-Bombay(印度理工学院孟买分校)
一个无监督的在线流模型被认为是在$T$插槽的样本到达在线的方式。存在$M$分类器,其混淆矩阵先验未知。在每个槽中,最多一个样本可以由任何分类器标记。样本的准确性是从各种分类器中为其获得的标签集的函数。样本的效用是其精度减去响应时间(离开时隙和到达时隙的差)的标量倍数,其中离开时隙也由算法决定。由于每个分类器每个时隙最多可以标记一个样本,因此在为特定样本获得更大的标签集合以提高其准确性与其响应时间之间存在折衷。最大化所有样本的效用之和的问题被认为是,学习混淆矩阵,样本分类器匹配分配,和样本离开槽决定相互依赖。该算法首先学习混淆矩阵,然后使用贪心算法进行样本分类器匹配。一旦样本的增量效用变为非正,样本就会离开。我们证明了该算法的竞争比是$\frac{1}{2}-{\mathcal O}\left(\frac{\log T}{T}\right)$。
2021-12-02 cs.LG
Efficient RLVR Scheduling via Graph-Structured Online Difficulty Estimation
该研究针对RLVR中探索预算分配低效问题,提出即插即用的图结构在线难度估计器,可跨样本共享反馈、缓解冷启动与过时问题,集成后实现难度自适应探索,在多模型与基准上性能更优。
2026-08-19 cs.AI cs.CL cs.LG
Regret and Sample Complexity of Online Q-Learning via Concentration of Stochastic Approximation with Time-Inhomogeneous Markov Chains
MBZUAI, UAE(MBZUAI, 阿拉伯联合酋长国);Stanford University, USA(斯坦福大学, 美国);EPITA, France(EPITA, 法国);Indian Institute of Technology Bombay, India(印度班加罗尔理工学院, 印度)
本文首次为无限时间折扣马尔可夫决策过程中的经典在线Q学习提供了后悔界,不依赖乐观或奖励项。通过分析退火Q学习并结合平滑ε_n-贪心探索方案,证明了近似O(N^{9/10})的后悔界,并获得样本复杂性保证。
2026-05-15 cs.LG stat.ML
Instance-Dependent Near-Optimal Policy Identification in Linear MDPs via Online Experiment Design
University of Washington(华盛顿大学)
本研究针对线性函数逼近强化学习场景,提出基于在线实验设计的\textsc{Pedel}算法,首次实现该领域细粒度的依赖实例近最优策略学习复杂度度量,可针对不同实例自适应提升学习效率。
2023-07-20 cs.LG stat.ML
Regret-Oracle Complexity Tradeoffs in Agnostic Online Learning
Institute for Data, Econometrics, Algorithms, and Learning (IDEAL)(数据、计量经济学、算法和学习研究所);Department of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出一种动态的无偏到可实现的减少方法,通过弱一致性 oracle 实现更优的 oracle 复杂度,将查询复杂度降低至 O(T^{d_VC+1}) 并保持最优预期遗憾。
2026-05-08 cs.LG
Non-Asymptotic Best Policy Identification Guarantees in Online Reinforcement Learning
Imperial College London(伦敦帝国学院);Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
研究在线表格强化学习中的最优策略识别问题,通过为导航与停止(NaS)算法提供非渐近样本复杂度保证,揭示其样本复杂度不仅依赖特征时间,还与MDP连通性等有关,填补了相关空白。
2026-07-21 cs.LG stat.ML
Learning with Comparison Feedback: Online Estimation of Sample Statistics
Cornell University(康奈尔大学)
我们研究了一个在线版本的嘈杂的二进制搜索问题,反馈是由一个非随机对手,而不是随机噪声干扰。我们将其重新定义为在一个模型中保持对对抗整数序列$x_1, x_2, \dots$的中位数的准确估计,在该模型中,每个数字$x_t$只能通过${1(x_t \leq q_t)}$形式的单个阈值查询来访问。在这个在线比较反馈模型中,我们探索了一般样本统计量的估计,为中值、CDF和均值估计提供了鲁棒的算法,其下界几乎匹配。我们得出结论与几个高维的推广。
2021-01-11 cs.DS cs.LG