Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science(印度科学学院)
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外,所提出的随机优化算法表现出良好的收敛速度,最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Online Learning, Stability, and Stochastic Gradient Descent
Massachusetts Institute of Technology(麻省理工学院)
在批处理学习中,稳定性以及解的存在性和唯一性对应于经验风险最小化(ERM)方法的适定性;最近,证明了CV_loo稳定性对于ERM的推广性和一致性是必要和充分的。在本文中,我们介绍CV_on稳定性,它在在线学习中起着类似的作用。我们证明了在通常的假设下随机梯度下降(SDG)是CV_on稳定的,并讨论了CV_on稳定性对SGD收敛性的影响.
2011-09-08 cs.LG
Online Stochastic Linear Optimization under One-bit Feedback
Nanjing University(南京大学);the University of Iowa(爱荷华大学);Michigan State University(密歇根州立大学)
在本文中,我们研究了在线随机线性优化的一个特殊的强盗设置,其中只有一位的信息是在每一轮透露给学习者。这个问题已经在很多领域得到应用,包括在线广告和在线推荐。我们假设二进制反馈是一个随机变量产生的logit模型,并以最小化的遗憾所定义的未知线性函数。虽然现有的广义线性强盗的方法可以应用到我们的问题,高的计算成本使其不切实际的现实世界的问题。为了解决这个问题,我们开发了一个有效的在线学习算法,利用特定的结构的观察模型。具体地说,我们采用在线牛顿步骤来估计未知参数,并推导出一个紧的置信区域的基础上的指数的逻辑损失。分析表明,该算法达到了$O(d\sqrt{T})$的遗憾界,与随机线性强盗的最优解相匹配.
2015-09-25 cs.LG
Combining Adversarial Guarantees and Stochastic Fast Rates in Online Learning
Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所);Leiden University(莱顿大学)
我们考虑在线学习算法,保证最坏情况下的后悔率在对抗性的环境(因此,他们可以安全地部署,并将执行鲁棒性),但最佳地适应有利的随机环境(因此,他们将在各种实际重要性的设置表现良好)。我们通过著名的伯恩斯坦(a.k.a.广义Tsybakov边限)条件。对于最近的两个算法(眯着眼睛的对冲设置和MetaGrad的在线凸优化),我们表明,他们的数据依赖的个人序列的遗憾保证的特定形式意味着他们自动适应随机环境的伯恩斯坦参数。我们证明,这些算法在各自的设置中达到快速的速度都在预期和高概率。
2016-05-20 cs.LG
Seller-side Outcome Fairness in Online Marketplaces
University of Washington(华盛顿大学);Walmart Global Tech(沃尔玛全球技术)
针对电商平台卖家曝光不均问题,本文定义卖方结果公平性,构建奖励与公平平衡优化模型,并提出基于对偶和 bandit 理论的梯度数据驱动算法,在真实数据上提升公平性且不损害 GMV 与购买量。
2023-12-06 cs.LG math.OC
Stochastic Online Convex Optimization. Application to probabilistic time series forecasting
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文构建随机在线凸优化框架,证明在线牛顿步与 Bernstein online aggregation 在无界随机设定下达到已知最优遗憾速率,并用于校准非平稳次高斯时间序列的概率预测器。
2023-04-21 cs.LG math.ST stat.TH
Stochastic Online Learning with Feedback Graphs: Finite-Time and Asymptotic Optimality
Google Research(谷歌研究院);Courant Institute(库朗研究所)
我们重新审视随机在线学习与反馈图的问题,设计的目标是最佳的算法,常数,渐近和在有限的时间。我们发现,令人惊讶的是,最佳有限时间后悔的概念是不是一个唯一定义的属性在这种情况下,在一般情况下,它是解耦的渐近速率。我们讨论替代选择,并提出了有限时间最优性的概念,我们认为是\emph{meaningful}。对于这一概念,我们给出了一个算法,承认准最优后悔在有限时间和渐近。
2022-06-20 cs.LG
Predicting clicks in online display advertising with latent features and side-information
Adform Aps(Adform公司)
我们回顾了一种基于Menon等人的工作的点击率预测方法。[11],该方法将协同过滤和矩阵分解与边信息模型相结合,并将输出融合到[0,1]中的适当概率。此外,我们还提供了其他地方没有的建模和实验部分的细节。我们在点击率预测设置中连续几天的几个测试数据集上严格测试性能,以反映真实世界管道的方式。我们的研究结果证实,性能可以提高使用潜在的功能,虽然在措施的差异很小,但显着。
2014-11-28 cs.LG stat.AP stat.ML
Dynamic Matching Bandit For Two-Sided Online Markets
University of California Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
针对双边在线市场中偏好随上下文动态变化的问题,提出动态匹配赌博机算法,通过在线估计偏好排序实现智能体最优稳定匹配,并证明对数遗憾界,实验验证其鲁棒性与实用性。
2024-05-29 cs.GT cs.LG cs.MA
Stochastic Online Linear Regression: the Forward Algorithm to Replace Ridge
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Criteo(Criteo公司);ENSAE(法国国立统计与经济管理学院);ENS PARIS-SACLAY(巴黎萨克雷高等师范学院)
我们考虑随机环境下的在线线性回归问题。我们推导了在线岭回归和前向算法的高概率后悔界。这使我们能够更准确地比较在线回归算法,并消除有界观测和预测的假设。我们的研究主张使用前向算法代替岭,由于其增强的边界和鲁棒性的正则化参数。此外,我们解释了如何将其集成到算法中,涉及线性函数逼近,以消除有界性假设,而不恶化理论界。我们展示了这种修改在线性强盗设置,它产生改进的遗憾界限。最后,我们提供了数值实验来说明我们的结果和支持我们的直觉。
2021-11-02 cs.LG
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain(谷歌大脑)
我们描述了一个框架,推导和分析在线优化算法,包括自适应,数据相关的正则化,也称为预处理。这样的算法已被证明是有用的随机优化,根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献,包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此,我们获得了新的收敛性证明,这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Distributionally Time-Varying Online Stochastic Optimization under Polyak-Łojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
The Australian National University(澳大利亚国立大学);The University of Melbourne(墨尔本大学)
本文在 Polyak-Łojasiewicz 条件下研究分布时变的在线随机优化问题,利用 Wasserstein 距离度量分布漂移,建立在线随机梯度下降及近端梯度下降的动态遗憾界,并将其应用于条件风险价值统计学习问题。
2023-09-18 cs.LG math.OC
Online Identification of Stochastic Continuous-Time Wiener Models Using Sampled Data
Swiss Federal Institute of Technology (ETH Zürich)(瑞士联邦理工学院(苏黎世联邦理工学院));Inspire AG(因斯派尔股份有限公司)
针对随机Wiener模型辨识中忽略扰动致估计有偏、似然类方法对分布假设敏感且复杂度高的问题,提出一种基于输出误差预测器的递推在线估计算法,通过随机逼近实现连续时间随机Wiener模型辨识,适用于通用参数化且对扰动频谱假设鲁棒。
2024-03-09 cs.LG cs.SY eess.SP
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST(韩国科学技术院);The University of Sydney(悉尼大学)
针对具有随机约束的在线凸优化问题,本文提出了一种通用的在线原始-对偶无投影框架,并推导出多种设定下的次线性遗憾与约束违背界,在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Randomized Block Coordinate Descent for Online and Stochastic Optimization
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
两种类型的低成本每次迭代梯度下降方法已被广泛研究并行。一种是在线或随机梯度下降(OGD/SGD),另一种是随机坐标下降(RBCD)。在本文中,我们结合这两种类型的方法在一起,提出了在线随机块坐标下降(ORBCD)。在每次迭代中,ORBCD只计算一个小批量样本的一个块坐标的部分梯度。ORBCD非常适合于复合最小化问题,其中一个函数是大量样本损失的平均值,另一个是定义在高维变量上的简单正则化子。我们证明了ORBCD的迭代复杂度与OGD或SGD具有相同的数量级。对于强凸函数,通过降低随机梯度的方差,证明了ORBCD可以以几何速度收敛,与方差降低的SGD和RBCD的收敛速度相当.
2014-07-26 cs.LG
Average performance analysis of the stochastic gradient method for online PCA
National Physical Laboratory(国家物理实验室);FEMTO-ST Institute(FEMTO-ST研究所);Université de Bourgogne Franche-Comté(勃艮第弗朗什-孔泰大学)
本文研究了随机梯度PCA算法的复杂性时,数据是在流设置观察。我们还提出了一个在线的方法来选择学习率。仿真实验证实了平原随机梯度方法的实际相关性,并通过学习学习率可以实现大幅改善。
2018-04-03 cs.LG math.ST stat.ML
Online Stochastic Optimization with Multiple Objectives
Michigan State University(密歇根州立大学);GE Global Research(通用电气全球研究中心)
在本文中,我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法,达到了$O(T^{-1/3})$收敛速度。然后,利用约束优化中的拉格朗日理论,设计了一种新的原始-对偶随机近似算法,该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在许多领域,如物理科学,生命科学和金融,控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中,我们制定了控制随机偏微分方程(SPDE)的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法,利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能,描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Offline Local Search for Online Stochastic Bandits
Boston University(波士顿大学);University of Houston(休斯顿大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种将离线局部搜索算法转化为在线随机组合老虎机算法的方法,实现O(log^3 T)的近似遗憾,优于现有方法的多项式依赖T的遗憾。
2026-04-10 cs.LG
Online Covariance Matrix Estimation in Stochastic Gradient Descent
University of Chicago(芝加哥大学);New York University(纽约大学)
随机梯度下降(SGD)算法被广泛应用于参数估计,特别是大数据集和在线学习。虽然这种递归算法是流行的计算和内存效率,量化的可变性和随机性的解决方案很少被研究。本文旨在在线环境下对基于SGD的估计值进行统计推断。特别是,我们提出了一个完全在线估计协方差阵的平均SGD迭代(ASGD)只使用从SGD迭代。我们正式建立我们的在线估计的一致性,并表明收敛速度与离线同行。基于ASGD的经典渐近正态性结果,构造了模型参数的渐近有效置信区间。在接收到新的观测值后,我们可以快速更新协方差阵估计值和置信区间。这种方法适合在线设置,并充分利用SGD:计算和内存效率。
2021-06-22 cs.LG stat.ML
Online Learning with Gaussian Payoffs and Side Observations
University of Alberta(阿尔伯塔大学);Imperial College London(帝国理工学院)
我们考虑一个具有高斯收益和边信息的序列学习问题:在选择一个动作$i$之后,学习者接收关于每个动作$j$的收益的信息,这些收益以高斯观测的形式表示,其均值与均值收益相同,但方差取决于对$(i,j)$(并且可能是无限的)。该设置允许从一个动作到另一个动作的更精细的信息传输比以前的部分监测设置,包括最近引入的图形结构的反馈情况。在文献中的第一次,我们提供了非渐近的问题依赖于任何算法的遗憾,恢复现有的渐近问题依赖于下界和有限时间极大极小下界在文献中。我们还提供了算法,实现问题相关的下限(一些通用的常数因子)或极大极小下限(对数因子)。
2015-10-27 cs.LG stat.ML
Online Reinforcement Learning in Stochastic Games
我们研究了平均奖励随机博弈中的在线强化学习。SG在马尔可夫环境中对两人零和博弈进行建模,其中状态转换和一步支付由学习者和对手同时确定。我们提出了UCSG算法,实现了一个次线性的遗憾相比,与任意对手竞争时的游戏值。该结果改进了相同设置下的先前结果。遗憾边界依赖于直径,这是一个内在的价值有关的混合性质的SGs。如果我们让对手对学习者采取乐观的最佳对策,UCSG会找到样本复杂度为$\tilde{\mathcal{O}}\left(\text{poly}(1/\varepsilon)\right)$的$\varepsilon$ -maximin平稳策略,其中$\varepsilon$是最佳策略的差距。
2017-12-02 cs.LG
Tracking Performance of Online Stochastic Learners
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
该研究建立平稳假设下在线随机学习器的稳态性能与随机游走模型下跟踪性能的关联,可直接从稳态表达式推断跟踪性能,为大规模漂移场景下的算法性能分析提供新方法。
2020-04-04 cs.LG cs.MA eess.SP
Online and stochastic Douglas-Rachford splitting method for large scale machine learning
Fujitsu Research & Development Center(富士通研究开发中心)
本文提出在线和随机Douglas-Rachford分裂方法,用于大规模优化问题,证明其在在线和随机设置下的收敛性,并通过实验验证其有效性。
2016-12-21 cs.LG cs.NA math.NA
Learning-Augmented Online Bidding in Stochastic Settings
CNRS and International Laboratory on Learning Systems, Montreal, Canada(法国国家科学研究中心和学习系统国际实验室,加拿大蒙特利尔);Université Grenoble Alpes, CNRS, INRIA, Grenoble INP, LIG, Grenoble, France(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,法国国家信息与自动化研究所,格勒诺布尔INP,格勒诺布尔理工大学,法国)
该研究针对结合随机性的学习增强场景下的在线竞价问题,分别探究分布预测下的帕累托最优竞价算法,以及随机竞价算法的能力与局限,弥补了过往研究对随机信息和随机算法关注不足的问题。
2025-10-29 cs.GT cs.LG
Deep Online Learning with Stochastic Constraints
Technion - Israel Institute of Technology(以色列理工学院)
深度学习模型在许多离线机器学习任务中被认为是最先进的。然而,开发的许多技术不适合在线学习任务。当需要同时考虑多个损失函数时,将深度学习模型用于序列数据的问题变得更加困难,正如在许多现实世界的应用中一样。因此,在本文中,我们提出了一种新的在线深度学习训练过程,无论神经网络的架构如何,都可以使用该过程,旨在处理多目标情况。我们证明了我们的算法在几个基准数据集上的Neyman-Pearson分类问题的有效性。
2019-05-26 cs.LG stat.ML
DeepAuditor: Distributed Online Intrusion Detection System for IoT devices via Power Side-channel Auditing
William & Mary(威廉与玛丽学院);Old Dominion University(欧道明大学)
随着物联网设备数量的迅速增加,物联网僵尸网络已经利用了物联网设备的漏洞。然而,在大规模攻击之前检测物联网设备上的初始入侵仍然具有挑战性。最近的研究利用电源侧信道信息来识别物联网设备上的这种入侵行为,但仍然缺乏用于无处不在的僵尸网络检测的实时准确模型。我们提出了第一个在线入侵检测系统,称为DeepAuditor,用于通过电源审计的物联网设备。为了开发实时系统,我们提出了一个轻量级的电力审计设备称为电力审计。我们还设计了一个分布式CNN分类器,用于实验室环境中的在线推理。为了防止数据泄漏和减少网络冗余,我们提出了一个隐私保护的推理协议,通过压缩同态加密和滑动窗口协议在我们的系统。的分类精度和处理时间进行了测量,所提出的分类器优于基线分类器,特别是对看不见的模式。我们还证明了分布式CNN设计对任何分布式组件都是安全的。总的来说,这些测量结果表明了我们的实时分布式系统在物联网设备上进行入侵检测的可行性。
2022-05-10 cs.CR cs.LG
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
University of British Columbia(不列颠哥伦比亚大学)
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作,被称为多武装土匪整合现有的研究作为资源,为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪,然后探讨该模型的并发症的分类方案,对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后,在本文的最后,我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
2015-11-03 cs.LG stat.ML
Online Stochastic Gradient Descent Learns Linear Dynamical Systems from A Single Trajectory
University of Minnesota(明尼苏达大学)
本文研究了从一个噪声测量序列中估计一个稳定的时不变线性动力系统的权矩阵的问题。我们表明,如果未知的权重矩阵描述的系统是Brunovsky标准形式,我们可以有效地估计地面真理未知矩阵的系统从一个线性方程组的基础上制定的系统的传递函数,使用在线和离线随机梯度下降(SGD)的方法。具体来说,通过推导具体的复杂性界限,我们表明,SGD线性收敛于期望任何任意小的Frobenius范数距离地面真理的权重。据我们所知,我们是第一个工作,建立线性收敛特性的在线和离线基于梯度的迭代法的权重矩阵估计线性动力系统从一个单一的轨迹。大量的数值试验验证了所提出的方法的性能与我们的理论是一致的,并显示其优越的性能相对于现有的最先进的方法。
2021-02-23 cs.LG cs.SY eess.SP
Online DR-Submodular Maximization with Stochastic Cumulative Constraints
University of Washington(华盛顿大学)
本文研究了线性随机长期约束下的在线连续DR-子模极大化问题。与在线次模最大化的先前工作相比,我们的设置引入了随机线性约束函数的额外复杂性,这些函数是独立同分布的。在每一轮产生。确切地说,在步骤$t\in\{1,\dots,T\}$,DR-子模效用函数$f_t(\cdot)$和约束向量$p_t$,i.i.d.从具有平均$p$的未知分布中生成,在提交动作$x_t$后显示,并且我们的目标是在预期的累积资源消耗$\sum_{t=1}^T \langle p,x_t\rangle$低于固定预算$B_T$时最大化总体效用。随机长期约束自然出现在应用程序中,其中有一个有限的预算或资源可用,在每一步的资源消耗是由随机时变环境。我们提出了在线拉格朗日Frank-Wolfe(OLFW)算法来解决这类在线问题。我们分析了OLFW算法的性能,我们得到了次线性遗憾界以及次线性累积约束违反界,无论是在期望和高概率。
2021-05-21 cs.LG math.OC stat.ML
Efficient Projection-Free Online Methods with Stochastic Recursive Gradient
Zhejiang University(浙江大学);University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室);University of Western Ontario(西安大略大学)
本文主要研究求解光滑在线凸优化(OCO)问题的无投影方法。现有的无投影方法要么达到次优的遗憾界限,或有很高的每次迭代的计算成本。为了填补这一空白,两个有效的投影免费在线方法被称为ORGFW和MORGFW提出解决随机和对抗OCO问题,分别。通过采用递归梯度估计,我们的方法实现了最佳的遗憾界(对数因子),同时具有较低的每次迭代的计算成本。实验结果表明,所提出的方法相比,国家的最先进的效率。
2019-10-24 cs.LG math.OC stat.ML
Intrinsic Motivation and Mental Replay enable Efficient Online Adaptation in Stochastic Recurrent Networks
Technische Universität Darmstadt(达姆施塔特工业大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Universität zu Lübeck(吕贝克大学)
自主机器人需要与未知、非结构化和不断变化的环境进行交互,不断面临新的挑战。因此,持续在线适应终身学习和样本效率机制的需求,以适应环境,约束,任务或机器人本身的变化至关重要。在这项工作中,我们提出了一个新的框架,概率在线运动规划与在线适应的基础上,生物启发的随机递归神经网络。通过使用模仿内在动机信号的学习信号,加上心理重放策略来强化经验,随机递归网络可以从很少的物理交互中学习,并在几秒钟内适应新的环境。我们在拟人KUKA LWR手臂上评估了我们的在线规划和自适应框架。快速在线自适应通过从少量物理交互中有效地学习未知的工作空间约束,同时遵循给定的路径点来实现。
2018-10-23 cs.AI cs.LG cs.RO
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University(澳大利亚国立大学)
本文研究动态环境下的在线随机类星体凸优化,建立基于累积路径变化和梯度方差的在线梯度下降遗憾界,并将其应用于时变参数的广义线性模型,给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University(纽约大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);Purdue University(普渡大学)
本文提出了一种基于随机梯度下降的在线统计推断框架,通过逆概率权重提高估计效率,并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
Statistical Inference for Online Decision Making via Stochastic Gradient Descent
Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
在线决策旨在通过个性化决策和递归更新决策规则来学习最优决策规则。在大数据的帮助下,这变得比以前更容易,但新的挑战也随之而来。由于决策规则应该每步更新一次,因此使用所有历史数据的离线更新在计算和存储方面是低效的。为此,我们提出了一个完全在线的算法,可以通过随机梯度下降在线决策和更新决策规则。它不仅是有效的,而且支持各种参数奖励模型。针对在线决策的统计推断问题,建立了算法产生的参数估计量和用于估计最优值的在线逆概率加权值估计量的渐近正态性。在线插件估计的参数和值估计的方差也被提供,并显示是一致的,使区间估计和假设检验是可能的,使用我们的方法。通过仿真和新闻文章推荐的实际数据应用,对所提出的算法和理论结果进行了测试。
2020-10-14 cs.LG stat.ML
Efficient Online Linear Control with Stochastic Convex Costs and Unknown Dynamics
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
研究了一类未知线性动力系统在状态和费用函数均为随机凸代价和全反馈下的控制问题。我们提出了一个计算效率高的算法,达到最佳的$\sqrt{T}$后悔率相比,最好的稳定线性控制器在事后。与之前的工作不同,我们的算法基于面对不确定性的乐观范式。这导致显著改进的计算复杂性和更简单的分析。
2022-06-22 cs.LG math.OC stat.ML
Stochastic Averaging for Constrained Optimization with Application to Online Resource Allocation
University of Minnesota(明尼苏达大学);University of Pennsylvania(宾夕法尼亚大学);Fudan University(复旦大学);Florida Atlantic University(佛罗里达大西洋大学)
现有的随机网络资源分配方法面临着快速收敛和可容忍延迟的挑战。本文利用在线学习的进步,以促进随机资源分配任务。通过认识到拉格朗日乘数的核心作用,基本的约束最优化问题被制定为一个机器学习任务,涉及训练和操作模式,以学习所寻求的乘数在一个快速和有效的方式的目标。为此,一个订单最优的离线学习方法首先开发的批量训练,然后将其推广到在线设置称为学习和适应的过程。新的资源分配协议渗透随机逼近和统计学习的好处,以获得低复杂度的在线更新与学习误差接近统计精度限制,同时仍然保持适应性能,这在随机网络优化的上下文中保证队列稳定性。理论分析和仿真实验表明,该方法在延迟和收敛性能上都有明显的改善。
2017-02-26 cs.DC cs.LG math.OC
Online Second Order Methods for Non-Convex Stochastic Optimizations
基于预条件随机梯度下降(PSGD)理论,提出了一类求解可能非凸随机最优化的在线二阶方法,该方法可以看作是一种增强的随机牛顿法,同时具有处理梯度噪声和非凸性的能力.我们以几种方式改进了原始PSGD的实现,例如,新形式的预条件,更精确的海森向量积计算,以及更好的数值稳定性与消失或病态海森,等等。我们还揭示了Kronecker乘积预处理器的特征归一化和PSGD之间的关系,这解释了Kronecker乘积预处理器在深度神经网络学习中的优异性能。提供了一个在Tensorflow中实现的软件包(https://github.com/lixilinx/psgd_tf),用于在具有常用神经网络架构的各种基准问题上比较随机梯度下降(SGD)和PSGD的变化,卷积和递归神经网络。实验结果清楚地表明PSGD的泛化性能和收敛速度方面的优势。
2018-04-29 cs.LG stat.ML
Stochastic Gradient Annealed Importance Sampling for Efficient Online Marginal Likelihood Estimation
Stellenbosch University(斯泰伦博斯大学);National Institute for Theoretical Physics(国家理论物理研究所)
我们考虑在独立同分布(i.i.d.)数据我们建议通过使用随机梯度马尔可夫链蒙特卡罗技术来估计此类环境中边缘可能性的顺序因子分解中的预测分布。这种方法是更有效的比传统的边缘似然估计技术,如嵌套抽样和退火重要性抽样,由于它使用小批量来近似的可能性。的估计的稳定性提供了一个自适应退火时间表。由此产生的随机梯度退火重要性抽样(SGAIS)技术,这是我们的论文的主要贡献,使我们能够估计的边际可能性的一些模型大大快于传统的方法,没有明显的损失的准确性。我们的方法的一个重要好处是,边际可能性是在数据可用时以在线方式计算的,允许将估计值用于在线加权模型组合等应用。
2019-11-17 cs.LG stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Stochastic Approximation for Online Tensorial Independent Component Analysis
University of California, Berkeley(加州大学伯克利分校)
独立分量分析(ICA)是统计机器学习和信号处理领域的一种常用降维工具。在本文中,我们提出了一个在线张量ICA算法的收敛性分析,通过查看问题作为一个非凸随机逼近问题。对于估计一个组件,我们提供了一个基于动力学的分析,以证明我们的在线张量ICA算法与特定的步长选择实现了尖锐的有限样本误差界。特别地,在对数据生成分布和缩放条件的温和假设下,使得$d^4/T$足够小直到数据维度$d$和样本大小$T$的多对数因子,可以获得$\tilde{O}(\sqrt{d/T})$的尖锐有限样本误差界。
2021-07-29 cs.LG math.OC stat.ML
Minimax Optimal Online Stochastic Learning for Sequences of Convex Functions under Sub-Gradient Observation Failures
Bilkent University(比尔肯特大学)
研究了随机次梯度观测故障下的在线凸优化问题,引入了具有极大极小最优遗憾保证的自适应算法。我们专门研究的情况下,我们的次梯度观测可以是嘈杂的,甚至完全丢失的随机方式。为此,我们提出了基于子梯度下降方法的算法,它实现了紧极小极大最优遗憾界。必要时,这些算法利用潜在的随机设置的属性来优化它们的学习率(步长)。这些优化是提供最小最大最优性能保证的主要因素,特别是当观测值随机丢失时。然而,在现实世界的场景中,底层随机设置的这些属性可能不会透露给优化器。对于这样的情况下,我们提出了一个盲目的算法,估计这些属性的经验,在一个普遍适用的方式。通过大量的实验,我们表明,这种经验方法是一个自然的组合定期随机梯度下降和最小最大优化算法(最好的随机和对抗功能序列,分别)。
2019-04-19 cs.LG math.OC stat.ML
Adversarial Attacks on Online Learning to Rank with Stochastic Click Models
Southwest University(西南大学);Oregon State University(俄勒冈州立大学);Princeton University(普林斯顿大学)
本文首次研究在线学习排序的对抗攻击,提出广义列表污染和 attack-then-quit 点击污染策略,可在随机点击模型中以次线性代价高效攻击无遗憾排序器,并通过理论与实验验证其有效性。
2023-05-30 cs.CR cs.LG
A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
针对时变有向网络中的分布式在线优化问题,提出TV-HSGT算法,通过混合随机梯度跟踪与方差缩减机制,在无需梯度有界假设下提升动态遗憾界,并在实验中验证其有效性。
2025-08-28 cs.DC cs.LG math.OC
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University(波士顿大学);Google Research(谷歌研究)
本文提出新算法,通过将非光滑非凸优化归约为在线学习,将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1}),并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Projection-Free Online Optimization with Stochastic Gradient: From Convexity to Submodularity
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在线优化已经成为解决计算约束和部分信息下的大规模问题的成功框架。目前的在线凸优化方法在每一步都需要投影或精确的梯度计算,这两者对于大规模应用来说都是非常昂贵的。与此同时,在机器学习社区中,非凸优化的趋势日益增长,并且需要在线方法。连续DR-次模函数具有收益递减的性质,是一类可以有效优化的非凸函数。虽然已经引入了在线方法,但它们也存在类似的问题。在这项工作中,我们提出Meta-Frank-Wolfe,第一个在线投影算法,使用随机梯度估计。该算法依赖于在每一轮梯度的仔细采样,并实现了凸和连续子模块优化的最佳$O( \sqrt{T})$对抗遗憾界。我们还提出了一个简单的算法,只需要一个单一的随机梯度估计,在每一轮,并实现了$O(T^{2/3})$随机遗憾界凸和连续的子模块优化。我们应用我们的方法来开发一种新的“提升”框架的在线离散子模块最大化,也看到他们优于目前最先进的技术在各种实验。
2018-06-14 cs.AI cs.DS cs.LG
Kernel-Based Adaptive Online Reconstruction of Coverage Maps With Side Information
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Bell Labs, Alcatel-Lucent(阿尔卡特-朗讯贝尔实验室);Keio University(庆应义塾大学)
在本文中,我们解决的问题,从蜂窝网络中的路径损耗测量重建覆盖图。我们提出并评估两个基于核的自适应在线算法作为一种替代典型的离线方法。所提出的算法是强大的迭代法,如自适应投影次梯度法和最先进的自适应多核方法的应用定制的扩展。假设用户的移动轨迹是可用的,它示出了如何边信息可以被纳入到算法中,以提高其收敛性能和估计的质量。通过在算法利用测量数据的可压缩性以减少被保存和处理的数据量的意义上施加稀疏意识,显著降低了复杂性。最后,我们提出了广泛的模拟现实数据的基础上表明,我们的算法提供快速,强大的估计覆盖地图在现实世界中的场景。设想中的应用包括沿着移动用户轨迹的路径损耗预测,作为预期缓冲或流量卸载的构建块。
2019-10-10 cs.LG cs.NI stat.ML
Online Variance Reduction for Stochastic Optimization
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
现代随机最优化方法通常依赖于均匀采样,这对数据的基本特征是不可知的。这可能会降低收敛性,因为会产生具有高方差的估计值。一种可能的补救方法是采用非均匀重要性抽样技术,该技术考虑了数据集的结构。在这项工作中,我们研究了最近提出的设置,构成方差减少作为一个在线优化问题与强盗反馈。我们设计了一种新的和有效的算法,这种设置,找到一个序列的重要性抽样分布的竞争力与最好的固定分布在事后,这种结果的第一个。虽然我们提出了对数据点进行采样的方法,但它自然地扩展到选择坐标甚至其块。经验验证强调了我们的方法在几种情况下的好处。
2018-06-06 cs.LG stat.ML
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam(阿姆斯特丹大学);Korteweg-de Vries Institute for Mathematics(科尔特韦格-德弗里斯数学研究所);University of Twente(特文特大学);Pontificia Universidad Católica de Chile(智利天主教大学)
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的,这使得它的根本利益,以获得更好的理论理解之间的世界这两个极端。在这项工作中,我们建立了新的遗憾界在线凸优化的设置,随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性,这些界限用梯度的方差代替了对最大梯度长度的依赖性,这在以前只针对线性损失是已知的。另外,他们削弱了i.i.d.假设,例如,允许敌对中毒轮,这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下,我们的边界匹配随机加速结果的预期速率,并且在完全对抗的情况下,它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明,我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
TopRank: A practical algorithm for online stochastic ranking
DeepMind(深度思维);Google(谷歌);The Chinese University of Hong Kong(香港中文大学);University of Alberta(阿尔伯塔大学)
在线学习排名是一个顺序决策问题,在每一轮中,学习代理选择一个项目列表,并从用户那里收到点击形式的反馈。许多样本效率的算法已经提出了这个问题,假设一个特定的点击模型连接排名和用户行为。我们提出了一个广义的点击模型,包括许多现有的模型,包括基于位置和级联模型。我们的推广激发了一种新的在线学习算法的基础上拓扑排序,我们称之为TopRank。TopRank(a)比现有算法更自然,(b)比具有可比一般性的现有算法具有更强的后悔保证,(c)具有更有见地的证明,为许多概括敞开了大门,(d)在经验上优于现有算法。
2019-03-19 cs.LG stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Shanghai Key Laboratory for Contempo(上海市现代(暂未完整,按原文提取))
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差,提出统一框架推导最后迭代的尖锐收敛速率,并将网络宽度要求从指数降至多项式,缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Online Learning Based Risk-Averse Stochastic MPC of Constrained Linear Uncertain Systems
College of Engineering, Cornell University(康奈尔大学工程学院)
研究了线性定常系统在加性随机干扰下的数据驱动随机模型预测控制(MPC)设计问题,该系统的概率分布未知,但可以部分地从数据中推断.我们提出了一种新的基于在线学习的风险规避随机MPC框架,其中要求对系统状态的条件风险价值(CVaR)约束保持一个家庭的分布称为模糊集。模糊集是从扰动数据构建的,利用狄利克雷过程混合模型,是自适应的底层数据结构和复杂性。具体地说,利用多模态的结构特性,使得每个混合分量的一阶和二阶矩信息被并入到模糊度集中。然后,一种新的约束收紧策略的基础上提出的模糊度集上的分布鲁棒CVaR约束的等价重构。随着控制器运行期间收集的数据越来越多,模糊度集使用实时扰动数据在线更新,这使得风险规避随机MPC能够应对时变扰动分布。所采用的在线变分推理算法不需要从头开始学习所有收集的数据,因此,建议MPC被赋予保证计算复杂性的在线学习。通过一个安全的更新方案,建立了建议MPC的递归可行性和闭环稳定性的保证。数值算例表明了该方法的有效性和优越性。
2020-11-20 cs.LG math.OC stat.ML
Stochastic Online Optimization using Kalman Recursion
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);EDF R&D(法国电力公司研发部)
我们研究了扩展卡尔曼滤波器在恒定动态,提供了一个基本的角度随机优化。我们获得了高概率界的累积超额风险在无约束的设置。为了避免任何投影步骤,我们提出了一个两阶段的分析。首先,对于线性回归和逻辑回归,我们证明了该算法进入局部阶段,估计停留在最佳附近的一个小区域。我们提供了明确的界限,在这个收敛时间的概率很高。其次,对于广义线性回归模型,我们给出了局部阶段超额风险的鞅分析,改进了已有的有界随机优化方法。EKF是一种无参数的在线算法,每次迭代的成本为O(d^2),可以最优地解决一些无约束优化问题。
2020-06-26 cs.AI cs.LG math.OC
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
针对噪声随接近最优解线性减小的随机凸赌博机,提出正则化在线牛顿方法,实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML