Online Nonparametric Regression with General Loss Functions
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
本文建立了具有任意函数类和一般损失的在线回归的极大极小率。我们表明,低于一定的阈值的函数类的复杂性,极大极小率取决于曲率的损失函数和顺序的复杂性的类。在这个阈值之上,损失的曲率不影响费率。此外,对于平方损失的情况,我们的结果指出了有趣的现象:无论何时序列和i.i.d.经验熵匹配,统计和在线学习的比率是相同的。除了极大极小遗憾的研究,我们得到一个通用的预测,享有既定的最佳利率。我们还提供了设计在线预测算法的方法,这些算法对于某些问题可以在计算上高效。我们说明的技术,通过现有的和新的预测有限的专家和在线线性回归的情况下。
2015-01-26 cs.IT cs.LG math.IT
Sparsity regret bounds for individual sequences in online linear regression
École Normale Supérieure(巴黎高等师范学院)
考虑了任意确定性序列上的在线线性回归问题,当环境维数d可以远大于时间轮数T时。我们引入了稀疏遗憾界的概念,这是一个确定性的在线对应最近的风险界在稀疏的情况下,在随机设置。我们证明了这样的遗憾界的在线学习算法称为SeqSEW和指数加权和数据驱动的截断的基础上。在第二部分中,我们将该算法的无参数版本应用于随机设置(随机设计的回归模型)。这产生了与Dalalyan和Tsybakov(2011)相同的风险边界,但解决了其中两个悬而未决的问题。特别是我们的风险界是自适应的(对数因子)的未知方差的噪声,如果后者是高斯。我们还讨论了固定设计的回归模型。
2013-04-12 cs.LG math.ST stat.ML
Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了随机环境下的在线广义线性回归问题,其中标签是从一个广义线性模型中产生的,该模型可能带有无界的加性噪声。我们提供了一个尖锐的分析,经典的跟随正则化领导(FTRL)算法,以应付标签噪声。更具体地,对于$σ$ -亚高斯标签噪声,我们的分析提供了$O(σ^2 d \log T) + o(\log T)$的遗憾上界,其中$d$是输入向量的维度,$T$是总轮数。我们还证明了随机在线线性回归的一个$Ω(σ^2d\log(T/d))$下界,这表明我们的上界是接近最优的。此外,我们将我们的分析扩展到更精确的伯恩斯坦噪声条件。作为应用,我们研究了带异方差噪声的广义线性bandits,并提出了一种基于FTRL的算法来获得第一个方差感知后悔界。
2023-03-27 cs.LG math.OC stat.ML
Minimax-optimal and Locally-adaptive Online Nonparametric Regression
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);INRIA(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);Vienna University(维也纳大学)
本文针对对抗性在线非参数回归提出一种无参数算法,通过修剪链式树动态适应局部 Hölder 平滑性,首次实现计算高效且局部自适应的极小极大最优速率。
2025-04-11 cs.LG math.ST stat.ML
Finite-Sample Distribution Theory and Efficient Large-Scale Inference for Online Quantile Regression
University of Chicago(芝加哥大学);Rice University(莱斯大学);University of Miami(迈阿密大学)
本文提出基于常数学习率SSGD的在线分位数回归推断方法,证明有限样本高斯近似,提出后缀平均化解决偏差,避免协方差估计,实现高效且覆盖率理想的推断。
2026-10-06 cs.LG math.ST stat.ME
Adaptive and optimal online linear regression on $\ell^1$-balls
École Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);IBM Research(IBM研究院)
我们考虑单个序列的在线线性回归问题。本文的目标是预测器输出连续的预测,在$T$时间轮之后,几乎与$\\R^d$中给定的$\ell^1$ -球中的最佳线性预测器输出的预测一样好。我们考虑两种情况下的维度~ $d$是小的和大的相对于时间范围$T$。首先,我们提出了遗憾界与$d$,$T$,和大小$U$,$X$和$Y$的$\ell^1$ -球,输入数据和观察的最佳依赖。极小极大后悔模型在$d = \sqrt{T} U X / (2 Y)$点附近表现出一个状态转换。此外,我们提出了有效的算法,是自适应的,\ie,不需要知识的$U$,$X$,$Y$,和$T$,但仍然达到接近最佳的遗憾界限。
2019-01-16 cs.LG math.ST stat.ML
Online Censoring for Large-Scale Regressions with Application to Streaming Big Data
线性回归可以说是统计推断方法中最突出的,因其简单性和广泛的适用性而流行。与数据密集型应用程序一样,线性回归问题的庞大规模导致了对快速且经济高效的求解器的需求不断增长。幸运的是,可以省略很大一部分累积的数据,同时以可承受的计算预算保持一定质量的统计推断。本文介绍了基于随机逼近和数据截尾原理,以在线和数据自适应方式识别和省略“信息量较少”观察结果的方法。提出了基于一阶和二阶随机逼近的极大似然估计算法,用于估计删失观测的回归系数。在线算法也提出了自适应执行审查以及估计,以减少整体的复杂性。新的算法需要简单的封闭形式的更新,并有可证明的(非)渐近收敛保证。此外,特定的规则进行了研究,调整到所需的审查模式和降维水平。在真实和合成数据集上的模拟测试证实了所提出的数据自适应方法与基于数据不可知的随机投影的替代方法相比的有效性。
2015-07-27 stat.AP stat.ML
Online Quantile Regression for Nonparametric Additive Models
Department of Statistics and Data Science, Southwestern University of Finance and Economics(西南财经大学统计与数据科学系)
本文提出了一种投影函数梯度下降算法(P-FGD)用于在线设置下的非参数加性分位数回归模型训练,通过扩展函数随机梯度下降框架到pinball损失,实现了更高效的计算复杂度和预测能力,证明了其在minimax最优一致性率上的优越性。
2026-04-10 cs.LG math.ST stat.ML
Reliable Real-Time Value at Risk Estimation via Quantile Regression Forest with Conformal Calibration
Institute of Statistics and Big Data, Renmin University of China(统计与大数据研究院,中国人民大学);Department of Decision Analytics and Operations, City University of Hong Kong(决策分析与运营部门,香港城市大学);School of Information, Renmin University of China(信息学院,中国人民大学)
本文提出基于OSOA框架的分位数回归森林与置信校准方法,实现可靠实时VaR估计,提升风险监控的准确性与可靠性。
2026-02-02 cs.AI cs.LG q-fin.RM
Locally Private Online Quantile Regression: Estimation and Inference
York University(约克大学);Shanghai University of Finance and Economics(上海财经大学)
研究单报告用户级ε-局部差分隐私协议下在线分位数回归的估计与推断。针对标准估计方程贡献耦合协变量与残差比较的难题,开发有限字母通道解决,建立相关性质,模拟等表明隐私预算增加时私有轨迹接近非私有在线参考。
2026-07-07 stat.ME stat.ML
Distributed Online Linear Regression
The Australian National University(澳大利亚国立大学);Nanjing University of Science and Technology(南京理工大学);KTH Royal Institute of Technology(瑞典皇家理工学院);The University of Sydney(悉尼大学)
我们在分布式环境中研究在线线性回归问题,其中数据分布在网络上。在每一轮中,每个网络节点提出线性预测器,其目的是拟合\emph{network-wide}数据。然后,它根据接收到的本地反馈和从相邻节点接收到的信息更新其预测器用于下一轮。通过后悔的概念来评估在给定节点处做出的预测,后悔的概念被定义为它们的累积网络范围平方误差与最佳离线网络范围线性预测器的累积网络范围平方误差之间的差。各种情况下进行了调查,根据本地反馈的性质(充分的信息或强盗反馈),对可用的预测集(决策集),以及数据的生成方式(由一个不经意的或自适应的对手)。我们提出了简单而自然的分布式回归算法,涉及到,在每个节点和每一轮,一个本地的梯度下降步骤和通信和平均步骤,节点的目的是对齐他们的预测他们的邻居。当决策集是无界的时,我们在${\cal O}(T^{3/4})$中建立了后悔上界,当决策集是有界的时,我们在${\cal O}(\sqrt{T})$中建立了后悔上界。
2019-02-13 cs.DC cs.LG math.OC
Online and Offline Robust Multivariate Linear Regression
本研究提出多元线性回归的在线与离线鲁棒估计方法,基于鲁棒马氏最小二乘准则,证明渐近正态性,并在合成数据上展示鲁棒性与计算效率优势。
2025-10-10 math.ST stat.ML stat.TH
Trading-Off Payments and Accuracy in Online Classification with Paid Stochastic Experts
University of Amsterdam(阿姆斯特丹大学);Imperial College London(帝国理工学院);Università degli Studi di Milano(米兰大学);Politecnico di Milano(米兰理工大学)
研究带有付费随机专家的在线分类问题,提出结合Lipschitz bandits与替代损失的在线学习算法,通过优化支付控制预测准确率,将总成本遗憾界降至$\mathcal{O}(K^2(\log T)\sqrt{T})$并在合成数据上验证有效。
2023-07-03 cs.LG stat.ML
Online survival analysis with quantile regression
本文针对流式删失数据提出一种基于二次损失近似和majorize-minimize算法的在线分位数回归方法,在更弱假设下保持与oracle估计量相同的收敛速度与统计效率,并显著降低计算和存储负担。
2025-07-21 math.ST stat.TH
Statistical Inference for Linear Functionals of Online SGD in High-dimensional Linear Regression
本文针对过参数化高维线性回归中的在线SGD,建立了线性泛函的高维中心极限定理,并提出了在线方差估计方法,从而实现了完全在线、数据驱动的置信区间构造,为SGD的高维算法推断提供了首个理论保证。
2025-10-23 math.OC math.PR math.ST
Global Convergence of Online Identification for Mixed Linear Regression
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文针对混合线性回归提出两种基于EM原理的在线辨识算法,在不依赖i.i.d.假设下证明其全局收敛,并验证聚类性能渐近达到参数已知时的水平。
2023-11-30 cs.LG cs.SY eess.SY
Online A-Optimal Design and Active Linear Regression
ENS Paris-Saclay(巴黎萨克雷高等师范学院);Inria(法国国家信息与自动化研究所);Deepmind(深度思维);ENSAE(法国国家统计与经济管理学院);Criteo AI Lab(Criteo人工智能实验室)
本文考虑了最优试验设计问题,其中决策者可以选择哪些点进行采样,以获得潜在线性模型的隐参数$β^{\star}$的估计$\hatβ$。这项工作的关键挑战在于我们所做的异方差假设,这意味着每个协变量都有一个不同的未知方差。然后,决策者的目标是找出在协变量之间分配$T$样本的总预算的最佳方法,因为对特定样本进行多次采样将减少其周围估计模型的方差(但以其他地方可能更高的方差为代价)。通过尝试最小化$\ell^2$ -损失$\mathbb{E} [\lVert\hatβ-β^{\star}\rVert^2]$,决策者实际上是最小化问题的协方差阵的迹,这对应于在线A-最优设计。结合强盗和凸优化技术,我们提出了一个新的主动采样算法,我们比较它与现有的。我们在不同的设置,包括$\mathcal{O}(T^{-2})$遗憾的情况下,协变量形成的基础上的特征空间,推广和改进现有的结果,该算法提供了理论保证。数值实验验证了我们的理论研究结果。
2020-12-30 cs.LG math.OC stat.ML
Minimax Adaptive Online Nonparametric Regression over Besov Spaces
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LPSM(概率与统计实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立高等理工学院);LJK(拉格朗日计算与知识实验室);Institut Pauli(保罗研究所);University of Vienna(维也纳大学)
本文针对Besov空间中的在线对抗回归问题,提出无需预知光滑性参数的小波自适应算法,并进一步设计局部自适应扩展以动态追踪空间非均匀光滑性,从而在异质环境中获得超越全局方法的更精细极小极大遗憾界。
2025-09-22 math.ST stat.ML stat.TH
Beyond Second-Order Information: Paid Logistic Regression with Noisy Features
Kim Jaechul Graduate School of AI, KAIST(KAIST Kim Jaechul人工智能研究生院);Department of AI, Chung-Ang University(中央大学人工智能系)
针对含噪声特征的在线付费逻辑回归问题,研究发现仅靠协方差信息不足,在更大支付可消除独立噪声的结构下,分别得到噪声结构已知和未知时的 regret 上界,且下界匹配至对数因子。
2026-10-12 cs.LG stat.ML
Approximate maximum likelihood estimators for linear regression with design matrix uncertainty
在本文中,我们考虑在运营商或设计矩阵的任意噪声的回归问题。这种表征适当地模拟了许多回归量中具有不确定性的物理现象。虽然这个问题已经被广泛研究了普通/总最小二乘,并通过模型,隐含或明确地假设高斯,较少注意到改善估计的回归问题下的一般不确定性的设计矩阵。为了解决在处理随机变量和的分布时遇到的困难,我们依靠鞍点方法来估计密度,并形成近似的对数似然最大化。我们表明,所提出的方法与其他经典方法相比表现良好。
2021-04-07 cs.NA math.NA math.OC
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计(ROSE)框架扩展至非凸惩罚M估计,用于稳健高维线性回归的估计与推断,并证明估计量的一致性与渐近正态性,模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
A Piecewise Lyapunov Analysis of Sub-quadratic SGD: Applications to Robust and Quantile Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Cornell University(康奈尔大学)
针对鲁棒和分位数回归问题,提出分段李雅普诺夫函数分析亚二次尾部局部强凸目标的SGD,推导有限时间矩界、弱收敛等结果,首次给出几何收敛性,应用于在线鲁棒回归和分位数回归。
2025-04-15 cs.LG math.OC math.PR
Online Change-Point Detection in Linear Regression with Autoregressive Errors via Streaming Variational Bayes
Yonsei University(延世大学)
该研究提出流式变分贝叶斯方法,用于带自回归误差的线性回归在线变点检测,经模拟和比特币波动率数据验证,其检测性能优于频率主义序贯监测程序。
2026-10-14 stat.ME
Renewable high-dimensional expected shortfall regression
School of Statistics, Beijing Normal University(北京师范大学统计学院);Department of Statistics, Pennsylvania State University(宾夕法尼亚州立大学统计学系)
针对流数据场景下高维ES回归的离线方法依赖完整数据的缺陷,本文提出可再生估计与推断框架,模拟及保险数据集应用验证了其良好性能。
2026-08-04 stat.ME
Online jump and kink detection in segmented linear regression: Statistical optimality meets computational efficiency
Institute for Mathematical Stochastics, University of Göttingen(哥廷根大学数学随机学研究所);Cluster of Excellence “Multiscale Bioimaging: from Molecular Machines to Networks of Excitable Cells” (MBExC), University of Göttingen(哥廷根大学“多尺度生物成像:从分子机器到兴奋细胞网络”卓越集群)
本文研究了在线估计分段线性回归模型中单个变化点的问题,展示了CUSUM型统计量在定位变化点时的最优率,并提出了一种在线算法以区分跳跃和拐点,具有常数计算复杂度和内存需求。
2025-08-22 math.ST stat.TH
Renewable estimation in linear expectile regression models with streaming data sets
School of Economics and Management, Beihang University(北京航空航天大学经济管理学院);MOE Key Laboratory of Complex System Analysis and Management Decision, Beihang University(北京航空航天大学复杂系统分析与管理决策教育部重点实验室)
本文提出了一种基于期望值回归的在线可再生方法,用于流数据中高效估计异方差和不均匀协变量效应,兼具高计算效率和低存储成本。
2026-02-26 stat.CO stat.ME
Simultaneous high-probability bounds on the false discovery proportion in structured, regression, and online settings
虽然传统的多重测试程序禁止用户做出自适应分析选择,但Goeman和Solari(2011)提出了一种同时推理框架,该框架允许用户在保持所选集合的错误发现比例(FDP)的高概率界限的同时具有这种灵活性。在本文中,我们提出了一类新的同时FDP界,专为嵌套序列的拒绝集。虽然大多数现有的同时FDP界限是基于封闭测试,使用全局空测试的基础上排序的p值,我们还考虑设置边信息可以利用提高功率,变量选择设置,其中敲除统计可以用来订购变量,以及在线设置,其中必须作出拒绝的决定,因为数据到达。我们的有限样本,封闭形式的界限是基于重新利用的FDP估计错误发现率(FDR)控制程序设计的上述设置。这些结果建立了一个新的连接之间的并行文献的同时FDP界和FDR控制方法,并使用证明技术,采用鞅和过滤,这是新的这些文献。我们证明了我们的研究结果的效用,通过增加最近的仿制品分析英国生物银行数据集。
2019-12-01 math.ST stat.TH
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);U. S. Army Corps of Engineers(美国陆军工程兵团)
用户生成的流数据(如社交媒体)中存在数据损坏,这激发了一个新的基本问题,即当特征不能一次完全访问时,学习可靠的回归系数。到目前为止,几个重要的挑战仍然无法同时处理:1)当只有部分特征可访问时,损坏的数据估计; 2)当数据包含对抗性损坏时,在线特征选择;以及3)扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择(\textit{RoOFS}),同时解决所有上述挑战。具体地说,该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比,最优解。在合成数据集和真实数据集上的大量实验表明,该方法在恢复特征选择和回归系数方面均优于现有方法,具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
Efficient Methods for Online Multiclass Logistic Regression
Google Research(谷歌研究院)
多类逻辑回归是机器学习中的一个基本任务,在分类和提升中有应用。先前的工作(Foster等人,2018)强调了不适当的预测因子对于在线多类逻辑回归问题中实现“快速率”的重要性,而不会受到次要问题参数的指数影响,例如比较类中预测因子的范数。虽然Foster et al.(2018)引入了一种统计上最优的算法,但实际上它在计算上是难以处理的,因为它的运行时复杂度是输入特征向量的时间范围和维度的大多项式。在本文中,我们开发了一种新的算法,FOLKLORE,运行速度显着比福斯特等人的算法的问题。(2018)-每次迭代的运行时间在维度上呈二次缩放-代价是对遗憾界中预测因子的范数具有线性依赖性。这产生了第一个实用的在线多类逻辑回归算法,解决了一个开放的问题福斯特等人。(2018年)。此外,我们表明,我们的算法可以应用于在线强盗多类预测和在线多类提升,产生更实用的算法相比,在福斯特等人的这两个问题。(2018年)具有类似的性能保证。最后,我们还提供了一个在线到批量转换的结果,我们的算法。
2021-10-10 cs.LG stat.ML
A Chaining Algorithm for Online Nonparametric Regression
EDF R&D(法国电力研发中心);HEC Paris(巴黎高等商学院);CNRS(法国国家科学研究中心);Institut de Mathématiques de Toulouse, Université Paul Sabatier(保罗·萨巴捷大学图卢兹数学研究所)
本文研究了任意确定性序列的在线非参数回归问题。利用链接技术的思想,我们设计了一个算法,该算法实现了一个类似于Rakhlin和Sridharan(2014)以非建设性方式获得的Dudley型遗憾界限。我们的遗憾界表示的度量熵的超级规范,产生最佳的保证时,度量和序列熵的数量级相同。特别是我们的算法是第一个实现最佳速率在线回归H{<$}lder球。此外,我们在这个例子中展示了如何调整我们的链接算法,以获得合理的计算效率,具有类似的遗憾保证(最多可达对数因子)。
2015-07-01 cs.LG stat.ML
Online Multi-target regression trees with stacked leaf models
University of São Paulo(圣保罗大学);State University of Londrina(隆德里纳州立大学)
当前机器学习面临的挑战之一是如何处理数据流中以越来越高的速率出现的数据。需要新的预测学习策略来应对高吞吐量数据和概念漂移。其中一个需要新的学习策略的数据流挖掘任务是多目标回归,因为它适用于大量的现实问题。虽然已经提出了可靠和有效的学习策略,批量多目标回归,很少有人提出多目标在线学习数据流。此外,大多数现有的解决方案在进行预测时不考虑目标间相关性的发生。在这项工作中,我们提出了一种新的在线学习策略的多目标回归数据流。该策略扩展了现有的在线决策树学习算法,以探索目标间的依赖关系,同时进行预测。为此,所提出的策略,称为堆叠单目标Hoeffding树(SST-HT),使用目标间的依赖关系作为一个额外的信息源,以提高预测精度。在整个广泛的实验设置,我们评估我们的建议对国家的最先进的决策树为基础的算法在线多目标回归。根据实验结果,SST-HT提出了优越的预测精度,在处理时间和内存需求的小增加。
2020-03-10 cs.LG stat.ML
Projective Quadratic Regression for Online Learning
Tencent(腾讯)
本文考虑在线凸优化(OCO)问题-在线学习算法设计的首要框架。OCO环境中的学习任务的损失函数是基于流数据的,因此OCO是一个强大的工具来建模大规模的应用,如在线推荐系统。同时,由于现代特征工程技术,现实世界的数据通常是极高维的,因此二次回归是不切实际的。因子分解机及其变体是低秩矩阵模型捕获特征交互的有效模型,但由于它们的非凸性,它们不能满足OCO设置。本文提出了一种投影二次回归(PQR)模型。首先,它可以捕获输入的二阶特征信息。第二,它是一个凸模型,所以OCO的要求,可以实现全局最优解。此外,可以直接应用现有的现代在线优化方法,例如在线梯度下降(OGD)或跟随正则化领导者(FTRL)。此外,通过选择适当的超参数,我们证明了它具有与线性模型相同的空间和时间复杂度,从而可以处理高维数据。实验结果表明,所提出的PQR模型的准确性和效率方面的性能与国家的最先进的方法进行比较。
2019-11-25 cs.LG stat.ML
Online Infinite-Dimensional Regression: Learning Linear Operators
University of Michigan(密歇根大学)
本文研究无限维 Hilbert 空间间线性算子的在线平方损失回归,刻画 p-Schatten 范数有界类的可学习性,并证明算子范数有界类不可学及一致收敛与可学习性的分离。
2024-01-25 cs.LG stat.ML
Achieving Online Regression Performance of LSTMs with Simple RNNs
Bilkent University(比尔肯特大学);Turkcell Technology(Turkcell技术公司);DataBoss A.S.(DataBoss公司)
递归神经网络(RNN)由于其泛化非线性时间依赖性的能力而被广泛用于在线回归。作为RNN模型,长短期记忆网络(LSTM)在实践中通常是首选的,因为这些网络能够学习长期依赖性,同时避免消失梯度问题。然而,由于它们的大量参数,与简单RNN(SRNN)相比,训练LSTM需要相当长的训练时间。在本文中,我们实现了在线回归性能的LSTM与SRNN有效。为此,我们引入了一个一阶训练算法的线性时间复杂度的参数的数量。我们表明,当用我们的算法训练SRNN时,它们在两到三倍的训练时间内提供了与LSTM非常相似的回归性能。我们提供强有力的理论分析,以支持我们的实验结果,我们的算法的收敛速度提供遗憾的界限。通过大量的实验,我们验证了我们的理论工作,并证明了我们的算法相对于LSTM和其他最先进的学习模型的显着性能改进。
2021-05-31 cs.LG stat.ML
Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning
Google(谷歌);Purdue University(普渡大学)
理论结果表明,贝叶斯方法可以实现在线逻辑回归的遗憾下界。然而,在实践中,这种技术可能不可行,特别是对于非常大的特征集。对于巨大的稀疏特征集,必须使用各种近似,从而减少理论上的优势。通常,他们应用随机梯度方法,超参数必须根据一些替代损失进行调整,从而击败贝叶斯方法的理论优势。替代损失,定义为近似的混合,需要的技术,如蒙特卡罗抽样,增加每个例子的计算。我们提出了低复杂度的分析近似稀疏在线逻辑和概率回归。与变分推理和其他方法不同,我们的方法使用解析闭合形式,大大降低了计算量。与密集的解决方案不同,作为高斯混合,我们的方法允许具有巨大特征集的稀疏问题,而不会增加复杂性。使用解析闭合形式,也不需要对代理损失应用随机梯度方法,也不需要调整和平衡学习和正则化超参数。经验结果顶部的性能更涉及计算的方法。像这样的方法,我们的方法仍然揭示每个功能和每个例子的不确定性措施。
2021-01-28 cs.LG stat.ML
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
高斯过程(Gaussian processes,GP)是一种著名的非参数贝叶斯推断技术,但对于大样本量,GP存在可扩展性问题,对于非平稳或空间异构数据,GP的性能会降低。在这项工作中,我们试图克服这些问题,通过(i)采用变分自由能近似的GP与在线期望传播步骤的串联操作;和(ii)引入一个本地分裂步骤,每当后验分布变化显着量化的Wasserstein度量超过后验分布,实例化一个新的GP。然后,随着时间的推移,这产生了稀疏GP的集合,其可以增量地更新,并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
Online Nonparametric Regression
University of Pennsylvania(宾夕法尼亚大学)
我们建立了在线回归的最佳速率为任意类的回归函数的序贯熵(Rakhlin,Sridharan,Tewari,2010)。最佳速率显示出类似于i.i.d./统计学习案例,研究于(Rakhlin,Sridharan,Tsybakov 2013)。在序列熵和i.i.d.经验熵匹配,我们的结果指出了一个有趣的现象,统计学习平方损失和在线非参数回归的速度是相同的。除了非算法研究的极大极小遗憾,我们展示了一个通用的预测,享有既定的最佳利率。我们还提供了一个配方设计在线回归算法,可以计算效率。我们说明的技术,通过现有的和新的预测有限的专家和在线线性回归的情况下。
2014-02-11 cs.LG math.ST stat.ML
Contextual Bandits with Online Neural Regression
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对上下文老虎机问题,通过在宽网络预测中加入随机扰动使损失满足QG条件,得到了更优的NeuCB遗憾界,并通过实验验证了算法(尤其是KL损失版本)的性能优势。
2023-12-12 cs.LG stat.ML
Online Isotonic Regression
Poznań University of Technology(波兹南理工大学);Centrum Wiskunde & Informatica(数学与计算机科学中心);University of California at Berkeley(加州大学伯克利分校)
我们考虑保序回归问题的在线版本。给定一组线性排序的点(例如,在实数线上),学习者必须在相反选择的位置上顺序地预测标签,并且通过与事后最好的同调(非递减)函数相比的总平方损失来评估。我们调查了几个标准的在线学习算法,并表明他们都没有达到最佳的后悔指数,事实上,他们中的大多数(包括在线梯度下降,跟随领导者和指数权重)招致线性后悔。然后,我们证明了指数权重算法在覆盖网的保序函数有一个遗憾的$O\big(T^{1/3} \log^{2/3}(T)\big)$的范围内,并提出了一个匹配的$Ω(T^{1/3})$下界遗憾。我们提供了一个计算效率的版本,这个算法。我们还分析了无噪声的情况下,其中所揭示的标签是等渗的,并表明,绑定可以提高到$O(\log T)$,甚至$O(1)$(当标签显示在等渗顺序)。最后,我们将分析扩展到平方损失之外,并给出熵损失和绝对损失的界。
2016-10-07 cs.LG stat.ML
Implicit Target Shift in Online Learning: Characterization and Correction
Department of Physics(物理系);Washington University in St. Louis(圣路易斯华盛顿大学);Department of Neuroscience(神经科学系)
本文研究了在线学习中目标偏移的本质,提出通过目标修正使在线核学习与离线学习等效,并在图像分类任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction
Penn State University(宾夕法尼亚州立大学);UC Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
计算效率是在线环境中部署用于时间序列预测的机器学习模型的重要考虑因素。机器学习算法根据数据自动调整模型参数,但通常需要用户设置额外的参数,称为超参数。超参数会显著影响预测精度。通常由传感器在线收集的流量测量是串行相关的。此外,数据分布可能会逐渐变化。典型的自适应策略是周期性地重新调整模型超参数,以计算负担为代价。在这项工作中,我们提出了一个有效的和原则性的在线超参数优化算法的核岭回归应用于交通预测问题。在对真实流量测量数据的测试中,我们的方法所需的计算时间仅为其他调优方法的七分之一,同时实现了更好或类似的预测精度。
2018-11-01 cs.LG stat.ML
Ensemble Kalman Filtering for Online Gaussian Process Regression and Learning
The University of Sheffield(谢菲尔德大学);University of Canterbury(坎特伯雷大学);The University of Oxford(牛津大学)
高斯过程回归是一种机器学习方法,已被证明其对未知函数的估计的能力。然而,高斯过程具有高计算复杂性,因为在基本形式中,它们随着观测的数量而立方地缩放。提出了几种基于诱导点的方法来处理静态环境中的这个问题。然而,这些方法面临着实时任务的挑战,并且当数据随着时间顺序接收时。提出了一种新的稀疏高斯过程模型在线训练算法。它把高斯过程的均值和超参数分别作为集合卡尔曼滤波器的状态和参数。对新的即将到来的数据样本执行参数和状态的在线评估。该过程迭代地提高了参数估计的准确性。集合卡尔曼滤波器降低了获得具有高斯过程的预测所需的计算复杂度,从而保持这些预测的准确性水平。所提出的方法的性能证明在合成数据集和真正的大数据集的英国房价。
2018-07-09 cs.LG stat.ML
Second-Order Non-Stationary Online Learning for Regression
The Technion - Israel Institute of Technology(以色列理工学院)
在标准的在线学习中,学习者的目标是使累积损失与来自某个固定类的最佳性能函数相比不大得多。与离线选择的最佳函数相比,许多算法被证明具有任意接近于零的间隙。然而,许多现实世界的应用,如自适应滤波,在本质上是非平稳的,最好的预测函数可能会随着时间的推移而漂移。我们介绍了两种新的在线回归算法,旨在工作在非平稳环境。我们的第一个算法执行自适应重置忘记历史,而第二个是最后一步的最小最大最优的上下文中的漂移。我们分析了这两种算法在最坏情况下的遗憾框架,并表明,他们保持接近的最佳缓慢变化的线性函数序列的平均损失,只要累积漂移是次线性的。此外,在平稳的情况下,当没有漂移发生,我们的算法遭受对数遗憾,为以前的算法。我们的边界改善现有的,和模拟证明了这些算法的有用性相比,其他国家的最先进的方法。
2013-03-01 cs.LG stat.ML
Nonparametric Online Regression while Learning the Metric
EPFL(洛桑联邦理工学院);Universitá degli Studi di Milano(米兰大学)
我们研究在线非参数回归算法,学习回归函数更平滑的方向。我们的算法学习的Mahalanobis度量的基础上的梯度外积矩阵$\boldsymbol{G}$的回归函数(自动适应此矩阵的有效秩),而同时绑定的遗憾-在相同的数据序列-在$\boldsymbol{G}$的频谱方面。在我们的分析作为一个初步的步骤,我们扩展了非参数在线学习算法哈赞和Megiddo,使其能够竞争对函数的Lipschitzness测量相对于任意Mahalanobis度量。
2017-10-23 cs.LG
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Research(亚马逊研究院)
我们考虑非平稳在线凸优化的框架,学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹,我们证明,强自适应(SA)算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说,我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果,在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下,论文的第二部分解决了Zhdanov和Kalnishkan(2010)提出的一个悬而未决的问题,该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界,一定的惩罚遗憾,建立了近极大极小最优的在线核岭回归(KRR)。我们的下界可以被看作是对Vovk(2001)中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
Online Active Regression
School of Physical and Mathematical Sciences(物理与数学科学学院);Nanyang Technological University(南洋理工大学)
主动回归考虑线性回归问题,其中学习者接收大量数据点,但只能观察少量标签。由于在线算法可以处理增量训练数据,并利用低计算成本,我们考虑的主动回归问题的在线扩展:学习者接收数据点一个接一个,并立即决定是否应该收集相应的标签。目标是用少量的标签查询预算有效地维护接收到的数据点的回归。我们提出了新的算法,这个问题下的$\ell_p$损失$p\in[1,2]$。为了实现一个$(1+ε)$近似的解决方案,我们提出的算法只需要$\tilde{\mathcal{O}}(ε^{-1} d \log(nκ))$查询的标签,其中$n$是数据点的数量和$κ$是一个数量,称为条件数,数据点。数值结果验证了我们的理论结果,并表明我们的方法具有可比的性能与离线主动回归算法。
2022-08-30 cs.DS cs.LG stat.ML
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology(代尔夫特理工大学);Uppsala University(乌普萨拉大学)
本文提出一种在线稀疏高斯过程回归算法,解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足,实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
Stochastic Online Linear Regression: the Forward Algorithm to Replace Ridge
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Criteo(Criteo公司);ENSAE(法国国立统计与经济管理学院);ENS PARIS-SACLAY(巴黎萨克雷高等师范学院)
我们考虑随机环境下的在线线性回归问题。我们推导了在线岭回归和前向算法的高概率后悔界。这使我们能够更准确地比较在线回归算法,并消除有界观测和预测的假设。我们的研究主张使用前向算法代替岭,由于其增强的边界和鲁棒性的正则化参数。此外,我们解释了如何将其集成到算法中,涉及线性函数逼近,以消除有界性假设,而不恶化理论界。我们展示了这种修改在线性强盗设置,它产生改进的遗憾界限。最后,我们提供了数值实验来说明我们的结果和支持我们的直觉。
2021-11-02 cs.LG
Online Linearized LASSO
The Hong Kong University of Science and Technology(香港科技大学);Tower Research Capital LLC(Tower研究资本有限责任公司);University of Toronto(多伦多大学)
稀疏回归已成为一种流行的方法来执行变量选择,并提高预测精度和解释的统计模型。现有的方法主要集中在离线正则化回归,而在线的情况下,很少有研究。在本文中,我们提出了一种新的在线稀疏线性回归框架分析流数据时,数据点顺序到达。我们提出的方法是内存有效的,需要不太严格的限制强凸性假设。从理论上讲,我们表明,与适当选择的正则化参数,$\ell_2$ -范数统计误差的估计减少到零的最佳顺序的$\tilde{O}({\sqrt{s/t}})$,其中$s$是稀疏水平,$t$是流样本量,和$\tilde{O}(\cdot)$隐藏对数项。数值实验证明了算法的有效性。
2023-01-02 cs.LG stat.ML
Online Generalized Sparse Regression: How Does Overparametrization Help?
University of Toronto(多伦多大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文针对在线广义稀疏回归的四大挑战,提出在线广义稀疏约束回归框架,设计高效在线硬阈值算法,在适当过参数化下实现最优统计速率的全局收敛,数值实验显示其性能优于现有最优方法。
2026-08-19 cs.LG math.ST stat.ML
Improving SGD convergence by online linear regression of gradients in multiple statistically relevant directions
Jagiellonian University(雅盖隆大学)
深度神经网络通常使用随机梯度下降(SGD)进行训练,该算法使用非常粗略的梯度近似来最小化目标函数,仅对实际梯度进行平均。标准的方法,如动量或ADAM只考虑一个方向,并不试图从极值模型的距离-忽略了有价值的信息,从计算的梯度序列,往往停滞在一些次优的高原。二阶方法可以利用这些错过的机会,然而,除了遭受非常大的成本和数值不稳定性之外,由于忽略曲率的符号(作为Hessian的特征值),其中许多方法会吸引到次优点,如鞍点。无鞍牛顿法是解决这个问题的一个罕见的例子-将鞍吸引力变为排斥力,并被证明可以通过这种方式对最终值提供本质的改进。然而,它忽略了噪声,而建模二阶行为,专注于Krylov子空间的数值原因,并需要昂贵的特征分解。在保持SFN优势的情况下,提出了用于利用这些机会的廉价方式。二阶行为是一阶导数的线性依赖-我们可以用最小二乘线性回归从噪声梯度序列中最佳地估计它,在这里的在线设置中:用旧梯度的弱化权重。统计相关子空间由最近的噪声梯度的PCA建议-在在线设置中,它可以通过缓慢地将所考虑的方向旋转到新的梯度,逐渐用最近的统计相关取代旧的方向来实现。特征分解也可以在线执行:定期执行QR方法的步骤,以保持对角Hessian。在二阶建模子空间之外,我们可以同时执行梯度下降。
2023-03-13 cs.LG stat.ML
Online and Distributed Robust Regressions under Adversarial Data Corruption
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);U. S. Army Corps of Engineers(美国陆军工程兵团)
在当今的大数据时代,当考虑到数据集爆炸性增长的对抗性腐败时,鲁棒最小二乘回归成为一个更具挑战性的问题。传统的鲁棒方法可以处理噪声,但在应用于大型数据集时会遇到一些挑战,包括1)一次处理整个数据集的计算不可行性,2)存在异构分布的损坏,以及3)当数据无法完全加载时难以估计损坏。本文提出了在线和分布式鲁棒回归方法,这两种方法可以同时解决所有上述挑战。具体地说,分布式算法通过启发式硬阈值优化每个数据块的回归系数,并将所有估计值组合在分布式鲁棒合并中。此外,提出了一个在线版本的分布式算法,以增量更新现有的估计与新的传入数据。我们还证明了我们的算法受益于强大的鲁棒性保证回归系数恢复与一个恒定的上限的错误的国家的最先进的批处理方法。在人工数据集和真实数据集上的大量实验表明,我们的方法在有效性上优于现有方法,具有竞争力的效率。
2017-10-02 cs.DS cs.LG stat.ML
A Regression Approach to Learning-Augmented Online Algorithms
Duke University(杜克大学)
新兴的学习增强在线算法领域使用ML技术来预测未来的输入参数,从而提高在线算法的性能。由于这些参数通常是实值函数,因此自然的方法是使用回归技术来进行这些预测。我们在本文中介绍这种方法,并探讨它的背景下,捕捉经典的问题,如(广义)滑雪租赁,装箱,最小完工时间调度等,我们显示了近紧界样本的复杂性,这个回归问题,并将我们的结果扩展到不可知设置的一般在线搜索框架。从技术的角度来看,我们表明,关键是将在线优化基准的回归问题的损失函数的设计,从而偏离使用现成的回归工具与统计误差的标准界限。
2022-05-25 cs.DS cs.LG
Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
高斯过程(GP)作为一种功能强大的贝叶斯非参数化算法,在贝叶斯优化和信号处理中发挥着重要作用。全科医生也有先进的在线决策系统,因为他们的后验分布有一个封闭的形式的解决方案。然而,它的训练和推理过程需要存储所有历史数据,并从头开始训练GP模型。出于这些原因,一些在线GP算法,如O-SGPR和O-SVGP,已专门设计用于流媒体设置。在本文中,我们提出了一个新的理论框架,在线GPS的基础上在线可能近似正确(PAC)贝叶斯理论。该框架提供了广义性能和良好的准确性的保证。我们的算法不是最小化边际似然,而是优化经验风险函数和正则化项,这与参数的先验分布和后验分布之间的分歧成比例。除了理论上的吸引力,该算法在几个回归数据集上的经验表现良好。与其他在线GP算法相比,我们产生了泛化保证和非常有竞争力的准确性。
2022-10-26 cs.AI cs.LG stat.ML