HiPaR: Hierarchical Pattern-aided Regression
Inria（法国国家信息与自动化研究所）；Aalborg University（奥尔堡大学）；University of Rennes 1（雷恩第一大学）
我们介绍了HiPaR，一种新的模式辅助回归方法，用于包含分类和数值属性的表格数据。HiPaR挖掘$p \Rightarrow y = f(X)$形式的混合规则，其中$p$是数据区域的表征，而$f(X)$是关于感兴趣的变量$y$的线性回归模型。HiPaR依赖于模式挖掘技术来识别数据区域，其中目标变量可以通过局部线性模型准确解释。该方法的新颖之处在于结合了一种枚举方法来探索区域空间和有效的搜索指导。这样的策略在选择解释整个数据集的一小组联合准确和人类可读的混合规则时提供了更大的灵活性。正如我们的实验所示，HiPaR比现有的基于模式的回归方法挖掘更少的规则，同时仍然获得最先进的预测性能。
2021-02-24 cs.LG
A Generalized Online Mirror Descent with Applications to Classification and Regression
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；The Technion（以色列理工学院）；Università degli Studi di Milano（米兰大学）
在线学习算法速度快，内存效率高，易于实现，适用于许多预测问题，包括分类，回归和排名。在过去的几十年里，提出了几种在线算法，一些基于加法更新，如Perceptron，一些基于乘法更新，如Winnow。在线镜像下降提供了在线算法的设计和分析的统一观点，这是一种通用的预测策略，大多数一阶算法可以作为特例获得。我们将在线镜像下降推广到具有通用更新的时变正则化器。与标准的镜像下降，我们更一般的配方也捕获二阶算法，复合损耗算法和自适应滤波算法。此外，我们恢复，有时改善，已知的遗憾界作为我们的分析使用特定的正则化的特殊情况。最后，我们通过推导出一个新的二阶算法的遗憾界不变量相对于任意重新缩放的个人功能，我们的方法的力量。
2014-07-14 cs.LG
DFORD: Directional Feedback based Online Ordinal Regression Learning
Machine Learning Lab, Kohli Center on Intelligent Systems, IIIT Hyderabad, India（机器学习实验室，Kohli智能系统中心，IIIT海得拉尔，印度）；IIIT Hyderabad, India（IIIT海得拉尔，印度）
DFORD通过方向反馈实现在线序回归，采用探索-利用策略并引入核方法，有效降低内存消耗，实现O(log T)的遗憾界。
2025-12-22 cs.LG
Adaptive Feature Selection: Computationally Efficient Online Sparse Linear Regression under RIP
Google Research（谷歌研究院）；Amazon（亚马逊）；University of Chicago（芝加哥大学）；Yahoo Research（雅虎研究院）
在线稀疏线性回归是一个在线问题，其中算法重复选择一个坐标子集以在反向选择的特征向量中进行观察，进行实值预测，接收真实标签，并产生平方损失。目标是设计一个在线学习算法，具有次线性遗憾的最佳稀疏线性预测后见之明。在没有任何假设的情况下，这个问题在计算上是难以处理的。在本文中，我们假设数据矩阵满足限制等距性质，并表明，这一假设导致计算效率的算法与次线性遗憾的两个变种的问题。在第一种变体中，根据具有加性高斯噪声的稀疏线性模型生成真实标签。在第二种情况下，真正的标签被对立地选择。
2017-06-14 cs.LG
Dynamic Structure Embedded Online Multiple-Output Regression for Stream Data
IBM Research-China（IBM中国研究院）；Nanjing University of Information Science and Technology（南京信息工程大学）；East China Normal University（华东师范大学）
在线多输出回归是一种重要的机器学习技术，用于建模、预测和压缩多维相关数据流。在本文中，我们提出了一种新的在线多输出回归方法，称为MORES，流数据。MORES可以\emph{dynamically}学习在每个更新步骤中系数变化的结构，以促进模型的连续细化。我们观察到，有限的表达能力的回归模型，特别是在初步阶段的在线更新，往往会导致变量的残差是相依的。鉴于这一点，MORES打算\emph{dynamically}学习并利用残差的结构来提高预测精度。此外，我们定义了三个统计变量\emph{exactly}来代表所有已知的样本，用于\emph{incrementally}计算每轮在线更新的预测损失，避免了将所有训练数据加载到内存中进行模型更新，也有效地防止了模型在噪声存在下的剧烈波动。此外，我们还引入了遗忘因子，对样本设置不同的权重，以便从最新的样本中快速跟踪数据流的演化特征。在一个合成数据集和三个真实数据集上的实验验证了该方法的有效性。此外，MORES的更新速度在三个真实世界的数据集上每秒至少处理2000个样本，比最先进的在线学习算法快15倍以上。
2015-09-08 cs.LG
OLR-WAA: Adaptive and Drift-Resilient Online Regression with Dynamic Weighted Averaging
OLR-WAA是一种无超参数的在线回归模型，通过动态加权平均和概念漂移检测机制，实现对非平稳数据流的有效适应和高性能预测。
2025-12-14 cs.LG
Online Sparse Linear Regression
Amazon（亚马逊）；Yahoo Research（雅虎研究院）；Goldman Sachs（高盛）
我们考虑在线稀疏线性回归问题，这是顺序进行预测的问题，在每一轮中只观察有限数量的特征，以最大限度地减少对最佳稀疏线性回归的遗憾，其中预测精度由平方损失来衡量。我们给出了一个效率低下的算法，获得$T$预测轮后的$\tilde{O}(\sqrt{T})$有界的遗憾。我们补充这一结果表明，没有算法运行在多项式时间内，每次迭代可以实现遗憾的$O(T^{1-δ})$任何常数$δ> 0$，除非$\text{NP} \subseteq \text{BPP}$。这个计算硬度结果解决了COLT 2014（Kale，2014）中提出的一个开放问题，也是Zolghadr等人提出的。（2013）。即使算法被允许访问比最佳稀疏线性回归器更多的特征，直到维度中的对数因子，这个硬度结果也成立。
2016-03-07 cs.LG
Online Gradient Boosting
Yahoo Labs（雅虎实验室）；Princeton University（普林斯顿大学）
我们将回归问题的提升理论扩展到在线学习环境。从用于提升的批量设置进行概括，弱学习算法的概念被建模为具有与回归函数的基类竞争的线性损失函数的在线学习算法，而强学习算法是具有与更大类的回归函数竞争的凸损失函数的在线学习算法。我们的主要结果是一个在线的梯度提升算法，它将一个弱的在线学习算法转化为一个强的，其中较大的函数类是基类的线性跨度。我们还给出了一个简单的boosting算法，将一个弱的在线学习算法转化为一个强的，其中较大的函数类是基类的凸包，并证明了其最优性。
2015-10-30 cs.LG
Cluster Regularization via a Hierarchical Feature Regression
Goethe University Frankfurt（法兰克福歌德大学）
本文提出了一种新的基于图的正则化回归估计-层次特征回归（HFR）-，它调动了机器学习和图论领域的见解来估计线性回归的鲁棒参数。估计器构造了一个监督特征图，该图沿着其边缘分解参数，首先针对常见的变化进行调整，并相继将特质模式纳入拟合过程。图结构具有朝向组目标收缩参数的效果，其中收缩的程度由超参数支配，并且组组合物以及收缩目标是内生地确定的。该方法为数据中潜在效应结构的可视化探索提供了丰富的资源，并且与一系列经验和模拟回归任务中常用的正则化技术相比，表现出良好的预测准确性和通用性。
2022-01-07 cs.LG stat.ML
GPgym: A Remote Service Platform with Gaussian Process Regression for Online Learning
针对非机器学习专业人士难以部署开源模型的问题，提出基于高斯过程回归的远程服务平台GPgym，使各领域专家无需编写脚本即可将机器学习集成到现有软件中。
2024-12-17 cs.LG
A Regression Approach to Learning-Augmented Online Algorithms
Duke University（杜克大学）
新兴的学习增强在线算法领域使用ML技术来预测未来的输入参数，从而提高在线算法的性能。由于这些参数通常是实值函数，因此自然的方法是使用回归技术来进行这些预测。我们在本文中介绍这种方法，并探讨它的背景下，捕捉经典的问题，如（广义）滑雪租赁，装箱，最小完工时间调度等，我们显示了近紧界样本的复杂性，这个回归问题，并将我们的结果扩展到不可知设置的一般在线搜索框架。从技术的角度来看，我们表明，关键是将在线优化基准的回归问题的损失函数的设计，从而偏离使用现成的回归工具与统计误差的标准界限。
2022-05-25 cs.DS cs.LG
OLR-WA Online Regression with Weighted Average
Baylor University（贝勒大学）
本文提出 OLR-WA 在线线性回归方法，通过用户定义权重融合新旧数据，在一致数据上与批量模型性能相近，并能灵活控制对数据变化的适应速度。
2023-07-06 cs.LG
Tensor network square root Kalman filter for online Gaussian process regression
Delft University of Technology（代尔夫特理工大学）；Delft Center for Systems and Control（代尔夫特系统与控制中心）
本文首次提出张量网络平方根卡尔曼滤波器，通过避免协方差矩阵正定性损失解决滤波器发散问题，并应用于高维在线高斯过程回归，在真实系统辨识中估计4^14个参数，预测精度和不确定性量化均优于现有方法。
2024-09-05 cs.LG
Asynchronous Distributed Gaussian Process Regression for Online Learning and Dynamical Systems: Complementary Document
Technical University of Munich (TUM)（慕尼黑工业大学）；School of Computation, Information and Technology (CIT)（计算、信息与技术学院）
本文为异步分布式高斯过程回归用于在线学习与动力系统的论文提供补充说明。
2024-12-16 cs.LG cs.SY eess.SY
Transductive and Learning-Augmented Online Regression
University of Michigan（密歇根大学）；Texas A&M University（德克萨斯农工大学）
该研究针对可获取未来样本预测的在线回归场景，刻画了直推式在线学习的最小最大期望后悔值，提出适配不完美预测的学习增强在线学习器，实现预测质量相关的性能提升，拓展了可学习类别范围。
2025-10-04 cs.DS cs.LG
Locally Weighted Regression Pseudo-Rehearsal for Online Learning of Vehicle Dynamics
Georgia Institute of Technology（佐治亚理工学院）
我们考虑的问题，在线适应的神经网络设计代表车辆动力学。该神经网络模型旨在由MPC控制律使用以自主地控制车辆。这个问题是具有挑战性的，因为输入和目标分布都是非平稳的，和天真的方法在线适应导致灾难性遗忘，这反过来又会导致控制器故障。提出了一种新的在线学习方法，它结合了伪排练方法和局部加权投影回归。我们证明了局部加权投影回归伪排练（LW-PR $^2$）方法在模拟和1/5比例自动驾驶汽车收集的大型真实世界数据集上的有效性。
2019-05-13 cs.LG cs.RO
Logarithmic Regret for parameter-free Online Logistic Regression
LPSM, Sorbonne Université（巴黎索邦大学概率与随机模型实验室）
我们认为在线优化程序的逻辑回归的背景下，专注于扩展卡尔曼滤波器（EKF）。我们引入了一个接近EKF的二阶算法，称为半在线步骤（SOS），我们在对抗设置中证明了O（log（n））的遗憾，为EKF的类似结果铺平了道路。SOS的遗憾界是第一个在对抗逻辑回归中的无参数算法。我们证明了EKF在恒定的动态O（log（n））的期望和良好指定的逻辑回归模型的遗憾。
2019-02-26 cs.LG math.ST stat.TH
OLR-WA: Online Weighted Average Linear Regression in Multivariate Data Streams
University of California, San Diego（加州大学圣地亚哥分校）
本文提出OLR-WA模型，用于多变量数据流的在线线性回归，通过处理数据漂移和置信度场景，实现与批量回归相当甚至更优的性能。
2025-12-16 cs.AI cs.LG
Online Nonparametric Regression
University of Pennsylvania（宾夕法尼亚大学）
我们建立了在线回归的最佳速率为任意类的回归函数的序贯熵（Rakhlin，Sridharan，Tewari，2010）。最佳速率显示出类似于i.i.d./统计学习案例，研究于（Rakhlin，Sridharan，Tsybakov 2013）。在序列熵和i.i.d.经验熵匹配，我们的结果指出了一个有趣的现象，统计学习平方损失和在线非参数回归的速度是相同的。除了非算法研究的极大极小遗憾，我们展示了一个通用的预测，享有既定的最佳利率。我们还提供了一个配方设计在线回归算法，可以计算效率。我们说明的技术，通过现有的和新的预测有限的专家和在线线性回归的情况下。
2014-02-11 cs.LG math.ST stat.ML
Hierarchical Latent Structure Learning through Online Inference
Center for Theoretical Neuroscience and Zuckerman Institute（理论神经科学中心和Zuckerman研究所）；Columbia University（哥伦比亚大学）；Department of Psychiatry, Columbia University Irving Medical Center（精神病学系，哥伦比亚大学伊万杰琳医学中心）；New York State Psychiatric Institute（纽约州精神医学研究所）；Columbia Data Science Institute（哥伦比亚数据科学研究所）
本文提出HOLMES模型，通过在线推断学习层次化潜在结构，实现了在序列数据中发现层次结构的可行计算框架。
2026-07-27 cs.LG q-bio.NC
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）；U. S. Army Corps of Engineers（美国陆军工程兵团）
用户生成的流数据（如社交媒体）中存在数据损坏，这激发了一个新的基本问题，即当特征不能一次完全访问时，学习可靠的回归系数。到目前为止，几个重要的挑战仍然无法同时处理：1）当只有部分特征可访问时，损坏的数据估计; 2）当数据包含对抗性损坏时，在线特征选择;以及3）扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择（\textit{RoOFS}），同时解决所有上述挑战。具体地说，该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比，最优解。在合成数据集和真实数据集上的大量实验表明，该方法在恢复特征选择和回归系数方面均优于现有方法，具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
Online Active Linear Regression via Thresholding
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
我们考虑在线主动学习的问题，以收集数据进行回归建模。具体来说，我们考虑一个有限的实验预算的决策者必须有效地学习一个潜在的线性人口模型。我们的主要贡献是一种新的阈值为基础的算法选择最翔实的意见，我们的性能和基本的下限。我们扩展的算法和它的保证稀疏线性回归在高维设置。仿真表明，该算法是非常强大的：它提供了显着的好处，在现实世界的数据集，表现出高非线性和高维被动随机采样-显着降低均方误差和方差。
2016-12-21 cs.LG stat.ML
Multivariate Online Linear Regression for Hierarchical Forecasting
Sorbonne University（索邦大学）；Paris Cité University（巴黎城市大学）；CNRS（法国国家科学研究中心）；LOPF；LPSM
本文提出MultiVAW方法，将Vovk-Azoury-Warmuth算法推广至多元在线线性回归，证明其对数遗憾界，并应用于在线分层预测以放宽现有算法的分析假设。
2024-02-22 cs.LG math.OC stat.ML
Online Hierarchical Clustering Approximations
Google Research（谷歌研究院）
层次聚类是一种广泛使用的方法，用于在多个粒度级别上对数据集进行聚类。尽管它的流行，现有的算法，如层次凝聚聚类（HAC）是有限的离线设置，因此需要整个数据集是可用的。这就禁止了它们在现代学习应用程序中经常遇到的大型数据集上的使用。在本文中，我们考虑层次聚类的在线设置，点到达一个时间。我们提出了两种算法，寻求优化莫斯利和王（MW）的收入函数，一个变种的Dasgupta成本。这些算法在效率和MW收入性能之间提供了不同的权衡。第一个算法，OTD，是一个高效的在线自上而下的算法，可证明实现了1/3近似的MW收入下的数据分离的假设。第二个算法，OHAC，是一个在线对应离线HAC，这是已知的产生1/3近似MW收入，并在实践中产生良好的质量集群。我们表明，OHAC近似离线HAC利用一种新的分裂合并过程。我们的经验表明，OTD和OHAC提供显着的效率和集群质量增益分别超过基线。
2019-09-20 cs.LG stat.ML
Efficient Methods for Online Multiclass Logistic Regression
Google Research（谷歌研究院）
多类逻辑回归是机器学习中的一个基本任务，在分类和提升中有应用。先前的工作（Foster等人，2018）强调了不适当的预测因子对于在线多类逻辑回归问题中实现“快速率”的重要性，而不会受到次要问题参数的指数影响，例如比较类中预测因子的范数。虽然Foster et al.（2018）引入了一种统计上最优的算法，但实际上它在计算上是难以处理的，因为它的运行时复杂度是输入特征向量的时间范围和维度的大多项式。在本文中，我们开发了一种新的算法，FOLKLORE，运行速度显着比福斯特等人的算法的问题。（2018）-每次迭代的运行时间在维度上呈二次缩放-代价是对遗憾界中预测因子的范数具有线性依赖性。这产生了第一个实用的在线多类逻辑回归算法，解决了一个开放的问题福斯特等人。（2018年）。此外，我们表明，我们的算法可以应用于在线强盗多类预测和在线多类提升，产生更实用的算法相比，在福斯特等人的这两个问题。（2018年）具有类似的性能保证。最后，我们还提供了一个在线到批量转换的结果，我们的算法。
2021-10-10 cs.LG stat.ML
Sparse Hierarchical Regression with Polynomials
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）
提出了一种新的精确分层稀疏多项式回归方法。我们的回归量是次数$r$多项式，它依赖于最多的$k$输入，最多计数$\ell$单项项，最小化其预测误差的平方和。以前的分层稀疏规范与现代大数据设置非常一致，其中许多输入与预测目的无关，并且需要控制回归量的函数复杂性以避免过度拟合。我们提出了一个两步的方法来解决这个层次稀疏回归问题。首先，我们使用极快的输入排序启发式算法丢弃不相关的输入。其次，我们利用现代切割平面整数优化方法来解决我们所得到的减少层次$(k, \ell)$稀疏问题。我们的方法，以确定所有$k$相关的输入和所有$\ell$单项条款的能力经验表明，经历一个相变。至关重要的是，同样的转变也表现在我们拒绝所有不相关的特征和单项式的能力上。在我们的方法是统计强大的政权，其计算复杂性是有趣的Lasso为基础的几何学。所提出的工作填补了一个空白，缺乏强大的纪律非线性稀疏回归方法在高维设置。经验表明，我们的方法可以扩展到具有输入维度$p\approx 1,000$的$n\approx 10,000$观测的回归问题。
2017-09-28 cs.LG math.OC stat.ML
OpReg-Boost: Learning to Accelerate Online Algorithms with Operator Regression
University of Padova（帕多瓦大学）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种新的正则化方法--OpReg-Boost --以提高在线优化和学习算法的收敛性并减小其渐近误差。特别是，本文认为在线算法的优化问题随时间变化的（弱）凸复合成本。对于给定的在线算法，OpReg-Boost学习最接近的算法映射，产生线性收敛;为此，学习过程取决于算子回归的概念。我们将展示如何形式化的运营商回归问题，并提出了一个计算效率高，利用一个简单的二次约束二次规划（QCQP）的封闭形式的解决方案的Jumeman-Rachford求解器。仿真结果显示了OpReg-Boost w.r.t.更经典的前向-后向算法、FISTA和Anderson加速。
2022-04-04 cs.LG math.OC
Smoothed Online Optimization for Regression and Control
Caltech（加州理工学院）
我们认为在线凸优化（OCO）的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现，最近提出的在线平衡下降（OBD）算法是恒定的竞争力，在这种设置中，与竞争比$3 + O(1/m)$，无论周围的尺寸。此外，我们表明，当成本函数的序列是$ε$ -光滑，OBD具有接近最佳的动态遗憾，并保持较强的每轮精度。我们证明了我们的方法的一般性，通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法，包括岭回归，逻辑回归，最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
Non-stationary Online Regression
Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在线预测在不断变化的环境下已经成为一个越来越重要的问题，在许多现实世界的应用。在本文中，我们考虑的元算法中提出的\citet{zhang2017dynamic}结合不同的子程序。我们证明了对于参数序列的总变差由$C_n$约束的非平稳在线线性回归，可以得到一个期望的$\tilde{O}(n^{1/3} C_n^{2/3})$阶累积误差。本文将\cite{baby2019online}中提出的一维时间序列在线预测的结果推广到一般的$d$维非平稳线性回归。我们提高了Zhang等人2017和Besbes等人2015获得的$O(\sqrt{n C_n})$率。我们进一步扩展我们的分析，非平稳在线核回归。与非平稳在线回归情况类似，我们使用Zhang et al. 2017的元程序结合Kernel-AWV（Jezequel et al. 2020）来实现由RKHS的有效维度和序列的总变异控制的预期累积。据我们所知，这项工作是非平稳在线回归的非平稳核回归的第一次扩展。最后，我们评估我们的方法与现有的几个基准经验，并将其与本文得到的理论界。
2020-11-13 cs.LG math.ST stat.TH
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University（汉密尔顿研究所，梅努斯大学）；Maynooth University（梅努斯大学）
本文提出 HE-BART，通过在回归树终端节点嵌入随机效应，构建无需预设随机效应结构的非参数混合效应建模方法，并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
A Chaining Algorithm for Online Nonparametric Regression
EDF R&D（法国电力研发中心）；HEC Paris（巴黎高等商学院）；CNRS（法国国家科学研究中心）；Institut de Mathématiques de Toulouse, Université Paul Sabatier（保罗·萨巴捷大学图卢兹数学研究所）
本文研究了任意确定性序列的在线非参数回归问题。利用链接技术的思想，我们设计了一个算法，该算法实现了一个类似于Rakhlin和Sridharan（2014）以非建设性方式获得的Dudley型遗憾界限。我们的遗憾界表示的度量熵的超级规范，产生最佳的保证时，度量和序列熵的数量级相同。特别是我们的算法是第一个实现最佳速率在线回归H{<$}lder球。此外，我们在这个例子中展示了如何调整我们的链接算法，以获得合理的计算效率，具有类似的遗憾保证（最多可达对数因子）。
2015-07-01 cs.LG stat.ML
Online Multi-target regression trees with stacked leaf models
University of São Paulo（圣保罗大学）；State University of Londrina（隆德里纳州立大学）
当前机器学习面临的挑战之一是如何处理数据流中以越来越高的速率出现的数据。需要新的预测学习策略来应对高吞吐量数据和概念漂移。其中一个需要新的学习策略的数据流挖掘任务是多目标回归，因为它适用于大量的现实问题。虽然已经提出了可靠和有效的学习策略，批量多目标回归，很少有人提出多目标在线学习数据流。此外，大多数现有的解决方案在进行预测时不考虑目标间相关性的发生。在这项工作中，我们提出了一种新的在线学习策略的多目标回归数据流。该策略扩展了现有的在线决策树学习算法，以探索目标间的依赖关系，同时进行预测。为此，所提出的策略，称为堆叠单目标Hoeffding树（SST-HT），使用目标间的依赖关系作为一个额外的信息源，以提高预测精度。在整个广泛的实验设置，我们评估我们的建议对国家的最先进的决策树为基础的算法在线多目标回归。根据实验结果，SST-HT提出了优越的预测精度，在处理时间和内存需求的小增加。
2020-03-10 cs.LG stat.ML
Hierarchical Gaussian Process Models for Regression Discontinuity/Kink under Sharp and Fuzzy Designs
Texas A&M University（德州农工大学）
我们提出了非参数贝叶斯估计的因果推断利用回归不连续/扭结（RD/RK）下尖锐和模糊设计。我们的估计是基于高斯过程（GP）回归和分类。GP方法是强大的概率机器学习方法，其在导数估计和不确定性量化方面是有利的，从而促进RD/RK模型的RK估计和推断。这些估计器被扩展到具有中间贝叶斯神经网络层的分层GP模型，并且可以被表征为混合深度学习模型。蒙特卡罗模拟表明，我们的估计执行的精度，覆盖率和区间长度方面的竞争估计，有时甚至更好。层次GP模型大大改善了单层GP模型。我们应用所提出的方法来估计美国众议院选举的在职优势。我们的估计表明，在选票份额和在下次选举中获胜的可能性方面都有显着的在职优势。最后，我们提出了一个扩展，以适应协变量调整。
2022-02-28 cs.LG econ.EM stat.ML
Adaptive Iterative Hard Thresholding for Online High-dimensional Quantile Regression
Washington University in St. Louis（圣路易斯华盛顿大学）
提出自适应迭代硬阈值（AIHT）框架，通过延迟阈值发现支持、后期增加投影频率稳定估计，实现在线高维分位数回归的对数遗憾。
2026-06-26 cs.LG stat.ME stat.ML
Empowering Machines to Think Like Chemists: Unveiling Molecular Structure-Polarity Relationships with Hierarchical Symbolic Regression
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工宁波数字孪生研究院）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对薄层色谱预测中表达能力与可解释性难以兼顾的问题，提出UHiSR框架，通过分层神经网络与符号回归自动提炼极性指数并发现结构-色谱行为的可解释方程。
2024-01-25 cs.AI cs.DB cs.LG
A Study of Clustering Techniques and Hierarchical Matrix Formats for Kernel Ridge Regression
University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了内存效率和可扩展的算法，用于机器学习的内核方法。使用分层矩阵近似的内核矩阵的内存需求，浮点运算的数量，和执行时间大大减少相比，标准的密集线性代数例程。我们考虑了一般的$\mathcal{H}$矩阵层次格式以及层次半可分（HSS）矩阵。此外，我们研究了几种预处理和聚类技术对层次矩阵压缩的影响。输入的有效聚类导致压缩效率提高十倍。这些算法是使用STRUMPACK求解器库实现的。这些结果证实，-正确调整的超参数-分类使用核岭回归与压缩矩阵不失去预测精度相比，确切的-未压缩-核矩阵，我们的方法可以扩展到$\mathcal{O}(1M)$数据集，其中计算与完整的内核矩阵变得过于昂贵。我们目前的数值实验在分布式内存环境中高达1,024处理器的NERSC的科里超级计算机使用众所周知的数据集的机器学习社区，范围从8到784。
2018-03-27 cs.LG stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Improving Online Forums Summarization via Hierarchical Unified Deep Neural Network
University of Central Florida（中佛罗里达大学）
在线讨论论坛很普遍，很容易访问，因此允许人们通过在讨论线程中发布消息来分享想法和意见。论坛主题的长度显着增长可能会使参与者（无论是新来者还是现有参与者）难以掌握主要思想。为了缓解这个问题，本研究的目的是创建一个自动的文本摘要在线论坛。我们提出了分层统一深度神经网络来构建论坛摘要的句子和线程表示。在该方案中，Bi-LSTM导出包含整个句子和整个线程的信息的表示;而CNN则从句子和线程中捕获关于上下文的最具信息性的特征。注意力机制应用于CNN之上，以进一步突出携带有助于理想摘要的重要信息的高级表示。对三个数据集进行了广泛的性能评估，其中两个是真实的在线论坛，一个是新闻数据集。结果表明，该模型优于几个竞争基线。
2021-05-18 cs.CL cs.LG
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Hierarchical Fallback Architecture for High Risk Online Machine Learning Inference
Trustly（特拉斯利公司）
本文提出一种分层回退架构，通过定义在线推理中的通用故障场景并详细说明应用方法，提升了金融领域高风险机器学习应用在极端压力下的鲁棒性，并给出工业界近实时交易欺诈风险评估的实际应用案例。
2025-01-29 cs.CE cs.LG cs.SE
Projective Quadratic Regression for Online Learning
Tencent（腾讯）
本文考虑在线凸优化（OCO）问题-在线学习算法设计的首要框架。OCO环境中的学习任务的损失函数是基于流数据的，因此OCO是一个强大的工具来建模大规模的应用，如在线推荐系统。同时，由于现代特征工程技术，现实世界的数据通常是极高维的，因此二次回归是不切实际的。因子分解机及其变体是低秩矩阵模型捕获特征交互的有效模型，但由于它们的非凸性，它们不能满足OCO设置。本文提出了一种投影二次回归（PQR）模型。首先，它可以捕获输入的二阶特征信息。第二，它是一个凸模型，所以OCO的要求，可以实现全局最优解。此外，可以直接应用现有的现代在线优化方法，例如在线梯度下降（OGD）或跟随正则化领导者（FTRL）。此外，通过选择适当的超参数，我们证明了它具有与线性模型相同的空间和时间复杂度，从而可以处理高维数据。实验结果表明，所提出的PQR模型的准确性和效率方面的性能与国家的最先进的方法进行比较。
2019-11-25 cs.LG stat.ML
Hierarchically Gated Experts for Efficient Online Continual Learning
The University of New South Wales（新南威尔士大学）
针对在线持续学习中的未知任务流问题，提出层级门控专家（HGE）算法，通过动态增长的专家层级结构高效选择最佳专家，在标准基准上取得与现有方法相当且更高效的结果。
2024-12-22 cs.AI cs.LG
Dynamic Hierarchical Empirical Bayes: A Predictive Model Applied to Online Advertising
Adobe（奥多比公司）
预测关键词性能，如印象数、点击率（CTR）、转化率（CVR）、每次点击收入（RPC）和每次点击成本（CPC），对于在线广告行业的赞助搜索至关重要。一个有趣的现象是，尽管总体数据很大，但在单个单元级别上数据非常稀疏。为了克服稀疏性并利用数据结构中的分层信息，我们提出了一种动态分层经验贝叶斯（DHEB）模型，该模型通过数据驱动的过程动态确定层次结构，并提供基于收缩的估计。我们的方法还配备了一个有效的经验方法，通过层次结构推导出的推论。我们在模拟和真实世界的数据集，并比较几个竞争模型所提出的方法。结果表明，在所有的比较中，无论是准确性和效率的建议方法。最后，我们设计了一个两阶段的系统，以服务于实时预测。
2018-09-06 cs.LG stat.ML
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology（代尔夫特理工大学）；Uppsala University（乌普萨拉大学）
本文提出一种在线稀疏高斯过程回归算法，解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足，实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
An Online Hierarchical Algorithm for Extreme Clustering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
许多现代聚类方法可以很好地扩展到大量的数据项N，但不能扩展到大量的聚类K。本文介绍了PERCH，一个新的非贪心算法的在线层次聚类，规模庞大的N和K-一个问题的设置，我们长期极端聚类。我们的算法有效地路由新的数据点的叶子的增量构建的树。出于对准确性和速度的期望，我们的方法执行树旋转，以提高子树纯度和鼓励平衡。我们证明了，在自然可分性假设下，我们的非贪心算法将产生具有完美树状图纯度的树，而不管在线数据到达顺序。我们的实验表明，PERCH构建更准确的树比其他树建设聚类算法和规模以及与N和K，实现了更高的质量聚类比最强的平聚类竞争对手在近一半的时间。
2017-04-06 cs.LG stat.ML
HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising
Kuaishou Technology（快手科技）
针对在线广告投标系统问题，提出 HOBA 分层强化学习框架，在三个时间尺度解耦相关环节，通过实验验证其优于现有基线，大规模在线部署实现目标成本提升 3.6%，证明该范式有效。
2026-07-29 cs.AI cs.LG
Efficient Multiscale Gaussian Process Regression using Hierarchical Clustering
University of Michigan（密歇根大学）
标准高斯过程（GP）回归是一种功能强大的机器学习工具，但在应用于大型数据集时计算量很大，并且在数据点稀疏分布于高维特征空间时可能不准确。为了解决这些挑战，提出了一种新的多尺度、稀疏GP算法，目标是应用于大型科学计算数据集。在这种方法中，数据被划分为聚类，聚类中心用于定义精简的训练集，从而在训练和评估成本方面优于标准GP。此外，分层技术用于自适应地将局部协方差表示映射到特征空间的底层稀疏性，从而在数据分布高度不均匀时提高预测精度。对该算法的计算复杂性进行了理论分析。这种方法的有效性，然后证明光滑和不连续的分析功能和数据从湍流燃烧的直接数值模拟。
2016-03-07 cs.LG stat.ML
Online Infinite-Dimensional Regression: Learning Linear Operators
University of Michigan（密歇根大学）
本文研究无限维 Hilbert 空间间线性算子的在线平方损失回归，刻画 p-Schatten 范数有界类的可学习性，并证明算子范数有界类不可学及一致收敛与可学习性的分离。
2024-01-25 cs.LG stat.ML
Online Generalized Sparse Regression: How Does Overparametrization Help?
University of Toronto（多伦多大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文针对在线广义稀疏回归的四大挑战，提出在线广义稀疏约束回归框架，设计高效在线硬阈值算法，在适当过参数化下实现最优统计速率的全局收敛，数值实验显示其性能优于现有最优方法。
2026-08-19 cs.LG math.ST stat.ML
Online Bayesian Collaborative Topic Regression
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
协作主题回归（CTR）结合了概率矩阵分解（PMF）和主题建模（例如，LDA）的推荐系统，在许多应用中取得了越来越多的成功。现有的CTR算法虽然具有许多优点，但也存在一些严重的局限性。首先，它们通常被设计为以批量学习的方式工作，这使得它们不适合处理真实世界推荐系统中的流数据或大数据。其次，LDA的文档特定主题比例被馈送到下游PMF，但不是反向的，这是次优的，因为在发现文档的低维表示时没有利用评级信息，因此可能导致用于预测的次优表示。在本文中，我们提出了一种新的方案，在线贝叶斯协作主题回归（OBCTR），这是有效的和可扩展的学习数据流。特别地，我们{ \it联合}以在线学习的方式优化PMF和LDA的组合目标函数，其中PMF和LDA任务可以在在线学习过程中相互加强。我们令人鼓舞的实验结果对现实世界的数据验证了所提出的方法的有效性。
2016-05-28 cs.IR cs.LG
Achieving Online Regression Performance of LSTMs with Simple RNNs
Bilkent University（比尔肯特大学）；Turkcell Technology（Turkcell技术公司）；DataBoss A.S.（DataBoss公司）
递归神经网络（RNN）由于其泛化非线性时间依赖性的能力而被广泛用于在线回归。作为RNN模型，长短期记忆网络（LSTM）在实践中通常是首选的，因为这些网络能够学习长期依赖性，同时避免消失梯度问题。然而，由于它们的大量参数，与简单RNN（SRNN）相比，训练LSTM需要相当长的训练时间。在本文中，我们实现了在线回归性能的LSTM与SRNN有效。为此，我们引入了一个一阶训练算法的线性时间复杂度的参数的数量。我们表明，当用我们的算法训练SRNN时，它们在两到三倍的训练时间内提供了与LSTM非常相似的回归性能。我们提供强有力的理论分析，以支持我们的实验结果，我们的算法的收敛速度提供遗憾的界限。通过大量的实验，我们验证了我们的理论工作，并证明了我们的算法相对于LSTM和其他最先进的学习模型的显着性能改进。
2021-05-31 cs.LG stat.ML
Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning
Google（谷歌）；Purdue University（普渡大学）
理论结果表明，贝叶斯方法可以实现在线逻辑回归的遗憾下界。然而，在实践中，这种技术可能不可行，特别是对于非常大的特征集。对于巨大的稀疏特征集，必须使用各种近似，从而减少理论上的优势。通常，他们应用随机梯度方法，超参数必须根据一些替代损失进行调整，从而击败贝叶斯方法的理论优势。替代损失，定义为近似的混合，需要的技术，如蒙特卡罗抽样，增加每个例子的计算。我们提出了低复杂度的分析近似稀疏在线逻辑和概率回归。与变分推理和其他方法不同，我们的方法使用解析闭合形式，大大降低了计算量。与密集的解决方案不同，作为高斯混合，我们的方法允许具有巨大特征集的稀疏问题，而不会增加复杂性。使用解析闭合形式，也不需要对代理损失应用随机梯度方法，也不需要调整和平衡学习和正则化超参数。经验结果顶部的性能更涉及计算的方法。像这样的方法，我们的方法仍然揭示每个功能和每个例子的不确定性措施。
2021-01-28 cs.LG stat.ML
Online Baum-Welch algorithm for Hierarchical Imitation Learning
Boston University（波士顿大学）
近年来，分层强化学习的选项框架越来越受欢迎，并在解决强化学习的可扩展性问题方面取得了进展。然而，这些最近的成功大多与适当的选项初始化或发现有关。当专家可用时，选项发现问题可以通过直接从专家演示中学习选项类型的分层策略来解决。这个问题被称为分层模仿学习，并且可以被处理为隐马尔可夫模型中的推理问题，其通过期望最大化类型算法来完成。在这项工作中，我们提出了一种新的在线算法进行分层模仿学习的选项框架。此外，我们讨论了这样的算法的好处，并将其与经典强化学习基准测试中的批处理版本进行比较。我们表明，这种方法在离散和连续的环境中工作良好，在某些条件下，它优于批处理版本。
2021-03-22 cs.LG cs.SY eess.SY
Hierarchical Upper Confidence Bounds for Constrained Online Learning
Rochester Institute of Technology（罗切斯特理工学院）
针对分层结构、多层约束和上下文动作空间下的在线决策问题，提出HCB框架与HC-UCB算法，证明其次线性遗憾、约束满足保证及近最优极小极大性能。
2024-10-25 cs.LG cs.SY eess.SY
