Online Conformal Prediction via Universal Portfolio Algorithms
King Abdullah University of Science and Technology, Saudi Arabia(卡斯特大学);University of Pennsylvania, USA(宾夕法尼亚大学)
本文提出UP-OCP方法,通过通用投资组合算法实现参数无关的在线符合预测,提供强的有限时间误覆盖界,并在实验中表现优于现有方法。
2026-11-06 cs.LG stat.ML
Online conformal prediction with decaying step sizes
University of California, Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种具有衰减步长的在线保形预测方法,在保持回顾性覆盖保证的同时,能估计总体分位数,且在分布稳定时各时间点覆盖率接近期望水平。
2024-05-28 cs.LG stat.ME stat.ML
CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control
School of Statistics and Data Science, Nankai University(统计与数据科学学院,南开大学);School of Mathematical Sciences, Shanghai Jiao Tong University(数学科学学院,上海交通大学)
CAP算法通过在线选择性置信预测实现FCR控制,提供了一种通用框架以确保精确覆盖保证并提升预测区间精度。
2025-12-01 cs.LG stat.ME stat.ML
The Relationship between No-Regret Learning and Online Conformal Prediction
University of Pennsylvania(宾夕法尼亚大学)
本文探究无悔学习与在线保形预测的关系,发现标准无悔保证在对抗环境或组条件覆盖场景下失效,证明阈值校准覆盖与交换无悔的紧密联系,且跟随扰动领导者家族算法可提供组条件覆盖保证,还分析实验了ACI算法的多组泛化版本。
2025-02-16 cs.GT cs.LG stat.ML
Optimal training-conditional regret for online conformal prediction
University of Pennsylvania(宾夕法尼亚大学)
本文提出两种在线置信预测算法,分别针对预训练和在线训练的非一致性评分函数,通过漂移检测实现最优训练条件后悔,验证了算法在非平稳数据流中的有效性。
2026-03-05 cs.IT cs.LG math.IT
POLA: Online Time Series Prediction by Adaptive Learning Rates
Institute for Infocomm Research(资讯通信研究院)
流时间序列数据的在线预测对于许多实际应用具有实际用途,其中下游决策取决于对未来的准确预测。动态环境中的部署要求模型快速适应不断变化的数据分布,而不会过度拟合。我们提出了POLA(通过学习率适应在线预测)来自动调节递归神经网络模型的学习率,以适应随时间变化的时间序列模式。POLA通过吸收用于在线预测的先决或先测试后训练评估方案来元学习随机梯度下降(SGD)算法的学习率。我们在三个常用的递归神经网络模型的两个真实数据集上评估POLA。POLA表现出与其他在线预测方法相比具有可比或更好的预测性能。
2021-02-17 cs.LG stat.ML
Online Classification with Predictions
本文研究带预测的在线分类,设计一种学习器,其遗憾随预测质量提升而改善且不劣于最坏情况,并证明在预测容易时可达直推式在线学习的性能。
2024-05-22 cs.DS cs.LG stat.ML
Online Learning Using Only Peer Prediction
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文考虑了一个变种的经典在线学习问题的专家预测。我们的模型的差异和挑战是由于缺乏对每个专家在每个时间步$t$产生的损失的任何直接反馈。我们提出了一种方法,使用同行预测,并确定它成功的条件。我们的技术围绕着一个精心设计的同行评分功能$s()$,评分专家的预测的基础上同行的共识。我们展示了一个充分条件,我们称之为\emph{peer calibration},在此条件下,标准的在线学习算法使用精心制作的$s()$计算的损失反馈有界遗憾相对于未透露的地面真值。然后,我们演示了如何合适的$s()$功能,可以推导出不同的假设和模型。
2020-01-04 cs.LG stat.ML
Peer-inspired Student Performance Prediction in Interactive Online Question Pools with Graph Neural Network
HKUST(香港科技大学)
学生表现预测对在线教育至关重要。它可以使在线学习平台上的许多下游任务受益,例如估计辍学率,促进战略干预,以及实现自适应在线学习。交互式在线问题池为学生提供有趣的交互式问题,以实践他们在在线教育中的知识。然而,很少有研究已经做了互动在线问题池中的学生成绩预测。现有的学生成绩预测工作针对的是具有预定义课程和准确知识标签的在线学习平台,如MOOC平台,但它们不能完全模拟学生在交互式在线问题池中的知识演变。在本文中,我们提出了一种新的方法,使用图神经网络(GNNs),以实现更好的学生表现预测的互动在线问题池。具体而言,我们使用学生交互来建模学生和问题之间的关系,以构建学生交互问题网络,并进一步提出了一种新的GNN模型,称为R^2GCN,它本质上适用于异构网络,以实现可推广的学生在线交互问题池中的表现预测。我们评估了我们的方法在真实世界的数据集上的有效性,该数据集由104,113个鼠标轨迹组成,这些轨迹是在4000多名学生对1631个问题的解决过程中产生的。实验结果表明,该方法比传统的机器学习方法和GNN模型具有更高的学生成绩预测精度。
2020-08-15 cs.HC cs.LG stat.ML
Online Algorithms with Multiple Predictions
Duke University(杜克大学);IIT Delhi(德里印度理工学院)
本文研究了在线算法与多个机器学习预测增强。虽然近年来已经广泛地研究了用单个预测增强的在线算法,但是用于多个预测设置的文献是稀疏的。在本文中,我们给出了一个通用的算法框架,在线覆盖问题的多个预测,获得一个在线的解决方案,是对最佳预测的性能竞争。我们的算法结合了使用的预测在经典的潜在的在线算法的分析。我们应用我们的算法框架来解决经典的问题,如在线集覆盖,(加权)缓存,在线设施的位置在多个预测设置。我们的算法也可以是鲁棒的,即,可以同时使该算法与最佳预测和最佳在线算法(没有预测)的性能竞争。
2022-07-13 cs.DS cs.LG
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化(COCO-M),提出首次实现亚线性后悔和亚线性累积约束违反的算法,适用于时间变化约束,且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
NonSTOP: A NonSTationary Online Prediction Method for Time Series
University of Washington(华盛顿大学);Microsoft(微软)
我们提出了在线预测方法的时间序列,让我们明确地处理非平稳的文物(如趋势和季节性)存在于最真实的时间序列。具体来说,我们表明,应用适当的变换,这样的时间序列预测之前,可以导致改进的理论和经验预测性能。此外,由于这些转换通常是未知的,我们采用学习与专家设置开发一个完全在线的方法(NonSTOP-NonSTationary Online Prediction)预测非平稳时间序列。该框架考虑了单变量时间序列中的季节性和/或其他趋势以及多变量时间序列中的协整。我们的算法和遗憾分析继承了最近的相关工作,同时显着扩展了这些方法的适用性。对于所有的方法,我们提供了次线性遗憾界使用宽松的假设。理论上的保证并没有完全捕捉到转换的好处,因此我们提供了一个数据依赖的分析,跟随领导者算法,提供了洞察使用这种转换的成功。我们支持我们所有的模拟和真实数据的实验结果。
2018-08-26 cs.LG stat.ML
Online Optimization with Predictions and Non-convex Losses
IIIS, Tsinghua University(清华大学交叉信息研究院);California Institute of Technology(加州理工学院)
我们研究在线优化的设置,在线学习者寻求优化每轮命中成本,这可能是非凸的,而在轮之间改变动作时会产生移动成本。我们要求:\textit{under what general conditions is it possible for an online learner to leverage predictions of future cost functions in order to achieve near-optimal costs?}先前的工作提供了接近最优的在线算法的特定组合的假设击中和切换成本,但没有一般的结果是已知的。在这项工作中,我们给出了两个一般的充分条件,指定击球和运动成本之间的关系,保证了一个新的算法,同步固定地平线控制(SFHC),提供了一个$1+O(1/w)$竞争比,其中$w$是学习者可用的预测数。我们的条件不要求成本函数是凸的,我们也得到了非凸的打击和运动成本的竞争比结果。我们的研究结果提供了第一个常数,无量纲的竞争比在线非凸优化运动成本。此外,我们给出了一个自然实例的例子,凸体追逐(CBC),其中不满足充分条件,我们可以证明没有在线算法可以具有收敛到1的竞争比。
2020-01-24 cs.LG stat.ML
Bayesian Online Prediction of Change Points
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);TU Darmstadt(达姆施塔特工业大学)
在线检测数据序列生成过程中的瞬时变化通常集中在对这些变化点的回顾性推断上,而不考虑它们未来的出现。我们扩展了贝叶斯在线变化点检测算法,以推断直到下一个变化点的时间步长的数量(即,剩余时间)。这使得能够处理依赖于总段持续时间的观察模型,这对于用时间缩放来建模数据序列是有用的。由此产生的推理算法段检测可以部署在一个在线的方式,我们说明了应用程序的合成和两个医疗现实世界的数据集。
2020-06-24 cs.LG stat.ML
Online Convex Optimization Using Predictions
利用预测是在线算法的一个关键领域,但尚未得到充分开发。本文研究了一类在线优化问题,我们有外部噪声预测。我们提出了一个随机预测误差模型,该模型概括了学习和随机控制社区中的先验模型,结合了预测误差之间的相关性,并捕捉到预测随着时间的推移而改善的事实。我们证明,实现次线性的遗憾和恒定的竞争比在线算法需要使用一个无界的预测窗口在对抗设置,但在更现实的随机预测误差模型下,可以使用平均固定地平线控制(AFHC),同时实现次线性的遗憾和恒定的竞争比在预期中使用一个恒定大小的预测窗口。此外,我们表明,AFHC的性能是紧密集中在其平均值。
2015-04-25 cs.LG
Online Multiclass Classification Based on Prediction Margin for Partial Feedback
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们考虑的问题,在线多类分类与部分反馈,算法预测类的一个新的实例在每一轮,只收到其正确性。虽然已经开发了几种方法来解决这个问题,最近具有挑战性的现实世界的应用程序需要进一步的性能改进。在本文中,我们提出了一种新的在线学习算法的启发,最近的工作学习互补标签,其中一个互补标签表示一个类的实例不属于。这使我们能够以基于裕度的方式确定性地处理部分反馈,其中预测裕度已被认为是卓越经验性能的关键。我们提供了一个理论保证的基础上的累积损失界和实验证明,我们的方法优于现有的方法,这是非保证金的和随机的。
2019-02-04 cs.LG stat.ML
Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction
Penn State University(宾夕法尼亚州立大学);UC Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
计算效率是在线环境中部署用于时间序列预测的机器学习模型的重要考虑因素。机器学习算法根据数据自动调整模型参数,但通常需要用户设置额外的参数,称为超参数。超参数会显著影响预测精度。通常由传感器在线收集的流量测量是串行相关的。此外,数据分布可能会逐渐变化。典型的自适应策略是周期性地重新调整模型超参数,以计算负担为代价。在这项工作中,我们提出了一个有效的和原则性的在线超参数优化算法的核岭回归应用于交通预测问题。在对真实流量测量数据的测试中,我们的方法所需的计算时间仅为其他调优方法的七分之一,同时实现了更好或类似的预测精度。
2018-11-01 cs.LG stat.ML
Black-Box Reductions for Parameter-free Online Learning in Banach Spaces
Stanford University(斯坦福大学);Stony Brook University(石溪大学)
我们介绍了几个新的黑盒约简,通过简化分析,提高遗憾保证,有时甚至提高运行时间,显着改善自适应和无参数在线学习算法的设计。我们把无参数的在线学习简化为在线指数凹优化,把Banach空间中的优化简化为一维优化,把约束域上的优化简化为无约束优化。我们所有的缩减都和在线梯度下降一样快。我们使用我们的新技术,以改善以前的最佳遗憾界的参数自由学习,这样做的任意规范。
2018-06-26 cs.LG math.OC stat.ML
Improving Online Algorithms via ML Predictions
Google(谷歌公司)
研究利用机器学习预测改进在线算法性能,针对滑雪租赁和未知先验作业调度问题提出新算法,其性能随预测质量提升而改善,且对较差预测具有鲁棒性。
2024-07-25 cs.DS cs.LG
Universal Online Optimization in Dynamic Environments via Uniclass Prediction
近年来,提出了几种通用的在线凸优化方法,可以同时处理凸、强凸和指数凹的代价函数。然而,这些算法中的大多数都是基于静态遗憾最小化设计的,但是这种遗憾的概念可能不适合变化的环境。为了解决这个缺点,我们提出了一个新的和直观的框架,在动态环境中的通用在线优化。与现有的通用算法不同,我们的策略不依赖于一组专家和相应的元算法的建设。相反,我们表明,动态在线优化的问题可以减少到一个单类预测问题。通过将单类损失函数的选择权留给用户,他们能够控制和优化动态遗憾边界,这反过来又会延续到原始问题中。据我们所知,这是第一篇论文提出了一个普遍的方法,国家的最先进的动态遗憾保证,即使是一般的凸成本函数。
2023-02-13 cs.LG stat.ML
Online Localized Conformal Prediction
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文提出OLCP方法,结合在线适应与协变量依赖的局部化,以更好地反映异质性,并通过模拟和实验证明其在长期覆盖性上的有效性。
2026-05-08 cs.LG
Online Algorithm for Aggregating Experts' Predictions with Unbounded Quadratic Loss
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
针对带无界二次损失的专家预测在线聚合问题,提出一种基于专家损失指数重加权、无需预先知道损失上界的在线聚合算法。
2025-01-11 cs.LG
Online Prediction of Dyadic Data with Heterogeneous Matrix Factorization
Chinese University of Hong Kong(香港中文大学)
二进数据预测(DDP)是许多研究领域中的一个重要问题.本文提出了一种新的完全贝叶斯非参数框架,它将离散混合隶属度模型和连续潜在因子模型这两种流行的互补方法集成到一个统一的异质矩阵分解(HeMF)模型中,可以准确地预测不可观测的并矢。HeMF可以自动确定社区的数量,并有效地利用每个双聚类的潜在线性结构。我们提出了一种变分贝叶斯方法来估计参数和缺失数据。我们进一步开发了一种新的变分推理在线学习方法,并将其用于HeMF的在线学习,可以有效地处理重要的大规模DDP问题。我们评估我们的方法在EachMoive,MovieLens和Netflix Prize协同过滤数据集上的性能。实验表明,我们的模型优于国家的最先进的方法在所有基准。与随机梯度法(SGD)相比,我们的在线学习方法在估计精度和鲁棒性方面都有了显著的提高。
2016-01-13 cs.LG stat.ML
Bayesian Online Learning for Consensus Prediction
University of California, Irvine(加州大学欧文分校)
针对无基准真值、模型预测免费但人工查询有成本的在线分类场景,提出基于多元超几何分布的在线贝叶斯共识估计框架,从部分反馈动态估计专家共识,在查询成本与性能间实现可解释权衡,在两个大规模众包数据集上验证了有效性。
2023-12-12 cs.LG stat.ML
Parameter-free online learning via model selection
Cornell University(康奈尔大学);Google Research(谷歌研究院);NYU(纽约大学)
我们介绍了一个有效的算法框架模型选择在线学习,也被称为无参数在线学习。从以前的工作,重点是高度结构化的函数类,如嵌套球在希尔伯特空间,我们提出了一个通用的元算法框架,实现在线模型选择预言的不平等下最小的结构假设。我们给出了第一个计算效率高的无参数算法,工作在任意Banach空间下温和的光滑性假设,以前的结果只适用于希尔伯特空间。我们进一步推导出矩阵类,非嵌套凸集,和$\mathbb{R}^{d}$一般正则化新的甲骨文不等式。最后,我们推广了这些结果,提供了预言不等式的任意非线性类在线监督学习模型。这些结果都是通过一个统一的元算法方案,使用一种新的“多尺度”算法预测与专家意见的基础上随机播放,这可能是独立的利益。
2018-01-03 cs.LG stat.ML
Lazy Lagrangians with Predictions for Online Learning
Trinity College Dublin(都柏林圣三一学院);Delft University of Technology(代尔夫特理工大学)
我们考虑一般的在线凸优化问题与时变的附加约束下的预测下一个成本和约束函数。将Follow-The-Regularized-Leader迭代与预测自适应动态步长相结合,设计了一种新的原始-对偶算法。该算法实现了$\mathcal O(T^{\frac{3-β}{4}})$遗憾和$\mathcal O(T^{\frac{1+β}{2}})$约束违反边界,可通过参数$β\!\in\![1/2,1)$进行调整,并具有随预测质量收缩的常数因子,最终实现$\mathcal O(1)$遗憾完美的预测。我们的工作扩展了FTRL框架的约束OCO设置和优于各自的国家的最先进的贪婪为基础的解决方案,而不施加条件的预测质量,成本函数或几何约束,超越凸性。
2022-01-08 cs.LG cs.NI stat.ML
Zap: Making Predictions Based on Online User Behavior
ByteGain
本文介绍了Zap,一个通用的机器学习管道,用于根据在线用户行为进行预测。Zap将用于处理顺序数据的众所周知的技术与诸如Bloom过滤器、桶和模型校准等更模糊的技术结合到端到端解决方案中。管道创建网站和任务特定的模型,而无需了解网站的结构。它旨在最大限度地减少网站特定的代码量,这是通过将所有网站特定的逻辑分解到示例生成器中来实现的。新的示例生成器通常可以用几行代码编写。
2018-07-16 cs.AI cs.LG stat.ML
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano(米兰大学);ETH Zürich(苏黎世联邦理工学院)
我们考虑预测与专家的意见,为强凸和有界损失,并调查之间的权衡遗憾和“方差”(即,学习者预测和最佳专家预测的平方差)。对于$K$专家,已知指数加权平均(EWA)算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾(即,该算法优于最佳专家),或者保证方差和遗憾的$O(\log K)$界限。基于这一结果,我们展示了几个例子,说明如何在学习中利用预测的方差。在在线批量分析中,我们表明,一个大的经验方差允许提前停止在线批量转换,并优于类中最好的预测器的风险。当不考虑提前停止时,我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失,我们表明,腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中,我们设计了一个算法,当方差较大时,抽样较少,同时保证期望中的最优后悔界。在在线学习中,我们使用一个类似的术语作为方差,以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后,我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Robust Distributed Online Prediction
Microsoft Research(微软研究院)
在线预测的标准模型是通过单个处理器对输入进行串行处理。然而,在大规模在线预测问题中,输入以高速率到达,越来越常见的必要性是将计算分布在多个处理器上。一个不平凡的挑战是设计分布式算法在线预测,保持良好的遗憾保证。在\cite{DMB}中,我们提出了DMB算法,这是一个通用的框架,可以将任何串行的基于梯度的在线预测算法转换为分布式算法。而且,对于光滑凸损失函数和随机输入,它的后悔保证是渐近最优的。另一方面,它对分布式环境中常见的许多类型的故障都很脆弱。在这篇配套论文中,我们提出了DMB算法的变体,它对许多类型的网络故障有弹性,并能容忍计算节点的不同性能。
2010-12-07 cs.LG math.OC
Low congestion online routing and an improved mistake bound for online prediction of graph labeling
Kasetsart University(泰国农业大学);Chulalongkorn University(朱拉隆功大学)
在本文中,我们展示了一定的在线低拥塞路由问题和在线预测的图形标记之间的连接。更具体地说,我们证明了,如果存在一个路由方案,保证拥塞的$α$的任何边缘,存在一个在线预测算法的错误界$α$倍的切割大小,这是由标签划分图顶点的切割的大小。利用已知的$O(\log n)$对$n$的界,我们得到了一个改进的预测算法。与以前的方法,移动到向量空间中的问题,使用图拉普拉斯算子的图形问题,并依赖于感知器算法的分析,我们的证明是纯粹的组合。此外,我们的方法直接推广到标签不是二进制的情况。
2008-09-12 cs.DM cs.DS cs.LG
Online TSP with Predictions
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);National Tsing Hua University(国立清华大学);Columbia University(哥伦比亚大学)
我们开始研究在线路由问题的预测,最近令人兴奋的结果在学习增强算法的启发。一个学习增强的在线算法,它采用黑盒的方式预测优于现有的算法,如果预测是准确的,而在其他方面保持理论保证,即使当预测是非常错误的,是一个流行的框架,克服悲观的最坏情况下的竞争分析。在这项研究中,我们特别开始研究经典的在线旅行推销员问题(OLTSP),未来的请求与预测增强。与其他先前研究中的预测模型不同,OLTSP中与其到达时间和位置相关联的每个实际请求可能与预测的请求不一致,这正如想象的那样,导致麻烦的情况。我们的主要结果是研究不同的预测模型和设计算法,以改善在不同的设置中最知名的结果。此外,我们推广所提出的结果在线拨号乘车问题。
2022-06-30 cs.DS cs.LG
A Unified Framework for Online Trip Destination Prediction
Chalmers University of Technology(查尔姆斯理工大学)
出行目的地预测在出行规划、自动驾驶和电动汽车等许多应用中越来越重要。尽管这个问题可以在数据以顺序方式到达的在线学习范例中自然地解决,但大多数研究都考虑了离线设置。在本文中,我们提出了一个统一的框架,行程目的地预测在线设置,这是适合在线训练和在线预测。为此,我们开发了两个聚类算法,并将它们集成到两个在线预测模型中。我们研究了真实世界数据集上的聚类算法和预测模型的不同配置。我们表明,无论是聚类和整个框架产生一致的结果相比,离线设置。最后,我们提出了一个新的遗憾度量评估整个在线框架相比,其离线对应。该度量使得有可能将错误预测的源与聚类或预测模型相关联。使用这个度量,我们表明,所提出的方法收敛到一个概率分布类似于真正的潜在分布,具有较低的遗憾比所有的基线。
2022-12-29 cs.AI cs.LG
User Response Prediction in Online Advertising
Florida Atlantic University(佛罗里达大西洋大学)
在线广告作为一个巨大的市场,在搜索引擎、第三方网站、社交媒体和移动应用程序等各种平台上获得了极大的关注。在线活动的繁荣是在线营销中的一个挑战,通常通过不同的指标来评估用户的反应,例如广告(ad)创意的点击,产品的订阅,物品的购买或通过在线调查的明确用户反馈。近年来,使用计算方法(包括机器学习方法)进行用户响应预测的研究数量显著增加。然而,现有的文献主要集中在算法驱动的设计,以解决特定的挑战,并没有全面的审查存在回答许多重要的问题。参与在线数字广告生态系统的各方是什么?什么类型的数据可用于用户响应预测?如何以可靠和/或透明的方式预测用户响应?在这项调查中,我们提供了一个全面的审查用户反应预测在线广告和相关的推荐应用程序。我们的基本目标是提供对在线广告平台、利益相关者、数据可用性和用户响应预测的典型方式的全面了解。我们提出了一个分类法来对最先进的用户响应预测方法进行分类,主要关注不同在线平台中使用的机器学习方法的当前进展。此外,我们还回顾了用户响应预测,基准数据集和开源代码在该领域的应用。
2021-02-23 cs.LG cs.SI
Hierarchies of Relaxations for Online Prediction Problems with Evolving Constraints
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们研究在线预测的算法的遗憾是衡量通过不断发展的约束定义的基准。这个框架捕获了图上的在线预测,以及其他具有组合结构的预测问题。这里的一个关键方面是,由于约束的组合性质,找到最佳基准预测器(即使在事后,给定所有数据)可能在计算上很难。尽管如此,我们提供多项式时间\emph{prediction}算法,实现低遗憾对组合基准集。我们通过基于两个共同工作的想法构建不适当的学习算法来做到这一点。第一种是通过随机播放来减轻部分计算负担,第二种是采用Lasserre半定层次来近似得到的整数规划。有趣的是,对于我们的预测算法,我们只需要计算半定规划的值,而不是四舍五入的解。然而,Lasserre层次\emph{does}的完整性差距进入通用遗憾界的Rademacher复杂性的基准集。这在算法的计算时间和遗憾界之间建立了一个折衷。
2015-06-12 cs.DS cs.LG stat.ML
Online Learning for Time Series Prediction
Technion(以色列理工学院);Microsoft Research(微软研究院)
在本文中,我们解决的问题,预测的时间序列使用ARMA(自回归移动平均)模型,在最小的假设下的噪声项。使用遗憾最小化技术,我们开发了有效的在线学习算法的预测问题,而不假设噪声项是高斯,同分布,甚至独立。此外,我们表明,我们的算法的性能渐近的性能最好的ARMA模型在事后。
2013-02-27 cs.LG
Online Algorithms with Uncertainty-Quantified Predictions
University of Waterloo(滑铁卢大学);California Institute of Technology(加州理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
研究在在线算法设计中如何最优利用不确定性量化预测,针对ski rental和online search问题提出需非平凡修改的算法及多实例在线学习框架以充分利用UQ。
2024-06-03 cs.DS cs.LG
Customizing ML Predictions for Online Algorithms
Duke University(杜克大学)
最近一项流行的研究将ML建议纳入在线算法的设计中,以提高其在典型情况下的性能。这些论文将ML算法视为黑盒,并重新设计在线算法以利用ML预测。在本文中,我们提出了一个补充问题:我们能否重新设计ML算法,为在线算法提供更好的预测?我们在经典的租或买问题的背景下探讨了这个问题,并表明在ML损失函数中引入优化基准可以显著提高性能,同时在建议完全错误时保持最坏情况下的对抗结果。我们支持这一发现,通过理论界和数值模拟。
2022-05-18 cs.DS cs.LG
Efficient Projection-Free Online Methods with Stochastic Recursive Gradient
Zhejiang University(浙江大学);University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室);University of Western Ontario(西安大略大学)
本文主要研究求解光滑在线凸优化(OCO)问题的无投影方法。现有的无投影方法要么达到次优的遗憾界限,或有很高的每次迭代的计算成本。为了填补这一空白,两个有效的投影免费在线方法被称为ORGFW和MORGFW提出解决随机和对抗OCO问题,分别。通过采用递归梯度估计,我们的方法实现了最佳的遗憾界(对数因子),同时具有较低的每次迭代的计算成本。实验结果表明,所提出的方法相比,国家的最先进的效率。
2019-10-24 cs.LG math.OC stat.ML
Learning-Augmented Algorithms for Online Steiner Tree
College of Computer Science, Zhejiang University(浙江大学计算机科学学院);Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
本文考虑了最近流行的超越最坏情况算法分析模型,该模型将机器学习预测与在线算法设计相结合。我们认为在这个模型中的有向和无向图的在线Steiner树问题。Steiner树在在线环境中具有很强的下界,任何算法的最坏情况保证都是不可取的。本文考虑预测哪个终端到达在线的算法。预测可能是不正确的,并且算法的性能由不正确预测的终端的数量参数化。这些保证确保算法突破在线下限,具有良好的预测,并且随着预测误差的增加,竞争比优雅地下降。然后,我们观察到,该理论是预测什么将发生的经验。我们在图上显示,终端是从分布中绘制的,新的在线算法即使在适度正确的预测下也具有很强的性能。
2023-03-18 cs.LG
Faster Projection-free Online Learning
Department of Computer Science, Princeton University(普林斯顿大学计算机科学系);Google AI(谷歌人工智能)
在许多在线学习问题中,基于梯度的方法的计算瓶颈是投影运算。由于这个原因,在许多问题中,最有效的算法是基于Frank-Wolfe方法,该方法用线性优化代替投影。然而,在一般情况下,在线无投影方法比基于投影的方法需要更多的迭代:最著名的遗憾界尺度为$T^{3/4}$。尽管在弗兰克-沃尔夫方法的各种变体上进行了大量的工作,但这个界限十年来一直保持不变。在本文中,我们给出了一个有效的无投影算法,保证$T^{2/3}$遗憾的一般在线凸优化光滑的成本函数和一个线性优化计算,每次迭代。与以前的Frank-Wolfe方法不同,我们的算法是使用跟随扰动领导者方法导出的,并使用在线原始对偶框架进行分析。
2020-02-14 cs.LG math.OC stat.ML
Leveraging Predictions in Smoothed Online Convex Optimization via Gradient-based Algorithms
Harvard University(哈佛大学)
我们考虑在线凸优化与时变阶段成本和额外的切换成本。由于切换成本会在所有阶段引入耦合,因此需要结合多步(长期)预测来提高在线性能。然而,长期预测往往质量较低。因此,一个关键的问题是:如何减少长期预测误差对在线性能的影响?为了解决这个问题,我们引入了一个基于梯度的在线算法,滚动时域不精确梯度(RHIG),并分析其性能的动态遗憾的时间变化的环境和预测误差。RHIG最多只考虑$W$ -提前一步的预测,以避免被长期更差的预测误导。我们的遗憾界建议的最佳选择的$W$依赖于环境的变化和预测精度之间的权衡。此外,我们将RHIG应用于一个成熟的随机预测误差模型,并在相关的预测误差下提供了预期的后悔和集中范围。最后,我们数值测试的性能RHIG四旋翼跟踪问题。
2020-11-25 cs.LG cs.SY eess.SY
Learning-Augmented Online Minimization with Dual Predictions
University of California, Berkeley(加州大学伯克利分校)
针对度量任务系统和层状集合覆盖两类在线最小化问题,提出利用对偶线性规划最优解的机器学习预测来改进理论保证的学习增强算法。
2026-06-03 cs.DS cs.LG
A Unified Batch Online Learning Framework for Click Prediction
Microsoft(微软)
我们提出了一个统一的框架,批量在线学习(OL)的点击预测搜索广告。机器学习模型一旦部署,由于模型陈旧,随着时间的推移会显示出非平凡的准确性和校准降级。因此,有必要定期更新模型,并自动更新。本文提出了两种范例的批量在线学习,增量更新模型参数通过提前停止机制,另一个这样做,通过近端正则化。我们讨论了这两种方案如何自然地权衡新旧数据。然后,我们从理论和经验表明,这两个看似不同的计划是密切相关的。通过大量的实验,我们展示了我们的OL框架的效用;两个OL方案如何相互关联,以及它们如何在新数据和历史数据之间进行权衡。然后,我们将批量OL与完整模型再训练进行了比较,并展示了在线学习如何对数据问题更加鲁棒。我们还展示了在线学习的长期影响,OL中初始模型的作用,更新延迟的影响,最后总结了一些实现细节和在生产中部署真实世界的在线学习系统的挑战。虽然本文主要集中在搜索广告的点击预测的应用,我们希望这里学到的教训可以结转到其他问题领域。
2018-09-12 cs.AI cs.LG stat.ML
Multi-model Online Conformal Prediction with Graph-Structured Feedback
Department of Electrical Engineering and Computer Science University of California, Irvine(电气工程与计算机科学系 加州大学伊尔市分校)
提出基于二部图反馈的多模型在线保形预测算法,动态筛选有效模型子集以降低计算复杂度并减小预测集,同时利用预测集大小和模型损失作为反馈,在保证覆盖率和次线性遗憾的前提下显著提升效率。
2025-10-10 cs.LG
An algorithm for online tensor prediction
Microsoft(微软);Tufts University(塔夫茨大学)
我们提出了一种新的方法在线预测和学习张量($N$ -路阵列,$N >2$)从连续的测量。我们专注于3-D张量的特定情况下,并利用最近发展的结构化张量分解的框架中提出的[1]。在这个框架中,可以将三维张量视为线性算子,并以自然的方式将秩和正定性的概念适当地推广到张量。使用这些概念,我们提出了一个推广的矩阵指数梯度下降算法[2]的张量指数梯度下降算法,使用的概念冯诺依曼发散张量的扩展。然后按照与[3]类似的构造,我们利用该算法提出了一个在线学习和预测具有可证明后悔保证的张量的算法。模拟结果上的半合成数据集的评级演变的时间在当地的影响下,在社会网络。结果表明,优越的性能相比,其他(在线)凸张量完成方法。
2015-07-28 cs.IT cs.LG math.IT
A Universal Error Measure for Input Predictions Applied to Online Graph Problems
University of Trieste(的里雅斯特大学);CWI(荷兰国家数学与计算机科学研究中心);University of Bremen(不来梅大学);La Sapienza University of Rome(罗马第一大学);INRIA-Erable(法国国家信息与自动化研究所Erable团队);Vrije Universiteit(阿姆斯特丹自由大学)
我们引入了一种新的措施量化输入预测的错误。错误是基于一个最小成本的超边缘覆盖在一个适当定义的超图,并提供了一个通用的模板,我们适用于在线图的问题。该度量捕获由于缺少预测请求以及未预测的实际请求而导致的错误;因此,预测和实际输入可以是任意大小的。我们实现了细化的性能保证以前研究的网络设计问题的在线列表模型,如斯坦纳树和设施的位置。此外,我们开始学习增强算法的在线路由问题的研究,如在线旅行销售人员的问题和在线拨号乘车问题,(运输)请求到达随着时间的推移(在线时间模型)。我们提供了一个通用的算法框架,我们给出了错误相关的性能界限,提高已知的最坏情况下的障碍,当给定准确的预测,在成本略有增加的最坏情况下的界限时,任意质量的预测。
2022-10-10 cs.DS cs.LG
Online Bin Packing with Predictions
Sorbonne Université(索邦大学);York University(约克大学);University of Manitoba(曼尼托巴大学)
本文研究带可学习预测的在线装箱问题,设计了在一致性与鲁棒性间高效权衡、性能随预测误差近似最优退化的在线算法,是该现实设定下首项结合理论与实验的竞争分析研究,弥补了以往仅研究极端误差情况的不足。
2024-04-17 cs.DS cs.LG
Counterfactual Online Conformal Prediction Under Adaptive Logging
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本文提出倾向加权在线共形预测(PW-OCP)及其双稳健变体(DR-OCP),以解决自适应日志下反事实覆盖失效问题,实验证明其提升反事实覆盖并降低遗憾。
2026-11-03 cs.LG
Online Primal-Dual Algorithms with Predictions for Packing Problems
University Paris-Saclay(巴黎萨克雷大学);Sorbonne University(巴黎索邦大学);IBISC(IBISC(需注意:IBISC是巴黎萨克雷大学下属研究机构,此处按原文提取));CNRS(法国国家科学研究中心);LIP6(LIP6(巴黎索邦大学下属实验室,此处按原文提取))
具有预测的在线算法的领域已经被广泛地研究用于不同的应用,例如调度、缓存(分页)、集群、滑雪板租赁等。以统一的方法为目标,为线性覆盖问题提供了一个原始-对偶框架。他们通过合并预测来扩展在线原始-对偶方法,以实现超出最坏情况分析的性能。在本文中,我们认为这条研究路线,并提出了一个框架,设计算法的预测非线性包装问题。我们说明了我们的框架在子模块化最大化,特别是广告拍卖最大化的最佳界限,并提供支持实验的适用性。
2021-10-01 cs.DS cs.LG
COVID-19 Time-series Prediction by Joint Dictionary Learning and Online NMF
University of California, Los Angeles(加州大学洛杉矶分校)
预测COVID-19的传播和遏制是更广泛的科学界目前面临的最重要的挑战。困难的主要来源之一是每天可获得的COVID-19病例数据非常有限,除少数例外,大多数国家目前处于“指数传播阶段”,因此缺乏可用于预测传播和遏制之间的阶段性转变的信息。在本文中,我们提出了一种新的方法来预测COVID-19的传播基于字典学习和在线非负矩阵分解(在线NMF)。其核心思想是同时学习多个国家新的日常病例的短进化实例的字典模式,以便在字典模式中捕获它们的潜在相关结构。我们首先从整个时间序列中通过小批量学习来学习这样的模式,然后通过在线NMF进一步使它们适应时间序列。随着我们逐步适应和改进学习的字典模式以适应最近的观察结果,我们还使用它们通过部分拟合进行一步预测。最后,通过递归地应用一步预测,我们可以将我们的预测外推到不久的将来。我们的预测结果可以直接归因于学习的字典模式,因为它们的可解释性。
2020-04-20 cs.LG math.OC stat.ML
Smoothed Online Combinatorial Optimization Using Imperfect Predictions
Adobe Research(奥多比研究院)
平滑在线组合优化考虑重复选择组合决策以最小化未知变化成本函数的学习者,并在连续轮中对切换决策进行惩罚。研究了不完全预测模型下的平滑在线组合优化问题,其中模型可以预测未来成本函数的不确定性。我们表明,使用预测计划在有限的时间范围内导致后悔依赖于总预测的不确定性和额外的切换成本。这一观察表明,选择一个合适的规划窗口,以平衡不确定性和切换成本,这导致了一个在线算法与保证的上限和下限的累积遗憾。从经验上讲,我们的算法显示了显着的改善,累积遗憾相比,其他基线合成在线分布式流媒体问题。
2023-01-13 cs.AI cs.LG
PDE approach to the problem of online prediction with expert advice: a construction of potential-based strategies
Southern Federal University(南联邦大学)
我们考虑一系列重复的预测游戏,并正式通过到极限。所得的非线性抛物型偏微分方程的上解在N的意义下与势函数密切相关。Cesa-Bianci,G. Lugosi(2003年)。任何这样的超解给出了一个上限预测的遗憾,并建议基于潜力的预测策略,满足Blackwell条件。一个传统的上限最坏情况下的遗憾是合理的一个简单的验证参数。
2017-05-02 cs.LG
Private online learning and prediction for Littlestone classes
University of Copenhagen(哥本哈根大学)
针对遗忘可实现对手,证明私有在线学习与预测的样本复杂度被时间范围因子分离,给出学习下界和预测上界,并填补先前下界空白。
2026-10-06 cs.CR cs.LG stat.ML
Matrix-Free Preconditioning in Online Learning
Google Research(谷歌研究院)
我们提供了一个在线凸优化算法的遗憾,插值之间的遗憾,使用最佳的预处理矩阵和一个使用对角预处理矩阵的算法。我们的遗憾界永远不会比对角预处理得到的遗憾界更差,在某些情况下甚至超过了全矩阵预处理算法。重要的是,我们的算法运行在相同的时间和空间复杂度的在线梯度下降。一路上,我们采用新的技术,温和地精简和改善对数因素在以前的遗憾分析。最后,我们对我们的算法进行了合成数据和深度学习任务的基准测试。
2019-05-29 cs.LG math.OC stat.ML