Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University(普渡大学电子工程系)
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题,提出滑动窗口在线Whittle策略,在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能,且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
An Online Algorithm for Computation Offloading in Non-Stationary Environments
Indian Institute of Science(印度科学学院)
我们考虑的延迟最小化问题,在任务卸载的情况下,多个服务器可用于外包计算任务的用户设备。考虑到无线链路的时间动态特性和计算资源的可用性,我们将服务器选择建模为多臂强盗(MAB)问题。在所考虑的MAB框架中,奖励的特征在于端到端延迟。我们提出了一种新的在线学习算法的基础上乐观的原则,在面对不确定性,它优于国家的最先进的算法高达~ 1 s。我们的研究结果强调了在动态环境中严重折扣过去奖励的重要性。
2020-06-22 cs.LG cs.MA eess.SP
Non-Stationary Functional Bilevel Optimization
Applied Mathematics and Statistics, Stony Brook University, Stony Brook, NY, USA(应用数学与统计学系,史泰文布鲁克大学);Inria, CNRS, Grenoble INP, LJK, Université Grenoble Alpes(法国国家信息与自动化技术研究院、国家科学研究中心、格勒诺布尔INP、LJK、格勒诺布尔阿尔卑斯大学)
SmoothFBO是首个在非平稳函数双层优化中具有理论保证和实际可扩展性的算法,通过时间平滑的随机超梯度估计器提升稳定性和性能。
2026-09-04 cs.LG stat.ML
Online Ad Procurement in Non-stationary Autobidding Worlds
Massachusetts Institute of Technology(麻省理工学院);The University of Chicago(芝加哥大学)
针对自动出价平台信息有限且采购结果非平稳的问题,本文提出带长期约束的在线学习原始-对偶算法,在多种未知数据生成过程下实现低遗憾。
2023-07-10 cs.GT cs.IR cs.LG
Unifying Clustered and Non-stationary Bandits
University of Virginia(弗吉尼亚大学)
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设,并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠,但它们被独立地研究。在本文中,我们连接这两股的土匪研究的概念下的测试的同质性,无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明,我们提出的解决方案的价值,特别是它的灵活性,在处理各种环境假设。
2020-09-05 cs.LG stat.ML
Early Classification of Time Series in Non-Stationary Cost Regimes
Orange Research(Orange研究院)
本文研究了在非平稳成本环境下时间序列的早期分类问题,提出在线学习方法提升分类鲁棒性,实验证明强化学习策略在不同成本制度下表现稳定。
2026-04-03 cs.LG
A unifying framework for generalised Bayesian online learning in non-stationary environments
Google DeepMind(谷歌DeepMind)
本文提出 BONE 统一框架,通过测量模型、非平稳辅助过程、条件先验及两类推断算法,整合并扩展非平稳环境下的概率在线学习方法。
2025-03-12 cs.LG stat.ML
Online Second Price Auction with Semi-bandit Feedback Under the Non-Stationary Setting
Tsinghua University(清华大学);Microsoft Research(微软研究院)
本文研究了非平稳在线第二价格拍卖问题。我们假设卖方在$T$轮中通过第二价格拍卖出售相同类型的物品,并且她可以在每轮中设置保留价。在每一轮中,投标人从卖方未知的联合分布中提取他们的私人价值。然后,卖家宣布了这一轮的底价。接下来,私人价值高于该轮宣布的保留价的投标人将向卖方报告他们的价值作为他们的出价。出价最高的投标人将赢得该项目大于保留价,她将支付给卖方的价格等于第二高的出价或保留价,以较大者为准。卖方希望在时间范围$T$内最大化其总收入,同时了解私人价值随时间的分布。这个问题比标准的在线学习场景更具挑战性,因为私有值分布是非平稳的,这意味着投标人的私有值分布可能会随着时间的推移而变化,我们需要使用\emph{non-stationary regret}来衡量我们算法的性能。据我们所知,本文是第一次对非平稳环境下的重复拍卖进行理论研究。该算法达到了非平稳遗憾上界$\tilde{\mathcal{O}}(\min\{\sqrt{\mathcal S T}, \bar{\mathcal{V}}^{\frac{1}{3}}T^{\frac{2}{3}}\})$,其中$\mathcal S$是分布中开关数,$\bar{\mathcal{V}}$是总变差之和,并且该算法不需要知道$\mathcal S$和$\bar{\mathcal{V}}$.我们还证明了遗憾下界$Ω(\sqrt{\mathc…
2019-11-14 cs.DS cs.GT cs.LG
Online Influence Maximization in Non-Stationary Social Networks
The University of Hong Kong(香港大学);Tsinghua University(清华大学)
社交网络已经成为信息传播的流行平台。一个重要的用例是病毒式营销:在给定推广预算的情况下,广告主可以选择一些有影响力的用户作为种子集,并向他们提供免费或折扣的样品产品;这样,广告主希望通过口碑效应增加产品在用户朋友圈中的知名度,从而最大化产品信息所能到达的用户数量。有大量文献研究了影响力最大化问题。然而,现有的研究大多是一次性的基础上调查的问题,假设固定的已知的影响力概率之间的用户,或确切的社会网络拓扑结构的知识。在实践中,社交网络拓扑和影响概率通常对于广告商是未知的,其可以随时间变化,即,在新建立、加强或削弱社会联系的情况下。在本文中,我们专注于一个动态的非平稳的社会网络和设计的随机算法,RSB,基于多臂强盗优化,最大限度地提高影响力传播随着时间的推移。该算法产生一系列在线决策,并利用先前决策的结果来校准其探索-利用策略。它被严格证明可以达到一个上界的遗憾在奖励和适用于大规模的社交网络。使用合成和真实世界的数据集,这表明我们的算法优于以前的平稳方法在非平稳条件下的实际有效性进行评估。
2016-04-26 cs.DS cs.LG cs.SI
Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning
Department of Computer Science, Johns Hopkins University, Baltimore, MD, U.S.A.(约翰霍普金斯大学计算机科学系);AMLab, University of Amsterdam, Amsterdam, Netherlands(阿姆斯特丹大学AM实验室)
提出DUAL框架,利用扩散模型先验知识蒸馏快速采样扩散策略和转移模型,并通过拉普拉斯近似和距离转移状态偏移检测进行不确定性量化,以改进在线阶段的探索与利用平衡。
2026-05-29 cs.LG
Spectral Souping: A Unified Framework for Online Preference Alignment
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
本文提出了一种统一的在线偏好对齐框架Spectral Souping,通过发现LLM中的通用谱表示,实现了高效的模型合并,从而在不需昂贵在线重训练的情况下快速适应个体用户偏好。
2026-05-19 cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University(弗吉尼亚共同体大学);University of Virginia(弗吉尼亚大学)
研究离线到在线强化学习中有限交互预算下的主动策略选择问题,提出基于未来性能上置信界主动选策略微调的方法,经实验验证其优于现有基线,能更有效利用预算,推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Multi-Point Bandit Algorithms for Nonstationary Online Nonconvex Optimization
University of California, Davis(加州大学戴维斯分校);Princeton University(普林斯顿大学)
Bandit算法主要是在凸环境下分析的,其性能指标是基于函数值的固定后悔。在本文中,在线强化学习问题的动机,我们提出并分析了一般和结构化的非凸问题与非平稳(或动态)遗憾的性能指标,在随机和非随机设置的强盗算法。首先,对于一般的非凸函数,我们考虑非平稳版本的一阶和二阶固定的解决方案作为一个遗憾的措施,出于类似的性能措施离线非凸优化。在二阶固定解决方案的遗憾的情况下,我们提出并分析在线和土匪版本的立方正则化牛顿的方法。强盗版本是基于估计的海森矩阵的强盗设置,基于二阶高斯斯坦的身份。我们的非平稳遗憾界的二阶固定的解决方案有有趣的后果,避免鞍点的强盗设置。其次,对于弱拟凸函数和单调弱次模函数,我们考虑用函数值表示的非平稳后悔测度;这样的非凸函数的结构类使得人们可以考虑用函数值定义的后悔测度,类似于凸函数。对于这种情况下的功能值,和一阶固定的解决方案为基础的遗憾措施,我们提供遗憾的界限,在低维和高维的设置,在某些情况下。
2019-09-11 cs.DS cs.LG math.OC
Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards
National University of Singapore(新加坡国立大学)
我们考虑一个参与马尔可夫决策过程的代理,每轮都接收一个结果向量。她的目标是最大化平均向量结果的全局凹奖励函数。该问题模型的应用程序,如多目标优化,最大熵探索,并在马尔可夫环境中的约束优化。在我们的一般设置中,一个固定的策略可能有多个循环类,代理人面临着一个微妙而重要的权衡,在不同的行动之间交替平衡矢量结果。特别是,固定的政策一般是次优的。我们提出了一种基于在线凸优化(OCO)工具(Agrawal和Devanur 2014)和UCRL 2(Jaksch等人2010)的无遗憾算法。重要的是,我们引入了一种新的梯度阈值程序,它仔细控制动作之间的切换,以处理微妙的权衡。通过延迟梯度更新,我们的过程产生了一个非平稳的政策,多样化的结果优化的目标。该程序与各种OCO工具兼容。
2019-05-15 cs.LG math.OC stat.ML
Online Policy Gradient for Model Free Learning of Linear Quadratic Regulators with $\sqrt{T}$ Regret
School of Computer Science, Tel Aviv University(特拉维夫大学计算机科学学院);Google Research(谷歌研究院)
我们考虑的任务是学习控制一个线性动态系统下固定的二次成本,被称为线性二次调节器(LQR)的问题。虽然无模型方法在实践中通常是有利的,但到目前为止,只有依赖于昂贵的系统辨识的基于模型的方法已被证明可以实现与时间范围T的最佳依赖性成比例的遗憾。我们提出了第一个无模型算法,实现了类似的遗憾保证。我们的方法依赖于一个有效的策略梯度计划,和一个新的和更严格的分析,在政策空间的探索在这种情况下。
2021-02-25 cs.LG stat.ML
Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection
Federal University of Rio Grande do Sul(里约热内卢联邦大学南里奥格兰德分校);University of Massachusetts(马萨诸塞大学)
非平稳环境对强化学习算法具有挑战性。如果状态转换和/或奖励函数基于潜在因素而改变,则代理的有效任务是优化行为,该行为在马尔可夫决策过程(MDP)的可能无限随机序列上最大化性能,每个MDP都来自某种未知分布。我们将每个这样的MDP称为上下文。大多数相关的作品都做出了强有力的假设,例如关于上下文分布的知识,预训练阶段的存在,或者关于上下文之间的数量,序列或边界的先验知识。我们介绍了一种算法,有效地学习非平稳环境中的政策。它分析可能无限的数据流,并实时计算高置信度的变点检测统计数据,这些统计数据反映是否需要创建和部署新的、专门的策略来解决新的上下文,或者是否可以重用之前优化的策略。我们表明,(i)该算法最大限度地减少了延迟,直到检测到不可预见的变化,从而允许快速响应;(ii)它限制了误报率,这对于减少遗憾是很重要的。我们的方法构建了一个混合模型组成的(可能是无限的)合奏的概率动力学预测模型的不同模式的分布在潜在的MDP。我们在高维连续强化学习问题上评估了我们的算法,并表明它优于最先进的(无模型和基于模型的)RL算法,以及专门设计用于处理非平稳性的最先进的元学习方法。
2021-05-20 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales(新南威尔士大学)
针对多目标强化学习难以适应非平稳环境的问题,本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法,在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Online Adaptation of Deep Architectures with Reinforcement Learning
University of Sydney(悉尼大学)
在线学习已经成为解决机器学习中许多问题的关键。随着更多的数据被连续收集,快速适应数据分布的变化可以提供几个竞争优势,例如避免先验知识的丢失和更有效的学习。然而,需要在不损害已经内置的模型中的过去知识的情况下执行对数据分布中的变化(也称为协变量偏移)的自适应,以应对大量和动态的数据。在本文中,我们提出了一个在线堆叠去噪自动编码器,其结构是通过强化学习适应。我们的算法迫使网络利用和探索有利的架构,采用估计的效用函数,最大限度地提高看不见的验证序列的准确性。不同的操作,如池,增量和合并可用于修改网络的结构。正如我们通过一系列实验所观察到的那样,我们的方法比非平稳和平稳数据分布的对应方法更具响应性,鲁棒性和原则性。实验结果表明,该算法在保持已有的先验知识和响应数据分布变化方面有较好的性能。
2016-08-08 cs.LG cs.NE
Non-Stationary Off-Policy Optimization
Google Research(谷歌研究院)
离策略学习是一个框架,用于根据另一个策略收集的数据,在不部署策略的情况下评估和优化策略。现实世界的环境通常是不稳定的,离线学习的策略应该适应这些变化。为了应对这一挑战,我们研究了分段固定上下文强盗的离线策略优化的新问题。我们提出的解决方案有两个阶段。在离线学习阶段,我们将记录的数据划分为分类的潜在状态,并为每个状态学习一个接近最优的子策略。在在线部署阶段,我们根据学习到的子策略的性能自适应地在它们之间切换。该方法具有实用性和可分析性,并在离线优化质量和在线部署过程中的遗憾方面提供了保证。为了证明我们方法的有效性,我们将其与合成和真实世界数据集上的最先进基线进行了比较。我们的方法优于仅对观察到的上下文起作用的方法。
2021-04-04 cs.AI cs.LG stat.ML
Learning User Preferences in Non-Stationary Environments
Tel-Aviv university(特拉维夫大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
推荐系统通常使用在线协同过滤(CF)算法来基于给定用户和大量其他用户过去提供的评级来识别该用户随时间喜欢的项目。当用户的偏好不随时间改变(静态情况)时,这个问题已经被广泛研究;这是一个在实际设置中经常被违反的假设。在本文中,我们介绍了一种新的模型,在线非平稳推荐系统,允许时间的不确定性,在用户的喜好。针对该模型,提出了一种基于用户的CF算法,并对其可获得的奖励进行了理论分析。与相关的非平稳多臂强盗文献相比,在我们的模型中,主要的根本困难在于,在一定的用户的偏好的变化可能会严重影响其他用户的建议。我们还在真实世界的数据集上测试了我们的算法,显示了它在真实世界应用中的有效性。在我们的实验中,一个主要的令人惊讶的观察结果是,即使偏好不随时间变化,我们的算法也优于其他静态算法。这暗示了一个普遍的结论,即在实践中,动态算法,如我们提出的,即使在静止的环境中也可能是有益的。
2021-01-29 cs.IR cs.LG
A Primal-Dual Online Learning Approach for Dynamic Pricing of Sequentially Displayed Complementary Items under Sale Constraints
Politecnico di Milano(米兰理工大学)
针对带销售约束、需求不确定的顺序展示互补品动态定价问题,将其建模为带约束的马尔可夫决策过程,提出原对偶在线优化算法,实验表明该方法在约束违反和悔值上优于单状态优化基线。
2024-07-08 cs.LG math.OC
Fast rates for online learning in Linearly Solvable Markov Decision Processes
Universitat Pompeu Fabra(庞培法布拉大学)
我们研究一类线性可解MDP的Markov决策过程的在线学习问题。在这个问题的固定版本中,学习者通过直接控制状态转换来与环境进行交互,试图平衡固定的状态相关成本和惩罚极端控制输入的一定平滑成本。在本文中,我们考虑了一个在线设置,其中状态成本可以在连续轮之间任意变化,并且学习者只在每个相应轮结束时观察成本。我们感兴趣的是构建算法的学习,保证小遗憾对最佳的固定控制策略选择的成本序列的充分知识。我们的主要结果是表明,平滑的控制成本,使简单的算法,以下的领导者,以实现一个遗憾的顺序$\log^2 T$后$T$轮,大大提高了最有名的遗憾界的顺序$T^{3/4}$为这个设置。
2017-06-06 cs.LG math.OC stat.ML
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST(韩国科学技术院);DeepMind(深度思维)
我们考虑离线约束强化学习(RL)问题,其中智能体的目标是计算一个政策,最大化预期收益,同时满足给定的成本约束,学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的,在这些场景中,与环境的直接交互是昂贵的或有风险的,并且由此产生的策略应该符合安全约束。然而,计算保证满足离线RL设置中的成本约束的策略具有挑战性,因为偏离策略的评估本质上存在估计误差。在本文中,我们提出了一个离线约束RL算法,优化的政策在空间的平稳分布。我们的算法,COptiDICE,直接估计的平稳分布校正的最优策略的回报,同时限制成本上界,与实际的约束满足产生一个成本保守的政策的目标。实验结果表明,COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Online Resource Allocation: Bandits feedback and Advice on Time-varying Demands
Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学运筹学与分析研究院);Department of Industrial Systems Engineering and Management, National University of Singapore(新加坡国立大学工业系统工程与管理系)
针对时变需求下带老虎机反馈的在线资源分配无建议时悔值表现差的问题,提出利用总需求在线预测的鲁棒算法,兼具理论保障与实验优势,可适配网络收益管理场景。
2023-06-12 cs.LG math.OC
Non-Stationary Latent Auto-Regressive Bandits
针对无预算的非平稳多臂赌博机问题,提出LARL算法,通过隐式预测潜在自回归状态形成奖励预测,近似稳态卡尔曼滤波,实现次线性遗憾并优于基线。
2025-02-28 cs.AI cs.LG
Online Reinforcement Learning in Periodic MDP
IIT Delhi(印度理工学院德里分校)
我们研究周期性马尔可夫决策过程(MDP)中的学习,这是一种特殊类型的非平稳MDP,其中状态转移概率和奖励函数在平均奖励最大化设置下周期性变化。通过在状态空间中增加周期指标,将问题转化为一个平稳的MDP问题,并提出了一个周期置信上限强化学习-2(PUCRL 2)算法.结果表明,PUCRL 2的遗憾度随周期$N$线性变化,$\mathcal{O}(\sqrt{Tlog T})$随视界长度$T$线性变化.利用增广MDP的转移矩阵的稀疏性的信息,我们提出了另一种算法PUCRLB的PUCRL 2的增强,无论是在遗憾($O(\sqrt{N})$依赖于周期)和经验性能。最后,我们提出了另外两个算法U-PUCRL 2和U-PUCRLB扩展的不确定性的环境中,周期是未知的,但一组候选周期是已知的。数值结果表明了所有算法的有效性。
2023-03-16 cs.AI cs.LG
Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning
School of Future Technology, Southeast University, Nanjing, China(东南大学未来技术学院,南京,中国);School of Automation, Southeast University, Nanjing, China(东南大学自动化学院,南京,中国)
本文提出AES方法,通过动态调整熵系数以应对环境漂移,减少性能下降并加快恢复速度。
2026-07-15 cs.AI cs.LG
Adversarial Network Optimization under Bandit Feedback: Maximizing Utility in Non-Stationary Multi-Hop Networks
MIT(麻省理工学院)
针对非平稳多跳网络在bandit反馈下的对抗网络优化问题,提出UMO2算法,通过将在线学习与Lyapunov分析相结合,同时实现了网络稳定性与多项式衰减差距的效用最大化保证。
2024-08-29 cs.LG cs.PF cs.SY
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
Restarted Bayesian Online Change-point Detection for Non-Stationary Markov Decision Processes
Technology Innovation Institute(技术创新研究院);Technical University of Munich(慕尼黑工业大学);Ecole Polytechnique(巴黎综合理工学院)
针对非平稳强化学习环境,提出R-BOCPD-UCRL2算法,通过改进的变点检测处理多项式分布输入流,在误报率和检测延迟上提供近最优保证,并实现了不随分布变化直接缩放的良好遗憾界。
2023-04-01 cs.AI cs.LG stat.ML
TwinLoop: Simulation-in-the-Loop Digital Twins for Online Multi-Agent Reinforcement Learning
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology(南方科技大学可信自主系统研究院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);Department of Informatics and Telecommunications, University of Thessaly(色萨利大学信息与电信系)
TwinLoop通过仿真闭环数字孪生框架提升多智能体系统在运行时的适应性,减少对高成本试错的依赖,提高上下文切换后的适应效率。
2026-04-08 cs.AI cs.LG
Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes
Univ. of Pennsylvania(宾夕法尼亚大学);Univ. de la República(共和国大学)
强化学习考虑的是在转移概率未知的马尔可夫决策过程中找到最大化预期累积奖励的策略的问题。在本文中,我们考虑的问题,找到最佳的政策,假设他们属于再生核希尔伯特空间(RKHS)。为此,我们计算无偏随机梯度的价值函数,我们使用的上升方向更新的政策。策略梯度型算法的一个主要缺点是,除非施加平稳性假设,否则它们仅限于偶发任务。因此,防止这些算法完全在线实现,这对于需要适应部署中的新任务和/或环境的系统是期望的属性。策略梯度算法工作的主要要求是在任何时间点的梯度的估计是初始价值函数的上升方向。在这项工作中,我们建立,确实是这种情况下,使显示的初始价值函数的临界点的在线算法的收敛。一个数值例子显示了我们的在线算法学习解决导航和监视问题的能力,其中代理必须在目标位置之间循环。这个例子证实了我们关于后继随机梯度上升方向的理论发现。它还展示了运行我们的在线算法的智能体如何成功学习导航,遵循不符合非情景训练文献中标准平稳性假设的持续循环轨迹。
2020-10-16 cs.LG cs.SY eess.SY
Offline-Online Reinforcement Learning for Energy Pricing in Office Demand Response: Lowering Energy and Data Costs
University of California, Berkeley(加州大学伯克利分校);University of Illinois, Chicago(伊利诺伊大学芝加哥分校)
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力,将为社区提供价值,但为强化学习代理收集训练数据的成本很高,而且会受到限制。在这项工作中,我们研究如何利用离线培训来最大限度地减少数据成本(加速融合)和计划实施成本。我们提出了两种方法来做到这一点:预训练我们的模型,以热启动实验与模拟任务,并使用一个规划模型训练,以模拟现实世界的奖励代理。我们提出的结果表明,实用的离线强化学习,以有效的价格设定的能源需求响应问题。
2021-08-14 cs.AI cs.LG
Decision Making in Non-Stationary Environments with Policy-Augmented Search
Vanderbilt University(范德堡大学);Stanford University(斯坦福大学);Eindhoven University of Technology(埃因霍温理工大学);Pennsylvania State University(宾夕法尼亚州立大学)
针对非平稳环境中预学习策略过时且限时在线搜索易次优的问题,提出PA-MCTS融合旧策略价值估计与最新模型搜索,并给出最优性和误差界,实验证明其优于AlphaZero和DQN。
2024-01-20 cs.AI cs.LG
Offline-to-Online Reinforcement Learning with Classifier-Free Diffusion Generation
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Adobe Research, California, United States(Adobe研究院)
针对离线到在线强化学习中生成数据与在线数据的分布差距,提出无分类器引导扩散生成(CFDG)数据增强方法,通过重加权机制对齐数据分布,在D4RL基准上实现15%的平均性能提升。
2025-08-09 cs.AI cs.LG
Non-Stationary Delayed Bandits with Intermediate Observations
DeepMind
在线推荐系统在接收反馈时通常会面临长时间的延迟,特别是在优化一些长期指标时。虽然在静态环境中减轻学习延迟的影响是众所周知的,但当环境发生变化时,这个问题变得更具挑战性。事实上,如果变化的时间尺度与延迟相当,就不可能了解环境,因为现有的观测已经过时。然而,如果中间信号没有延迟地可用,则可以解决所出现的问题,使得给定这些信号,系统的长期行为是稳定的。为了模拟这种情况,我们引入了随机的,非平稳的,延迟土匪与中间观测的问题。我们开发了一个计算效率高的算法UCRL的基础上,并证明次线性后悔保证其性能。实验结果表明,我们的方法是能够学习在非平稳的延迟环境中,现有的方法失败。
2020-08-11 cs.LG stat.ML
Classification with Costly Features in Hierarchical Deep Sets
Faculty of Electrical Engineering, Czech Technical University in Prague(捷克技术大学电气工程学院)
本文扩展了基于深度强化学习的算法,引入分层深度集合和分层softmax,以处理分层结构数据中的带代价特征分类,在七个数据集上表现更优,并应用于恶意域名分类。
2024-02-29 cs.AI cs.LG stat.ML
Towards the D-Optimal Online Experiment Design for Recommender Selection
Walmart Labs(沃尔玛实验室);Instacart
通过在线探索-开发来选择最佳推荐器越来越受到人们的关注,传统的A/B测试速度慢且成本高,离线评估容易受到历史数据的影响。找到最佳的在线实验是不平凡的,因为用户和显示的建议都带有上下文特征,这些特征对奖励来说是信息性的。虽然这个问题可以通过多武装匪徒的镜头正式化,现有的解决方案被发现不太令人满意,因为一般的方法不占案件的具体结构,特别是我们研究的电子商务建议。为了填补这一空白,我们利用经典统计文献中的\emph{D-optimal design}来实现探索过程中的最大信息增益,并揭示它如何与在线推理的现代基础设施无缝匹配。为了证明最优设计的有效性,我们提供了半合成模拟研究,并提供了已发布的代码和数据,以实现再现性。然后,我们使用我们在Walmart.com上的部署示例来充分说明所提出的方法的实际见解和有效性。
2022-03-26 cs.IR cs.LG stat.ML
Thompson sampling with the online bootstrap
Facebook, Inc.(脸书公司);Radboud University(拉德堡德大学)
汤普森采样提供了一个解决方案,强盗问题,其中新的观察分配到武器的后验概率,一个手臂是最佳的。虽然有时容易实现和渐近最优,汤普森采样可以在大规模的强盗问题的计算要求,其性能取决于模型拟合到观察到的数据。我们介绍了自举汤普森抽样(BTS),一个探试法解决强盗问题,修改汤普森抽样取代后验分布汤普森抽样的自举分布。我们首先解释BTS,并表明BTS的性能是有竞争力的汤普森采样在研究伯努利强盗的情况下。随后,我们详细说明了为什么BTS使用在线引导比常规的汤普森采样更具可扩展性,我们通过模拟表明,BTS对错误指定的误差分布更鲁棒。BTS是汤普森采样的一个有吸引力的修改,特别是当来自后验的样本不可用或昂贵时。
2014-10-15 cs.LG stat.CO stat.ML
Offline Planning and Online Learning under Recovering Rewards
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
受新兴应用如实时流媒体电子商务、促销和推荐的启发,我们引入并解决了一类具有以下两个特征的非平稳多臂强盗问题:(i)决策者可以在每个时间段内从$N$不同的臂中提取并收集最多$K\,(\ge 1)$的奖励;(ii)手臂的预期回报在被拉动后立即下降,然后随着手臂空闲时间的增加而非参数地恢复。随着最大化的目标,在$T$的时间周期的预期累积奖励,我们设计了一类“定期政策”,共同设置一个时期,拉每个arm.For建议的政策,我们证明了性能保证离线问题和在线问题。对于离线问题,当所有的模型参数是已知的,建议的周期性政策获得的近似比是在$1-\mathcal O(1/\sqrt{K})$的顺序,这是渐近最优的$K$增长到无穷大。针对模型参数未知且需要动态学习的在线问题,将离线周期策略与置信上界过程相结合,构造在线策略。提出的在线策略被证明是近似有$\widetilde{\mathcal O}(N\sqrt{T})$遗憾对离线基准。我们的框架和政策设计可以揭示更广泛的离线规划和在线学习应用程序与非固定和恢复奖励。
2021-12-21 cs.DM cs.LG math.OC
Data-Driven Online Decision Making with Costly Information Acquisition
University of California, Los Angeles(加州大学洛杉矶分校);University of Oxford(牛津大学)
在大多数现实环境中,如推荐系统、金融和医疗保健,收集有用的信息是昂贵的,需要决策者做出积极的选择。决策者需要同时学习进行哪些观察和采取哪些行动。本文将信息获取决策纳入在线学习框架中。我们提出了两种不同的算法,这个双重学习问题:Sim-OOS和Seq-OOS的意见,同时和顺序,分别。我们证明,这两种算法实现了遗憾,是次线性的时间。开发的框架和算法可以用于许多应用,包括医疗信息学,推荐系统和交通,金融,网络安全等方面的可操作智能,在做出决定之前收集信息是昂贵的。我们验证我们的算法在乳腺癌的例子设置中,我们表现出显着的性能增益,我们提出的算法。
2017-10-21 cs.LG stat.ML
Mixture of Online and Offline Experts for Non-stationary Time Series
Sun Yat-sen University(中山大学);Macquarie University(麦考瑞大学);Zhejiang University(浙江大学)
针对非平稳时间序列在线区间分布可能与历史离线区间重合的场景,提出融合静态离线专家与动态在线专家的MOOE模型,并通过理论分析证明其有效性。
2024-12-13 cs.LG
Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data
University of Texas, Austin(得克萨斯大学奥斯汀分校);Facebook Inc.(脸书公司)
大规模深度学习通过采用更广泛和更深入的模型来提高内容推荐系统的质量,但这在现代数据中心中带来了巨大的基础设施成本和碳足迹。剪枝是一种有效的技术,可以减少模型推理的内存和计算需求。然而,在线推荐系统的修剪是具有挑战性的,由于连续的数据分布偏移(又名非平稳数据)。虽然完整模型上的增量训练能够适应非平稳数据,但直接将其应用于修剪模型会导致准确性损失。这是因为修剪后的稀疏模式需要调整以学习新的模式。据我们所知,这是第一项深入分析和讨论将修剪应用于具有非平稳数据分布的在线推荐系统的工作。总体而言,本文的工作主要有以下几个方面的贡献:1)提出了一种自适应的密集到稀疏的模式,并结合一种新的剪枝算法,用于对具有非平稳数据分布的大规模推荐系统进行剪枝; 2)设计了自动学习层间稀疏度的剪枝算法,避免了重复手工调整,这对于修剪用非平稳数据训练的推荐系统的异构体系结构是至关重要的。
2020-10-21 cs.LG
Online Optimization with Costly and Noisy Measurements using Random Fourier Expansions
Delft University of Technology(代尔夫特理工大学)
本文分析了DONE,在线优化算法,迭代最小化一个未知的功能的基础上昂贵和嘈杂的测量。该算法以随机傅立叶展开(RFE)的形式维护未知函数的代理。每当有新的测量值可用时,替代值就会更新,然后用于确定下一个测量点。该算法与贝叶斯优化算法相当,但其每次迭代的计算复杂性不依赖于测量的数量。我们得出了几个理论结果,提供洞察力的超参数的算法应该如何选择。该算法相比,贝叶斯优化算法的基准问题和三个应用程序,即,光学相干断层扫描,光学波束形成网络调整,和机器人手臂控制。结果发现,DONE算法是明显快于贝叶斯优化在讨论的问题,同时实现类似或更好的性能。
2016-09-29 cs.LG math.OC stat.ML
Online Verification of Language Model Responses Under Cost Constraints
University of California, Irvine(加州大学尔湾分校)
针对在线验证语言模型响应时成本与准确性的权衡,提出OMVV算法,通过维护多个弱验证器池并自适应路由,在有限时间内保证误接受与误拒绝率,同时实现次线性遗憾,实验证明其成本更低、准确性更高。
2026-10-05 cs.LG
Online Adaptive Reinforcement Learning with Echo State Networks for Non-Stationary Dynamics
Department of Computer Science, Nagoya Institute of Technology(名古屋技术大学计算机科学系);Nagoya Institute of Technology(名古屋技术大学);International Research Center for Neurointelligence, The University of Tokyo(神经智能国际研究中心,东京大学)
本文提出基于回声状态网络的在线自适应强化学习框架,通过共振计算实现快速适应,适用于非平稳动态环境中的实时机器人控制。
2026-02-06 cs.LG
Bilevel Online Deep Learning in Non-stationary Environment
China University of Petroleum, Beijing Campus (CUP)(中国石油大学(北京)校区);Department of Automation, College of Information Science and Engineering, China University of Petroleum, Beijing Campus (CUP)(中国石油大学(北京)校区信息科学与工程学院自动化系)
近年来,在线学习取得了巨大的进步。然而,在人工智能体的道路上的一个主要挑战是概念漂移,即数据概率分布将改变的数据实例顺序到达流的方式,这将导致灾难性遗忘和降低模型的性能。本文提出了一种新的双层在线深度学习(BODL)框架,该框架结合了双层优化策略和在线集成分类器。在BODL算法中,我们使用一个集成分类器,它利用深度神经网络中不同隐层的输出来构建多个基分类器,基分类器的重要权值根据指数梯度下降方法在线更新。此外,我们应用相似约束来克服在线集成框架的收敛问题。然后设计了一种有效的概念漂移检测机制,利用分类器的出错率来监测数据概率分布的变化。当检测到概念漂移时,我们的BODL算法可以通过双层优化自适应地更新模型参数,从而规避大的漂移并鼓励正迁移。最后,在各种数据集上进行了广泛的实验和烧蚀研究,具有竞争力的数值结果表明,我们的BODL算法是一个有前途的方法。
2022-01-25 cs.LG
A Last-Step Regression Algorithm for Non-Stationary Online Learning
The Technion(以色列理工学院)
学习者在标准在线学习中的目标是保持平均损失接近某类中表现最好的单个功能的损失。在许多现实世界的问题中,例如对项目进行评级或排名,在算法的运行时间期间不存在单个最佳目标函数,而是最佳(局部)目标函数随时间漂移。我们开发了一种新的最后一步极小极大优化算法的上下文中的漂移。我们分析了算法在最坏情况下的遗憾框架,并表明,它保持了平均损失接近的最佳缓慢变化的线性函数序列,只要漂移的总是次线性的。在某些情况下,我们的界限改善现有的界限,此外,该算法遭受对数遗憾时,没有漂移。我们还建立在H_infinity滤波器和它的界限,并开发和分析第二个算法的漂移设置。合成模拟证明了我们的算法在最坏情况下的恒定漂移设置的优势。
2013-03-15 cs.LG
Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies
University of Cambridge(剑桥大学)
众所周知,人类决策是不完美的,在试图帮助或提高决策者执行任务的能力时,单独分析这些过程的能力至关重要,例如提醒他们注意潜在的偏见或疏忽。要做到这一点,有必要开发可解释的表示,说明代理如何做出决策,以及随着代理在线学习对累积经验的反应,这一过程如何随时间而变化。为了理解一组观察到的轨迹背后的决策过程,我们将策略推理问题转化为这个在线学习问题的逆问题。通过在潜在结果框架内解释行动,我们引入了一个有意义的映射,该映射基于代理选择他们认为具有最大治疗效果的行动。我们引入了一个实用的算法,回顾性地估计这种感知的影响,通过代理更新它们的过程中,使用一种新的架构,建立在深状态空间模型的表达家庭。通过应用于UNOS器官捐献接受决策的分析,我们证明了我们的方法可以为管理决策过程的因素以及它们如何随着时间的推移而变化带来有价值的见解。
2022-09-30 cs.LG
Non-stationary Online Regression
Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Carnegie Mellon University(卡内基梅隆大学)
在线预测在不断变化的环境下已经成为一个越来越重要的问题,在许多现实世界的应用。在本文中,我们考虑的元算法中提出的\citet{zhang2017dynamic}结合不同的子程序。我们证明了对于参数序列的总变差由$C_n$约束的非平稳在线线性回归,可以得到一个期望的$\tilde{O}(n^{1/3} C_n^{2/3})$阶累积误差。本文将\cite{baby2019online}中提出的一维时间序列在线预测的结果推广到一般的$d$维非平稳线性回归。我们提高了Zhang等人2017和Besbes等人2015获得的$O(\sqrt{n C_n})$率。我们进一步扩展我们的分析,非平稳在线核回归。与非平稳在线回归情况类似,我们使用Zhang et al. 2017的元程序结合Kernel-AWV(Jezequel et al. 2020)来实现由RKHS的有效维度和序列的总变异控制的预期累积。据我们所知,这项工作是非平稳在线回归的非平稳核回归的第一次扩展。最后,我们评估我们的方法与现有的几个基准经验,并将其与本文得到的理论界。
2020-11-13 cs.LG math.ST stat.TH
Second-Order Non-Stationary Online Learning for Regression
The Technion - Israel Institute of Technology(以色列理工学院)
在标准的在线学习中,学习者的目标是使累积损失与来自某个固定类的最佳性能函数相比不大得多。与离线选择的最佳函数相比,许多算法被证明具有任意接近于零的间隙。然而,许多现实世界的应用,如自适应滤波,在本质上是非平稳的,最好的预测函数可能会随着时间的推移而漂移。我们介绍了两种新的在线回归算法,旨在工作在非平稳环境。我们的第一个算法执行自适应重置忘记历史,而第二个是最后一步的最小最大最优的上下文中的漂移。我们分析了这两种算法在最坏情况下的遗憾框架,并表明,他们保持接近的最佳缓慢变化的线性函数序列的平均损失,只要累积漂移是次线性的。此外,在平稳的情况下,当没有漂移发生,我们的算法遭受对数遗憾,为以前的算法。我们的边界改善现有的,和模拟证明了这些算法的有用性相比,其他国家的最先进的方法。
2013-03-01 cs.LG stat.ML
Adaptive Variational Particle Filtering in Non-stationary Environments
Cylance Inc.(Cylance公司)
在线凸优化是一种顺序预测框架,其目标是通过评估适当的凸损失函数来跟踪和适应环境。我们从这样一个框架的角度来研究有效的粒子滤波方法。我们制定了一个有效的粒子滤波方法的非平稳环境中的连接与在线镜像下降算法,这是已知的是一个通用的在线凸优化算法。作为这种连接的结果,我们提出的粒子滤波算法证明,达到最佳的粒子效率。
2018-07-19 cs.LG stat.ML
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan(日本东京CyberAgent公司);National Institute of Informatics, Tokyo, Japan(日本东京信息机构);Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan(日本东京RIKEN高级智能项目);The Institute of Statistical Mathematics, Tokyo, Japan(日本东京统计数学研究所);Tohoku University, Miyagi, Japan(日本宫城县立东大学);Nanyang Technological University, Singapore(新加坡南洋理工大学)
本文提出在非平稳环境下,通过结合在线梯度下降的动态后悔分析与替代损失间隙技术,获得目标损失的上限,同时扩展到更广泛的设置,并证明依赖于F_T和P_T的紧性。
2026-05-14 cs.LG
Combining self-labeling and demand based active learning for non-stationary data streams
Bielefeld University(比勒费尔德大学)
从非平稳数据流中学习是一个研究方向,随着越来越多的流形式的数据变得可用,例如来自社交媒体,智能手机或工业过程监控的数据,该方向越来越受到关注。大多数方法都假设样本的真实情况变得可用(可能有一些延迟),并在测试然后训练方案中执行监督在线学习。虽然此假设在某些情况下可能有效,但它并不适用于所有设置。在这项工作中,我们专注于几乎没有标记的数据流,并探索自标记在逐渐漂移的数据流中的潜力。我们正式这个设置,并提出了一种新的在线$k$分类器,结合自标记和基于需求的主动学习。
2023-02-08 cs.LG