Improving Online Reinforcement Learning via Bidirectional Behavior Prior Distillation
Tongji University(同济大学);Shanghai University of Engineering Science(上海工程技术大学)
本文提出双向行为先验蒸馏(B2PD)算法,利用动作价值先验引导CVAE生成高价值行为支持集并蒸馏到智能体,以缓解在线强化学习中的评论家误差放大,显著提升样本效率和策略稳定性。
2026-09-18 cs.LG
Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration
University of California, Berkeley(加州大学伯克利分校)
研究提出SUPE方法,通过VAE提取低级技能并用乐观奖励伪标注无标签轨迹,将其作为离策略数据训练高级策略,在42个稀疏奖励任务中显著提升在线探索效率。
2025-07-11 cs.AI cs.LG stat.ML
Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors
Nanyang Technical University(南洋理工大学);University of Oxford(牛津大学)
本文提出诊断驱动的张力管理框架,通过三种功能角色表征离线先验知识如何重塑在线优化,并展示跨领域证据,解决先验知识有效性随部署变化的问题。
2026-06-25 cs.LG
Bayesian Nonexhaustive Learning for Online Discovery and Modeling of Emerging Classes
IUPUI(印第安纳大学-普渡大学印第安纳波利斯分校);Purdue University(普渡大学);Biindley Bioscience Center(宾德利生物科学中心)
我们提出了一个在线推理的框架,在存在一个非穷举定义的类集,将监督分类与类发现和建模。定义在类分布上的狄利克雷过程先验(DPP)模型确保已知和未知类分布都根据共同的基础分布起源。在尝试自动发现潜在的感兴趣的类形成,先验模型与适当选择的数据模型相结合,并使用顺序蒙特卡罗采样来执行在线推理。我们的研究是由生物检测应用程序驱动的,其中一类新的病原体可能突然出现,并且源自该类的样本数量的快速增加表明爆发的开始。
2012-06-18 cs.LG stat.ML
AWAC: Accelerating Online Reinforcement Learning with Offline Datasets
UC Berkeley(加州大学伯克利分校)
强化学习(RL)为从经验中学习控制策略提供了一种有吸引力的形式。然而,RL的经典主动公式需要对每个行为进行漫长的主动探索过程,这使得它很难应用于现实世界的设置,如机器人控制。如果我们能够让强化学习算法有效地使用先前收集的数据来帮助在线学习过程,这样的应用程序就可以变得更加实用:先前的数据将提供一个起点,减轻探索和样本复杂性带来的挑战,而在线训练使智能体能够完善所需的技能。这样的先验数据可以构成专家演示或说明潜在有用的转变的次优先验数据。虽然许多现有方法已经使用最优演示来引导RL,或者已经使用次优数据来纯离线训练,但是仍然非常难以用离线数据训练策略并且实际上继续用在线RL进一步改进它。在本文中,我们分析了为什么这个问题是如此具有挑战性,并提出了一种算法,结合样本有效的动态规划与最大似然策略更新,提供了一个简单而有效的框架,能够利用大量的离线数据,然后快速执行RL策略的在线微调。我们表明,我们的方法,优势加权演员评论家(AWAC),使技能的快速学习与先前的演示数据和在线经验相结合。我们在模拟和真实世界的机器人领域展示了这些好处,包括用真正的多指手进行灵巧操作,用机器人手臂打开抽屉,以及旋转阀门。我们的研究结果表明,结合先验数据可以减少学习一系列机器人技能所需的时间,以实际的时间尺度。
2021-04-24 cs.LG cs.RO stat.ML
One-Shot Learning of Manipulation Skills with Online Dynamics Adaptation and Neural Network Priors
University of California, Berkeley(加州大学伯克利分校)
将强化学习应用于复杂的机器人控制任务的关键挑战之一是需要收集大量的经验,以便为手头的任务找到有效的策略。基于模型的强化学习可以实现良好的样本效率,但需要学习足够好以学习有效策略的动态模型的能力。在这项工作中,我们开发了一个基于模型的强化学习算法,结合了先前任务的先验知识与动态模型的在线适应。这两个成分使得即使在估计真实动态非常困难的情况下也能够实现高度样本有效的学习,因为在线模型自适应允许该方法局部补偿动态中的未建模变化。我们编码到一个神经网络动态模型的先验经验,适应它在线逐步改装的局部线性模型的动态,并使用模型预测控制计划根据这些动态。我们的实验结果表明,这种方法可以用来解决各种复杂的机器人操作任务,在一个单一的尝试,使用其他操作行为的先验数据。
2016-08-11 cs.LG cs.RO
The Many Faces of Exponential Weights in Online Learning
Leiden University(莱顿大学);Poznań University of Technology(波兹南理工大学)
在线学习的标准介绍可能会将在线梯度下降置于其中心,然后继续开发泛化和扩展,如在线镜像下降和二阶方法。在这里,我们将探索将指数权重(EW)放在首位的替代方法。我们表明,许多标准的方法和他们的遗憾界,然后作为一个特殊的情况下,通过插入合适的替代损失和发挥EW后验均值。例如,我们可以通过使用线性损失的高斯先验的EW来轻松恢复在线梯度下降,更一般地说,基于常规Bregman发散的在线镜像下降的所有实例也对应于具有依赖于镜像映射的先验的EW。此外,适当的二次代理损失自然会产生在线梯度下降的强凸损失和在线牛顿步骤。我们进一步解释了最近的几种自适应方法(iProd,Squint和专家硬币投注的变体)作为一系列密切相关的减少指数凹代理损失,然后由指数权重处理。最后,我们的EW解释的一个好处是,它开辟了从EW后验分布中抽样的可能性,而不是玩的意思。正如Bubeck和Eldan已经观察到的那样,这恢复了在线Bandit线性优化中最著名的速率。
2018-06-05 cs.LG stat.ML
Budgeted Online Active Learning with Expert Advice and Episodic Priors
Oregon State University(俄勒冈州立大学);Washington State University(华盛顿州立大学)
本文针对标签预算极少的有限时域数据流,提出一种同时利用专家预测器和情景行为先验的预算在线主动学习方法,并在农业模拟与真实葡萄数据上验证其显著优于现有基线。
2025-06-03 cs.LG
Online semi-supervised perception: Real-time learning without explicit feedback
Intel Labs(英特尔实验室);Department of Computer Science(计算机科学系);University of Pittsburgh(匹兹堡大学)
本文提出一种无需显式反馈的实时学习算法,结合图上半监督学习和在线学习,通过迭代构建世界图表示并更新,利用离线标注数据和在线未标注数据提升性能,在实时人脸识别中取得优越精度和召回率。
2026-10-06 cs.LG stat.ML
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University(哈佛大学工程与应用科学学院);Kempner Institute, Harvard University(哈佛大学坎普纳研究所)
本文通过图像和语言数据的实证分析,发现在线(单轮)学习中 SGD 噪声不带来隐式偏置优势,其好处仅限于计算效率,并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤,挑战了传统理解。
2024-06-07 cs.LG stat.ML
Decentralized Online Learning: Take Benefits from Others' Data without Sharing Your Own to Track Global Trend
National University of Defense Technology(国防科技大学);University of Rochester(罗切斯特大学);Tencent AI Lab(腾讯人工智能实验室)
分散式在线学习(分散式网络中的在线学习)吸引了越来越多的关注,因为人们认为分散式在线学习可以帮助数据提供者更好地合作解决他们的在线问题,而无需将他们的私人数据共享给第三方或其他提供者。通常,通过让数据提供者在邻居之间交换它们的模型来实现协作,例如,推荐模型然而,分散式在线学习算法的最佳遗憾界限是$\Ocal{n\sqrt{T}}$,其中$n$是节点(或用户)的数量,$T$是迭代次数。这显然是微不足道的,因为这个界限可以实现\emph{without}在网络中的任何通信。这提醒我们要问一个根本性的问题:\emph{Can people really get benefit from the decentralized online learning by exchanging information?}在本文中,我们研究了何时以及为什么沟通可以帮助分散式在线学习减少遗憾。具体来说,每个损失函数由两个分量表征:对抗分量和随机分量。在此特征下,我们证明了分散式在线梯度(DOG)具有遗憾界$\Ocal{n\sqrt{T}G + \sqrt{nT}σ}$,其中$G$测量私有数据中对抗分量的大小(或等效的本地损失函数),$σ$测量私有数据中的随机性。这种遗憾表明,人们可以通过交换私人信息从私人数据的随机性中获益。本文的另一个重要贡献是考虑了动态遗憾--一种更实用的跟踪用户兴趣动态的遗憾。实证研…
2019-05-28 cs.LG stat.ML
Thompson Sampling for Online Learning with Linear Experts
Technion(以色列理工学院)
在这篇文章中,我们提出了一个版本的汤普森采样算法的问题,在线线性推广与充分的信息(即,Kalai和Vempala在2005年进行了研究。该算法使用高斯先验和随时间变化的高斯似然,我们表明,它基本上减少到Kalai和Vempala的跟随扰动领导者的策略,用高斯噪声代替指数分布的噪声。这意味着对于具有完整信息的在线学习,Thompson采样(具有时变似然)的sqrt(T)遗憾界限。
2013-11-03 cs.LG stat.ML
Policy Gradient Search: Online Planning and Expert Iteration without Search Trees
DeepMind(深度思考);OpenAI;University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
蒙特卡罗树搜索(MCTS)算法执行基于模拟的搜索以在线改进策略。在搜索过程中,模拟策略被调整以探索最有希望的路线。MCTS已经被最先进的程序用于解决许多问题,但是MCTS的缺点是它使用存储在搜索树中的Monte Carlo平均值来估计状态的值;这不能扩展到具有非常高分支因子的游戏。我们提出了一种替代的基于模拟的搜索方法,策略梯度搜索(PGS),通过策略梯度更新在线适应神经网络模拟策略,避免了搜索树的需要。在Hex中,PGS实现了与MCTS相当的性能,并且使用专家迭代与PGS训练的代理能够在9 x9 Hex中击败最强大的开源Hex代理MoHex 2.0。
2019-04-07 cs.LG stat.ML
Online Graph Learning under Smoothness Priors
University of Rochester(罗切斯特大学);Goergen Institute for Data Science, University of Rochester(罗切斯特大学戈根数据科学学院)
图形信号处理(GSP)方法的日益成功在很大程度上依赖于网络数据承认某些规律性的图形的先验识别。然而,适应日益动态的环境以及实时处理流数据的需求为此提出了重大挑战。在这种情况下,我们开发新的算法在线网络拓扑推理流观测假设是光滑的寻求图。与现有的批处理算法不同,我们的目标是跟踪(可能)随时间变化的网络拓扑结构,同时通过按顺序处理图形信号来保持内存和计算成本。为了以在线方式恢复图形,我们利用邻近梯度(PG)方法来解决明智的平滑正则化时变优化问题。在温和的技术条件下,我们建立了在线图学习算法收敛到的邻域内(即,它跟踪)最佳时变批量解决方案。使用合成和真实金融市场数据的计算机模拟说明了所提出的算法在适应流信号以跟踪缓慢变化的网络连通性方面的有效性。
2021-03-05 cs.LG eess.SP
Online Learning with Feedback Graphs Without the Graphs
Technion—Israel Institute of Technology(以色列理工学院)
我们研究了Mannor和Shamir(2011)引入的在线学习框架,其中反馈由图指定,在图可能因轮而异的设置中,对于学习者来说是\emph{never fully revealed}。我们显示了一个很大的差距之间的对抗和随机的情况下。在对抗的情况下,我们证明了,即使是密集的反馈图,学习者不能提高一个微不足道的遗憾界忽略任何额外的反馈,除了她自己的损失。相反,在随机的情况下,我们给出了一个算法,实现$\widetilde Θ(\sqrt{αT})$遗憾超过$T$轮,提供的隐藏的反馈图的独立数是最多$α$。我们还将我们的结果扩展到一个更一般的反馈模型,其中学习者不一定观察到她自己的损失,并表明,即使在简单的情况下,隐藏的反馈图可能会使一个可学习的问题unlearnable。
2016-05-23 cs.LG stat.ML
Online Transfer Learning: Negative Transfer and Effect of Prior Knowledge
University of Melbourne(墨尔本大学)
迁移学习是一种机器学习范例,其中来自一个任务的知识被用来解决相关任务中的问题。一方面,可以想象,从一个任务中获得的知识可能对解决相关问题有用。另一方面,人们也认识到,如果不正确执行,迁移学习算法实际上可能会损害学习性能,而不是提高它-通常称为“负迁移”。本文研究了源样本以离线方式给出而目标样本顺序到达的在线迁移学习问题。我们定义了在线迁移学习问题的期望后悔,并使用信息理论量提供了后悔的上界。当样本量变大时,我们也得到了精确的边界表达式。实例表明,即使对于小样本量,推导的界限也是准确的。此外,所获得的界限提供了宝贵的洞察力的影响,先验知识的迁移学习在我们的配方。特别是,我们正式的负迁移发生的条件下的特征。
2021-05-04 cs.IT cs.LG math.IT
SatMap: Revisiting Satellite Maps as Prior for Online HD Map Construction
Munich University of Applied Sciences(慕尼黑应用科学大学);Intelligent Vehicles Lab (IVL) Munich(慕尼黑智能车辆实验室)
SatMap通过整合卫星地图与多视角摄像头观测,提升在线高精度地图构建的性能和鲁棒性。
2026-01-20 cs.AI cs.CV cs.LG
SCALE: Online Self-Supervised Lifelong Learning without Prior Knowledge
University of California San Diego(加州大学圣地亚哥分校);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出SCALE框架,通过伪监督对比损失、自监督遗忘损失和在线记忆更新,解决无先验知识的在线自监督终身学习问题,并在多个数据集上取得优于现有方法的性能。
2023-04-10 cs.AI cs.LG
Online Linear Optimization with Many Hints
University of Utah(犹他大学);Google Research(谷歌研究院);Boston University(波士顿大学)
我们研究了一个在线线性优化(OLO)问题,在该问题中,学习者在做出决定之前,在每一轮都可以访问$K$“提示”向量。在这种情况下,我们设计了一个算法,获得对数遗憾时,存在一个凸组合的$K$提示,具有正相关的成本向量。这显著地扩展了只考虑$K=1$情况的先前工作。为了实现这一点,我们开发了一种方法来结合许多任意OLO算法,以获得遗憾只有一个数学上比最小遗憾的原始算法事后诸葛亮的因素,这一结果是独立的利益。
2020-10-06 cs.LG
Bayesian Algorithms for Adversarial Online Learning: from Finite to Infinite Action Spaces
Cornell University(康奈尔大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出一种基于对手动作空间先验的 Thompson 采样在线学习算法,将遗憾分解为先验期望遗憾与超额遗憾,并在有限专家情形恢复最优速率,同时证明在无限专家情形下对 Lipschitz 对手取得次线性遗憾界。
2025-09-22 cs.GT cs.LG math.ST
Meta-LinEXP3: Online-within-Online Learning for Adversarial Linear Contextual Bandits
College of Science, National University of Defense Technology(国防科技大学理学院)
针对对抗性线性上下文赌博机,提出在线内在线元学习算法 Meta-LinEXP3,利用任务先验指导内部学习器,实现次线性遗憾并验证于高光谱采样。
2026-09-16 cs.LG math.OC
The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning
University of Peloponnese(伯罗奔尼撒大学);Tokyo Institute of Technology(东京工业大学)
许多在线,即,信号处理和机器学习中的时间自适应逆问题属于非负、凸和连续函数序列的渐近最小化的广泛范围。为了将先验知识纳入设计中,渐近最小化任务通常被约束在一个固定的闭凸集上,该凸集由可用的先验信息决定。为了增加对可用信息的使用的通用性,本手稿扩展了自适应投影次梯度法(APSM)通过引入一个算法方案,该方案通过一系列强吸引的拟非扩张映射在一个真正的希尔伯特空间的设计中采用了先验知识。通过这种方式,所提出的方法为在线学习任务提供的好处以两种方式展开:1)丰富的准非扩张映射类提供了大量的方法来投射先验知识,以及2)通过引入一系列这样的映射,所提出的方案能够捕获先验信息的时变性质。该算法的收敛性能进行了研究,几个特殊的情况下,具有广泛的适用性的方法显示,和所提出的计划的潜力,证明了考虑越来越重要的,现在,在线稀疏系统/信号恢复任务。
2011-08-05 cs.IT cs.LG math.IT
SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data
Media Integration and Communication Center – University of Florence(媒体集成与通信中心——佛罗伦萨大学);SEED – Electronic Arts(SEED——电子艺界)
本文提出SOPE算法,通过使用与演员对齐的离策略策略评估(OPE)信号作为自动早停机制,动态控制离线训练阶段的长度,从而在连续控制任务中提高基线性能并减少计算资源消耗。
2026-05-20 cs.AI cs.LG
Fairness-Aware Online Meta-learning
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
与离线工作方式相比,在线学习有两种研究范式:(1)在线元学习(OML)在一个接一个的任务被揭示的顺序设置中学习模型参数的良好先验(或学习学习)。虽然它提供了一个次线性的遗憾界限,这种技术完全忽略了公平学习的重要性,这是人类智力的一个重要标志。(2)在线公平意识学习。此设置捕获了许多关注公平性的分类问题。但它的目标是实现zero-shot泛化,而没有任何特定于任务的适应。因此,这限制了模型适应新到达数据的能力。为了克服这些问题,弥补这一差距,在本文中,我们首次提出了一种新的在线元学习算法,即FFML,这是在不公平预防的设置。FFML的关键部分是学习在线公平分类模型的原始和对偶参数的良好先验,这些参数分别与模型的准确性和公平性相关联。该问题是制定在一个双层凹凸优化的形式。理论分析给出了损失后悔和违反累积公平约束的次线性上界。我们的实验证明了FFML的多功能性,通过将其应用于三个真实世界的数据集上的分类,并在公平性和分类准确性之间的权衡上显示出比最好的先前工作有实质性的改进
2021-08-21 cs.LG
AliExpress Learning-To-Rank: Maximizing Online Model Performance without Going Online
Alibaba(阿里巴巴);Nanjing University(南京大学);Nanyang Technological University(南洋理工大学)
学习排序(LTR)已成为电子商务应用中的关键技术。大多数现有的LTR方法遵循从在线系统收集的离线标记数据的监督学习范例。然而,人们已经注意到,以前的LTR模型可以在离线验证数据上具有良好的验证性能,但在线性能较差,反之亦然,这意味着离线和在线评估之间可能存在很大的不一致性。我们在本文中调查并确认,这种不一致性存在,并可能对全球速卖通搜索产生重大影响。不一致的原因包括在学习过程中忽略项目上下文,离线数据集不足以学习上下文。因此,本文提出了一个评估器生成器框架LTR与项目上下文。该框架包括一个评估者,概括评估涉及的背景下,和一个生成器,最大限度地提高评估者的分数,通过强化学习,和一个神经网络,确保评估者的泛化。在模拟环境和全球速卖通搜索在线系统中进行的大量实验表明,首先,离线数据集上的经典数据基指标可能与在线性能存在显著不一致,甚至可能产生误导。其次,建议的评估者分数是显着更一致的在线性能比常见的排名指标。最后,作为结果,我们的方法实现了显着的改善(\textgreater $2\%$)的转换率(CR)在工业级微调模型在线A/B测试。
2020-12-31 cs.AI cs.LG stat.ML
Meta-Learning Priors for Efficient Online Bayesian Regression
Stanford University(斯坦福大学)
高斯过程(GP)回归由于其通用性、使用简单性和贝叶斯预测的实用性而在机器人中得到了广泛的应用。GP回归的主要实现是基于非参数核的方法,因为它可以拟合任意非线性函数。然而,这种方法有两个主要缺点:(1)它在计算上效率低下,因为计算与样本数量的比例很差;以及(2)它可能是数据效率低下的,因为通过选择内核和相关超参数来编码可以帮助模型的先验知识通常具有挑战性和不直观。在这项工作中,我们提出了ALPaCA,一种有效的贝叶斯回归算法,解决了这些问题。ALPaCA使用样本函数的数据集来学习特定于域的有限维特征编码,以及相关权重的先验,使得该特征空间中的贝叶斯线性回归产生后验预测密度的准确在线预测。这些特征是神经网络,其通过元学习(或“学习-学习”)方法进行训练。ALPaCA直接从数据集中提取所有先验信息,而不是将先验信息限制在核超参数的选择上。此外,通过在权重空间中操作,它大大降低了样本复杂度。我们调查的性能ALPaCA两个简单的回归问题,两个模拟机器人系统,并在变道驾驶任务由人类执行。我们发现我们的方法优于基于内核的GP回归,以及最先进的元学习方法,从而为机器人中的许多回归任务提供了一个有前途的插件工具,其中可扩展性和数据效率很重要。
2018-10-31 cs.LG cs.RO
Data-Dependent Bounds for Online Portfolio Selection Without Lipschitzness and Smoothness
National Taiwan University(国立台湾大学)
该研究首次为非利普希茨、非光滑损失的在线凸优化场景下的在线投资组合选择,提出数据相关的小损失与渐变悔界,设计的算法兼具良好悔速率与计算效率,并给出新型理论分析方法。
2023-11-04 cs.LG math.OC stat.ML
Accelerating Exploration with Unlabeled Prior Data
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Meta
本文研究利用无标签先验数据加速稀疏奖励任务的探索,提出通过在线学习奖励模型为无标签数据赋予乐观奖励,并与在线数据并行优化策略,在多个挑战性领域实现快速探索。
2023-11-21 cs.AI cs.LG stat.ML
Bayesian Online Natural Gradient (BONG)
University of Colorado(科罗拉多大学);MIT(麻省理工学院);Google DeepMind(谷歌DeepMind)
本研究提出基于变分贝叶斯的序列贝叶斯推断新方法BONG,通过仅优化期望对数似然的单步自然梯度下降实现,共轭模型下可恢复精确推断,非共轭场景中性能优于现有在线VB方法且计算成本可控。
2024-10-31 cs.LG stat.CO stat.ML
On the Design Space of Discrete Diffusion Online Adaptation for Molecular Optimization
Caltech(加州理工学院);ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);Genesis Molecular AI(创世纪分子人工智能公司)
研究离散扩散模型的适应问题,通过控制实验发现获取、奖励塑造、模型去偏等方法互补,重放稳定学习,有效性惩罚限制小分子探索,给出反馈高效的分子优化实用方法,优于离线微调等基线。
2026-11-02 cs.LG
Source Separation using Regularized NMF with MMSE Estimates under GMM Priors with Online Learning for The Uncertainties
Faculty of Engineering(工程学院);Natural Sciences(自然科学学院);Sabanci University(萨班奇大学);Orhanli Tuzla(奥尔汉利图兹拉);Istanbul(伊斯坦布尔)
提出一种在非负矩阵分解中引入高斯混合模型先验的最小均方误差估计正则化方法,用于单通道源分离,通过在线学习不确定性提升分离性能。
2013-02-28 cs.LG cs.NA math.NA
Matrix-Free Preconditioning in Online Learning
Google Research(谷歌研究院)
我们提供了一个在线凸优化算法的遗憾,插值之间的遗憾,使用最佳的预处理矩阵和一个使用对角预处理矩阵的算法。我们的遗憾界永远不会比对角预处理得到的遗憾界更差,在某些情况下甚至超过了全矩阵预处理算法。重要的是,我们的算法运行在相同的时间和空间复杂度的在线梯度下降。一路上,我们采用新的技术,温和地精简和改善对数因素在以前的遗憾分析。最后,我们对我们的算法进行了合成数据和深度学习任务的基准测试。
2019-05-29 cs.LG math.OC stat.ML
Adaptive Prior Selection for Repertoire-based Online Adaptation in Robotics
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);LORIA(洛林计算机科学与应用数学实验室)
基于库的学习是基于两步过程的数据高效的自适应方法,其中(1)在模拟中学习大量且多样的策略集合,以及(2)规划或学习算法根据当前情况选择最适当的策略(例如,损坏的机器人、新物体等)。在本文中,我们放松了以前的作品,一个单一的剧目是足够的适应的假设。相反,我们为许多不同的情况生成剧目(例如,在不同的楼层等)让我们的算法选择最有用的先验。我们的主要贡献是一个算法,APROL(自适应先验选择基于库的在线学习),以计划下一个行动时,将这些先验的机器人没有关于当前情况的信息。我们在两个模拟任务上评估APROL:(1)用机器人手臂推动各种形状和大小的未知物体;(2)用损坏的六足机器人完成目标任务。我们比较了“无重置试错”(RTE)和各种基于单一剧目的基线。结果表明,APROL解决这两个任务的交互时间比基线更少。此外,我们在一个真实的、受损的六足动物身上演示了APROL,它很快学会了选择补偿策略,通过避开路径上的障碍物来达到目标。
2020-03-03 cs.AI cs.LG cs.NE
Online Algorithm for Aggregating Experts' Predictions with Unbounded Quadratic Loss
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
针对带无界二次损失的专家预测在线聚合问题,提出一种基于专家损失指数重加权、无需预先知道损失上界的在线聚合算法。
2025-01-11 cs.LG
Optimal Anytime Algorithms for Online Convex Optimization with Adversarial Constraints
Department of Computer Science and Engineering, Indian Institute of Technology, Kharagpur(计算机科学与工程系,印度理工学院,克哈格布尔);School of Technology and Computer Science, Tata Institute of Fundamental Research, Mumbai(技术与计算机科学学院,塔塔基础研究 institute,孟买)
本文提出一种无需预知时间范围的任意时间在线凸优化算法,利用时变Lyapunov函数处理对抗约束,实现最优遗憾与约束违反界,并扩展到动态与乐观设置。
2025-10-26 cs.LG
Online Deep Equilibrium Learning for Regularization by Denoising
Washington University in St. Louis(圣路易斯华盛顿大学)
即插即用先验(Plug-and-Play Priors,PPENS)和去噪正则化(Regularization by Denoising,RED)是通过计算结合物理测量模型和学习的图像先验的算子的不动点来解决成像逆问题的广泛使用的框架。虽然传统的PnP/RED公式集中在使用图像降噪器指定的先验知识上,但人们对学习端到端最佳PnP/RED先验知识的兴趣越来越大。最近的深度均衡模型(DEQ)框架通过隐式差分定点方程,实现了PPENDIX/RED先验的存储高效的端到端学习,而无需存储中间激活值。然而,依赖的计算/存储器的复杂性的测量模型在PPENS/RED的测量总数离开DEQ不切实际的许多成像应用。我们提出ODER作为一种新的策略,通过随机近似的测量模型,提高效率的DEQ。我们从理论上分析了ODER,深入了解其收敛性和逼近传统DEQ方法的能力。我们的数值结果表明,由于ODER在三个不同的成像应用中的训练/测试复杂性的潜在改进。
2022-05-25 cs.CV cs.LG eess.IV
Online Compact Convexified Factorization Machine
Tsinghua University(清华大学);South China University of Technology(华南理工大学)
因子分解机是一种监督学习方法,具有强大的特征工程能力。它在各种批量学习任务中产生最先进的性能,其中所有训练数据在训练之前可用。然而,在数据以流式方式顺序到达的现实应用中,使用批量学习算法重新训练的高成本在在线学习场景中提出了巨大的挑战。最初的挑战是,没有事先制定的FM可以满足在线凸优化(OCO)的要求-在线学习算法设计的最重要的框架。为了解决上述挑战,我们发明了一种新的凸化方案,从而实现了无缝满足OCO要求的紧凑型凸化FM(CCFM)。然而,对于在在线学习设置中学习紧凑凸变FM(CCFM),大多数现有算法遭受昂贵的投影操作。为了解决这一后续挑战,我们遵循在线条件梯度的一般无投影算法框架,并提出了一种在线紧凑凸因子分解机(OCCFM)算法,该算法通过有效的线性优化步骤避免了投影操作。在支持建议的OCCFM在其理论基础方面,我们证明了开发的算法实现了次线性遗憾界。为了评估OCCFM的经验性能,我们在6个真实世界的在线推荐和二进制分类任务的数据集上进行了广泛的实验。实验结果表明,OCCFM优于最先进的在线学习算法。
2018-02-05 cs.LG
Online Adaptive Mahalanobis Distance Estimation
UC Santa Barbara(加州大学圣塔芭芭拉分校);Northwestern University(西北大学);Adobe Research(Adobe研究院)
本文首次将草图技术应用于马氏度量加速,提出了高效的数据结构来解决马氏距离的近似距离估计(ADE)问题,并支持自适应查询与在线更新,可与现有的马氏度量在线学习算法结合使用。
2023-12-30 cs.LG
Learning Minimax Estimators via Online Learning
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们考虑设计极小极大估计量来估计概率分布的参数的问题。与经典的方法,如极大似然估计和最小距离估计,我们认为构造这样的估计算法的方法。我们认为设计极小极大估计量的问题是找到一个零和博弈的混合策略纳什均衡。利用最近的结果在非凸损失的在线学习,我们提供了一个通用的算法,找到一个混合策略纳什均衡一般非凸非凹零和游戏。我们的算法需要访问两个子程序:(a)一个输出对应于给定的先验概率分布的贝叶斯估计,和(b)一个计算任何给定的估计的最坏情况下的风险。鉴于访问这两个子程序,我们表明,我们的算法输出的极大极小估计和最不利的前。为了证明这种方法的力量,我们用它来构造可证明的极小极大估计的经典问题,如估计在有限高斯序列模型,和线性回归。
2020-06-19 cs.LG stat.ME stat.ML
Bi-Level Online Control without Regret
本文提出一种双层离散时间控制框架,结合在线凸优化与实时控制,通过小动态遗憾算法解决电力电网频率控制问题。
2017-02-18 cs.LG cs.SY eess.SY
Online Continual Learning via Logit Adjusted Softmax
Shanghai Jiao Tong University(上海交通大学);Institute of Image Processing and Pattern Recognition(图像处理与模式识别研究所)
本文针对在线持续学习中的类间不平衡导致遗忘的问题,提出Logit Adjusted Softmax方法,通过调整模型logits抵抗类别先验偏差,以极小的计算代价在多种场景下显著提升性能。
2024-09-29 cs.LG
Bayesian Online Model Selection
Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
本文提出了一种贝叶斯算法,用于解决随机多臂老虎机中的在线模型选择问题,证明了算法的理论保证并展示了其在不同设置下的实证性能。
2026-02-20 cs.LG
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
本文提出离线强化学习应学习自适应策略先验而非静态策略,通过记忆、探索和自我纠错在后续交互中保持改进能力,并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos
OpenAI(OpenAI(开放人工智能研究中心));University of British Columbia(不列颠哥伦比亚大学)
在嘈杂的互联网规模的数据集上进行预训练已经被大量研究,作为一种训练模型的技术,该模型具有广泛的文本,图像和其他形式的一般能力。然而,对于许多顺序决策领域,如机器人,视频游戏和计算机使用,公开可用的数据不包含以相同的方式训练行为先验所需的标签。我们通过半监督模仿学习将互联网规模的预训练范式扩展到顺序决策域,其中代理通过观看在线未标记的视频来学习采取行动。具体来说,我们表明,使用少量的标记数据,我们可以训练一个逆动力学模型,该模型足够准确,可以标记大量未标记的在线数据源-这里,人们玩Minecraft的在线视频-然后我们可以训练一般行为先验。尽管使用本机人机界面(鼠标和键盘在20赫兹),我们表明,这种行为先验具有非平凡的zero-shot能力,它可以微调,与模仿学习和强化学习,硬探索任务,是不可能从头开始学习通过强化学习。对于许多任务,我们的模型表现出人类水平的性能,我们是第一个报告可以制作金刚石工具的计算机代理,这可能需要熟练的人类超过20分钟(24,000个环境动作)的游戏才能完成。
2022-06-23 cs.AI cs.LG
Online PAC-Bayes Learning
Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
大多数PAC-Bayesian边界在批量学习设置中保持不变,其中在推断或预测之前立即收集数据。这在某种程度上背离了许多当代学习问题,其中收集数据流并且算法必须动态调整。我们证明了新的PAC贝叶斯边界在这个在线学习框架,利用更新的定义后悔,我们重温经典的PAC贝叶斯结果与一批在线转换,扩展其职权范围的情况下,依赖数据。我们的研究结果持有有限的损失,潜在的\emph{non-convex},铺平了道路,有前途的发展在线学习。
2022-10-13 cs.LG math.ST stat.ML
Online Algorithms via Minimax and Posterior Matching
University of Bonn(波恩大学);Institute of Computer Science, University of Bonn(波恩大学计算机科学学院);Microsoft Research(微软研究院);PUC-Rio(里约热内卢天主教大学);Georgia Tech(佐治亚理工学院);School of Mathematics, Georgia Tech(佐治亚理工学院数学学院);School of Computer Science, Georgia Tech(佐治亚理工学院计算机科学学院)
该研究基于极小极大视角提出后验匹配原理,将在线算法竞争分析简化为贝叶斯在线设计,为多类在线问题提供最优或接近最优保证,构建了可复用的理论框架。
2026-08-04 cs.DS cs.LG
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.(多邻国公司);Google, Inc.(谷歌公司)
在线凸优化的一些最引人注目的应用,包括在线预测和分类,是无约束的:自然可行集是R^n。现有的算法无法实现次线性遗憾,在这种情况下,除非对比较点x^* 的约束是已知的。我们提出的算法,没有这样的先验知识,提供接近最优的遗憾界相对于任何选择x^*。特别地,关于x^* = 0的后悔是恒定的。然后,我们证明下界表明,我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
MOORe: Model-based Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
随着离线强化学习(RL)的成功,离线训练的RL策略在在线部署时有可能进一步改进。策略的平稳传输在安全的实际部署中至关重要。此外,策略的快速自适应在实际的在线性能改进中起着至关重要的作用。为了解决这些挑战,我们提出了一种简单而有效的算法,基于模型的离线到在线强化学习(MOORe),它采用了一个优先级的采样方案,可以动态调整离线和在线数据的平滑和有效的在线适应的政策。我们提供了一个理论基础,我们的算法设计。在D4RL基准测试上的实验结果表明,该算法在实现样本有效的在线自适应的同时,能够平滑地从离线阶段过渡到在线阶段,并且性能也明显优于现有方法。
2022-01-25 cs.LG
Sequential Decision Making with Expert Demonstrations under Unobserved Heterogeneity
University of Toronto(多伦多大学);Stanford University(斯坦福大学)
针对专家演示依赖未观测上下文的在线序列决策问题,提出ExPerior经验贝叶斯算法,用专家数据构建决策先验,在多种决策场景下性能优于现有基线。
2025-06-15 cs.LG
Online Knowledge Integration for 3D Semantic Mapping: A Survey
German Research Center for Artificial Intelligence(德国人工智能研究中心);Osnabrück University(奥斯纳布吕克大学)
本文综述3D语义映射的在线知识集成进展,聚焦深度学习驱动的知识图谱/语言概念与传感器数据处理的完全集成,涵盖语义场景图和语言模型应用及新应用催生。
2024-11-27 cs.CV cs.LG cs.RO
MCPrioQ: A lock-free algorithm for online sparse markov-chains
Ericsson AB(爱立信公司)
针对高性能系统中超大规模图内存与计算效率难兼顾的问题,提出无锁稀疏马尔可夫链数据结构MCPrioQ,通过哈希表、原子指令及改进的读-复制-更新机制实现低复杂度的在线学习与近似正确的并发查找,适配推荐系统场景。
2023-04-28 cs.LG
LLM-Derived Priors for Thompson Sampling in Cold-Start Comment Recommendation
NAVER WEBTOON
该研究提出用大语言模型(LLM)从评论文本提取语义信号生成贝叶斯先验,用于冷启动评论推荐的汤普森采样,经在线A/B/C测试验证其在稀疏反馈场景中效果显著。
2026-08-05 cs.IR cs.LG
PseudoMapTrainer: Learning Online Mapping without HD Maps
Bosch Research(博世研究院);Automated Driving, Bosch(博世自动驾驶部门);Technical University of Munich(慕尼黑工业大学)
提出PseudoMapTrainer,利用高斯溅射和分割网络从无标注数据生成伪标签,实现无需高清地图的在线地图模型训练,并支持半监督预训练。
2025-08-26 cs.CV cs.LG cs.RO
On Regularizability and its Application to Online Control of Unstable LTI Systems
University of Washington(华盛顿大学)
学习,比如说通过直接的策略更新,通常需要假设,比如先验地知道初始策略(增益)是稳定的,或者持续激励(PE)的输入输出数据是可用的。在本文中,我们研究在线调节(可能不稳定)部分未知的线性系统,没有事先获得的初始稳定控制器,也没有PE的输入输出数据,而是利用知识的输入矩阵在线调节。首先,我们介绍和表征的概念“regularizability”的线性系统,衡量的程度,系统可以在有限的时间内,在其渐近行为(通常特征在于稳定性/可控性)进行调节。接下来,只访问输入矩阵,我们提出了数据引导调节(DGR)的合成过程,正如其名称所示,调节的基础状态,同时还生成信息数据,随后可用于数据驱动的稳定或系统辨识。我们进一步提高了计算性能的DGR通过一个秩一更新,并证明其实用性的X-29飞机的在线监管。
2022-01-19 cs.LG cs.SY eess.SY