Improving Online Reinforcement Learning via Bidirectional Behavior Prior Distillation
Tongji University(同济大学);Shanghai University of Engineering Science(上海工程技术大学)
本文提出双向行为先验蒸馏(B2PD)算法,利用动作价值先验引导CVAE生成高价值行为支持集并蒸馏到智能体,以缓解在线强化学习中的评论家误差放大,显著提升样本效率和策略稳定性。
2026-09-18 cs.LG
Non-negative Tensor Factorization for Human Behavioral Pattern Mining in Online Games
University of Southern California Information Sciences Institute(南加州大学信息科学研究所)
多人在线战斗竞技场已成为一种流行的游戏类型。它也得到了我们研究界越来越多的关注,因为它们提供了关于人类互动和行为的丰富信息。一个主要的问题是从这种类型的数据中提取有意义的活动模式,以一种易于解释的方式。在这里,我们建议利用张量分解技术,特别是非负张量分解,以发现隐藏的相关行为模式的发挥在一个流行的游戏:英雄联盟。我们首先收集一组大约1000名玩家的整个游戏历史,总共大约有$100K$场比赛。通过应用我们的方法框架,我们将玩家分成具有相似特征和游戏策略以及相似时间轨迹的组,即,在他们的游戏历史过程中的行为进展:这将使我们能够调查玩家如何学习和提高他们的技能。
2017-02-19 cs.HC cs.LG cs.SI
Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors
Nanyang Technical University(南洋理工大学);University of Oxford(牛津大学)
本文提出诊断驱动的张力管理框架,通过三种功能角色表征离线先验知识如何重塑在线优化,并展示跨领域证据,解决先验知识有效性随部署变化的问题。
2026-06-25 cs.LG
Online Learning Without Prior Information
Stanford University(斯坦福大学)
如今,绝大多数优化和在线学习算法都需要一些关于数据的先验信息(通常以梯度或最优参数值的界限的形式)。当这些信息不可用时,这些算法需要费力地手动调整各种超参数,从而激发了对可以适应没有先验信息的数据的算法的搜索。我们描述了这样的算法的性能上的新的下界的前沿,反映了取决于最佳参数值的一个术语和取决于梯度的增长率的一个术语之间的权衡。此外,我们构建了一个家庭的算法,其性能匹配任何所需的点在这个前沿,没有以前的算法达到。
2017-06-06 cs.LG stat.ML
The Sample Complexity of Online One-Class Collaborative Filtering
University of California, Berkeley(加州大学伯克利分校)
我们认为在线一类协同过滤(CF)的问题,包括推荐项目的用户随着时间的推移,在网上的时尚只基于积极的评级。当用户只是偶尔对推荐做出正面评价,而从不做出负面评价时,就会出现这个问题。我们研究了用户响应推荐的概率p_f对样本复杂度的影响,即,提出“好”建议所需的评级数量,并询问接受正面和负面评级而不是仅仅接受正面评级是否会提高样本的复杂性。这两个问题都出现在推荐系统的设计中。我们介绍了一个简单的概率用户模型,并分析了一个在线的基于用户的CF算法的性能。我们证明,经过最初的冷启动阶段,建议投资于探索用户的喜好,该算法使-更新用户的喜好所需的建议的一小部分-完美的建议。冷启动阶段所需的额定值的数量几乎与1/p_f成比例,而用于更新用户偏好的额定值的数量基本上与p_f无关。因此,我们发现,接受积极和消极的评级,而不是只有积极的,提高了1/p_f,这可能是显着的因素的初始探索所需的评级的数量。
2017-05-31 cs.AI cs.IT cs.LG
One-Shot Learning of Manipulation Skills with Online Dynamics Adaptation and Neural Network Priors
University of California, Berkeley(加州大学伯克利分校)
将强化学习应用于复杂的机器人控制任务的关键挑战之一是需要收集大量的经验,以便为手头的任务找到有效的策略。基于模型的强化学习可以实现良好的样本效率,但需要学习足够好以学习有效策略的动态模型的能力。在这项工作中,我们开发了一个基于模型的强化学习算法,结合了先前任务的先验知识与动态模型的在线适应。这两个成分使得即使在估计真实动态非常困难的情况下也能够实现高度样本有效的学习,因为在线模型自适应允许该方法局部补偿动态中的未建模变化。我们编码到一个神经网络动态模型的先验经验,适应它在线逐步改装的局部线性模型的动态,并使用模型预测控制计划根据这些动态。我们的实验结果表明,这种方法可以用来解决各种复杂的机器人操作任务,在一个单一的尝试,使用其他操作行为的先验数据。
2016-08-11 cs.LG cs.RO
Bayesian-based Online Label Shift Estimation with Dynamic Dirichlet Priors
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院伦敦分校电子与电气工程系)
本文提出FMAPLS和online-FMAPLS方法,通过动态优化Dirichlet超参数和类别先验,有效解决标签偏移问题,提升分类性能。
2025-11-23 cs.LG stat.ML
Online Posterior Sampling with a Diffusion Prior
Adobe Research(Adobe研究院);Amazon(亚马逊公司);AWS AI Labs(AWS人工智能实验室)
本文提出了一种基于扩散模型先验的近似后验采样算法,用于基于上下文的老虎机问题,以提高复杂分布建模能力。
2026-02-16 cs.LG stat.ML
Online Learning and Optimization Under a New Linear-Threshold Model with Negative Influence
The Hong Kong University of Science and Technology(香港科技大学);Columbia University(哥伦比亚大学)
问题定义:企业品牌、草根活动家和普通公民都经常使用口碑传播来推广产品和煽动社会变革。我们的工作模型的形成和传播的负面态度,通过WoM的社会网络表示的有向图。在一个在线学习环境中,我们研究了代理如何同时学习扩散参数和选择种子用户集来启动扩散并最大化积极影响。与边级反馈相反,在边级反馈中,代理观察用户(节点)受到影响的关系(边),我们更现实地假设节点级反馈,代理只观察用户何时受到影响以及这种影响是积极的还是消极的。方法/结果:我们提出了一类新的负感知线性阈值模型。我们表明,在这些模型中,预期的积极影响传播是一个单调的子模函数的种子集。因此,当通过选择固定大小的种子集来最大化积极影响时,贪心算法可以保证具有恒定近似比的解。对于在线学习设置,我们提出了一种算法,运行在不断增长的长度,每个包括一个固定数量的探索轮,其次是越来越多的开发轮控制的超参数的时代。在温和的假设下,我们表明,我们的算法实现了渐近预期的平均规模的遗憾,是逆相关的任何分数的恒定功率的轮数。对管理层的影响:在种子选择过程中,我们的负面感知模型和算法允许WoM活动发现并最好地解释本地用户和传播内容的特征。我们也给出了第一个算法的遗憾保证影响力最大化下节点级反馈。
2021-05-06 cs.LG cs.SI
Budgeted Online Active Learning with Expert Advice and Episodic Priors
Oregon State University(俄勒冈州立大学);Washington State University(华盛顿州立大学)
本文针对标签预算极少的有限时域数据流,提出一种同时利用专家预测器和情景行为先验的预算在线主动学习方法,并在农业模拟与真实葡萄数据上验证其显著优于现有基线。
2025-06-03 cs.LG
Online Graph Learning under Smoothness Priors
University of Rochester(罗切斯特大学);Goergen Institute for Data Science, University of Rochester(罗切斯特大学戈根数据科学学院)
图形信号处理(GSP)方法的日益成功在很大程度上依赖于网络数据承认某些规律性的图形的先验识别。然而,适应日益动态的环境以及实时处理流数据的需求为此提出了重大挑战。在这种情况下,我们开发新的算法在线网络拓扑推理流观测假设是光滑的寻求图。与现有的批处理算法不同,我们的目标是跟踪(可能)随时间变化的网络拓扑结构,同时通过按顺序处理图形信号来保持内存和计算成本。为了以在线方式恢复图形,我们利用邻近梯度(PG)方法来解决明智的平滑正则化时变优化问题。在温和的技术条件下,我们建立了在线图学习算法收敛到的邻域内(即,它跟踪)最佳时变批量解决方案。使用合成和真实金融市场数据的计算机模拟说明了所提出的算法在适应流信号以跟踪缓慢变化的网络连通性方面的有效性。
2021-03-05 cs.LG eess.SP
Tackling Online One-Class Incremental Learning by Removing Negative Contrasts
Concordia University(康考迪亚大学);Mila(米拉研究所)
最近的工作研究了监督在线持续学习设置,学习者接收的数据流的类分布随时间变化。与其他持续学习设置不同的是,学习器只呈现一次新样本,并且必须区分所有可见的类。在这种情况下,许多成功的方法都集中在以计算效率高的方式存储和回放样本子集以及传入数据。最近的一个提案ER-AML通过将基于对比学习的非对称损失应用于传入数据和重放数据,在这种设置中实现了强大的性能。然而,所提出的方法的一个关键成分是避免传入数据和存储数据之间的对比,这使得它不切实际的设置,其中只有一个新的类被引入到流的每个阶段。在这项工作中,我们适应最近提出的方法(\textit{BYOL})从自监督学习的监督学习设置,解锁对比度的约束。然后,我们表明,补充这类原型上的额外的正则化产生了一种新的方法,实现了强大的性能在一类增量学习设置,并具有竞争力的顶级性能的方法在多类增量设置。
2022-03-24 cs.AI cs.LG
Twin Contrastive Learning for Online Clustering
Sichuan University(四川大学);Zhejiang Lab(之江实验室)
本文提出通过在实例和聚类级别进行孪生对比学习(TCL)来执行在线聚类。具体地说,我们发现,当数据被投影到一个特征空间的目标聚类数的维数,其特征矩阵的行和列对应的实例和集群表示,分别。基于观察,对于给定的数据集,所提出的TCL首先通过数据增强来构造正对和负对。此后,在特征矩阵的行和列空间中,通过将正对拉在一起而将负对推开来分别进行实例级和聚类级对比学习。为了减轻固有的假阴性对的影响和纠正聚类分配,我们采用了基于置信度的标准来选择伪标签,以促进实例级和聚类级的对比学习。结果,聚类性能进一步提高。除了孪生对比学习的优雅思想之外,TCL的另一个优点是它可以独立地预测每个实例的聚类分配,从而毫不费力地适应在线场景。在六个广泛使用的图像和文本基准上的实验证明了TCL的有效性。代码将在GitHub上发布。
2022-10-21 cs.LG
Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration
University of California, Berkeley(加州大学伯克利分校)
研究提出SUPE方法,通过VAE提取低级技能并用乐观奖励伪标注无标签轨迹,将其作为离策略数据训练高级策略,在42个稀疏奖励任务中显著提升在线探索效率。
2025-07-11 cs.AI cs.LG stat.ML
SatMap: Revisiting Satellite Maps as Prior for Online HD Map Construction
Munich University of Applied Sciences(慕尼黑应用科学大学);Intelligent Vehicles Lab (IVL) Munich(慕尼黑智能车辆实验室)
SatMap通过整合卫星地图与多视角摄像头观测,提升在线高精度地图构建的性能和鲁棒性。
2026-01-20 cs.AI cs.CV cs.LG
AWAC: Accelerating Online Reinforcement Learning with Offline Datasets
UC Berkeley(加州大学伯克利分校)
强化学习(RL)为从经验中学习控制策略提供了一种有吸引力的形式。然而,RL的经典主动公式需要对每个行为进行漫长的主动探索过程,这使得它很难应用于现实世界的设置,如机器人控制。如果我们能够让强化学习算法有效地使用先前收集的数据来帮助在线学习过程,这样的应用程序就可以变得更加实用:先前的数据将提供一个起点,减轻探索和样本复杂性带来的挑战,而在线训练使智能体能够完善所需的技能。这样的先验数据可以构成专家演示或说明潜在有用的转变的次优先验数据。虽然许多现有方法已经使用最优演示来引导RL,或者已经使用次优数据来纯离线训练,但是仍然非常难以用离线数据训练策略并且实际上继续用在线RL进一步改进它。在本文中,我们分析了为什么这个问题是如此具有挑战性,并提出了一种算法,结合样本有效的动态规划与最大似然策略更新,提供了一个简单而有效的框架,能够利用大量的离线数据,然后快速执行RL策略的在线微调。我们表明,我们的方法,优势加权演员评论家(AWAC),使技能的快速学习与先前的演示数据和在线经验相结合。我们在模拟和真实世界的机器人领域展示了这些好处,包括用真正的多指手进行灵巧操作,用机器人手臂打开抽屉,以及旋转阀门。我们的研究结果表明,结合先验数据可以减少学习一系列机器人技能所需的时间,以实际的时间尺度。
2021-04-24 cs.LG cs.RO stat.ML
NURD: Negative-Unlabeled Learning for Online Datacenter Straggler Prediction
MIT(麻省理工学院);University of Chicago(芝加哥大学);Pennsylvania State University(宾夕法尼亚州立大学)
数据中心执行由较小任务组成的大型计算作业。一个作业在其所有任务完成时完成,因此落后者(罕见但非常慢的任务)是数据中心性能的主要障碍。准确预测掉队者将实现主动干预,使数据中心运营商能够在他们延迟工作之前减轻掉队者。虽然许多先前的工作应用机器学习来预测计算机系统性能,但这些方法依赖于完整的标签-即,所有可能行为的充分示例,包括离散和非离散--或者关于潜在延迟分布的强假设--例如,不管是不是高斯分布。然而,在一个正在运行的作业中,这些信息都是不可用的,直到掉队者在他们已经延迟了作业时暴露了自己。为了在没有标记的正样本或对延迟分布的假设的情况下准确和早期地预测掉队者,本文提出了一种新的负-未标记学习方法,它具有重新加权和分布补偿,只在负和未标记的流数据上训练。其核心思想是利用非离散者的已完成任务训练预测器来预测未标记任务的延迟,然后根据每个未标记任务的特征空间的加权函数对每个未标记任务的预测进行加权。我们在来自Google和阿里巴巴的两个生产跟踪上评估了CNOD,发现与最佳基线方法相比,CNOD在预测准确性方面的F1得分提高了2- 11个百分点,在作业完成时间方面提高了2.0- 8.8个百分点。
2022-08-13 cs.DC cs.LG cs.PF
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法,用于解决具有高斯反馈奖励的聚类多臂老虎机问题,通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
A Regret Perspective on Online Multiple Testing
Southern University of Science and Technology(南方科技大学)
本文从懊悔视角统一评估在线多重检验,提出加权懊悔概念,设计Decoupled-OMT算法,有效缓解阈值耗尽问题,实现非平稳环境下的最优懊悔减少。
2026-05-13 cs.AI cs.LG stat.ML
Meta-LinEXP3: Online-within-Online Learning for Adversarial Linear Contextual Bandits
College of Science, National University of Defense Technology(国防科技大学理学院)
针对对抗性线性上下文赌博机,提出在线内在线元学习算法 Meta-LinEXP3,利用任务先验指导内部学习器,实现次线性遗憾并验证于高光谱采样。
2026-09-16 cs.LG math.OC
Online Convex Optimization with Unconstrained Domains and Losses
Stanford University(斯坦福大学)
我们提出了一个在线凸优化算法(RescaledExp),实现了最佳的遗憾,在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法,需要一个已知的界上的损失函数和任何算法,不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的,我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Lipschitz and Comparator-Norm Adaptivity in Online Learning
The Australian National University(澳大利亚国立大学);Data61;Centrum Wiskunde & Informatica(数学和计算机科学中心)
我们研究在线凸优化的无界设置,既没有预测,也没有梯度约束。目标是同时适应梯度序列和比较器。我们首先开发无参数和无标度的算法,简化设置提示。我们提供两个版本:第一种方法使用每轮$O(d)$时间分别适应比较器和梯度的平方范数,第二种方法适应每轮时间$O(d^3)$中它们的平方内积(仅测量比较器方向上的方差)。然后,我们推广两个前减少无界设置;一个不需要提示,第二个处理范围比问题(这已经出现在以前的工作)。我们讨论了他们的最优性,根据事先和新的下限。我们应用我们的方法,以获得更清晰的遗憾界尺度不变的线性模型的在线预测。
2020-08-08 cs.LG stat.ML
SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data
Media Integration and Communication Center – University of Florence(媒体集成与通信中心——佛罗伦萨大学);SEED – Electronic Arts(SEED——电子艺界)
本文提出SOPE算法,通过使用与演员对齐的离策略策略评估(OPE)信号作为自动早停机制,动态控制离线训练阶段的长度,从而在连续控制任务中提高基线性能并减少计算资源消耗。
2026-05-20 cs.AI cs.LG
Online Linear Optimization with Many Hints
University of Utah(犹他大学);Google Research(谷歌研究院);Boston University(波士顿大学)
我们研究了一个在线线性优化(OLO)问题,在该问题中,学习者在做出决定之前,在每一轮都可以访问$K$“提示”向量。在这种情况下,我们设计了一个算法,获得对数遗憾时,存在一个凸组合的$K$提示,具有正相关的成本向量。这显著地扩展了只考虑$K=1$情况的先前工作。为了实现这一点,我们开发了一种方法来结合许多任意OLO算法,以获得遗憾只有一个数学上比最小遗憾的原始算法事后诸葛亮的因素,这一结果是独立的利益。
2020-10-06 cs.LG
Source Separation using Regularized NMF with MMSE Estimates under GMM Priors with Online Learning for The Uncertainties
Faculty of Engineering(工程学院);Natural Sciences(自然科学学院);Sabanci University(萨班奇大学);Orhanli Tuzla(奥尔汉利图兹拉);Istanbul(伊斯坦布尔)
提出一种在非负矩阵分解中引入高斯混合模型先验的最小均方误差估计正则化方法,用于单通道源分离,通过在线学习不确定性提升分离性能。
2013-02-28 cs.LG cs.NA math.NA
Adaptive Prior Selection for Repertoire-based Online Adaptation in Robotics
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);LORIA(洛林计算机科学与应用数学实验室)
基于库的学习是基于两步过程的数据高效的自适应方法,其中(1)在模拟中学习大量且多样的策略集合,以及(2)规划或学习算法根据当前情况选择最适当的策略(例如,损坏的机器人、新物体等)。在本文中,我们放松了以前的作品,一个单一的剧目是足够的适应的假设。相反,我们为许多不同的情况生成剧目(例如,在不同的楼层等)让我们的算法选择最有用的先验。我们的主要贡献是一个算法,APROL(自适应先验选择基于库的在线学习),以计划下一个行动时,将这些先验的机器人没有关于当前情况的信息。我们在两个模拟任务上评估APROL:(1)用机器人手臂推动各种形状和大小的未知物体;(2)用损坏的六足机器人完成目标任务。我们比较了“无重置试错”(RTE)和各种基于单一剧目的基线。结果表明,APROL解决这两个任务的交互时间比基线更少。此外,我们在一个真实的、受损的六足动物身上演示了APROL,它很快学会了选择补偿策略,通过避开路径上的障碍物来达到目标。
2020-03-03 cs.AI cs.LG cs.NE
Bayesian Nonexhaustive Learning for Online Discovery and Modeling of Emerging Classes
IUPUI(印第安纳大学-普渡大学印第安纳波利斯分校);Purdue University(普渡大学);Biindley Bioscience Center(宾德利生物科学中心)
我们提出了一个在线推理的框架,在存在一个非穷举定义的类集,将监督分类与类发现和建模。定义在类分布上的狄利克雷过程先验(DPP)模型确保已知和未知类分布都根据共同的基础分布起源。在尝试自动发现潜在的感兴趣的类形成,先验模型与适当选择的数据模型相结合,并使用顺序蒙特卡罗采样来执行在线推理。我们的研究是由生物检测应用程序驱动的,其中一类新的病原体可能突然出现,并且源自该类的样本数量的快速增加表明爆发的开始。
2012-06-18 cs.LG stat.ML
Online Deep Equilibrium Learning for Regularization by Denoising
Washington University in St. Louis(圣路易斯华盛顿大学)
即插即用先验(Plug-and-Play Priors,PPENS)和去噪正则化(Regularization by Denoising,RED)是通过计算结合物理测量模型和学习的图像先验的算子的不动点来解决成像逆问题的广泛使用的框架。虽然传统的PnP/RED公式集中在使用图像降噪器指定的先验知识上,但人们对学习端到端最佳PnP/RED先验知识的兴趣越来越大。最近的深度均衡模型(DEQ)框架通过隐式差分定点方程,实现了PPENDIX/RED先验的存储高效的端到端学习,而无需存储中间激活值。然而,依赖的计算/存储器的复杂性的测量模型在PPENS/RED的测量总数离开DEQ不切实际的许多成像应用。我们提出ODER作为一种新的策略,通过随机近似的测量模型,提高效率的DEQ。我们从理论上分析了ODER,深入了解其收敛性和逼近传统DEQ方法的能力。我们的数值结果表明,由于ODER在三个不同的成像应用中的训练/测试复杂性的潜在改进。
2022-05-25 cs.CV cs.LG eess.IV
Bayesian Algorithms for Adversarial Online Learning: from Finite to Infinite Action Spaces
Cornell University(康奈尔大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出一种基于对手动作空间先验的 Thompson 采样在线学习算法,将遗憾分解为先验期望遗憾与超额遗憾,并在有限专家情形恢复最优速率,同时证明在无限专家情形下对 Lipschitz 对手取得次线性遗憾界。
2025-09-22 cs.GT cs.LG math.ST
On the Design Space of Discrete Diffusion Online Adaptation for Molecular Optimization
Caltech(加州理工学院);ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);Genesis Molecular AI(创世纪分子人工智能公司)
研究离散扩散模型的适应问题,通过控制实验发现获取、奖励塑造、模型去偏等方法互补,重放稳定学习,有效性惩罚限制小分子探索,给出反馈高效的分子优化实用方法,优于离线微调等基线。
2026-11-02 cs.LG
GeMPO: Generalized Measure Matching for Online Diffusion Reinforcement Learning
Harvard University(哈佛大学);Georgia Institute of Technology(佐治亚理工学院)
提出GeMPO框架,通过将扩散RL中的重加权从softmax推广到一般单调函数,并引入负重加权机制,以解决过贪策略和负样本利用不足的问题。
2026-05-24 cs.LG
Online Algorithm for Aggregating Experts' Predictions with Unbounded Quadratic Loss
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
针对带无界二次损失的专家预测在线聚合问题,提出一种基于专家损失指数重加权、无需预先知道损失上界的在线聚合算法。
2025-01-11 cs.LG
Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos
OpenAI(OpenAI(开放人工智能研究中心));University of British Columbia(不列颠哥伦比亚大学)
在嘈杂的互联网规模的数据集上进行预训练已经被大量研究,作为一种训练模型的技术,该模型具有广泛的文本,图像和其他形式的一般能力。然而,对于许多顺序决策领域,如机器人,视频游戏和计算机使用,公开可用的数据不包含以相同的方式训练行为先验所需的标签。我们通过半监督模仿学习将互联网规模的预训练范式扩展到顺序决策域,其中代理通过观看在线未标记的视频来学习采取行动。具体来说,我们表明,使用少量的标记数据,我们可以训练一个逆动力学模型,该模型足够准确,可以标记大量未标记的在线数据源-这里,人们玩Minecraft的在线视频-然后我们可以训练一般行为先验。尽管使用本机人机界面(鼠标和键盘在20赫兹),我们表明,这种行为先验具有非平凡的zero-shot能力,它可以微调,与模仿学习和强化学习,硬探索任务,是不可能从头开始学习通过强化学习。对于许多任务,我们的模型表现出人类水平的性能,我们是第一个报告可以制作金刚石工具的计算机代理,这可能需要熟练的人类超过20分钟(24,000个环境动作)的游戏才能完成。
2022-06-23 cs.AI cs.LG
Optimal Anytime Algorithms for Online Convex Optimization with Adversarial Constraints
Department of Computer Science and Engineering, Indian Institute of Technology, Kharagpur(计算机科学与工程系,印度理工学院,克哈格布尔);School of Technology and Computer Science, Tata Institute of Fundamental Research, Mumbai(技术与计算机科学学院,塔塔基础研究 institute,孟买)
本文提出一种无需预知时间范围的任意时间在线凸优化算法,利用时变Lyapunov函数处理对抗约束,实现最优遗憾与约束违反界,并扩展到动态与乐观设置。
2025-10-26 cs.LG
Equal Opportunity in Online Classification with Partial Feedback
The Hebrew University(希伯来大学);University of Pennsylvania(宾夕法尼亚大学);University of Colorado(科罗拉多大学);University of Minnesota(明尼苏达大学)
我们研究了一个在线分类问题与部分反馈,其中个人到达一个固定的时间,但未知的分布,必须被归类为积极或消极的。我们的算法只观察到一个人的真实标签,如果他们被赋予一个积极的分类。这一设置捕捉到了许多关注公平性的分类问题:例如,在刑事累犯预测中,只有在囚犯被释放的情况下才能观察到累犯;在贷款申请中,只有在贷款被授予的情况下才能观察到贷款偿还。我们要求我们的算法在每一轮都满足常见的统计公平性约束(例如均衡假阳性或假阴性率-在Hardt et al.(2016)中作为“平等机会”引入)。我们给出了上界和下界特征的成本限制的遗憾率(并表明它是温和的),并给出了一个预言的有效算法,实现了上限。
2020-04-16 cs.LG stat.ML
Online Adaptive Mahalanobis Distance Estimation
UC Santa Barbara(加州大学圣塔芭芭拉分校);Northwestern University(西北大学);Adobe Research(Adobe研究院)
本文首次将草图技术应用于马氏度量加速,提出了高效的数据结构来解决马氏距离的近似距离估计(ADE)问题,并支持自适应查询与在线更新,可与现有的马氏度量在线学习算法结合使用。
2023-12-30 cs.LG
Online Algorithms via Minimax and Posterior Matching
University of Bonn(波恩大学);Institute of Computer Science, University of Bonn(波恩大学计算机科学学院);Microsoft Research(微软研究院);PUC-Rio(里约热内卢天主教大学);Georgia Tech(佐治亚理工学院);School of Mathematics, Georgia Tech(佐治亚理工学院数学学院);School of Computer Science, Georgia Tech(佐治亚理工学院计算机科学学院)
该研究基于极小极大视角提出后验匹配原理,将在线算法竞争分析简化为贝叶斯在线设计,为多类在线问题提供最优或接近最优保证,构建了可复用的理论框架。
2026-08-04 cs.DS cs.LG
Online Knowledge Integration for 3D Semantic Mapping: A Survey
German Research Center for Artificial Intelligence(德国人工智能研究中心);Osnabrück University(奥斯纳布吕克大学)
本文综述3D语义映射的在线知识集成进展,聚焦深度学习驱动的知识图谱/语言概念与传感器数据处理的完全集成,涵盖语义场景图和语言模型应用及新应用催生。
2024-11-27 cs.CV cs.LG cs.RO
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University(哈佛大学工程与应用科学学院);Kempner Institute, Harvard University(哈佛大学坎普纳研究所)
本文通过图像和语言数据的实证分析,发现在线(单轮)学习中 SGD 噪声不带来隐式偏置优势,其好处仅限于计算效率,并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤,挑战了传统理解。
2024-06-07 cs.LG stat.ML