Uncertainty-Aware Selection of Online Algorithms with Simulator Ensembles
本文提出不确定性感知的模拟器集成选择方法,以缓解离线数据有限时Plug-In选择的不稳定性,并在理论上和机器人控制实验中证明其能提升在线强化学习的可靠性与性能。
2026-09-29 cs.AI cs.LG
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中,我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题,并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外,我们进行实验,基于网格的机器人导航域,以证明其效率和鲁棒性,通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
Adaptive and Multiple Time-scale Eligibility Traces for Online Deep Reinforcement Learning
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
深度强化学习(DRL)是一种很有前途的方法来教机器人执行复杂的任务。由于直接重用存储的经验数据的方法不能跟踪环境的变化,在机器人问题与时变环境,在线DRL是必需的。资格迹方法是众所周知的在线学习技术,用于提高传统强化学习中的样本效率,使用线性回归而不是DRL。深度神经网络参数之间的依赖性会破坏资格痕迹,这就是它们没有与DRL集成的原因。虽然用最有影响力的梯度替换梯度而不是将梯度累积为资格迹线可以缓解这个问题,但是替换操作减少了先前经验的重用次数。为了解决这些问题,本研究提出了一种新的资格痕迹的方法,即使在日间行车灯,同时保持高样本效率。当累积梯度与使用最新参数计算的梯度不同时,所提出的方法考虑到过去和最新参数之间的发散,以自适应地衰减资格迹。由于过去和最新参数之间的发散的不可行的计算成本,利用由过去和最新参数计算的输出之间的Bregman发散。此外,首次设计了一种多时间尺度轨迹的广义方法。该设计允许替换最有影响力的自适应累积(衰减)资格迹线。
2022-01-04 cs.LG cs.RO
Online Learning-based Waveform Selection for Improved Vehicle Recognition in Automotive Radar
本文介绍了与调频连续波(FMCW)汽车雷达系统中基于在线学习的波形选择目标识别相关的重要考虑因素和挑战。我们提出了一种新的学习方法的基础上满意汤普森采样,快速识别波形,预计将产生令人满意的分类性能。我们通过测量级仿真证明,即使在雷达必须从大量候选波形中进行选择的情况下,也可以快速学习有效的波形选择策略。雷达学习自适应地选择适当的分辨率的带宽和慢时间单模码的干扰缓解在感兴趣的场景中通过优化预期的分类度量。
2022-12-01 cs.LG eess.SP
LASeR: Learning to Adaptively Select Reward Models with Multi-Armed Bandits
UNC Chapel Hill(杜克大学夏洛特分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对单固定RM训练LLM泛化不足、多RM并行训练成本高且信号冲突的问题,提出将RM选择建模为多臂老虎机的LASeR方法,在多类任务上均提升了性能与效率。
2025-10-22 cs.CL cs.LG
HARPO: Learning to Subvert Online Behavioral Advertising
University of Southern California(南加州大学);University of California, Davis(加州大学戴维斯分校)
在线行为广告和相关的跟踪工具构成了真正的隐私威胁。不幸的是,现有的隐私增强工具并不总是有效地对抗在线广告和跟踪。我们提出了Harpo,一种基于学习的原则性方法,通过混淆来颠覆在线行为广告。Harpo使用强化学习自适应地将真实页面访问与虚假页面交织在一起,以扭曲跟踪器对用户浏览配置文件的视图。我们根据真实世界的用户分析和用于在线行为广告的广告定位模型来评估Harpo。结果表明,Harpo通过触发超过40%的不正确兴趣段和6倍高的出价值来提高隐私。对于相同的开销,Harpo比现有的混淆工具性能高出16倍。Harpo还能够实现比现有混淆工具更好的对抗性检测。Harpo在利用模糊处理颠覆在线行为广告方面有意义地推进了最先进的技术
2021-11-24 cs.CR cs.LG
Online Data Selection Is Implicit Alignment
East China Normal University(华东师范大学);Shanghai University(上海大学)
研究将在线数据选择视为隐式对齐机制,给定相同条件比较多种在线选择器在无偏好优化时引起的行为漂移,提出评估和量化方法,引入ADA和AAS,可在保持数据效率时限制安全和风格轴漂移。
2026-07-09 cs.LG
Online MDP with Transition Prototypes: A Robust Adaptive Approach
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学);The University of Hong Kong(香港大学)
本文研究具有转移原型信息的在线鲁棒MDP,提出一种自适应模糊集算法,能在识别真实转移核的同时保证鲁棒策略性能,实现次线性遗憾界,并在数据有限时优于现有方法。
2024-12-19 cs.LG
Offline-Online Reinforcement Learning for Linear Mixture MDPs
Department of Industrial Engineering and Management Sciences, Northwestern University(工业工程与管理科学系,西北大学)
本文研究了在环境变化下线性混合马尔可夫决策过程中的离线-在线强化学习,提出了一种算法,能够自适应利用离线数据,在数据有信息时优于纯在线学习,在数据无信息时安全忽略并匹配纯在线性能,建立了明确的后悔上界和下界。
2026-04-13 cs.LG math.OC stat.ML
Online Optimization of Smoothed Piecewise Constant Functions
École normale supérieure(巴黎高等师范学院);University of Oxford(牛津大学)
研究了区域[0,1)上光滑分段常数函数的在线优化问题.这是由Gupta和Roughgarden(2016)最近引入的框架中自适应选择学习算法参数的问题所激发的。大多数机器学习文献都集中在Lipschitz连续函数或有界梯度函数上。[1]这是有充分理由的-任何学习算法都遭受线性遗憾,即使是对逆选择的分段常数函数,可以说是最简单的非Lipschitz连续函数。我们考虑的平滑设置受到Spielman和Teng(2004)的开创性工作以及Gupta和Roughgarden最近工作的启发-在这种设置中,函数序列可能由对手选择,但是,在不连续的位置存在一些不确定性。我们给出的算法,实现次线性后悔在充分的信息和强盗设置。
2016-05-20 cs.LG stat.ML
Online Multi-Armed Bandits with Adaptive Inference
Netflix(奈飞);Stanford University(斯坦福大学);NYU Stern School of Business(纽约大学斯特恩商学院)
在多臂强盗(MAB)的在线决策过程中,需要根据到目前为止在每一步收集的数据对每个臂的真实平均奖励进行推断。然而,由于臂是自适应选择的-从而产生非iid数据-准确地进行推断并不简单。特别是,样本平均,这是在家庭中使用的UCB和汤普森采样(TS)算法,不提供一个很好的选择,因为它遭受偏见和缺乏良好的统计特性(例如渐近正态性)。我们在本文中的论文是,更复杂的推理方案,考虑到顺序收集的数据的自适应性可以解锁进一步的性能增益,即使UCB和TS型算法在最坏的情况下是最佳的。特别是,我们提出了一个变体的TS风格的算法-我们称之为双重自适应TS-利用因果推理的最新进展,并自适应地重新加权的条款上的真正平均回报的每个arm.Through 20合成域实验和半合成实验的基础上的数据从A/B测试的Web服务,我们证明,使用自适应推理方案,(同时仍然保留TS的探索功效)在在线决策中提供了明显的好处:所提出的DATS算法具有优于现有基线的经验性能(UCB和TS)在后悔和样本复杂度方面的差异。此外,我们还提供了一个双自适应TS的有限时间后悔界,(对数因子)的UCB和TS算法,从而建立其改进的实际效益不来牺牲最坏情况下的次优。
2021-06-27 cs.LG econ.EM stat.ML
Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning
Aalto University(阿尔托大学);Technical University Darmstadt(达姆施塔特工业大学)
离线强化学习通过从固定数据集学习,使得在不与环境交互的情况下学习代理行为成为可能。然而,根据离线数据集的质量,这种预先训练的代理可能具有有限的性能,并且还需要通过与环境交互来在线微调。在在线微调期间,由于从离线数据到在线数据的突然分布偏移,预先训练的代理的性能可能迅速崩溃。虽然离线RL方法(如行为克隆丢失)强制执行的约束在一定程度上防止了这一点,但这些约束也通过迫使代理保持接近行为策略来显着减缓在线微调。我们提出了自适应权衡行为克隆损失在线微调的基础上代理的性能和训练的稳定性。此外,我们使用一个随机的Q函数集成,通过执行大量的学习更新,进一步提高在线微调的样本效率。实验表明,该方法产生的最先进的离线到在线强化学习性能流行的D4RL基准。代码可用:\url{https://github.com/zhaoyi11/adaptive_bc}。
2022-10-25 cs.LG cs.RO
Provably Efficient Reinforcement Learning for Online Adaptive Influence Maximization
Princeton University(普林斯顿大学);LinkedIn(领英);Penn State University(宾夕法尼亚州立大学)
在线影响力最大化是指在网络模型未知的情况下,通过选择少量种子节点,最大化内容在社交网络中的影响力传播。最近的研究遵循非自适应设置,其中在扩散过程开始之前选择种子节点,并且在扩散停止时更新网络参数。我们考虑一个自适应版本的内容相关的在线影响力最大化问题的种子节点被顺序激活的基础上实时反馈。在本文中,我们将该问题表示为线性扩散过程下的无限时域折扣MDP,并提出了一种基于基于模型的强化学习解决方案。我们的算法保持一个网络模型的估计,并自适应地选择种子用户,探索社会网络,同时提高最优策略的乐观。我们建立了算法的$\widetilde O(\sqrt{T})$后悔界。在合成网络上的实验结果验证了算法的有效性。
2022-06-29 cs.LG cs.SI stat.ML
Online Learning with Continuous Variations: Dynamic Regret and Reductions
Georgia Tech(佐治亚理工学院);UC Berkeley(加州大学伯克利分校)
在线学习是分析迭代算法的有力工具。然而,经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机,我们建立了一个新的设置,称为连续在线学习(COL),在线损失函数的梯度不断变化,跨轮相对于学习者的决定。我们表明,COL涵盖并更恰当地描述了许多有趣的应用,从一般均衡问题(EPs)的优化,在情节MDPs。特别是,我们发现单调EP承认减少实现次线性静态遗憾COL。使用这个新的设置,我们重新审视的困难,次线性动态遗憾。我们证明了一个基本的等价实现次线性动态遗憾COL和解决某些EP。有了这个洞察力,我们提供的条件,实现次线性动态遗憾的有效算法,即使是在没有任何先验变化预算的情况下,自适应地选择损失。此外,我们表明COL减少从动态遗憾到静态遗憾和收敛在相关的EP,使我们能够分析许多现有的算法的动态遗憾。
2022-04-04 cs.LG math.OC stat.ML
Policy Learning with Adaptively Collected Data
Stanford University(斯坦福大学);University of Chicago(芝加哥大学);New York University(纽约大学)
从历史数据中学习最佳策略可以在各种应用中实现个性化,包括医疗保健,数字推荐和在线教育。越来越多的政策学习文献集中在数据收集规则在整个实验过程中保持固定的设置。然而,自适应数据收集在实践中变得越来越普遍,来自两个主要来源:1)从旨在提高推理效率的自适应实验中收集的数据; 2)从生产系统中收集的数据,这些生产系统逐渐发展操作策略以随着时间的推移提高性能(例如上下文强盗)。然而,自适应性使事后最优策略识别变得复杂,因为样本是依赖的,并且每种治疗可能无法对每种类型的个体进行足够的观察。在本文中,我们进行了初步的研究探讨,以解决学习的最佳策略与自适应收集的数据的挑战。我们提出了一种基于广义增广逆倾向加权(AIPW)估计的算法,该算法对标准AIPW估计的元素进行非均匀重新加权,以控制最坏情况下的估计方差。我们建立了一个有限样本的遗憾上限为我们的算法,并补充它的遗憾下限,量化的基本困难的政策学习与自适应数据。当配备了最好的加权方案,我们的算法实现最小最大率最佳遗憾保证,即使减少探索。最后,我们证明了我们的算法的有效性,使用合成数据和公共基准数据集。
2022-11-16 cs.LG econ.EM stat.ML
FormulaZero: Distributionally Robust Online Adaptation via Offline Population Synthesis
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院)
平衡性能和安全性对于在多智能体环境中部署自动驾驶汽车至关重要。特别是,自动驾驶赛车是一个惩罚安全但保守的政策的领域,突出了对稳健,适应性策略的需求。目前的方法要么简化了对其他代理人的假设,要么缺乏强大的在线适应机制。这项工作使算法的贡献,这两个挑战。首先,为了生成一个现实的,多样化的对手,我们开发了一种新的方法,自我发挥的基础上复制交换马尔可夫链蒙特卡罗。其次,我们提出了一个分布式鲁棒的强盗优化过程,自适应调整风险规避相对于对手的行为信念的不确定性。当在实时运动规划中近似这些计算时,我们严格量化了性能和鲁棒性的权衡,并且我们在自动驾驶汽车上实验性地展示了我们的方法,这些自动驾驶汽车可以达到与一级方程式赛车相当的缩放速度。
2020-08-22 cs.LG cs.MA cs.RO
Online Debiasing for Adaptively Collected High-dimensional Data with Applications to Time Series Analysis
Massachusetts Institute of Technology(麻省理工学院);University of Southern California(南加州大学)
数据的自适应收集在整个科学和工程应用中是常见的。然而,从统计推断的角度来看,自适应数据收集在样本中引入记忆和相关性,并提出了重大挑战。我们考虑高维线性回归,其中样本是自适应收集的,样本量$n$可以小于协变量的数量$p$。在这种情况下,有两个不同的偏差来源:第一个是由于一致估计所施加的正则化,例如使用LASSO,第二个是由于收集样本的自适应性。我们提出了“在线去偏”,如LASSO,它解决了两个来源的偏见估计的一般程序。在两个具体的$(i)$时间序列分析和$(ii)$批量数据收集的情况下,我们证明了在线去偏最佳去偏LASSO估计时的基本参数$θ_0$具有稀疏的顺序$o(\sqrt{n}/\log p)$。在这种情况下,可以使用去偏估计量来计算最佳大小的$p$值和置信区间。
2020-05-05 cs.LG math.ST stat.ME
Active Online Learning with Hidden Shifting Domains
Stanford University(斯坦福大学);University of Southern California(南加州大学);University of Arizona(亚利桑那大学)
在线机器学习系统需要适应领域的变化。同时,在每个时间步获取标签是昂贵的。我们提出了一个令人惊讶的简单的算法,自适应平衡其遗憾和标签查询的设置,其中数据流是从隐藏域的混合物。对于具有不经意对手的在线线性回归,我们提供了一个紧密的权衡,取决于隐藏域的持续时间和维度。我们的算法可以自适应地处理来自不同域的输入的交织跨度。我们还将我们的结果推广到非线性回归的假设类有界逃避维度和自适应对手。在人工数据集和真实数据集上的实验表明,该算法在相同的标记预算下,比均匀查询和贪婪查询具有更低的遗憾度。
2021-02-26 cs.LG stat.ML
Adaptive Online Prediction by Following the Perturbed Leader
在将聚合策略应用于专家建议预测时,必须自适应地调整学习率。sqrt(复杂性/当前损失)的自然选择使得加权多数衍生工具的分析非常复杂。特别是,对于任意权重,迄今为止还没有证明结果。Kalai & Vempala(2003)的“Follow the Perturbed Leader”(FPL)算法(基于Hannan的算法)的分析更容易。我们得到的损失界自适应学习率和有限的专家类与统一的权重和可数的专家类与任意的权重。对于前一种设置,我们的损失界匹配到目前为止最知名的结果,而对于后者,我们的结果是新的。
2005-04-16 cs.AI cs.LG
Adaptive Configuration Oracle for Online Portfolio Selection Methods
Oxford-Man Institute(牛津-曼研究所);University of Oxford(牛津大学)
金融市场是一个复杂的环境,会产生大量的噪声和非平稳数据。一个基本问题是在线投资组合选择,其目标是利用这些数据按顺序选择资产组合,以实现积极的投资成果,同时管理风险。在诸如金融、统计和机器学习等领域中,已经提出了各种算法来解决这个问题。大多数方法都有从回测中估计的参数,以获得良好的性能。由于这些算法的非平稳数据,反映了金融市场的复杂性,我们认为,自适应调整这些参数的智能方式是一种补救措施,处理这种复杂性。在本文中,我们使用一个高斯过程先验模型的参数空间和性能指标的空间之间的映射。然后,我们提出了一个基于自适应贝叶斯优化的预言机,用于自动、自适应地配置在线投资组合选择方法。我们测试了我们的解决方案在不同市场的股票和指数数据上运行的算法的有效性。
2019-08-22 cs.LG stat.ML
Optimal Regularized Online Allocation by Adaptive Re-Solving
HKUST(香港科技大学)
针对非凹奖励、硬约束和不可分离正则化的在线资源分配问题,提出自适应更新约束的对偶重求解框架,以近似解获得最优对数遗憾并消除 log-log 因子。
2023-07-16 cs.IT cs.LG math.IT
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
在这项工作中,乘性随机适用于学习率的随机最优化算法,从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置,以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下,自适应均匀分布的乘法随机性,不仅包括随机梯度下降,但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本,它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Robust Frequent Directions with Application in Online Learning
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Nanjing University(南京大学);Hong Kong University of Science and Technology(香港科技大学)
频繁方向(FD)技术是一种确定性的在线草图绘制方法,在机器学习中有许多应用。传统的FD是一个启发式的过程,经常输出秩亏矩阵。为了克服秩不足的问题,我们提出了一种新的草图策略称为鲁棒频繁方向(RFD)通过引入一个正则化项。RFD可以从优化问题中导出。它自适应地联合更新草图矩阵和正则化项。RFD在不增加计算量的情况下减小了FD的近似误差。我们还将RFD应用到在线学习中,提出了一种有效的无超参数在线牛顿算法。我们推导出了基于RFD的在线牛顿算法的遗憾界,保证了算法的鲁棒性。实验结果表明,该方法优于现有的二阶在线学习算法。
2019-02-24 cs.LG
PHIDA: Persistence-Guided Node-to-Cluster Mapping for Online Clustering
Graduate School of Informatics, Osaka Metropolitan University(大阪 metropolitan 大学 信息学研究生院);Knowledge Technology Research Group, Department of Informatics, University of Hamburg(汉堡大学 信息学系 知识技术研究组);Graduate School of Environmental, Life, Natural Science and Technology, Okayama University(冈山大学 环境、生命、自然科学和技术研究生院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学 计算机科学与工程系);Department of Artificial Intelligence, Faculty of Computer Science and Information Technology, Universiti Malaya(马来亚大学 计算科学与信息技术学院 人工智能系)
PHIDA通过结合逆距离ART和持续同调,改进了在线聚类中节点到聚类的映射,实验显示其在静态和非静态设置中表现优异。
2026-05-09 cs.LG
Active Clustering: Robust and Efficient Hierarchical Clustering using Adaptively Selected Similarities
Boston University(波士顿大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学)
基于成对相似性的层次聚类是广泛应用于科学领域的常用工具。然而,在许多问题中,获得或计算待聚类的项目之间的相似性可能是昂贵的。本文研究了N个项目的层次聚类的基础上的一个小子集的成对相似性,显着小于完整的N(N-1)/2相似性。首先,我们表明,如果集群内的相似性超过集群间的相似性,那么它是可以正确地确定从少至3 N对数N相似性的层次聚类。我们证明了这种数量级的节省成对相似性的数量需要顺序选择的相似性,以获得自适应的方式,而不是随机挑选。然后,我们提出了一个积极的聚类方法,是强大的异常相似性的一个有限的部分,并显示如何即使在这些嘈杂的相似性值的存在下,我们可以解决层次聚类使用仅O(N log^2 N)成对的相似性。
2011-02-18 cs.IT cs.LG math.IT
Online Variance Reduction for Domain Adaptation on Streaming Data
University of Southampton(南安普顿大学)
研究流数据域适应的随机方差缩减问题,提出在线SVR算法ARROW,通过维护移动平均参考和自适应重新加权小批量数据,使小批量与参考统计量对齐,实验表明该算法在运行时间、方差缩减及目标域准确性方面与离线算法相当。
2026-07-23 cs.LG
An Optimal Reduction of TV-Denoising to Adaptive Online Learning
UC Santa Barbara(加州大学圣巴巴拉分校)
我们考虑从$n$噪声样本中估计一个函数的问题,该样本的离散全变差(TV)由$C_n$限定。我们揭示了与强自适应在线学习(Daniely et al,2015)的看似不同的问题的深层联系,并提供了一种$O(n \log n)$时间算法,该算法在平方误差损失下获得了$\tilde O (n^{1/3}C_n^{2/3})$的近极小极大最优速率。所得到的算法在线运行,并最佳地适应未知的平滑参数$C_n$。这导致了一个新的和更通用的替代小波为基础的方法(1)自适应估计电视有界函数;(2)在线预测电视有界的趋势,在时间序列。
2021-01-26 cs.LG math.OC stat.ML
RSINet: Rotation-Scale Invariant Network for Online Visual Tracking
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术院(KAIST));Inha University(仁荷大学)
大多数基于Siamese网络的跟踪器在执行跟踪过程中不需要模型更新,并且不能自适应地学习目标特定的变化。此外,基于Siamese的跟踪器通过生成轴对齐的边界框来推断被跟踪对象的新状态,该边界框包含额外的背景噪声,并且无法准确地估计移动对象的旋转和尺度变换,从而潜在地降低跟踪性能。在本文中,我们提出了一种新的旋转尺度不变网络(RSINet)来解决上述问题。我们的RSINet跟踪器由一个目标分心判别分支和一个旋转尺度估计分支组成,旋转和尺度知识可以通过多任务学习方法以端到端的方式显式学习。同时,在时空能量控制下,对跟踪模型进行自适应优化和更新,保证了模型的稳定性和可靠性,以及较高的跟踪效率。在OTB-100、VOT 2018和LaSOT基准测试上的综合实验表明,与最近的跟踪器相比,我们提出的RSinet跟踪器具有新的最先进的性能,同时以约45 FPS的实时速度运行。
2020-11-18 cs.CV cs.LG eess.IV
Adaptive Bound Optimization for Online Convex Optimization
Google, Inc.(谷歌公司)
我们引入了一个新的在线凸优化算法,自适应地选择其正则化函数的基础上观察到的损失函数。这与使用固定正则化函数(如L2平方)并仅通过单个时间相关参数对其进行修改的先前算法形成对比。我们的算法的遗憾界是最坏情况下的最优,并为某些现实类的损失函数,他们比现有的界限。这些边界是依赖于问题的,这意味着它们可以利用实际问题实例的结构。然而,至关重要的是,我们的算法不需要提前知道这个结构。相反,我们证明竞争的保证,表明算法提供了一个最好的约束(一定的功能形式)在事后的一个恒定的因素内的界限。
2010-07-07 cs.LG
An Online Sparse Streaming Feature Selection Algorithm
Southwest University(西南大学);University of Chinese Academy of Sciences(中国科学院大学)
在线流特征选择(OSFS)是一种在线进行特征选择的方法,在高维数据处理中起着重要的作用。在许多实际应用中,例如智能医疗平台,流媒体功能总是有一些缺失的数据,这对进行OSFS提出了关键挑战,即,如何建立稀疏流特征和标签之间的不确定关系。遗憾的是,现有的OSFS算法没有考虑这种不确定的关系。为了填补这一空白,我们在本文中提出了一个在线稀疏流特征选择与不确定性(OS 2FSU)算法。OS 2FSU主要包括两个部分:1)在进行特征选择之前,利用潜在因子分析对稀疏流特征中的缺失数据进行预估计; 2)在进行特征选择时,利用模糊逻辑和邻域粗糙集来消除估计的流特征与标签之间的不确定性。在实验中,OS 2FSU与五个国家的最先进的OSFS算法在六个真实的数据集进行了比较。结果表明,OS 2FSU优于其竞争对手时,在OSFS中遇到丢失的数据。
2022-08-03 cs.LG
Scalable and Accurate Online Feature Selection for Big Data
Simon Fraser University(西蒙弗雷泽大学);Hefei University of Technology(合肥工业大学);University of Vermont(佛蒙特大学);University of Massachusetts Boston(马萨诸塞大学波士顿分校)
特征选择在许多大数据应用中非常重要。与大数据密切相关的两个关键挑战。首先,在许多大数据应用中,维度非常高,以百万计,并且还在不断增长。其次,大数据应用要求以在线方式的高度可扩展的特征选择算法,使得每个特征可以在顺序扫描中被处理。本文提出了一种可扩展的、精确的在线特征选择方法SAOLA。通过对特征间成对相关性的理论分析,SAOLA采用了新的成对比较技术,并以在线方式随时间保持一个简约模型。此外,为了处理即将到来的功能,到达组,我们扩展了SAOLA算法,然后提出了一个新的组-SAOLA算法的在线组特征选择。group-SAOLA算法能够同时在线维护一组在组和个体特征两个层次上都稀疏的特征组。使用一系列基准真实数据集的实证研究表明,我们的两个算法,SAOLA和组SAOLA,是可扩展的数据集的极高维,并具有优越的性能比国家的最先进的特征选择方法。
2016-07-28 cs.LG
Online Distributed Sensor Selection
Caltech(加州理工学院)
传感器网络中的一个关键问题是决定何时查询哪些传感器,以便获得最有用的信息(例如,用于执行准确的预测),受到约束(例如,在功率和带宽上)。在许多应用中,效用函数不是先验已知的,必须从数据中学习,甚至可以随时间变化。此外,大型传感器网络解决集中式优化问题选择传感器是不可行的,因此,我们寻求一个完全分布式的解决方案。在本文中,我们提出了分布式在线贪婪(DOG),一个有效的,分布式的算法,反复选择传感器在线,只接收反馈的效用所选择的传感器。我们证明了非常强大的理论无遗憾的保证,适用于任何时候(未知)的效用函数满足一个自然递减的回报属性称为子模块。我们的算法具有极低的通信要求,并可扩展到大型传感器部署。我们扩展DOG允许观察依赖的传感器选择。我们经验证明了我们的算法在几个现实世界的传感任务的有效性。
2010-05-13 cs.LG
Active Learning for Fair and Stable Online Allocations
Purdue University(普渡大学)
针对动态公平资源分配问题,提出基于成对上下置信界自适应选反馈的主动学习算法,在仅获取子集智能体反馈的限制下,实现多指标下次线性遗憾界的高效决策。
2024-06-20 cs.LG stat.OT
Online Active Model Selection for Pre-trained Classifiers
ETH Zürich(苏黎世联邦理工学院)
给定$k$预训练的分类器和一系列未标记的数据示例,我们如何主动决定何时查询标签,以便在进行少量查询的同时区分最佳模型?探讨这个问题对一系列实际情况有着深远的影响。在这项工作中,我们设计了一个在线选择性抽样方法,积极选择信息丰富的例子进行标记,并在任何一轮输出最佳模型的概率很高。我们的算法可用于在线预测任务的对抗性和随机流。我们建立了几个理论保证我们的算法,并广泛地证明了它的有效性,在我们的实验研究。
2021-04-17 cs.LG stat.ML
Knowing When to Stop Matters: A Unified Algorithm for Online Conversion under Horizon Uncertainty
University of Alberta(阿尔伯塔大学);University of Waterloo(滑铁卢大学)
本文针对在线转换问题中交易期限不确定的挑战,提出一种统一算法,在已知、中途揭示或完全未知的期限模型下均实现最优竞争保证,并扩展学习增强版本以利用期限预测自适应平衡性能。
2025-02-06 cs.DS cs.LG
Parameter-free online learning via model selection
Cornell University(康奈尔大学);Google Research(谷歌研究院);NYU(纽约大学)
我们介绍了一个有效的算法框架模型选择在线学习,也被称为无参数在线学习。从以前的工作,重点是高度结构化的函数类,如嵌套球在希尔伯特空间,我们提出了一个通用的元算法框架,实现在线模型选择预言的不平等下最小的结构假设。我们给出了第一个计算效率高的无参数算法,工作在任意Banach空间下温和的光滑性假设,以前的结果只适用于希尔伯特空间。我们进一步推导出矩阵类,非嵌套凸集,和$\mathbb{R}^{d}$一般正则化新的甲骨文不等式。最后,我们推广了这些结果,提供了预言不等式的任意非线性类在线监督学习模型。这些结果都是通过一个统一的元算法方案,使用一种新的“多尺度”算法预测与专家意见的基础上随机播放,这可能是独立的利益。
2018-01-03 cs.LG stat.ML
Damped Online Newton Step for Portfolio Selection
Massachusetts Institute of Technology(麻省理工学院)
我们重新审视经典的在线投资组合选择问题,在每一轮中,学习者选择一组投资组合的分布来分配其财富。众所周知,对于这个问题,例如,使用通用投资组合选择算法可以实现关于覆盖损失的对数后悔。然而,所有现有的算法,实现了对数遗憾这个问题的每轮时间和空间复杂度的规模与总轮数的多项式,使他们不切实际。在本文中,我们以Haipeng等人2018年的最新工作为基础,提出了第一个实用的在线投资组合选择算法,该算法具有对数遗憾,其每轮时间和空间复杂度仅在数学上依赖于地平线。在我们的方法背后是两个独立兴趣的关键技术创新。我们首先表明,即使在处理时变正则化器时,阻尼在线牛顿步骤也可以很好地逼近镜像下降迭代。其次,我们提出了一个新的元算法,实现了自适应对数遗憾(即对数遗憾的任何子区间)的混合损失。
2022-02-15 cs.LG math.OC
OEUVRE: OnlinE Unbiased Variance-Reduced loss Estimation
Machine Learning Department(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
OEUVRE提出一种在线无偏方差缩减损失估计器,利用算法稳定性实现常数时间更新,并证明其一致性、收敛速率和集中界,在多种任务上优于或匹配其他估计器。
2025-10-26 cs.LG stat.ML
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);U. S. Army Corps of Engineers(美国陆军工程兵团)
用户生成的流数据(如社交媒体)中存在数据损坏,这激发了一个新的基本问题,即当特征不能一次完全访问时,学习可靠的回归系数。到目前为止,几个重要的挑战仍然无法同时处理:1)当只有部分特征可访问时,损坏的数据估计; 2)当数据包含对抗性损坏时,在线特征选择;以及3)扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择(\textit{RoOFS}),同时解决所有上述挑战。具体地说,该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比,最优解。在合成数据集和真实数据集上的大量实验表明,该方法在恢复特征选择和回归系数方面均优于现有方法,具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control
School of Statistics and Data Science, Nankai University(统计与数据科学学院,南开大学);School of Mathematical Sciences, Shanghai Jiao Tong University(数学科学学院,上海交通大学)
CAP算法通过在线选择性置信预测实现FCR控制,提供了一种通用框架以确保精确覆盖保证并提升预测区间精度。
2025-12-01 cs.LG stat.ME stat.ML
Selectivity Estimation for Linear Queries via Online Learning
Duke University(杜克大学)
针对数据库中查询选择性估计问题,受在线学习启发,提出算法框架,以遗憾值衡量学习算法性能,建立基于直方图的线性查询在静态和动态数据库设置下遗憾值的上下界。
2026-07-07 cs.DB cs.LG
Self-calibrating Neural Networks for Dimensionality Reduction
Flatiron Institute(弗拉特铁研究所);NYU(纽约大学)
最近,一个新的家庭的生物合理的在线算法,用于减少流数据的维数已来自相似性匹配原则。在这些算法中,可以通过对输入数据矩阵的奇异值进行阈值化来自适应地确定输出维数。然而,设置这样的阈值需要预先知道期望奇异值的大小。在这里,我们提出了在线算法的阈值是自校准的基础上计算出的奇异值从现有的观察。为了从相似性匹配成本函数中推导出这些算法,我们提出了新的正则化器。如前所述,这些在线算法可以由赫布/反赫布神经网络实现,其中学习规则取决于所选择的正则化器。我们证明了数学和通过模拟这些在线算法在各种设置的有效性。
2016-12-11 cs.LG cs.NE q-bio.NC
Alternating Linear Bandits for Online Matrix-Factorization Recommendation
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Department of Statistics and Data Science(统计与数据科学系);Yale University(耶鲁大学)
我们考虑的问题,在线协同过滤的在线设置,项目推荐给用户随着时间的推移。在每个时间步,用户(由环境选择)消费项目(由代理选择)并提供所选项目的评级。在本文中,我们提出了一种新的算法,结合线性强盗和交替最小二乘在线矩阵分解推荐。在这个公式中,强盗反馈等于最好的和选择的项目之间的评分差。我们使用累积遗憾和平均累积NDCG来评估所提出算法随时间的性能。在三个人工数据集和三个真实数据集上的在线协同过滤仿真结果表明,该算法优于两个国家的最先进的在线算法。
2018-10-22 cs.IR cs.LG stat.ML
Geometric Exploration for Online Control
Princeton University(普林斯顿大学);Google AI(谷歌人工智能(Google AI));Computer Science Department(计算机科学系)
研究了一般凸代价下\emph{unknown}线性动力系统的控制问题。目标是最小化遗憾与一类干扰反馈控制器,其中包括所有稳定的线性动态控制器。在这项工作中,我们首先考虑的情况下,已知的成本函数,我们设计的第一个多项式时间算法与$n^3\sqrt{T}$ -遗憾,其中$n$是维度的状态加上维度的控制输入。$\sqrt{T}$ -水平依赖性是最优的,并且改进了$T^{2/3}$的先前最佳已知的界限。我们的算法的主要组成部分是一个新的几何探索策略:我们自适应地构建一个序列的重心空间的政策空间。其次,我们考虑的情况下,强盗反馈,我们给出了第一个多项式时间算法与$poly(n)\sqrt{T}$ -遗憾,建立在随机强盗凸优化。
2020-10-29 cs.LG math.OC stat.ML
Optimal training-conditional regret for online conformal prediction
University of Pennsylvania(宾夕法尼亚大学)
本文提出两种在线置信预测算法,分别针对预训练和在线训练的非一致性评分函数,通过漂移检测实现最优训练条件后悔,验证了算法在非平稳数据流中的有效性。
2026-03-05 cs.IT cs.LG math.IT