Online Convex Optimization in Adversarial Markov Decision Processes
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们考虑在线学习在情节无环马尔可夫决策过程(MDP),其中的损失函数可以任意改变情节之间,和过渡函数是未知的学习。我们展示了$\tilde{O}(L|X|\sqrt{|A|T})$后悔边界,其中$T$是情节的数量,$X$是状态空间,$A$是动作空间,$L$是每个情节的长度。我们的在线算法是使用熵正则化方法实现的,它允许扩展原始的对抗MDP模型来处理凸性能标准(不同的方式来聚合单个事件的损失),以及改进以前的遗憾界限。
2019-05-19 cs.AI cs.LG stat.ML
Online Decision Making with Generative Action Sets
Carnegie Mellon University(卡内基梅隆大学)
研究可付费动态生成并永久保留新动作的在线学习问题,提出结合LCB选择与UCB生成的双重乐观算法,并证明其首个次线性最优遗憾界。
2025-09-30 cs.LG stat.ML
Online Decision-Focused Learning
Centre de Mathématiques Appliquées - CNRS, École Polytechnique, Paris, France(应用数学中心 - CNRS,巴黎高等学院,法国);INRIA - CNRS, Ecole Normale Supérieure, PSL Research University, France(INRIA - CNRS,巴黎高等师范大学,法国);EPITA, Laboratoire de Recherche de l’EPITA, Mohamed Bin Zayed University of AI, Paris, France(EPITA,EPITA研究实验室,人工智能马尔代夫大学,法国);Inria Paris, Ecole Normale Superieure PSL, UC Berkeley, Paris, France(Inria巴黎,巴黎高等师范大学PSL,伯克利大学,法国);Inria Saclay, Université Paris Saclay, LMO, Orsay, France(Inria萨克利,巴黎萨克利大学,LMO,法国)
本文提出两种在线算法,通过正则化和扰动技术解决动态环境下决策聚焦学习的非凸性问题,并首次建立了可证明的遗憾界。
2026-03-07 cs.LG stat.ML
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University(纽约大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);Purdue University(普渡大学)
本文提出了一种基于随机梯度下降的在线统计推断框架,通过逆概率权重提高估计效率,并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
Understand Dynamic Regret with Switching Cost for Online Decision Making
National University of Defense Technology(国防科技大学);Xinjiang University(新疆大学);Beijing Jiaotong University(北京交通大学);Dongguan University of Technology(东莞理工学院)
作为衡量在线决策方法性能的一个指标,带切换成本的动态后悔问题在在线决策问题中受到了广泛的关注。虽然在以往的研究中已经提出了次线性后悔模型,但是对于动态后悔与转换成本之间的关系,我们仍然知之甚少。在本文中,我们研究了两个经典的在线设置:在线算法(OA)和在线凸优化(OCO)的关系。我们提供了一个新的理论分析框架,它显示了一个有趣的观察,即转换成本和动态后悔之间的关系是不同的设置的OA和OCO。具体而言,转换成本对OA设置中的动态后悔有显著影响。但是,在OCO情境下,它对动态后悔没有影响。此外,我们还给出了OCO的后悔下限,该下限与无切换成本时的后悔下限相同。结果表明,在OCO环境下,切换成本并没有改变在线决策问题的难度。
2019-11-28 cs.GT cs.LG stat.ML
On Optimal Robustness to Adversarial Corruption in Online Decision Problems
NEC Corporation(NEC公司)
本文考虑了两个基本的序贯决策问题:专家建议的预测问题和多臂强盗问题。我们专注于随机制度,对手可能会腐败的损失,我们调查什么水平的鲁棒性可以实现对抗性腐败。本文的主要贡献是表明,最佳的鲁棒性可以表示由腐败量的平方根依赖。更准确地说,我们表明,两类算法,任何时候对冲学习率下降和算法的二阶遗憾界,实现$O( \frac{\log N}Δ + \sqrt{ \frac{C \log N }Δ } )$ -遗憾,其中$N, Δ$,和$C$代表的专家,间隙参数,和腐败水平,分别。我们进一步提供了一个匹配的下限,这意味着这个遗憾界是紧到一个常数因子。对于多臂强盗问题,我们也提供了一个接近紧的下限对数因子。
2021-09-22 cs.LG stat.ML
Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
高斯过程(GP)作为一种功能强大的贝叶斯非参数化算法,在贝叶斯优化和信号处理中发挥着重要作用。全科医生也有先进的在线决策系统,因为他们的后验分布有一个封闭的形式的解决方案。然而,它的训练和推理过程需要存储所有历史数据,并从头开始训练GP模型。出于这些原因,一些在线GP算法,如O-SGPR和O-SVGP,已专门设计用于流媒体设置。在本文中,我们提出了一个新的理论框架,在线GPS的基础上在线可能近似正确(PAC)贝叶斯理论。该框架提供了广义性能和良好的准确性的保证。我们的算法不是最小化边际似然,而是优化经验风险函数和正则化项,这与参数的先验分布和后验分布之间的分歧成比例。除了理论上的吸引力,该算法在几个回归数据集上的经验表现良好。与其他在线GP算法相比,我们产生了泛化保证和非常有竞争力的准确性。
2022-10-26 cs.AI cs.LG stat.ML
Online Contextual Decision-Making with a Smart Predict-then-Optimize Method
University of California, Berkeley(加州大学伯克利分校)
我们研究了一个资源受限的在线上下文决策问题。在每个时间段,决策者首先根据给定的上下文向量预测奖励向量和资源消耗矩阵,然后解决下游优化问题以做出决策。决策者的最终目标是在满足资源约束的前提下,最大化资源消耗的报酬和效用之和。我们提出了一种算法,混合预测步骤的基础上的“智能预测,然后优化(SPO)”方法与双更新步骤的基础上镜像下降。我们证明了遗憾的界限,并证明了我们的方法的整体收敛速度取决于在线镜像下降的$\mathcal{O}(T^{-1/2})$收敛以及用于学习预测模型的代理损失函数的风险界限。我们的算法和遗憾界适用于一般的凸可行域的资源约束,包括硬和软资源约束的情况下,他们适用于广泛的一类预测模型相比,传统的设置线性上下文模型或有限的政策空间。我们还进行了数值实验,以经验证明我们提出的SPO型方法的强度,相比传统的预测误差的方法,在多维背包和最长路径的实例。
2022-06-15 cs.LG math.OC stat.ML
Online Statistical Inference in Decision-Making with Matrix Context
Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
本研究针对矩阵上下文在线决策问题,提出一种在线去偏推断方法,同时处理低秩结构偏差和自适应数据偏差,实现参数与最优策略值的渐近正态推断。
2025-04-18 cs.LG math.ST stat.ML
Online Convex Optimization with Unbounded Memory
Cornell University(康奈尔大学)
本文提出具有无界记忆的在线凸优化框架,引入p-有效记忆容量H_p量化历史决策影响,证明策略遗憾的O(√(H_pT))上下界,并应用于在线线性控制与执行预测等问题。
2024-03-29 cs.LG math.OC stat.ML
No-Regret Learnability for Piecewise Linear Losses
Operations Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院);Dept. of Electrical Engineering and Computer Science(电气工程与计算机科学系)
在在线遗憾最小化的凸优化方法中,已经开发了许多方法来保证具有有界次梯度的次可微凸损失函数的遗憾的$O(\sqrt{T})$界,通过使用线性损失函数的约化。这表明,线性损失函数往往是最难学习的函数,无论底层的决策空间如何。我们系统地研究了这个问题,研究了决策者和敌对环境之间的相互作用。这使我们能够突出关于分段线性损失函数的可学习性的鲜明的独特行为。一方面,当决策者的决策集是一个多面体,我们建立了$Ω(\sqrt{T})$下界后悔的一个大类的分段线性损失函数的重要应用在在线线性优化,重复零和Stackelberg游戏,在线预测边信息,在线两阶段优化。另一方面,我们展示$o(\sqrt{T})$学习率,实现跟随领导者算法,在线线性优化时,决策者的决策集的边界是弯曲的,当$0$不在于环境的决策集的凸包。因此,决策者的决策集的曲率是最佳学习率的决定因素。这些结果在完全对抗的情况下成立。
2016-09-17 cs.LG
Regret Bounds for Robust Online Decision Making
Computational Rational Agents Laboratory(计算理性代理实验室);Faculty of Mathematics, Technion - Israel Institute of Technology(数学学院,技术学院-以色列理工学院)
本文提出允许鲁棒多值模型的在线决策框架,推广了结构化观测决策,推导出遗憾界理论并证明了幂律可学习性,在鲁棒线性多臂老虎机和表格型鲁棒在线强化学习两特例中改进了现有遗憾界。
2025-06-26 cs.LG
Online Decision Making for Trading Wind Energy
University of Malaga(马拉加大学);Imperial College London(帝国理工学院);Technical University of Denmark(丹麦技术大学)
提出一种结合梯度下降变体与特征驱动报童模型的在线算法,用于电力市场风力能源交易,能适应非平稳特性并实现显著经济收益。
2023-05-19 cs.LG cs.SY eess.SY
Scale-Free Online Learning
Stony Brook University(石溪大学);Yahoo Research(雅虎研究院)
我们设计和分析在线线性优化算法,有最佳遗憾,并在同一时间不需要知道任何上界或下界的损失向量的范数。我们的算法是遵循正则化领导者(FTRL)和镜像下降(MD)元算法的实例。我们通过尺度不变性实现对损失向量范数的自适应,即,如果损失向量序列乘以任何正常数,我们的算法会做出完全相同的决定。基于FTRL的算法适用于任何有界或无界的决策集。对于无界决策集,这是第一个非空遗憾界的在线线性优化自适应算法。相比之下,我们展示了无界域上基于MD的无标度算法的下界。
2016-12-14 cs.LG
Online Decision Making with History-Average Dependent Costs (Extended)
University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对成本依赖历史决策时间平均的在线决策问题,提出FTARL算法,通过自适应正则化满足阶段式约束并证明紧致遗憾界,同时分析历史跨度影响及全跨度不可能性。
2023-12-11 cs.LG cs.SY eess.SY
Online Sequential Decision-Making with Unknown Delays
Beijing Institute of Technology(北京理工大学)
本文针对在线凸优化中反馈具有未知延迟的问题,提出三族适用于通用范数的延迟算法,并在一般凸性与相对强凸性下给出遗憾界,验证了其与现有最优界的一致性。
2024-02-23 cs.AI cs.LG
Adaptive Decision-Making with Constraints and Dependent Losses: Performance Guarantees and Applications to Online and Nonlinear Identification
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
研究适应性决策中带约束和依赖损失的优化问题,提出实例依赖的高效算法,利用损失结构和预算约束改进遗憾界限,并在在线与非线性系统辨识任务中验证性能。
2023-04-06 cs.LG cs.SY eess.SY
Efficient Online Learning with Memory via Frank-Wolfe Optimization: Algorithms with Bounded Dynamic Regret and Applications to Control
University of Michigan(密歇根大学)
针对在线学习中投影操作的计算瓶颈,提出基于OFW和Hedge的无投影带记忆元-基学习算法,实现有界动态遗憾,并成功应用于线性时变系统的在线控制。
2023-03-31 cs.LG cs.SY eess.SY
Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯);Chongqing University(重庆大学)
对于拥有大量记录数据的公司来说,一个基本问题是:如何将这些记录数据与传入的流数据一起使用,以做出正确的决策?许多公司目前通过在线A/B测试做出决策,但在测试过程中的错误决策会伤害用户体验并造成不可逆转的损害。一个典型的替代方案是离线因果推理,它只分析记录的数据来做出决策。然而,这些决策并不适应新的传入数据,因此错误的决策将不断损害用户的体验。为了克服上述限制,我们提出了一个框架来统一离线因果推理算法(例如,加权,匹配)和在线学习算法(例如,UCB、LinUCB)。我们提出了新的算法,并通过“遗憾”的概念,得出的决策精度的界限。我们推导出基于森林的在线强盗算法的第一个后悔上界。两个真实数据集上的实验表明,我们的算法优于其他算法,只使用日志数据或在线反馈,或算法不正确使用的数据。
2020-11-07 cs.LG stat.ML
Online Local Boosting: improving performance in online decision trees
Londrina State University(隆德里纳州立大学);University of São Paulo(圣保罗大学)
随着每天产生的数据越来越多,数据流挖掘的重要性也越来越大,这表明需要能够快速处理这些数据的算法。数据流挖掘算法是专门针对连续数据问题的在线知识提取解决方案。目前的数据流挖掘算法中,有许多算法的处理和存储开销都很大.通常,预测性能越高,这些成本就越高。为了在不增加内存和时间开销的情况下提高预测性能,提出了一种新的在线局部提升算法(OLBoost),该算法可以与在线决策树算法相结合,在不改变诱导决策树结构的情况下提高其预测性能.为此,OLBoost会对实例空间的小的单独区域应用提升。实验结果表明,通过使用OLBoost,在线学习决策树算法的预测性能得到了显著提高。此外,它可以使较小的树表现得与较大的树一样好或更好。
2019-07-16 cs.LG stat.ML
Dynamic Regret of Online Markov Decision Processes
Nanjing University(南京大学)
我们研究在线马尔可夫决策过程(MDP)的不利变化的损失函数和已知的过渡。我们选择动态后悔作为绩效指标,定义为学习者与任何可行的改变策略序列之间的绩效差异。该措施是严格强于标准的静态后悔基准学习者的表现与一个固定的比较政策。我们认为在线MDP的三个基本模型,包括情节无环随机最短路径(SSP),情节SSP,和无限地平线MDP。对于这三个模型,我们提出了新的在线集成算法,并建立他们的动态后悔保证,其中的结果情节(无环)SSP是可证明的minimax最优的时间范围和一定的非平稳性措施。此外,当学习者遇到的在线环境是可预测的,我们设计了改进的算法,并实现了更好的动态遗憾界的情节(无循环)SSP,而且,我们证明了不可能的结果为无限地平线MDPs。
2022-08-26 cs.LG stat.ML
Data-Driven Online Decision Making with Costly Information Acquisition
University of California, Los Angeles(加州大学洛杉矶分校);University of Oxford(牛津大学)
在大多数现实环境中,如推荐系统、金融和医疗保健,收集有用的信息是昂贵的,需要决策者做出积极的选择。决策者需要同时学习进行哪些观察和采取哪些行动。本文将信息获取决策纳入在线学习框架中。我们提出了两种不同的算法,这个双重学习问题:Sim-OOS和Seq-OOS的意见,同时和顺序,分别。我们证明,这两种算法实现了遗憾,是次线性的时间。开发的框架和算法可以用于许多应用,包括医疗信息学,推荐系统和交通,金融,网络安全等方面的可操作智能,在做出决定之前收集信息是昂贵的。我们验证我们的算法在乳腺癌的例子设置中,我们表现出显着的性能增益,我们提出的算法。
2017-10-21 cs.LG stat.ML
Decision Variance in Online Learning
Cornell University(康奈尔大学)
传统上,在线学习关注的是预期的回报。本文研究了在收益均值-方差性能测度下的风险规避在线学习问题。同时考虑了强盗和全信息设置。几个现有的政策的性能进行了分析,并建立了新的基本限制风险规避学习。特别是,它表明,虽然对数分布依赖的遗憾时间$T$是可以实现的(类似于风险中性的问题),最坏的情况下(即极大极小)遗憾是下界的$Ω(T)$(相反,$Ω(\sqrt{T})$下界的风险中性的问题)。这种与风险中性对应物的急剧差异是由玩家决策的方差引起的,而在预期奖励标准下的遗憾中不存在这种差异,这有助于由于这种风险度量的非线性而导致过度的均值方差。决策方差在后悔表现中的作用反映了风险厌恶型玩家对稳健决策和结果的渴望。
2019-03-14 cs.LG stat.ML
Conditioning Sparse Variational Gaussian Processes for Online Decision-making
New York University(纽约大学)
高斯过程(GP)具有不确定性的原则性表示和封闭形式的后验更新,是在线决策的自然选择。然而,高斯过程通常至少需要针对$n$训练点的$\mathcal{O}(n^2)$计算,从而限制了它们的一般适用性。随机变分高斯过程(SVGPs)可以为固定大小的数据集提供可扩展的推理,但很难有效地对新数据进行约束。我们提出了在线变分条件(OVC),一个程序,有效地调节SVGP在在线设置,不需要重新训练,通过证据下限与添加新的数据。OVC使SVGP与先进的前瞻采集功能配对,用于黑盒优化,即使是非高斯似然。我们表明OVC在一系列应用中提供了令人信服的性能,包括疟疾发病率的主动学习和MuJoCo模拟机器人控制任务的强化学习。
2021-10-28 cs.LG stat.ML
Statistical Inference for Online Decision-Making: In a Contextual Bandit Setting
North Carolina State University(北卡罗来纳州立大学)
在线决策问题要求我们根据增量信息做出一系列决策。常见的解决方案通常需要学习给定上下文信息的不同行为的奖励模型,然后最大化长期奖励。了解所提出的模型是否合理,以及模型在渐近意义下的表现如何,是很有意义的。我们在线性报酬模型的情境强盗框架下研究了这个问题。采用$\varepsilon$ -贪婪策略来解决经典的探索和利用困境。利用鞅中心极限定理,证明了模型参数的在线普通最小二乘估计是渐近正态的。当线性模型被误定时,我们提出了利用逆倾向得分加权的在线加权最小二乘估计,并建立了其渐近正态性。基于参数估计的性质,我们进一步证明了样本内逆倾向加权值估计是渐近正态的。我们说明我们的结果使用模拟和应用程序的新闻文章推荐数据集从雅虎!
2020-10-14 cs.LG stat.ML
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research(谷歌研究院);Tel-Aviv University(特拉维夫大学)
我们研究了一种新的在线有限时域马尔可夫决策过程的变种,具有逆向变化的损失函数和初始未知的动态。在每一集中,学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失,并观察总的强盗反馈:轨迹与所遭受的累积损失一起被揭示,而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置,其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置,我们称之为扭曲的线性强盗(DLB),这是一个变种的强盗线性优化,其中学习者选择的行动是不利的扭曲之前,他们被提交。然后,我们开发了一个计算效率高的在线算法DLB,我们证明了$O(\sqrt{T})$的遗憾界,其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化,采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
ROI Maximization in Stochastic Online Decision-Making
Università degli Studi di Milano(米兰大学);DSRC;Toulouse School of Economics(图卢兹经济学院);Artificial and Natural Intelligence Toulouse Institute(图卢兹人工与自然智能研究所);Tel Aviv University(特拉维夫大学);Google research(谷歌研究院);CREST, ENSAE(国立统计与经济行政学院附属经济与统计研究中心);Criteo AI Lab(Criteo人工智能实验室)
我们介绍了一种新的理论框架,投资回报率(ROI)最大化的重复决策。我们的设置是由经常收到技术创新建议并希望快速决定是否值得实施的公司的用例驱动的。我们设计了一个算法,学习投资回报率最大化的决策政策的创新建议序列。我们的算法可证明收敛到类$Π$中的最优策略的顺序$\min\big\{1/(NΔ^2),N^{-1/3}\}$,其中$N$是创新的数量和$Δ$是次优差距$Π$的速度。我们制定的一个重要障碍,将其与其他在线学习问题(如土匪)放在一边,是运行一个策略并不能提供对其性能的无偏估计。
2021-12-22 cs.LG stat.ML
Online Learning in Markov Decision Processes with Adversarially Chosen Transition Probability Distributions
QUT(昆士兰科技大学);UC Berkeley(加州大学伯克利分校);University of Alberta(阿尔伯塔大学)
研究了有限状态空间和有限动作空间的Markov决策过程的学习问题,其中转移概率分布和损失函数是逆向选择的,且允许随时间变化.我们介绍了一个算法,其遗憾相对于任何政策的比较类增长的游戏轮数的平方根,提供的转移概率满足均匀混合条件。我们的方法是有效的,只要比较类是多项式,我们可以计算期望样本路径的每个政策。设计一个有效的算法,为一般情况下的小遗憾仍然是一个悬而未决的问题。
2013-03-12 cs.LG stat.ML
Eluder-Dimension-Free Regret for Stage-Wise Constrained Contextual Bandits via Offline Regression
Massachusetts Institute of Technology(麻省理工学院)
本文提出统一框架处理带阶段可行性约束的上下文在线决策,通过上反事实置信界和广义eluder维数,涵盖受限老虎机、主动学习等问题,并给出理论保证。
2026-10-23 cs.LG stat.ML
An Eager Splitting Strategy for Online Decision Trees
Monash University(莫纳什大学);University of Waikato(怀卡托大学)
决策树集成在实践中有着广泛的应用。在这项工作中,我们研究了在集成设置的有效性,取代分裂策略的国家的最先进的在线树学习器,Hoeffding树,与一个严格的,但更积极的分裂策略,我们以前出版的Hoeffding AnyTime Tree。Hoeffding AnyTime Tree(HATT)使用Hoeffding测试来确定当前最佳候选分裂是否优于当前分裂,并有可能进行修改,而Hoeffding Tree旨在确定顶级候选是否优于第二个最佳候选,如果选择了测试,则为所有后代修复它。HATT收敛于理想批处理树,而Hoeffding树则不收敛。我们发现,HATT是一个有效的基础学习在线装袋和在线提升合奏。在UCI和合成流上,HATT作为基础学习者在0.05的显著性水平内优于HT,对于大多数测试的合奏,我们认为这是在线学习文献中最大和最全面的测试平台集。我们的研究结果表明,HATT是一个更好的替代Hoeffding树在大量的合奏设置。
2021-07-31 cs.LG stat.ML
Stochastic Low-rank Tensor Bandits for Multi-dimensional Online Decision Making
Amazon(亚马逊);Deepmind(深度思维);Miami Herbert Business School, University of Miami(迈阿密大学迈阿密赫伯特商学院);Krannert School of Management, Purdue University(普渡大学克兰纳特管理学院)
本文提出了随机低秩张量老虎机,用于解决多维在线决策问题,通过张量消元、张量周期贪婪和张量集成采样算法,在理论和实验中均优于忽略低秩结构的现有方法。
2024-02-13 cs.LG stat.ML
Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science(印度科学学院)
我们考虑在线学习在未知的,情节马尔可夫决策过程(MDP)的连续状态和行动的遗憾最小化。我们开发的UCRL和后验采样算法,采用非参数高斯过程先验的状态和动作空间概括的变种。当真正的MDP的过渡和奖励功能的成员相关联的再生核希尔伯特空间的对称PSD内核(频率设置)引起的功能,我们发现,算法享受次线性遗憾界。边界是在显式的核结构参数,即一种新的推广的信息增益度量从核土匪,并突出了过渡和奖励函数结构对学习性能的影响。我们的结果是适用于多维状态和行动空间的复合核结构,并推广的结果,从文献中的核土匪,和自适应控制的参数线性动力系统的二次成本。
2019-01-03 cs.LG stat.ML
Online Reinforcement Learning of Optimal Threshold Policies for Markov Decision Processes
Indian Institute of Technology Bombay(印度理工学院孟买分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
为了克服动态规划方法求解马尔可夫决策过程问题时的维数和模型问题,在实际应用中采用了强化学习方法。与传统的RL算法不考虑最优策略的结构特性相反,我们提出了一种结构感知的学习算法来利用最优策略的有序多阈值结构。我们证明了所提出的算法的最优策略的渐近收敛性。由于策略空间的减小,该算法在存储和计算复杂性方面都比经典强化学习算法有显著的改进。仿真结果表明,该算法比其他RL算法具有更快的收敛速度。
2021-08-22 cs.LG stat.ML
Online Batch Decision-Making with High-Dimensional Covariates
Purdue University(普渡大学)
我们提出并研究了一类新的顺序决策算法,互动与\textit{a batch of users}同时,而不是\textit{a user}在每个决策时期。这种类型的批量模型的动机是互动营销和临床试验,其中一组人同时接受治疗,并在下一阶段的决策之前收集整个组的结果。在这种情况下,我们的目标是根据观察到的高维用户协变量分配一批治疗,以最大限度地提高治疗效果。我们提供了一个解决方案,名为\textit{Teamwork LASSO Bandit algorithm},解决了一个批处理版本的探索-开拓困境,通过在整个决策过程中的团队合作阶段和自私的阶段之间的切换。这是可能的基础上的统计特性LASSO估计的治疗效果,适应一系列的批次观察。在一般情况下,最优分配条件的速率,提出描绘的勘探和开发权衡的数据收集方案,这是足够的LASSO,以确定观察到的用户协变量的最佳处理。给出了该算法的期望累积遗憾的上界。
2020-02-27 cs.LG stat.ML
Oracle-Efficient Smoothed Online Learning for Piecewise Continuous Decision Making
MIT(麻省理工学院)
本文提出广义括号数复杂度,结合对手约束与空间大小,证明跟随扰动领导者算法在分段连续决策中实现Oracle调用次数最优的低遗憾,应用于在线预测与规划。
2024-03-19 cs.LG stat.ML
Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates
Hong Kong University of Science and Technology(香港科技大学);University of Pennsylvania(宾夕法尼亚大学)
本文研究高维在线决策的遗憾最小化与统计推断,结合ε-贪心算法与硬阈值估计并提出去偏推断框架,揭示探索-利用权衡,还证明无探索的纯贪心算法在特定条件下可同时实现最优遗憾与一致推断,且经实验验证有效。
2025-05-17 cs.LG stat.ML
Fast rates for online learning in Linearly Solvable Markov Decision Processes
Universitat Pompeu Fabra(庞培法布拉大学)
我们研究一类线性可解MDP的Markov决策过程的在线学习问题。在这个问题的固定版本中,学习者通过直接控制状态转换来与环境进行交互,试图平衡固定的状态相关成本和惩罚极端控制输入的一定平滑成本。在本文中,我们考虑了一个在线设置,其中状态成本可以在连续轮之间任意变化,并且学习者只在每个相应轮结束时观察成本。我们感兴趣的是构建算法的学习,保证小遗憾对最佳的固定控制策略选择的成本序列的充分知识。我们的主要结果是表明,平滑的控制成本,使简单的算法,以下的领导者,以实现一个遗憾的顺序$\log^2 T$后$T$轮,大大提高了最有名的遗憾界的顺序$T^{3/4}$为这个设置。
2017-06-06 cs.LG math.OC stat.ML
DODT: Enhanced Online Decision Transformer Learning through Dreamer's Actor-Critic Trajectory Forecasting
University of California, Los Angeles(加州大学洛杉矶分校);Mila(米拉);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本文提出DODT方法,将Dreamer算法的轨迹预测能力与Online Decision Transformer结合,通过并行训练实现双向增强,显著提升了样本效率和奖励最大化,并在动态场景中展现出鲁棒性。
2024-10-15 cs.LG cs.RO stat.ML
BOCO: Bayesian Online Contextual Optimization for Decision-Focused Online Learning
Laboratoire Génie Industriel, CentraleSupélec, Université Paris-Saclay(工业工程实验室,中央苏佩莱克学院,巴黎萨克雷大学)
本文提出首个基于PAC-Bayes理论的贝叶斯在线上下文优化框架,通过吉布斯后验实现有界损失下的 $\mathcal{O}(\sqrt{T})$ 坏境,并利用顺序马尔可夫链采样器处理不可微问题。
2026-09-24 math.OC stat.ML
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University(波士顿大学)
本文提出差分隐私算法,用于在PAC和在线模型中高效学习决策列表和半空间,实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Online Control of the False Discovery Rate under "Decision Deadlines"
在线测试程序旨在控制一系列假设测试中错误发现的程度,允许早期测试结果影响后期测试假设的选择。通常,在线方法假设在进行下一个测试之前,必须做出关于当前测试的永久决定(拒绝或不拒绝)。相反,我们假设每个假设都需要立即做出初步决定,但也允许我们在预设的最后期限之前更新该决定。粗略地说,这让我们可以在假设的移动窗口上应用Benjamini-Hochberg类型的过程,其中即将到来的测试的阈值参数可以基于初步结果来确定。我们的方法控制的错误发现率(FDR)在每个阶段的测试,以及在自适应选择的停止时间。这些结果甚至适用于任意p值依赖结构。
2021-10-15 stat.ME stat.ML
Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards
National University of Singapore(新加坡国立大学)
我们考虑一个参与马尔可夫决策过程的代理,每轮都接收一个结果向量。她的目标是最大化平均向量结果的全局凹奖励函数。该问题模型的应用程序,如多目标优化,最大熵探索,并在马尔可夫环境中的约束优化。在我们的一般设置中,一个固定的策略可能有多个循环类,代理人面临着一个微妙而重要的权衡,在不同的行动之间交替平衡矢量结果。特别是,固定的政策一般是次优的。我们提出了一种基于在线凸优化(OCO)工具(Agrawal和Devanur 2014)和UCRL 2(Jaksch等人2010)的无遗憾算法。重要的是,我们引入了一种新的梯度阈值程序,它仔细控制动作之间的切换,以处理微妙的权衡。通过延迟梯度更新,我们的过程产生了一个非平稳的政策,多样化的结果优化的目标。该程序与各种OCO工具兼容。
2019-05-15 cs.LG math.OC stat.ML
An Online-Learning Approach to Inverse Optimization
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校);Technische Universität Berlin(柏林工业大学);Zuse-Institut Berlin(柏林祖斯研究所);Fraunhofer Institut für Integrierte Schaltungen IIS(弗劳恩霍夫集成电路研究所IIS)
在本文中,我们演示了如何学习决策者的目标函数,同时只观察问题的输入数据和决策者的相应决策多轮。我们提出了精确的算法,这个在线版本的逆优化,收敛速度为$ \mathcal{O}(1/\sqrt{T}) $的观测数~ $T$,并比较其进一步的性能。特别是,它们都允许在相对较少的迭代之后做出基本上与观察到的决策者的决策一样好的决策,但是最适合于每个不同的设置。我们的方法是基于在线学习和工程的线性目标在任意可行的集合,我们有一个线性最优化预言。因此,它概括了以前的KKT系统分解和对偶的基础上的方法。我们还介绍了几个概括,如近似学习的非线性目标函数,动态变化以及参数化的目标和次优观察决策的情况下。当应用到随机离线的情况下,我们的算法能够保证学习目标的预期质量。最后,我们展示了我们的方法在指示性计算实验的有效性和可能的应用。
2020-03-29 cs.AI cs.LG math.OC
Structure-Adaptive Sequential Testing for Online False Discovery Rate Control
考虑对一系列假设的在线测试,其中必须在下一个数据点到达之前做出实时决策。要求在{all}决策点控制错误率。传统的\emph{simultaneous testing rules}由于更严格的误差约束和缺乏未来数据而不再适用。此外,当总错误预算或阿尔法财富耗尽时,在线决策过程可能会停止。本文提出了一种新的结构--自适应序贯测试(SAST)规则,用于在线错误发现率(FDR)控制。在我们的建议中的一个关键因素是一个新的阿尔法-投资算法,精确地描述了收益和损失的顺序决策。SAST捕获数据流的时变结构,以持续的方式自适应地学习最佳阈值,并优化不同时间段的α财富分配。我们目前的理论和数值结果表明,所提出的方法是有效的在线FDR控制,并实现了显着的功率增益超过现有的在线测试规则。
2020-02-28 stat.ME stat.ML