Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
高斯过程（GP）作为一种功能强大的贝叶斯非参数化算法，在贝叶斯优化和信号处理中发挥着重要作用。全科医生也有先进的在线决策系统，因为他们的后验分布有一个封闭的形式的解决方案。然而，它的训练和推理过程需要存储所有历史数据，并从头开始训练GP模型。出于这些原因，一些在线GP算法，如O-SGPR和O-SVGP，已专门设计用于流媒体设置。在本文中，我们提出了一个新的理论框架，在线GPS的基础上在线可能近似正确（PAC）贝叶斯理论。该框架提供了广义性能和良好的准确性的保证。我们的算法不是最小化边际似然，而是优化经验风险函数和正则化项，这与参数的先验分布和后验分布之间的分歧成比例。除了理论上的吸引力，该算法在几个回归数据集上的经验表现良好。与其他在线GP算法相比，我们产生了泛化保证和非常有竞争力的准确性。
2022-10-26 cs.AI cs.LG stat.ML
Online Statistical Inference in Decision-Making with Matrix Context
Daniels School of Business, Purdue University（普渡大学丹尼尔斯商学院）
本研究针对矩阵上下文在线决策问题，提出一种在线去偏推断方法，同时处理低秩结构偏差和自适应数据偏差，实现参数与最优策略值的渐近正态推断。
2025-04-18 cs.LG math.ST stat.ML
Online Policy Learning and Inference by Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；University of Michigan（密歇根大学）
针对缺乏个性化协变量的在线决策问题，提出矩阵补全bandit框架，结合$\varepsilon$-greedy策略与在线梯度下降进行两阶段策略学习，并开发基于逆倾向加权的在线去偏推断方法，在旧金山停车定价项目中表现优于基准策略。
2024-12-19 cs.LG stat.ML
Online Contextual Decision-Making with a Smart Predict-then-Optimize Method
University of California, Berkeley（加州大学伯克利分校）
我们研究了一个资源受限的在线上下文决策问题。在每个时间段，决策者首先根据给定的上下文向量预测奖励向量和资源消耗矩阵，然后解决下游优化问题以做出决策。决策者的最终目标是在满足资源约束的前提下，最大化资源消耗的报酬和效用之和。我们提出了一种算法，混合预测步骤的基础上的“智能预测，然后优化（SPO）”方法与双更新步骤的基础上镜像下降。我们证明了遗憾的界限，并证明了我们的方法的整体收敛速度取决于在线镜像下降的$\mathcal{O}(T^{-1/2})$收敛以及用于学习预测模型的代理损失函数的风险界限。我们的算法和遗憾界适用于一般的凸可行域的资源约束，包括硬和软资源约束的情况下，他们适用于广泛的一类预测模型相比，传统的设置线性上下文模型或有限的政策空间。我们还进行了数值实验，以经验证明我们提出的SPO型方法的强度，相比传统的预测误差的方法，在多维背包和最长路径的实例。
2022-06-15 cs.LG math.OC stat.ML
No-Regret Learnability for Piecewise Linear Losses
Operations Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）；Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系）
在在线遗憾最小化的凸优化方法中，已经开发了许多方法来保证具有有界次梯度的次可微凸损失函数的遗憾的$O(\sqrt{T})$界，通过使用线性损失函数的约化。这表明，线性损失函数往往是最难学习的函数，无论底层的决策空间如何。我们系统地研究了这个问题，研究了决策者和敌对环境之间的相互作用。这使我们能够突出关于分段线性损失函数的可学习性的鲜明的独特行为。一方面，当决策者的决策集是一个多面体，我们建立了$Ω(\sqrt{T})$下界后悔的一个大类的分段线性损失函数的重要应用在在线线性优化，重复零和Stackelberg游戏，在线预测边信息，在线两阶段优化。另一方面，我们展示$o(\sqrt{T})$学习率，实现跟随领导者算法，在线线性优化时，决策者的决策集的边界是弯曲的，当$0$不在于环境的决策集的凸包。因此，决策者的决策集的曲率是最佳学习率的决定因素。这些结果在完全对抗的情况下成立。
2016-09-17 cs.LG
Regret Bounds for Robust Online Decision Making
Computational Rational Agents Laboratory（计算理性代理实验室）；Faculty of Mathematics, Technion - Israel Institute of Technology（数学学院，技术学院-以色列理工学院）
本文提出允许鲁棒多值模型的在线决策框架，推广了结构化观测决策，推导出遗憾界理论并证明了幂律可学习性，在鲁棒线性多臂老虎机和表格型鲁棒在线强化学习两特例中改进了现有遗憾界。
2025-06-26 cs.LG
Online Sequential Decision-Making with Unknown Delays
Beijing Institute of Technology（北京理工大学）
本文针对在线凸优化中反馈具有未知延迟的问题，提出三族适用于通用范数的延迟算法，并在一般凸性与相对强凸性下给出遗憾界，验证了其与现有最优界的一致性。
2024-02-23 cs.AI cs.LG
Online Decision Making with Generative Action Sets
Carnegie Mellon University（卡内基梅隆大学）
研究可付费动态生成并永久保留新动作的在线学习问题，提出结合LCB选择与UCB生成的双重乐观算法，并证明其首个次线性最优遗憾界。
2025-09-30 cs.LG stat.ML
Scale-Free Online Learning
Stony Brook University（石溪大学）；Yahoo Research（雅虎研究院）
我们设计和分析在线线性优化算法，有最佳遗憾，并在同一时间不需要知道任何上界或下界的损失向量的范数。我们的算法是遵循正则化领导者（FTRL）和镜像下降（MD）元算法的实例。我们通过尺度不变性实现对损失向量范数的自适应，即，如果损失向量序列乘以任何正常数，我们的算法会做出完全相同的决定。基于FTRL的算法适用于任何有界或无界的决策集。对于无界决策集，这是第一个非空遗憾界的在线线性优化自适应算法。相比之下，我们展示了无界域上基于MD的无标度算法的下界。
2016-12-14 cs.LG
Online Decision-Focused Learning
Centre de Mathématiques Appliquées - CNRS, École Polytechnique, Paris, France（应用数学中心 - CNRS，巴黎高等学院，法国）；INRIA - CNRS, Ecole Normale Supérieure, PSL Research University, France（INRIA - CNRS，巴黎高等师范大学，法国）；EPITA, Laboratoire de Recherche de l’EPITA, Mohamed Bin Zayed University of AI, Paris, France（EPITA，EPITA研究实验室，人工智能马尔代夫大学，法国）；Inria Paris, Ecole Normale Superieure PSL, UC Berkeley, Paris, France（Inria巴黎，巴黎高等师范大学PSL，伯克利大学，法国）；Inria Saclay, Université Paris Saclay, LMO, Orsay, France（Inria萨克利，巴黎萨克利大学，LMO，法国）
本文提出两种在线算法，通过正则化和扰动技术解决动态环境下决策聚焦学习的非凸性问题，并首次建立了可证明的遗憾界。
2026-03-07 cs.LG stat.ML
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University（纽约大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Purdue University（普渡大学）
本文提出了一种基于随机梯度下降的在线统计推断框架，通过逆概率权重提高估计效率，并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
Online Convex Optimization with Unbounded Memory
Cornell University（康奈尔大学）
本文提出具有无界记忆的在线凸优化框架，引入p-有效记忆容量H_p量化历史决策影响，证明策略遗憾的O(√(H_pT))上下界，并应用于在线线性控制与执行预测等问题。
2024-03-29 cs.LG math.OC stat.ML
On learning history based policies for controlling Markov decision processes
McGill University（麦吉尔大学）；Mila（米拉研究所）
强化学习（RL）的民间传说认为，基于历史的函数逼近方法，如递归神经网络或基于历史的状态抽象，比它们的无记忆同行表现得更好，因为马尔可夫决策过程（MDP）中的函数逼近可以被视为诱导部分可观察MDP。然而，这种基于历史的算法很少有正式的分析，因为大多数现有的框架只专注于无记忆功能。在本文中，我们介绍了一个理论框架，学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外，我们使用这个框架来设计一个实用的RL算法，我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
Asymptotically optimal strategies for online prediction with history-dependent experts
University of Minnesota（明尼苏达大学）
针对专家依赖历史的在线预测问题，建立了精确的渐近最优策略。预测问题（部分）在称为$d$维de Bruijn图的离散图上进行，其中$d$是专家使用的历史天数。以前的工作[11]为$n=2$专家和$d\leq 4$历史日建立了$O(\varepsilon)$最优策略，而[10]为所有$n\geq 2$和所有$d\geq 1$建立了$O(\varepsilon^{1/3})$最优策略，其中游戏针对$N$步骤和$\varepsilon=N^{-1/2}$进行。本文证明了de Bruijn图上的最优性条件对应于一个图Poisson方程，并对$n$和$d$的所有值建立了$O(\varepsilon)$最优策略.
2020-08-31 cs.GT cs.LG math.AP
HoRD: Robust Humanoid Control via History-Conditioned Reinforcement Learning and Online Distillation
HoRD通过历史条件强化学习和在线蒸馏，使单个策略能零样本适应未知领域，提升人形机器人在动态变化和外部扰动下的鲁棒性和迁移能力。
2026-03-15 cs.LG cs.RO
A Teacher-Student Markov Decision Process-based Framework for Online Correctional Learning
KTH Royal Institute of Technology（KTH皇家理工学院）
经典学习设置通常涉及从系统收集数据或观察的代理/学生，以便估计感兴趣的特定属性。修正学习是一种合作的师生框架，其中教师对系统有部分知识，有能力观察和改变（纠正）学生收到的观察结果，以提高其估计的准确性。在本文中，我们展示了如何在教师的帮助下减少学生估计的方差。我们制定了相应的在线问题-教师必须决定，在每个时刻，是否要改变的意见，由于有限的预算-作为一个马尔可夫决策过程，从最优策略是使用动态规划。我们在数值实验中验证了该框架，并将最优在线策略与批量设置的策略进行了比较。
2022-03-29 cs.LG cs.SY eess.SY
Online Planning for Decentralized Stochastic Control with Partial History Sharing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在分散随机控制中，由于需要保持复杂的信息状态，用于顺序决策的标准方法，例如动态规划，很快变得难以处理。如果代理不具备完整的模型知识，计算挑战将进一步加剧。在本文中，我们利用这一事实，在许多问题中，代理共享一些共同的信息，或历史，称为部分历史共享。在这种信息结构下，策略搜索空间大大减小。我们提出了一个可证明收敛，在线树搜索算法，不需要一个封闭的形式模型或明确的代理之间的通信。有趣的是，我们的算法可以被看作是一个推广的几个现有的启发式求解分散部分可观察马尔可夫决策过程。为了证明该模型的适用性，我们提出了一种新的协同入侵响应模型，其中多个代理（防御者）拥有不对称的信息，旨在协同防御计算机网络。数值结果表明，我们的算法的性能。
2019-08-06 cs.AI cs.LG cs.MA
Online Prediction With History-Dependent Experts: The General Case
University of Minnesota（明尼苏达大学）
我们研究的问题预测的二进制序列与专家的意见，在在线设置，这是一个经典的例子在线机器学习。我们将二元序列解释为股票的价格历史，并将预测者视为投资者，这将问题转化为股票预测问题。在这个框架中，预测股票每日走势的投资者和控制股票的敌对市场在$N$回合中相互博弈。投资者结合$n\geq 2$专家的预测，以决定在每轮投资多少，并旨在最大限度地减少他们对游戏结束时表现最好的专家的遗憾。我们考虑的问题与历史依赖的专家，其中每个专家使用前$d$天的历史市场在作出他们的预测。我们证明了这个博弈的值函数，适当地重新标度，以$O(N^{-1/6})$的速度收敛为$N\to \infty$到非线性退化椭圆型偏微分方程的黏性解，这可以理解为两人博弈的Hamilton-Jacobi-Issacs方程。因此，我们能够推导出投资者的渐近最优策略。我们的结果扩展了第一作者和R. V. Kohn [13]为$n=2$专家和$d\leq 4$历史日建立的结果。出现在纯数学和应用数学通讯。
2020-12-29 cs.GT cs.LG math.AP
Online Markov decision processes with policy iteration
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
在线马尔可夫决策过程（MDP）是经典马尔可夫决策过程的推广，它包含了不断变化的奖励函数。在本文中，我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是，它可以很容易地与函数逼近相结合，从而可以有效地处理大的和可能连续的状态空间。通过实验，我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
A Reinforcement Learning Approach to Online Learning of Decision Trees
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
在线决策树学习算法通常检查新数据点的所有特征以更新模型参数。我们提出了一种新的替代方案，基于强化学习的决策树（RLDT），它使用强化学习（RL）主动检查数据点的最小数量的特征，以高精度对其进行分类。此外，RLDT优化了长期回报，提供了一个更好的替代传统的短视贪婪的方法来增长决策树。我们证明，这种方法执行以及批处理学习算法和其他在线决策树学习算法，同时使显着更少的查询的数据点的功能。我们还表明，RLDT可以有效地处理概念漂移。
2015-07-24 cs.LG
SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History
WeChat, Tencent Inc., China（腾讯微信，中国）
提出SkillHone框架，通过持久决策历史记录诊断、修订和证据，实现智能体技能的持续演化，在开放网络深度研究基准上超越现有方法。
2026-10-30 cs.LG
Cost-Efficient Online Decision Making: A Combinatorial Multi-Armed Bandit Approach
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Volvo Car Corporation（沃尔沃汽车公司）
本文基于组合多臂老虎机提出了一种考虑测试成本的在线决策新框架，利用后验采样或BayesUCB进行探索，并提供了Thompson Sampling的理论分析与实验验证。
2025-01-28 cs.LG
Blackwell Online Learning for Markov Decision Processes
New York University（纽约大学）
这项工作提供了一个新的解释马尔可夫决策过程（MDP）从在线优化的观点。在这样的在线优化上下文中，MDP的策略被视为决策变量，而相应的价值函数被视为来自环境的回报反馈。基于这种解释，我们构建了一个Blackwell游戏诱导的MDP，它的桥梁之间的差距遗憾最小化，Blackwell可接近性理论，学习理论MDP。具体来说，从可逼近性理论，我们提出了1）Blackwell值迭代离线规划和2）Blackwell $Q-$学习在线学习在MDP，这两个都被证明是收敛到最优解。我们的理论保证得到了数值实验的证实。
2020-12-28 cs.LG
Inverse Reinforcement Learning with Switching Rewards and History Dependency for Characterizing Animal Behaviors
Georgia Institute of Technology, Atlanta, GA, USA（佐治亚理工学院）；Emory University, Atlanta, GA, USA（埃默里大学）
提出SWIRL框架，通过结合时变和历史依赖的奖励函数，将长行为序列建模为短期决策过程间的转换，有效捕捉动物基于历史的复杂长期决策行为。
2025-07-15 cs.AI cs.LG
Reinforcement Learning for Multi-Objective Optimization of Online Decisions in High-Dimensional Systems
TCS Research（塔塔咨询服务公司研究部）；Robert Bosch Centre for Data Science and AI, IIT Madras（罗伯特·博世数据科学与人工智能中心，印度理工学院马德拉斯分校）；IIT Madras（印度理工学院马德拉斯分校）；IIT Bombay（印度理工学院孟买分校）
本文描述了一个纯粹的数据驱动的解决方案，一类顺序决策问题，大量的并发在线决策，与应用程序的计算系统和运筹学。我们假设，虽然系统的微观层面的行为可以广泛地捕捉到的分析表达式或模拟，宏观层面或紧急的行为是复杂的非线性，约束和随机性。如果我们把要计算的并发决策集表示为一个向量，则假设向量的每个元素都是连续变量，并且这些元素的数量是任意大的，并且从一个问题实例到另一个问题实例是可变的。我们首先将决策问题表述为规范的强化学习（RL）问题，可以使用纯数据驱动技术来解决。我们修改了一个标准的方法称为优势演员评论家（A2C），以确保其适合手头的问题，并比较其性能的基准方法的多产品库存管理任务的具体实例。关键的修改包括决策任务的并行制定，以及明确识别不同决策之间的定量关系的训练程序。我们还提出了实验结果，探索学习的政策，以及它们对数据变化的鲁棒性。
2019-10-01 cs.AI cs.LG cs.SY
Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision
The Chinese University of Hong Kong（香港中文大学）；Tencent（腾讯）；Chongqing University（重庆大学）
对于拥有大量记录数据的公司来说，一个基本问题是：如何将这些记录数据与传入的流数据一起使用，以做出正确的决策？许多公司目前通过在线A/B测试做出决策，但在测试过程中的错误决策会伤害用户体验并造成不可逆转的损害。一个典型的替代方案是离线因果推理，它只分析记录的数据来做出决策。然而，这些决策并不适应新的传入数据，因此错误的决策将不断损害用户的体验。为了克服上述限制，我们提出了一个框架来统一离线因果推理算法（例如，加权，匹配）和在线学习算法（例如，UCB、LinUCB）。我们提出了新的算法，并通过“遗憾”的概念，得出的决策精度的界限。我们推导出基于森林的在线强盗算法的第一个后悔上界。两个真实数据集上的实验表明，我们的算法优于其他算法，只使用日志数据或在线反馈，或算法不正确使用的数据。
2020-11-07 cs.LG stat.ML
Online Local Boosting: improving performance in online decision trees
Londrina State University（隆德里纳州立大学）；University of São Paulo（圣保罗大学）
随着每天产生的数据越来越多，数据流挖掘的重要性也越来越大，这表明需要能够快速处理这些数据的算法。数据流挖掘算法是专门针对连续数据问题的在线知识提取解决方案。目前的数据流挖掘算法中，有许多算法的处理和存储开销都很大.通常，预测性能越高，这些成本就越高。为了在不增加内存和时间开销的情况下提高预测性能，提出了一种新的在线局部提升算法（OLBoost），该算法可以与在线决策树算法相结合，在不改变诱导决策树结构的情况下提高其预测性能.为此，OLBoost会对实例空间的小的单独区域应用提升。实验结果表明，通过使用OLBoost，在线学习决策树算法的预测性能得到了显著提高。此外，它可以使较小的树表现得与较大的树一样好或更好。
2019-07-16 cs.LG stat.ML
Online Two-stage Thermal History Prediction Method for Metal Additive Manufacturing of Thin Walls
Simon Fraser University（西蒙菲莎大学）；Tampere University（坦佩雷大学）
本文提出一种可集成于金属增材制造的在线两阶段热历史预测方法，结合逐层预测与降阶模型，在低成本台式机上0.1秒内完成待打印层温度场构建，微调后预测相对误差小于0.09，具有高效性和泛化能力。
2023-11-17 cs.LG
IBCB: Efficient Inverse Batched Contextual Bandit for Behavioral Evolution History
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对在线决策者行为演化历史带来的模仿学习挑战，提出逆批量上下文老虎机（IBCB）框架，将其转化为二次规划问题以高效估计奖励参数和策略，在合成与真实数据上优于现有算法且运行更快。
2025-04-03 cs.LG
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对在线决策Transformer（ODT）用低奖励离线数据预训练后在线微调效果差的问题，研究发现加入TD3梯度可有效提升其微调性能，为改进决策Transformer提供新方向。
2024-10-31 cs.AI cs.LG
Online Reinforcement Learning in Markov Decision Process Using Linear Programming
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对转移函数和奖励分布未知的回合制MDP在线强化学习问题，提出基于乐观思想与线性规划的高效模型算法，在高概率下实现更紧的遗憾界并降低计算成本。
2024-03-11 cs.LG cs.SY eess.SY
Distributed Online Submodular Maximization under Communication Delays: A Simultaneous Decision-Making Approach
University of Michigan（密歇根大学）
本文提出分布式在线贪心算法DOG，解决通信延迟下的子模优化问题，通过结合对抗性带宽学习与延迟反馈，在任意网络拓扑中实现同时决策，分析协调性能与收敛时间的权衡。
2026-08-14 cs.LG cs.MA cs.SY
Online Markov decision processes with Kullback-Leibler control cost
Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了在线控制问题，通过离散时间随机游走在有限状态空间中进行决策，采用KL散度作为控制成本，提出了一种计算高效且具有小遗憾的策略，并在目标跟踪任务中验证了其性能。
2014-01-14 cs.LG cs.SY eess.SY
Online Finetuning Decision Transformers with Pure RL Gradients
University of California, Riverside（加州大学河滨分校）
本文提出通过纯强化学习梯度改进决策变压器的在线微调方法，引入子轨迹优化、序列级似然目标和主动采样，提升稳定性和探索效率，实现在多个基准上的最优性能。
2026-01-01 cs.AI cs.LG
Model-Based Online Decision Making via Generative Trajectory Planning
Harvard University（哈佛大学）
该研究提出基于模型的生成轨迹规划（GTP）框架，通过学习生成模型作为动作序列提议分布，在连续控制等任务中性能优于或匹配现有基准，为生成建模与基于模型决策结合提供新视角。
2026-10-14 cs.AI cs.LG cs.RO
Downstream-Aware Context Selection for Online In-Context Reinforcement Learning
提出有界历史上下文管理框架，预测移除历史交互的下游效应，动态决定保留历史量，在驾驶和ScienceWorld任务中减少令牌使用而不损性能。
2026-09-29 cs.LG
On Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们开发的算法与低遗憾学习情节马尔可夫决策过程的核近似技术的基础上。该算法的基础上的置信上限（UCB）以及后验或汤普森采样（PSRL）的哲学，并在一般设置的连续状态和动作空间时，真正的未知的过渡动态被假定为具有平滑引起的适当的再生核希尔伯特空间（RKHS）。
2019-11-04 cs.LG stat.ML
Online Decision Deferral under Budget Constraints
Georgia Institute of Technology（佐治亚理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
本文针对预算约束下模型与专家决策延迟的在线自适应问题，提出上下文赌博机框架及其高效扩展，在真实数据集上验证了显著性能。
2024-09-30 cs.LG
Online Algorithmic Recourse by Collective Action
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文研究在线算法救济设定，提出用户通过集体行动联合计算特征扰动以动态影响系统参数更新，实验证明该方法能有效改善救济效果并缓解不利自动化决策。
2023-12-29 cs.LG
Online Adaptive Decision Fusion Framework Based on Entropic Projections onto Convex Sets with Application to Wildfire Detection in Video
Bilkent University（比尔肯特大学）；Texas A&M University at Qatar（德州农工大学卡塔尔分校）
本文提出了一种基于熵泛函的在线自适应决策融合（EADF）框架，用于图像分析和计算机视觉应用。在这个框架中，假设复合算法由几个子算法组成，每个子算法产生自己的决策，作为以零为中心的实数，表示该特定子算法的置信水平。决策值与权值线性组合，权值根据一种基于熵投影到描述子算法的凸集上的主动融合方法在线更新。它是假设有一个预言家，通常是一个人的操作员，提供反馈的决策融合方法。一个基于视频的野火检测系统的开发，以评估该算法在处理数据顺序到达的问题的性能。在这种情况下，预言机是森林了望塔的安全警卫，验证组合算法的决定。仿真结果。EADF框架还使用标准数据集进行了测试。
2011-01-25 cs.CV cs.LG
Dynamic Regret of Online Markov Decision Processes
Nanjing University（南京大学）
我们研究在线马尔可夫决策过程（MDP）的不利变化的损失函数和已知的过渡。我们选择动态后悔作为绩效指标，定义为学习者与任何可行的改变策略序列之间的绩效差异。该措施是严格强于标准的静态后悔基准学习者的表现与一个固定的比较政策。我们认为在线MDP的三个基本模型，包括情节无环随机最短路径（SSP），情节SSP，和无限地平线MDP。对于这三个模型，我们提出了新的在线集成算法，并建立他们的动态后悔保证，其中的结果情节（无环）SSP是可证明的minimax最优的时间范围和一定的非平稳性措施。此外，当学习者遇到的在线环境是可预测的，我们设计了改进的算法，并实现了更好的动态遗憾界的情节（无循环）SSP，而且，我们证明了不可能的结果为无限地平线MDPs。
2022-08-26 cs.LG stat.ML
Inverse Multiobjective Optimization Through Online Learning
Amazon（亚马逊）；University of Pittsburgh（匹兹堡大学）
我们研究的问题，学习的目标函数或约束的多目标决策模型的基础上，一组顺序到达的决定。特别是，这些决策可能不准确，可能带有测量噪声，或者是决策者有限理性的结果。在本文中，我们提出了一个通用的在线学习框架来处理这个学习问题，使用逆多目标优化。更准确地说，我们开发了两个在线学习算法与隐式更新规则，可以处理噪声数据。数值结果表明，这两种算法都能很好地学习参数，并且对噪声具有很好的鲁棒性。
2022-12-24 cs.LG math.OC
The Bayesian Prophet: A Low-Regret Framework for Online Decision Making
Cornell University（康奈尔大学）
我们开发了一个新的框架，用于设计在线政策的访问提供统计信息的离线基准的甲骨文。访问这样的预测预言使简单而自然的贝叶斯选择策略成为可能，并提出了这些策略在不同环境中如何执行的问题。我们的工作对这个问题做出了两个重要的贡献：首先，我们开发了一种通用的技术，我们称之为补偿耦合，它可以用来推导出预期后悔的界限（即，相对于基准的附加损失）。其次，使用这种技术，我们证明了一个自然的贪婪策略，我们称之为 * 贝叶斯定理 *，具有恒定的预期后悔（即，独立于到达的数量和资源水平）的一大类问题，我们称之为有限类型的在线分配，其中包括广泛研究的在线包装和在线匹配问题。我们的研究结果概括和简化了在线包装和在线匹配的几个现有的结果，并提出了一个有前途的途径，为其他在线决策设置获得甲骨文驱动的政策。
2020-02-26 cs.DS cs.LG math.PR
Online Decision Transformer
Meta AI Research（Meta人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
最近的工作表明，离线强化学习（RL）可以被公式化为序列建模问题（Chen et al.，2021; Janner等人，2021年），并通过类似于大规模语言建模的方法解决。然而，RL的任何实际实例化都涉及在线组件，其中在被动离线数据集上预训练的策略通过与环境的特定任务交互进行微调。我们提出了在线决策Transformers（ODT），一种基于序列建模的RL算法，在一个统一的框架中将离线预训练与在线微调相结合。我们的框架结合自回归建模目标使用序列级熵正则化器，以进行样本有效的探索和微调。从经验上讲，我们表明，ODT是有竞争力的国家的最先进的绝对性能的D4 RL基准，但在微调过程中显示出更显着的收益。
2022-07-13 cs.AI cs.LG
Online Learning of Decision Trees with Thompson Sampling
LIX, Ecole Polytechnique, IP Paris（巴黎综合理工学院LIX实验室，巴黎理工学院）；AI Institute, University of Waikato（怀卡托大学人工智能研究所）；LTCI, Télécom Paris, IP Paris（巴黎高等电信学院LTCI实验室，巴黎理工学院）
针对现有批量决策树算法无法适配在线流数据且贪心策略难保证全局最优的问题，提出基于汤普森采样的在线决策树算法TSDT，证明其几乎必然收敛到最优树，且在多个基准上性能优于现有算法。
2024-04-09 cs.LG
Data-Driven Online Decision Making with Costly Information Acquisition
University of California, Los Angeles（加州大学洛杉矶分校）；University of Oxford（牛津大学）
在大多数现实环境中，如推荐系统、金融和医疗保健，收集有用的信息是昂贵的，需要决策者做出积极的选择。决策者需要同时学习进行哪些观察和采取哪些行动。本文将信息获取决策纳入在线学习框架中。我们提出了两种不同的算法，这个双重学习问题：Sim-OOS和Seq-OOS的意见，同时和顺序，分别。我们证明，这两种算法实现了遗憾，是次线性的时间。开发的框架和算法可以用于许多应用，包括医疗信息学，推荐系统和交通，金融，网络安全等方面的可操作智能，在做出决定之前收集信息是昂贵的。我们验证我们的算法在乳腺癌的例子设置中，我们表现出显着的性能增益，我们提出的算法。
2017-10-21 cs.LG stat.ML
Decision Variance in Online Learning
Cornell University（康奈尔大学）
传统上，在线学习关注的是预期的回报。本文研究了在收益均值-方差性能测度下的风险规避在线学习问题。同时考虑了强盗和全信息设置。几个现有的政策的性能进行了分析，并建立了新的基本限制风险规避学习。特别是，它表明，虽然对数分布依赖的遗憾时间$T$是可以实现的（类似于风险中性的问题），最坏的情况下（即极大极小）遗憾是下界的$Ω(T)$（相反，$Ω(\sqrt{T})$下界的风险中性的问题）。这种与风险中性对应物的急剧差异是由玩家决策的方差引起的，而在预期奖励标准下的遗憾中不存在这种差异，这有助于由于这种风险度量的非线性而导致过度的均值方差。决策方差在后悔表现中的作用反映了风险厌恶型玩家对稳健决策和结果的渴望。
2019-03-14 cs.LG stat.ML
Conditioning Sparse Variational Gaussian Processes for Online Decision-making
New York University（纽约大学）
高斯过程（GP）具有不确定性的原则性表示和封闭形式的后验更新，是在线决策的自然选择。然而，高斯过程通常至少需要针对$n$训练点的$\mathcal{O}(n^2)$计算，从而限制了它们的一般适用性。随机变分高斯过程（SVGPs）可以为固定大小的数据集提供可扩展的推理，但很难有效地对新数据进行约束。我们提出了在线变分条件（OVC），一个程序，有效地调节SVGP在在线设置，不需要重新训练，通过证据下限与添加新的数据。OVC使SVGP与先进的前瞻采集功能配对，用于黑盒优化，即使是非高斯似然。我们表明OVC在一系列应用中提供了令人信服的性能，包括疟疾发病率的主动学习和MuJoCo模拟机器人控制任务的强化学习。
2021-10-28 cs.LG stat.ML
Scale-Free Algorithms for Online Linear Optimization
Yahoo Labs（雅虎实验室）
我们设计的在线线性优化算法，具有最佳的遗憾，并在同一时间不需要知道任何上限或下限的损失向量的范数。我们通过尺度不变性实现对损失向量范数的自适应，即，如果损失向量序列乘以任何正常数，我们的算法会做出完全相同的决定。我们的算法适用于任何决策集，有界或无界。对于无界决策集，这些是第一个真正的在线线性优化自适应算法。
2015-07-01 cs.LG math.OC
Predicting Consumer Purchasing Decision in The Online Food Delivery Industry
American University of Sharjah（沙迦美国大学）
近年来，送餐业务向在线平台的转型受到了高度关注。这是由于定制订购体验的可用性，简单的支付方式，快速交付等。线上送餐供应商之间的竞争加剧，以获得更广泛的客户。因此，他们应该更好地了解客户的需求，并预测他们的购买决策。机器学习对公司的底线有着重大影响。它们用于在依赖大数据的行业中构建模型和策略，并需要一个系统来快速有效地评估它。预测建模是一种类型的机器学习，它使用各种回归算法、分析和统计来估计发生的概率。预测模型的引入有助于在线食品配送提供商了解他们的客户。在这项研究中，提供了从印度班加罗尔的388名消费者收集的数据集来预测他们的购买决策。四个预测模型被认为是：CART和C4.5决策树，随机森林，基于规则的分类器，并在提供正确的类标签的准确性进行评估。结果表明，所有模型的性能相似，但C4.5的准确率为91.67%。
2021-10-01 cs.LG stat.ML
Statistical Inference for Online Decision-Making: In a Contextual Bandit Setting
North Carolina State University（北卡罗来纳州立大学）
在线决策问题要求我们根据增量信息做出一系列决策。常见的解决方案通常需要学习给定上下文信息的不同行为的奖励模型，然后最大化长期奖励。了解所提出的模型是否合理，以及模型在渐近意义下的表现如何，是很有意义的。我们在线性报酬模型的情境强盗框架下研究了这个问题。采用$\varepsilon$ -贪婪策略来解决经典的探索和利用困境。利用鞅中心极限定理，证明了模型参数的在线普通最小二乘估计是渐近正态的。当线性模型被误定时，我们提出了利用逆倾向得分加权的在线加权最小二乘估计，并建立了其渐近正态性。基于参数估计的性质，我们进一步证明了样本内逆倾向加权值估计是渐近正态的。我们说明我们的结果使用模拟和应用程序的新闻文章推荐数据集从雅虎！
2020-10-14 cs.LG stat.ML
An Online Optimization-Based Decision Support Tool for Small Farmers in India: Learning in Non-stationary Environments
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）
本文针对印度小农户缺乏作物管理决策支持工具的问题，将温室建模为MDP并采用FWL在线学习算法提供作物规划建议，在仿真中实现与离线规划相同的累计收入且运行时间大幅缩短。
2023-11-28 cs.CY cs.LG
OnDeFog: Online Decision Transformer under Frame Dropping
Yokohama National University（横滨国立大学）
针对帧丢失导致性能下降的问题，提出OnDeFog，将DeFog机制与在线决策变压器结合，通过直接环境交互学习策略，在高丢帧率环境下优于ODT，在低奖励数据集上优于DeFog。
2026-06-19 cs.AI cs.LG
Should Decision-Makers Reveal Classifiers in Online Strategic Classification?
Harvard University（哈佛大学）；TTIC；UC Berkeley（伯克利大学）
本文研究在线策略分类中隐藏分类器对决策者表现的影响，证明在智能体基于历史分类器加权平均进行操纵时，决策者错误数会以与操纵图最大入度和折扣因子相关的倍数增加，从而揭示隐藏分类器可能适得其反。
2025-06-02 cs.GT cs.LG
