Statistical Inference for Online Decision-Making: In a Contextual Bandit Setting
North Carolina State University（北卡罗来纳州立大学）
在线决策问题要求我们根据增量信息做出一系列决策。常见的解决方案通常需要学习给定上下文信息的不同行为的奖励模型，然后最大化长期奖励。了解所提出的模型是否合理，以及模型在渐近意义下的表现如何，是很有意义的。我们在线性报酬模型的情境强盗框架下研究了这个问题。采用$\varepsilon$ -贪婪策略来解决经典的探索和利用困境。利用鞅中心极限定理，证明了模型参数的在线普通最小二乘估计是渐近正态的。当线性模型被误定时，我们提出了利用逆倾向得分加权的在线加权最小二乘估计，并建立了其渐近正态性。基于参数估计的性质，我们进一步证明了样本内逆倾向加权值估计是渐近正态的。我们说明我们的结果使用模拟和应用程序的新闻文章推荐数据集从雅虎！
2020-10-14 cs.LG stat.ML
Corruption-Robust Algorithms with Uncertainty Weighting for Nonlinear Contextual Bandits and Markov Decision Processes
The Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对非线性上下文赌博机和情景MDP，提出基于不确定性加权最小二乘回归的抗对抗性损坏算法，实现 $\tilde{O}(\sqrt{T}+ζ)$ 遗憾界，首次在一般函数逼近下达成对损坏水平的加性依赖。
2024-02-10 cs.LG stat.ML
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research（IBM研究院）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中在每个决策处使用的上下文可能被破坏（“无用上下文”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置，我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同，我们能够从所有迭代中学习，即使是那些有损坏的上下文，通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
On Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们开发的算法与低遗憾学习情节马尔可夫决策过程的核近似技术的基础上。该算法的基础上的置信上限（UCB）以及后验或汤普森采样（PSRL）的哲学，并在一般设置的连续状态和动作空间时，真正的未知的过渡动态被假定为具有平滑引起的适当的再生核希尔伯特空间（RKHS）。
2019-11-04 cs.LG stat.ML
Model-based RL in Contextual Decision Processes: PAC bounds and Exponential Improvements over Model-free Approaches
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
我们研究了样本复杂性的基于模型的强化学习（以下简称RL）在一般的上下文决策过程中，需要战略探索，以找到一个接近最优的政策。我们设计了一个通用的模型类RL的新算法，并分析其统计特性。我们的算法样本的复杂性由一个新的结构参数称为证人的排名，我们证明是小的几个设置的兴趣，包括因素的MDP。我们还表明，证人秩永远不会大于最近提出的Bellman秩参数，该参数控制无模型算法OLIVE的样本复杂度（Jiang et al.，2017年），唯一的其他可证明的样本有效的算法，在这个水平的一般性的全球探索。聚焦于因子化的MDP的特殊情况，我们证明了一般类无模型方法的指数下界，包括OLIVE，当与我们的算法结果相结合时，在一些丰富的观测设置中，基于模型的RL和无模型RL之间表现出指数分离。
2019-05-30 cs.LG stat.ML
Contextual Online Decision Making with Infinite-Dimensional Functional Regression
Center for Computational Science and Engineering, MIT（麻省理工学院计算科学与工程中心）；Institute for Data, Systems, and Society, MIT（麻省理工学院数据、系统与社会研究所）；Department of Civil and Environmental Engineering, MIT（麻省理工学院土木与环境工程系）；Department of EECS, MIT（麻省理工学院电气工程与计算机科学系）
本文提出了一个通用的可容许算法框架，通过高效的无限维函数回归预言机直接学习上下文累积分布函数，解决了不可数无限维回归导致的无限遗憾问题，并证明了其效用遗憾率受积分算子特征值衰减率控制。
2025-01-30 cs.LG stat.ML
Refined Analysis of FPL for Adversarial Markov Decision Processes
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们考虑对抗马尔可夫决策过程（MDP）问题，其中MDP的奖励可以被对抗地选择，并且转移函数可以是已知的或未知的。在这两种情况下，在以前的文献中已经提出了基于跟随扰动领导者（FPL）的算法。然而，基于FPL的算法建立的遗憾界比基于镜像下降的算法差。我们改进了FPL算法的分析，在这两种设置，匹配当前最好的遗憾界限，使用更快，更简单的算法。
2020-08-21 cs.LG stat.ML
MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings
Seoul National University（首尔国立大学）；Ulsan National Institute of Science and Technology (UNIST)（釜山国立科学技术研究所（UNIST））
MATE通过使用累积转移嵌入的记忆架构，解决了由未观察上下文参数化的上下文马尔可夫决策过程（CMDPs），在保持后验信念的同时，避免了传统方法的计算和梯度问题，实现了高效且性能优异的解决方案。
2026-05-17 cs.AI cs.LG
Latency-Aware Contextual Bandit: Application to Cryo-EM Data Collection
Life Sciences Institute（生命科学研究院）；Department of Statistics（统计学系）；Department of Biological Chemistry（生物化学系）
本文提出延迟感知上下文赌博机框架及COAF算法，平衡探索、利用与延迟，在冷冻电镜数据采集等场景中高效最大化累积奖励。
2025-10-09 cs.LG stat.ML
A Sliding-Window Algorithm for Markov Decision Processes with Arbitrarily Changing Rewards and Transitions
Montanuniversität Leoben（莱奥本矿业大学）
我们考虑在改变马尔可夫决策过程中的强化学习，其中状态转移概率和奖励函数都可能随时间而变化。对于这个问题的设置，我们提出了一个算法，使用滑动窗口的方法，并提供性能保证的最佳非平稳政策评估的遗憾。我们还描述了适合我们的算法的最佳窗口大小。这些结果的补充样本的复杂性约束的次优的步骤所采取的算法。最后，我们提出了一些实验结果来支持我们的理论分析。
2018-05-25 cs.LG stat.ML
Inverse Contextual Bandits: Learning How Behavior Evolves over Time
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）
通过观察决策者的行为来了解他们的优先事项对于决策过程（例如医疗保健）的透明度和问责制至关重要。尽管传统的策略学习方法几乎总是假设行为是平稳的，但在实践中这几乎是不正确的：随着临床专业人员不断调整他们的知识，医疗实践也在不断发展。例如，随着医学界对器官移植的理解多年来的发展，一个相关的问题是：实际的器官分配政策是如何演变的？为了给出答案，我们希望一个策略学习方法，提供可解释的决策表示，特别是捕捉代理的非静态知识的世界，以及在离线的方式操作。首先，我们根据上下文强盗来建模决策者的演变行为，并形式化逆上下文强盗（ICB）问题。其次，我们提出了两个具体的算法作为解决方案，学习参数和非参数表示代理的行为。最后，使用真实和模拟数据的肝移植，我们说明了我们的方法的适用性和可解释性，以及基准测试和验证其准确性。
2022-06-08 cs.LG stat.ML
Making Contextual Decisions with Low Technical Debt
Microsoft Research（微软研究院）；Microsoft（微软）
应用程序和系统经常面临需要根据上下文信息从一组操作中进行选择的决策。基于强化的学习算法（如上下文强盗）在这些环境中可能非常有效，但在实践中应用它们充满了技术债务，并且不存在完全支持它们的通用系统。我们解决了这个问题，并创建了第一个通用的上下文学习系统，称为决策服务。现有的系统经常受到技术债务的困扰，这些债务是由不正确的数据汇集和弱可调试性等问题引起的，我们通过ML方法和系统抽象系统地解决这些问题。决策服务使用四个系统抽象来实现上下文强盗学习的所有方面，这些抽象在一个循环中连接在一起：探索（决策空间），日志，学习和部署。值得注意的是，我们新的探索和日志抽象确保系统生成正确，无偏见的数据，我们的学习者使用这些数据进行在线学习，并以完全可复制的方式实现实时保障。决策服务有一个简单的用户界面，并与各种应用程序：我们提出了两个实时生产部署的内容推荐，实现了25- 30%的点击率提高，另一个与18%的收入提升在着陆页，和正在进行的应用程序在技术支持和机器故障处理。该服务可以做出实时决策，并持续、可扩展地学习，同时显著降低技术债务。
2017-05-09 cs.DC cs.LG
Stepsize Learning for Policy Gradient Methods in Contextual Markov Decision Processes
Politecnico di Milano（米兰理工大学）
针对基于策略的无模型强化学习超参数难调、异构任务表现差的问题，提出meta-MDP元强化学习框架，可动态推荐步长，经实验验证在异构环境中具备优势。
2023-06-13 cs.LG
Contextual Bandit with Missing Rewards
IBM Research AI（IBM研究院人工智能）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中与每个基于上下文的决策相关联的奖励可能并不总是被观察到（“丢失奖励”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决缺失的奖励设置，我们建议将标准的上下文强盗方法与聚类等无监督学习机制相结合。与标准的上下文强盗方法不同，通过利用聚类来估计缺失的奖励，我们能够从每个传入事件中学习，即使是那些缺失奖励的事件。在几个现实生活中的数据集上获得了有希望的实证结果。
2020-07-19 cs.AI cs.LG stat.ML
Online Markov decision processes with policy iteration
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
在线马尔可夫决策过程（MDP）是经典马尔可夫决策过程的推广，它包含了不断变化的奖励函数。在本文中，我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是，它可以很容易地与函数逼近相结合，从而可以有效地处理大的和可能连续的状态空间。通过实验，我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Efficient and Optimal Algorithms for Contextual Dueling Bandits under Realizability
Microsoft Research（微软研究院）
我们研究了$K$ -武装上下文决斗强盗问题，一个顺序的决策设置，学习者使用上下文信息做出两个决定，但只观察到\emph{preference-based feedback}表明，一个决定是优于其他。我们专注于可实现性下的后悔最小化问题，其中反馈是由一个成对的偏好矩阵，以及指定的一个给定的函数类$\mathcal F$。我们提供了一个新的算法，实现了最佳的遗憾率的最佳对策遗憾，这是一个严格的更强的性能指标比以前的作品中考虑的新概念。该算法也是计算效率高，在多项式时间内运行，假设访问一个在线的oracle平方损失回归$\mathcal F$。这解决了Dudík等人的一个公开问题。[2015]关于上下文决斗强盗的Oracle有效，遗憾最优算法。
2021-11-24 cs.LG
Markov Abstractions for PAC Reinforcement Learning in Non-Markov Decision Processes
Sapienza University of Rome（罗马第一大学）
我们的工作旨在开发不依赖于马尔可夫假设的强化学习算法。我们考虑一类非马尔可夫决策过程的历史可以抽象成一个有限的状态集，同时保持动态。我们称之为马尔可夫抽象，因为它在编码非马尔可夫动态的一组状态上诱导马尔可夫决策过程。这种现象是最近引入的规则决策过程（以及POMDP，其中只有有限数量的信念状态是可达的）的基础。在所有这些类型的决策过程中，使用马尔可夫抽象的代理可以依靠马尔可夫属性来实现最佳行为。我们表明，马尔可夫抽象可以在强化学习。我们的方法结合了自动机学习和经典的强化学习。对于这两个任务，可以采用标准算法。我们表明，我们的方法有PAC的保证时，所采用的算法有PAC的保证，我们还提供了一个实验评估。
2022-05-18 cs.AI cs.LG
Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media
Radio Télévision Suisse（瑞士广播电视台）；EPFL（苏黎世联邦理工学院）
提出上下文标量化汤普森采样（CSTS）方法，通过学习上下文相关的目标权重，在公共媒体推荐中平衡多个竞争目标，实验表明其优于固定权重和标准上下文赌博机方法。
2026-09-15 cs.IR cs.LG
Random Forest for the Contextual Bandit Problem - extended version
Orange Labs（Orange实验室）
为了解决上下文强盗问题，我们提出了一个在线的随机森林算法。所提出的算法的分析是基于样本的复杂性需要找到最佳的决策树桩。然后，决策树被组装成一个随机的决策树集合，即Bandit Forest。我们表明，该算法是最佳的对数因子。样本复杂度对上下文变量数量的依赖性是对数的。该算法的计算成本相对于时间范围是线性的。这些分析结果允许所提出的算法在实际应用中是有效的，其中要处理的事件的数量是巨大的，并且其中我们期望从大集合中选择的一些上下文变量与奖励具有潜在的非线性依赖关系。在实验中做了说明的理论分析，强盗森林获得了可喜的结果相比，国家的最先进的算法。
2016-09-15 cs.LG
AgentBuddy: A Contextual Bandit based Decision Support System for Customer Support Agents
Intuit（财捷公司）
在这篇简短的论文中，我们提出了早期的见解，从决策支持系统的客户支持代理（CSA）服务客户的领先的会计软件。该系统正在开发中，旨在向委员会审议大会提供建议，使其更有成效。该解决方案的一个独特之处在于使用了强盗算法来创建一个易于处理的人在环系统，该系统可以在线方式从CSA学习。除了讨论ML方面，我们还提出了从CSA的早期反馈中收集的重要见解。这些见解激发了我们未来的工作，也可能会引起ML从业者的更广泛兴趣。
2019-02-24 cs.AI cs.LG
Minimizing the Outage Probability in a Markov Decision Process
Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）
标准马尔可夫决策过程（MDP）和强化学习算法相对于期望增益来优化策略。我们提出了一种算法，使优化的替代目标：增益大于给定值的概率。该算法可以看作是数值迭代算法的一种推广。我们还展示了如何将所提出的算法推广到使用神经网络，类似于Q学习的深度Q学习扩展。
2023-03-03 cs.LG
Decision-Focused On-Policy Learning for Contextual Linear Optimization with Partial Feedback
Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运筹学系，加州大学伯克利分校）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院）
提出一种混合梯度估计方法，用于部分反馈下顺序上下文线性优化的在线策略学习，实现决策质量驱动的预测模型训练，并在多个基准上优于上下文多臂赌博机基线。
2026-10-09 cs.LG
A Mixed Observability Markov Decision Process Model for Musical Pitch
Sharif University of Technology（谢里夫理工大学）；University of Birmingham（伯明翰大学）
部分可观测马尔可夫决策过程已被广泛用于为现实世界的决策问题提供模型。在本文中，我们将提供一种方法，其中它们的一个稍微不同的版本称为混合可观测性马尔可夫决策过程，MOMDP，将加入我们的问题。基本上，我们的目标是提供一个行为模型的智能代理与音乐音高环境的互动，我们将展示如何MOMDP可以揭示一些光建立一个决策模型，音乐音高方便。
2012-06-05 cs.AI cs.LG
Blackwell Online Learning for Markov Decision Processes
New York University（纽约大学）
这项工作提供了一个新的解释马尔可夫决策过程（MDP）从在线优化的观点。在这样的在线优化上下文中，MDP的策略被视为决策变量，而相应的价值函数被视为来自环境的回报反馈。基于这种解释，我们构建了一个Blackwell游戏诱导的MDP，它的桥梁之间的差距遗憾最小化，Blackwell可接近性理论，学习理论MDP。具体来说，从可逼近性理论，我们提出了1）Blackwell值迭代离线规划和2）Blackwell $Q-$学习在线学习在MDP，这两个都被证明是收敛到最优解。我们的理论保证得到了数值实验的证实。
2020-12-28 cs.LG
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore（新加坡国立大学）
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法，证明了其收敛性，通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
Active Inference for Autonomous Decision-Making with Contextual Multi-Armed Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文将主动推理引入上下文多臂老虎机决策，提出基于变分和拉普拉斯近似的期望自由能计算方法，以较低计算成本实现更少迭代和更优累积遗憾。
2023-02-24 cs.LG cs.RO
Counterfactual Contextual Multi-Armed Bandit: a Real-World Application to Diagnose Apple Diseases
Free University of Bozen-Bolzano（博尔扎诺自由大学）；University of Milano-Bicocca（米兰比可卡大学）
苹果采后病害是苹果生产中的主要经济问题之一，给生产者造成严重的经济损失。因此，我们开发了DSSApple，一个基于图片的决策支持系统，能够帮助用户在苹果疾病的诊断。具体而言，本文解决了顺序优化的最佳诊断，利用过去的互动与系统及其上下文信息（即用户提供的证据）的问题。学习在线模型的同时优化其结果的问题通常在文献中通过随机主动学习范式（即上下文多臂强盗（CMAB））来解决。这种方法交互式地更新决策模型，考虑到每一轮中提供的背景下每一次过去交互的成功。然而，这些信息往往是部分的，不足以处理这样复杂的决策问题。另一方面，人的决定隐含地包括未观察到的因素（在文献中称为未观察到的混杂因素），显着有助于人的最终决定。在本文中，我们利用嵌入在观察到的人类决策的信息边缘化混杂因素，提高CMAB模型的能力，以确定正确的诊断。具体来说，我们提出了一个反事实的上下文多臂强盗，一个模型的基础上的因果概念的反事实。通过对应用程序进行大规模用户研究收集的数据，利用离线实验对所提出的模型进行了验证。结果证明，在预测正确的苹果病害的现实任务中，我们的模型能够优于传统的CMAB算法和观察到的用户决策。
2021-02-08 cs.AI cs.LG
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind（深度思维）
在这个简短的说明中，我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Flexible and Efficient Contextual Bandits with Heterogeneous Treatment Effect Oracles
Stanford University（斯坦福大学）
上下文强盗算法通常估计奖励模型以通知决策。然而，真正的奖励可能包含与决策无关的独立于行动的冗余。我们发现，估计任何解释行动之间奖励差异的函数，即治疗效果，都是更有效的数据。出于这一观察，最近的工作基于甲骨文的土匪算法的基础上，我们提供了第一个减少上下文土匪通用异构治疗效果估计，我们设计了一个简单的和计算效率高的算法，基于此减少。我们的理论和实验结果表明，异质性的治疗效果估计在上下文土匪提供了实际的优势，奖励估计，包括更有效的模型估计和更大的灵活性，以模型误指定。
2023-02-24 cs.LG math.ST stat.ME
Policy Optimization and Statistical Inference for Online Contextual Matrix Games
University of California, Irvine（加州大学欧文分校）；University of Michigan（密歇根大学）
针对策略收益随情境变化的在线博弈问题，提出在线上下文矩阵博弈框架与OnGameLearn算法，经模拟和酒店定价应用验证，可有效平衡探索利用并具备统计保证。
2026-08-19 cs.LG math.ST stat.ME
Mean-Variance Optimization in Markov Decision Processes
Technion（以色列理工学院）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑有限时域马尔可夫决策过程下的性能指标，涉及的平均值和方差的累积奖励。我们发现，无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的，而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
Decision Making Agent Searching for Markov Models in Near-Deterministic World
Eötvös Loránd University（厄特沃什·罗兰大学）
强化学习具有坚实的基础，但在部分观察（非马尔可夫）环境中变得低效。因此，一个学习代理--天生就有一个表示和一个策略--可能希望研究马尔可夫性质在多大程度上成立。我们提出了一个学习架构，利用组合策略优化来克服非马尔可夫性，并开发有效的行为，这是很容易继承的，测试的行为状态的马尔可夫属性，并纠正非马尔可夫性通过运行一个确定性因子有限状态模型，它可以学习。我们说明了近确定性的女士吃豆人游戏中的架构的属性。我们从进化、个体和社会学习的角度分析了这种体系结构。
2011-03-01 cs.AI cs.LG
Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations
Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
控制应用程序通常具有类似但不完全相同的动态任务。我们介绍了隐参数马尔可夫决策过程（HiP-MDP），一个框架，参数化一个家庭的相关动力系统与一组低维的潜在因素，并介绍了半参数回归方法从数据中学习其结构。在控制设置中，我们表明，一个学习的HiP-MDP快速识别一个新的任务实例的动态，允许代理灵活地适应任务的变化。
2013-08-15 cs.AI cs.LG
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Sequential Contextual Fit Predicts Human Behavioural and Neural Dynamics Across Domains
Tongji University（同济大学）；Tuebingen University（图宾根大学）
本研究提出序列上下文匹配度（SCF）度量，基于嵌入和近期加权相似性核，跨多个领域预测人类行为与神经动态，且效果独立于既有预测器。
2026-09-18 cs.AI cs.LG
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
A Cantor-Kantorovich Metric Between Markov Decision Processes with Application to Transfer Learning
UCLouvain（天主教鲁汶大学）；Lund University（隆德大学）
本研究将马尔可夫链间的Cantor-Kantorovich距离拓展至马尔可夫决策过程场景，提出的度量定义良好且可在有限时域下高效近似，数值实验验证其可用于预测强化学习中迁移学习算法的性能。
2024-07-11 cs.AI cs.LG
An Efficient Solution to s-Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
我们提出了一个有效的鲁棒值迭代\texttt{s} -矩形鲁棒马尔可夫决策过程（MDP）的时间复杂度相当于标准（非鲁棒）MDP这是显着快于任何现有的方法。我们这样做，通过推导出最佳的鲁棒贝尔曼算子的具体形式，使用我们的$L_p$水填充引理。我们揭示了最优策略的确切形式，这些策略是一种新的阈值策略，其采取行动的概率与其优势成正比。
2023-01-31 cs.LG math.OC
Scalable Verification of Markov Decision Processes
Inria Rennes – Bretagne Atlantique（法国国家信息与自动化研究所雷恩－布列塔尼大西洋中心）
马尔可夫决策过程（MDP）是有用的模型并发过程优化问题，但验证它们的数值方法往往是棘手的。现有的近似方法不能很好地扩展，并且仅限于无记忆存储器。在这里，我们提出了MDPS的可扩展性验证的基础上，使用一个O（1）的历史相关的存储器表示。因此，我们促进可扩展的学习技术和大规模并行验证的使用。
2014-09-17 cs.DC cs.DS cs.LG
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明，在单链马尔可夫决策过程中的最优（平稳）政策的组合是最优的。也就是说，设M是一个具有状态空间S，动作空间A和策略π_j^* 的单链马尔可夫决策过程：S -> A（1 \leq j \leq n），具有最优的平均无限时域报酬。然后这些策略的任何组合π，其中对于S中的每个状态i，存在j使得π（i）=π_j^*（i），也是最优的。此外，我们证明了任何最优策略的混合，其中在状态i的每次访问中，选择最优策略的任意动作π_j^*（i），也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Learning the Markov Decision Process in the Sparse Gaussian Elimination
Giga Design Automation Co., Ltd（Giga设计自动化有限公司）；Shenzhen 518055, China（中国深圳518055）
提出了一种基于学习的稀疏高斯消去法。在现代稀疏求解器中存在着许多困难的组合最优化问题。这些NP难问题可以在马尔可夫决策过程的框架下得到解决，特别是Q学习技术。针对稀疏求解器的主要模块：最小度排序、任务调度和自适应旋转，提出了一些Q学习算法。最后，我们将稀疏求解器重新转换到Q-Learning的框架中。本文的研究是连接高斯消去法和马尔可夫决策过程这两个经典数学模型的第一步。我们的学习算法可以帮助提高稀疏求解器的性能，这已经在一些数值实验中得到验证。
2021-09-30 cs.LG cs.MS cs.NA
Dynamic Trust Calibration Using Contextual Bandits
Thayer School of Engineering（泰勒工程学院）；Dartmouth College（达特茅斯学院）
针对人机信任校准缺乏客观标准的问题，提出基于Contextual Bandits的动态指标，在三个数据集上使奖励提升10%至38%。
2025-09-27 cs.AI cs.HC cs.LG
Contextual Graph Markov Model: A Deep and Generative Approach to Graph Processing
University of Pisa（比萨大学）
我们介绍了上下文图马尔可夫模型，一种结合生成模型和神经网络的思想来处理图形数据的方法。它建立在一个建设性的方法，以建立一个深层次的架构，包括层的概率模型，学习以增量的方式编码的结构化信息。上下文以高效和可扩展的方式在图的顶点和边之间扩散。所得到的图形编码与判别模型结合使用，以解决结构分类基准。
2019-11-25 cs.AI cs.LG cs.NE
Structure Learning of Contextual Markov Networks using Marginal Pseudo-likelihood
马尔可夫网络是离散多变量系统的流行模型，其中变量的依赖结构由无向图指定。为了允许更有表现力的依赖结构，已经提出了马尔可夫网络的几种推广。在这里，我们考虑一类上下文马尔可夫网络，它考虑到可能的上下文特定的变量对之间的独立性。上下文马尔可夫网络的结构学习是非常具有挑战性的，由于非常大数量的可能结构。其中一个主要的挑战是设计一个分数，通过这个分数，可以根据与复杂性相关的模型拟合来评估结构，而不需要假设弦性。在这里，我们引入了边际伪似然作为一般上下文马尔可夫网络的分析易处理的标准。我们的标准是产生一个一致的结构估计。实验表明，我们的方法在推断模型的预测精度方面具有良好的性能。
2021-03-29 math.ST stat.ME stat.ML
Contextual Care Protocol using Neural Networks and Decision Trees
International Institute of Information Technology（国际信息技术学院）
背景护理协议由医疗从业者用于患者保健，给定指定患者所处的背景或情况。本文提出了一种建立自动化自适应协议的方法，该协议可以帮助做出相关的早期决策，以实现有效的医疗服务。混合模型利用神经网络和决策树。神经网络估计每种疾病的机会，并且决策树中的每棵树表示疾病的护理协议。如果诊断医生发现异常，这些树会发生变化。这些修正或预测错误被聚类到类似的组中，以便于专家进行可扩展性和审查。专家建议的修正已纳入模型。
2018-11-15 cs.CY cs.LG stat.ML
OTSS: Output-Targeted Soft Segmentation for Contextual Decision-Weight Learning
University of Michigan, Ross School of Business（密歇根大学商学院）
本文提出OTSS模型，通过学习可解释的决策因素权重向量，改进上下文决策权重学习，实验显示其在多个基准测试中均取得最低均后悔值，且效率显著高于EM方法。
2026-04-30 cs.LG stat.ML
Online Contextual Decision-Making with a Smart Predict-then-Optimize Method
University of California, Berkeley（加州大学伯克利分校）
我们研究了一个资源受限的在线上下文决策问题。在每个时间段，决策者首先根据给定的上下文向量预测奖励向量和资源消耗矩阵，然后解决下游优化问题以做出决策。决策者的最终目标是在满足资源约束的前提下，最大化资源消耗的报酬和效用之和。我们提出了一种算法，混合预测步骤的基础上的“智能预测，然后优化（SPO）”方法与双更新步骤的基础上镜像下降。我们证明了遗憾的界限，并证明了我们的方法的整体收敛速度取决于在线镜像下降的$\mathcal{O}(T^{-1/2})$收敛以及用于学习预测模型的代理损失函数的风险界限。我们的算法和遗憾界适用于一般的凸可行域的资源约束，包括硬和软资源约束的情况下，他们适用于广泛的一类预测模型相比，传统的设置线性上下文模型或有限的政策空间。我们还进行了数值实验，以经验证明我们提出的SPO型方法的强度，相比传统的预测误差的方法，在多维背包和最长路径的实例。
2022-06-15 cs.LG math.OC stat.ML
Efficient Real-world Testing of Causal Decision Making via Bayesian Experimental Design for Contextual Optimisation
University of Oxford（牛津大学）；Microsoft Research Cambridge（微软剑桥研究院）
对使用因果机器学习模型做出的决策进行真实世界的测试是其成功应用的必要先决条件。我们专注于评估和改进情境治疗分配决策：这些是应用于客户的个性化治疗，每个客户都有自己的情境信息，目的是最大化奖励。在本文中，我们介绍了一个模型无关的框架，收集数据，评估和改善上下文决策，通过贝叶斯试验设计。具体来说，我们的方法是用于数据效率的评价过去的治疗分配的遗憾。与A/B测试等方法不同，我们的方法避免了分配已知高度次优的治疗方法，同时进行一些探索以收集相关信息。我们通过引入基于信息的设计目标来实现这一目标，并对该目标进行端到端优化。我们的方法适用于离散和连续的治疗。比较我们的信息理论的方法，在几个模拟研究的基线证明了我们所提出的方法的优越性能。
2022-07-12 cs.AI cs.LG stat.CO
Contextualized Policy Recovery: Modeling and Interpreting Medical Decisions with Adaptive Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）；MIT（麻省理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Petuum, Inc.（Petuum公司）
本文提出CPR框架，将医疗决策建模为情境化多任务模仿学习问题，以线性策略兼顾局部与全局可解释性，并在抗生素和MRI处方预测中显著超越此前SOTA。
2024-05-07 cs.AI cs.LG stat.ML
Contextual Prediction Difference Analysis for Explaining Individual Image Classifications
University of Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
近年来，人们一直致力于理解深度神经网络的决策。许多模型感知的显着性方法被提出来解释个人的分类决策，通过创建显着性图。然而，当基础模型的参数和梯度不可用时，它们不适用。最近，模型不可知的方法也受到关注。作为其中之一，提出了概率声方法\textit{Prediction Difference Analysis}（PDA）。在这项工作中，我们首先表明，PDA可以遭受饱和分类器。在现有的基于神经网络的分类器中，普遍存在分类器饱和现象.为了更好地解释饱和分类器的决策，我们进一步提出了上下文PDA，它的运行速度比PDA快数百倍。实验表明，我们的方法的优越性，通过解释国家的最先进的深卷积神经网络的图像分类。
2020-06-06 cs.CV cs.LG stat.ML
Online Pandora's Box for Contextual LLM Cascading
The Fuqua School of Business, Duke University（杜克大学福克商学院）
针对LLM级联场景，提出在线上下文潘多拉魔盒模型，通过参数化保留索引和GMM估计结合UCB界，实现维度相关的√T累积遗憾。
2026-08-27 cs.AI cs.LG econ.EM
Fast Rates for Contextual Linear Optimization
Cornell University（康奈尔大学）
在决策过程中对边观察进行分析可以减少不确定性并提高性能，但这也要求我们处理潜在的复杂预测关系。虽然人们可以使用现成的机器学习方法来单独学习预测模型并将其插入，但各种最近的方法通过拟合模型来集成估计和优化，以直接优化下游决策性能。令人惊讶的是，在上下文线性优化的情况下，我们表明，天真的插件方法实际上实现了后悔收敛速度显着快于直接优化下游决策性能的方法。我们证明了这一点，利用特定的问题实例没有任意坏的近对偶退化的事实。虽然在我们讨论和说明数字时还有其他利弊需要考虑，但我们的结果突出了企业集成估计和优化的细微差别。我们的研究结果总体上对实践是积极的：预测模型使用现有工具进行训练是容易和快速的，解释简单，并且，正如我们所展示的，导致决策表现非常好。
2021-08-31 cs.LG math.OC math.ST
BOCO: Bayesian Online Contextual Optimization for Decision-Focused Online Learning
Laboratoire Génie Industriel, CentraleSupélec, Université Paris-Saclay（工业工程实验室，中央苏佩莱克学院，巴黎萨克雷大学）
本文提出首个基于PAC-Bayes理论的贝叶斯在线上下文优化框架，通过吉布斯后验实现有界损失下的 $\mathcal{O}(\sqrt{T})$ 坏境，并利用顺序马尔可夫链采样器处理不可微问题。
2026-09-24 math.OC stat.ML
