Contextual Learning for Stochastic Optimization
Institute of Computer Science and Lamarr Institute for Machine Learning and Artificial Intelligence, University of Bonn, Germany（计算机科学研究所和拉马尔机器学习与人工智能研究所，波恩大学，德国）
本文提出从情境价值分布样本中学习的方法，通过最小化凸替代损失获得经验分布，并证明在强单调稳定优化问题（如单品收益最大化、潘多拉之盒、最优停止）上学习ε-最优策略的样本复杂度为多项式。
2025-05-22 cs.DS cs.GT cs.LG
Contextual Distributionally Robust Optimization with Causal and Continuous Structure
本文提出考虑底层分布因果和连续结构的上下文分布鲁棒优化框架，通过因果Sinkhorn分歧和Soft Regression Forest决策规则，实现可解释且高效的优化方法，并在实验中验证了其性能和可解释性。
2026-09-29 cs.AI cs.LG math.OC
Contextual Bayesian optimization with binary outputs
Sorbonne Université（索邦大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）；Institut de la Vision（视觉研究所）
贝叶斯优化（BO）是一种优化复杂黑箱函数的有效方法。它已被推广到目标函数评估返回随机二进制反馈的场景，例如给定测试中的成功/失败，或不同参数设置之间的偏好。在许多现实世界的情况下，目标函数可以在直接影响观察的受控“上下文”或“环境”中进行评估。例如，可以直接改变用于评估系统性能的测试的“难度”。通过二进制反馈，上下文决定了从每个观察中获得的信息。例如，如果测试太容易/太难，系统将总是成功/失败，产生无信息的二进制输出。在这里，我们结合贝叶斯主动学习和优化的思想，在每次迭代中有效地选择最佳上下文和优化参数。我们展示了我们的算法的性能，并说明了它如何可以用来解决视觉心理物理学的具体应用：有效地提高患者的视力，通过矫正镜片，使用心理物理学测量。
2021-11-05 cs.LG stat.ML
Active Contextual Entropy Search
Universität Bremen（不来梅大学）；DFKI GmbH（德国人工智能研究中心有限公司）
上下文策略搜索允许机器人运动原语适应不同的情况。例如，运动基元可以适于不同的地形倾斜度或期望的行走速度。这种自适应通常可以通过修改少量的超参数来实现。然而，当在真实的机器人系统上进行学习时，通常仅限于少量的试验。贝叶斯优化最近被提出作为一个样本有效的上下文策略搜索，是非常适合在这些条件下的手段。在这项工作中，我们扩展熵搜索，贝叶斯优化的一个变种，使它可以用于主动上下文策略搜索的代理选择这些任务在训练过程中，它期望学习最。模拟实验的结果表明，这使得学习成功的行为与更少的尝试。
2015-11-16 cs.LG stat.ML
Collaborative Contextual Bayesian Optimization
Department of Mathematics, Imperial College London, London, United Kingdom；Department of Mechanical Engineering, University of Michigan, Ann Arbor, MI, USA.；Department of Industrial \& Operations Engineering, University of Michigan, Ann Arbor, MI, USA.；Department of Chemical；Nano Engineering, University of California, San Diego, CA, USA
本文提出CCBO框架，实现多客户端协同进行上下文贝叶斯优化，支持在线协作和离线初始化，并通过模拟和实际应用证明其在客户端异质性下的有效性。
2026-04-20 cs.LG stat.ME
Contextual Linear Optimization with Partial Feedback
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
本文研究部分反馈下的上下文线性优化，提出统一的IERM离线学习算法框架，给出快速速率遗憾界，并通过随机最短路径实验验证方法性能。
2025-11-10 cs.LG stat.ME stat.ML
Offline Contextual Bayesian Optimization for Nuclear Fusion
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）
核聚变被认为是未来的能源，因为它提供了无限清洁能源的可能性。利用聚变作为可行的能源的一个障碍是反应的稳定性。理想情况下，人们将具有用于反应器的控制器，其响应于等离子体的当前状态而做出动作，以便尽可能长地延长反应。在这项工作中，我们做了初步的步骤来学习这样的控制器。由于在真实世界的反应堆上学习是不可行的，我们试图通过模拟器离线学习最优控制来解决这个问题，在模拟器中可以明确地设置等离子体的状态。特别是，我们引入了一个理论上接地贝叶斯优化算法，建议在每次迭代的状态和动作对评估，并表明这会导致更有效地使用模拟器。
2020-01-06 cs.LG stat.ML
Contextual Strongly Convex Simulation Optimization: Optimize then Predict with Inexact Solutions
School of Management, Fudan University, Shanghai 200433, China（复旦大学管理学院）；School of Data Science, Fudan University, Shanghai 200433, China（复旦大学数据科学学院）；Department of Industrial and Systems Engineering, University of Minnesota, Minneapolis, MN 55455, USA（明尼苏达大学工业与系统工程系）
本文提出一种"优化然后预测"方法，通过分析模拟优化算法的不精确性对最优性差距的影响，建立了收敛速率理论并验证了方法的有效性。
2025-12-26 cs.LG stat.ML
Maximum Optimality Margin: A Unified Approach for Contextual Linear Programming and Inverse Linear Programming
Stanford University（斯坦福大学）；Imperial College London（帝国理工学院）
本文提出最大最优性间隔方法，通过下游优化的最优性条件设计机器学习损失函数，统一解决情境线性规划与逆线性规划问题，仅需最优解观测值，兼具计算效率与理论保证。
2023-05-28 cs.LG math.OC stat.ML
Safe Contextual Bayesian Optimization for Sustainable Room Temperature PID Control Tuning
ETH Zurich（苏黎世联邦理工学院）；Siemens Switzerland Ltd.（西门子瑞士有限公司）
我们调整最常见的供暖、通风和空调（HVAC）控制回路之一，即房间的温度控制。出于经济和环境的原因，优化该系统的性能至关重要。建筑物占一个国家能源消耗的20%至40%，其中近50%来自HVAC系统。情景预测预测，到2050年，由于效率的提高，供暖消耗将减少30%。先进的控制技术可以提高性能;然而，由于其简单性和整体性能，通常使用比例积分微分（PID）控制。我们使用安全上下文贝叶斯优化来优化PID参数，无需人工干预。与当前的PID控制器设置相比，我们降低了32%的成本，同时确保了房间内人员的安全和舒适。这项工作的结果对房间控制回路性能及其相关调试成本有直接影响。此外，这一成功的尝试为在不同级别的HVAC系统中进一步使用铺平了道路，节省了能源，运营和调试成本，并且实际证明了人工智能对环境可持续性的积极影响。
2019-06-28 cs.LG cs.SY eess.SY
Efficient Contextual Preferential Bayesian Optimization with Historical Examples
Continental Automotive Components (India) Private Ltd.（印度大陆汽车部件有限公司）；Continental Automotive Technologies GmbH, Germany（德国大陆汽车技术有限公司）；Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（巴黎-罗quentourt研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒研究中心）
针对多目标优化中隐式偏好难形式化且专家输入成本高的问题，提出基于历史示例和完整贝叶斯后验的离线可解释效用学习方法，在四个领域优于标准高斯过程和BOPE。
2025-09-30 cs.AI cs.LG
Dynamic Assortment Optimization with Changing Contextual Information
Stern School of Business, New York University（纽约大学斯特恩商学院）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Computer Science Department, Indiana University at Bloomington（印第安纳大学伯明顿分校计算机科学系）
本文研究了销售季节长度为$T$的动态产品分类优化问题。在每个时间段，卖方提供一个到达客户的基数约束下的可替代产品的分类，和客户提供的产品根据离散选择模型进行购买。大多数现有的工作将每个产品与实值固定均值效用相关联，并假设多项logit选择（MNL）模型。在许多实际应用中，产品的特征/上下文信息是容易获得的。在本文中，我们通过假设平均效用和特征之间的线性关系来结合特征信息。此外，我们允许产品的特征信息随时间变化，这样潜在的选择模型也可以是非平稳的。为了解决这种变化的上下文MNL模型下的动态分类优化问题，我们需要同时学习潜在的未知系数并做出分类决策。为此，我们开发了一个上置信限（UCB）为基础的政策，并建立了遗憾界的顺序为$\widetilde O(d\sqrt{T})$，其中$d$是维度的功能和$\widetilde O$抑制对数依赖。我们进一步建立了下限$Ω(d\sqrt{T}/K)$，其中$K$是提供的分类的基数约束，通常很小。当$K$是一个常数，我们的政策是最佳的对数因子。在UCB算法的开发阶段，我们需要解决一个组合优化的分类优化的基础上学习的信息。我们进一步开发了一个近似算法和一个有效的贪婪启发式。我们的数值研究进一步证明了所提出的政策的有效性。
2019-01-18 cs.LG econ.EM stat.ML
Convergence Rate of a Functional Learning Method for Contextual Stochastic Optimization
Department of Management Science and Information Systems, Rutgers University（管理科学与信息系统系，罗格斯大学）
研究含上下文变量\(X\)与因变量\(Y\)的随机优化问题，在无法从\(Y|X\)条件分布直接采样时，通过在预设参数函数类中近似条件期望，分析联合估计与优化算法，证明其收敛速度为\(\mathcal{O}(1/\sqrt{N})\)。
2026-07-07 cs.LG math.OC
Density-Based Algorithms for Corruption-Robust Contextual Search and Convex Optimization
本文提出基于密度的算法，用于对抗性噪声下的上下文搜索与凸优化，改进了相关问题的遗憾界并提出了新的高效方法。
2026-01-01 cs.GT cs.LG
Data-driven adaptive building thermal controller tuning with constraints: A primal-dual contextual Bayesian optimization approach
Swiss Federal Laboratories for Materials Science and Technology (Empa)（瑞士联邦材料科学与技术实验室（Empa））；Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑瑞士联邦理工学院（EPFL））
针对带约束的建筑热控制器参数自适应调优问题，提出原始-对偶上下文贝叶斯优化方法，在仿真中实现更优的能耗节省与热不适度控制，还可跟踪时变约束阈值。
2023-10-01 cs.LG cs.SY eess.SY
Boosting for Online Convex Optimization
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们考虑了在线凸优化的决策框架与大量的专家。此设置在上下文和强化学习问题中普遍存在，其中策略类的大小使得在策略类内进行枚举和搜索不可行。相反，我们考虑推广在线提升的方法。我们定义了一个弱学习算法作为一种机制，保证乘法近似的遗憾对一个基类的专家。在这个访问模型中，我们给出了一个有效的提升算法，保证接近最优的遗憾对凸包的基类。我们认为完全和部分（a.k.a.）。Bandit）信息反馈模型。我们也给出了一个类似的有效的提升算法的i.i.d.统计设置。我们的研究结果同时推广在线助推和梯度提升保证上下文学习模型，在线凸优化和强盗线性优化设置。
2021-02-18 cs.LG stat.ML
On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits
The Hong Kong University of Science and Technology（香港科技大学）
差分私有随机凸优化在可信机器学习算法设计中是普遍存在的。本文研究了从一个分布中采样并顺序到达的流数据的DP-SCO问题。我们还考虑了持续发布模型，其中与私人信息相关的参数在每个新数据时更新和发布，通常称为在线算法。尽管已经开发了许多算法来实现不同$\ell_p$范数几何中的最优超额风险，但是现有的算法都不能适应流式和连续发布设置。为了解决具有隐私保护的在线凸优化问题，我们提出了一种基于递归梯度的在线Frank-Wolfe算法的私有变体，用于方差缩减以更新和揭示每个数据的参数。结合自适应差分隐私分析，我们的在线算法在线性时间内实现了$1<p\leq 2$时的最优超额风险和$2<p\leq\infty$时的最新超额风险满足非私有的较低风险。我们的算法也可以扩展到$p=1$的情况下，实现几乎与维度无关的超额风险。虽然以前的递归梯度方差减少的结果只有在独立和同分布的样本设置的理论保证，我们建立了这样的保证在非平稳设置。为了证明我们的方法的优点，我们设计了第一个DP算法的高维广义线性强盗对数遗憾。与各种DP-SCO和DP-Bandit算法的比较实验表明，所提出的算法的有效性和实用性。
2022-06-16 cs.CR cs.LG math.OC
Learning-To-Ensemble by Contextual Rank Aggregation in E-Commerce
Alibaba Group（阿里巴巴集团）
电子商业中的包围模型结合了来自多个子模型的预测，以提高排名和收入。工业集成模型通常是深度神经网络，遵循监督学习范式来推断来自子模型的给定输入的转化率。然而，该过程具有以下两个问题。首先，逐点评分方法忽略了项目之间的关系并导致同质的显示结果，而多样化的显示有益于用户体验和收入。其次，学习范式关注排名指标，并不直接优化收入。在我们的工作中，我们提出了一个新的学习到Ensemble（LTE）框架RAEGO，它取代了集成模型与上下文的排名聚合器（RA），并探讨了最佳权重的子模型的评估器生成器优化（EGO）。为了实现最佳的在线性能，我们提出了一个新的排名聚合算法TournamentGreedy作为一个改进的经典排名聚合器，这也产生了最好的平均加权肯德尔Tau距离（KTD）之间的所有考虑的算法与二次时间复杂度。在假设最佳输出列表在子模型的KTD度量上是Pareto最优的情况下，我们证明了RA算法在探索最优权值方面具有更高的效率和覆盖率。结合贝叶斯优化和梯度下降的思想，我们解决了在线上下文黑盒优化任务，找到最佳的权重，为子模型给定一个选定的RA模型。RA-EGO已部署在我们的在线系统中，并显着提高了收入。
2023-02-02 cs.AI cs.LG
BoGraph: Structured Bayesian Optimization From Logs for Expensive Systems with Many Parameters
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
当前的自动调整框架由于其大的参数空间、复杂的相互依赖性和高的评估成本而难以调整计算机系统配置。利用概率模型，结构化贝叶斯优化（SBO）最近克服了这些困难。SBO通过利用系统专家提供的上下文信息来分解参数空间，从而导致快速收敛。然而，构建概率模型的复杂性阻碍了其更广泛的应用。我们提出了BoAnon，一个SBO框架，从它的日志中学习系统结构。BoAnon提供了一个API，使专家能够将系统知识编码为性能模型或组件依赖关系。BoAnon接受了学习的结构，并将其转换为概率图模型。然后，它将专家提供的知识应用到图中，以进一步将系统行为置于上下文中。BoAnon概率图允许优化器比其他方法更快地找到有效的配置。我们通过硬件架构搜索问题评估BoAnon，实现了从$5-7$ x因素改进到默认架构的能量延迟目标的改进。凭借其新颖的上下文结构学习管道，BoAnon使SBO可用于广泛的其他计算机系统，如数据库和流处理器。
2022-03-17 cs.AR cs.LG
Beyond Accuracy: Measuring Representation Capacity of Embeddings to Preserve Structural and Contextual Information
Georgia State University（佐治亚州立大学）
本文提出一种结合外在评估、t-SNE 邻域分析和贝叶斯权重优化的嵌入表示能力度量方法，并在 3 个生物序列数据集上比较了 Spike2Vec、Spaced k-mers、PWM2Vec 和 AutoEncoder 四种嵌入方法。
2023-09-20 cs.LG
Heteroscedasticity-aware residuals-based contextual stochastic optimization
我们探讨了一些集成的学习和优化框架的数据驱动的上下文随机最优化，可以适应异方差的概括。我们确定的随机程序，数据生成过程中，和预测设置的条件下，这些推广具有渐近和有限样本保证一类随机程序，包括两阶段随机混合整数程序与连续追索权。我们验证了我们的假设适用于流行的参数和非参数回归方法。
2021-01-08 math.OC stat.ML
Policy Optimization and Statistical Inference for Online Contextual Matrix Games
University of California, Irvine（加州大学欧文分校）；University of Michigan（密歇根大学）
针对策略收益随情境变化的在线博弈问题，提出在线上下文矩阵博弈框架与OnGameLearn算法，经模拟和酒店定价应用验证，可有效平衡探索利用并具备统计保证。
2026-08-19 cs.LG math.ST stat.ME
Fast and Sample Efficient Multi-Task Representation Learning in Stochastic Contextual Bandits
Iowa State University（爱荷华州立大学）
针对共享低维线性表示的多个随机上下文线性赌博机任务，提出基于交替投影梯度下降与最小化估计量的多任务表示学习算法，并证明遗憾界及其实验优势。
2025-01-06 cs.LG stat.ML
Evaluation of Prosumer Networks for Peak Load Management in Iran: A Distributed Contextual Stochastic Optimization Approach
Faculty of Electrical Engineering, KN Toosi of Technology（KN Toosi理工大学电气工程学院）
本文针对伊朗可再生能源产消者面临的峰值负荷问题，提出一种集成预测与优化的分布式情境随机优化框架，并通过共识信息共享机制和ADMM算法实现协调调度，有效降低峰值负荷与总成本。
2024-08-31 cs.LG cs.SY eess.SY
Smart Surrogate Losses for Contextual Stochastic Linear Optimization with Robust Constraints
Department of Industrial Engineering and Operations Research University of California, Berkeley（工业工程与运营管理系加州大学伯克利分校）
研究带不确定约束的上下文随机线性优化，提出可行性敏感的 SPO-RC 损失及其凸代理 SPO-RC+，并通过截断数据集与重要性重加权纠正偏差，实验证明该方法能有效处理约束不确定性并提升性能。
2025-05-28 cs.LG math.OC stat.ML
Taming the Monster: A Fast and Simple Algorithm for Contextual Bandits
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）；Yahoo! Labs（雅虎研究院）；Princeton University（普林斯顿大学）
我们提出了一个新的算法的上下文强盗学习问题，学习者反复采取的$K$行动之一，以响应所观察到的上下文，并观察奖励只为所选择的行动。我们的方法假设访问一个oracle来解决完全监督的成本敏感的分类问题，并实现了统计上最优的遗憾保证，只有$\tilde{O}(\sqrt{KT/\log N})$ oracle调用所有$T$轮，其中$N$是我们竞争的政策类中的政策数量。通过这样做，我们获得了最实用的上下文强盗学习算法之间的方法，一般的政策类的工作。我们进一步进行了一个概念验证实验，该实验证明了我们的算法（的在线变体）相对于几个基线的出色的计算和预测性能。
2014-10-14 cs.LG stat.ML
Fast Best-in-Class Regret for Contextual Bandits
本文研究了在无偏设定下随机上下文老虎机问题，提出首个快速遗憾率算法，通过悲观目标和熵假设实现快速最佳类遗憾率。
2026-08-20 cs.LG stat.ML
Parallel Contextual Bandits in Wireless Handover Optimization
Noah’s Ark Lab Paris（巴黎诺亚方舟实验室）；Huawei Technologies Ltd（华为技术有限公司）
随着蜂窝网络变得越来越密集，无线基站参数的可扩展和动态调谐只能通过自动优化来实现。虽然上下文强盗框架出现作为这样一个任务的一个自然的候选人，其扩展到一个并行设置是不简单的：一个需要仔细适应现有的方法，充分利用这个问题的多代理结构。我们提出了两种方法：一种来自确定性的UCB类方法，另一种依赖于汤普森采样。由于其掠夺性，后者的直觉是更好地保持勘探开发平衡的土匪批。这一点在玩具实验中得到了验证，其中Thompson采样显示出对上下文变化的鲁棒性。最后，我们将这两种方法应用于一个真实的基站网络数据集，并证明汤普森采样优于手动调整和上下文UCB。
2019-01-21 cs.LG cs.NI stat.ML
CO-BED: Information-Theoretic Contextual Optimization via Bayesian Experimental Design
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
本研究从贝叶斯实验设计视角形式化上下文优化问题，提出通用模型无关框架CO-BED，用黑盒变分法结合连续松弛方案求解，在多实验中表现出媲美定制方案的竞争力。
2023-07-13 cs.AI cs.LG stat.CO
Learning to Optimize Contextually Constrained Problems for Real-Time Decision-Generation
University of Toronto（多伦多大学）；York University（约克大学）
学习解决优化问题的主题已经引起了运筹学和机器学习社区的兴趣。在这项工作中，我们结合这两个领域的技术，以解决学习的问题，以产生决策的情况下，连续优化问题的可行集与上下文功能不同。我们提出了一个新的框架，用于训练生成模型，通过结合内点方法和对抗学习来估计最优决策，我们进一步将其嵌入到数据生成算法中。我们的模型生成的决策满足样本内和样本外的最优性保证。最后，我们研究了组合优化和个性化治疗设计的案例研究，证明了我们的方法分别优于预测然后优化和监督深度学习技术。
2022-04-21 cs.LG math.OC stat.ML
Exploiting Concavity Information in Gaussian Process Contextual Bandit Optimization
Duke University（杜克大学）
针对已知平均奖励随动作呈凹性的上下文赌博机问题，提出将凹性约束融入高斯过程后验的 UCB 算法，并给出遗憾界与抗凝血剂量优化实验验证。
2026-10-22 cs.LG stat.ML
Empirical Likelihood for Contextual Bandits
Microsoft Dynamics 365 AI（微软 Dynamics 365 人工智能）；Microsoft Research（微软研究院）
我们提出了一个估计和置信区间计算的价值，从政策外的数据在上下文的强盗设置的政策。为此，我们应用经验似然技术制定我们的估计和置信区间作为简单的凸优化问题。然后，使用我们的置信区间的下限，我们提出了一个政策外的政策优化算法，搜索策略与大的回报下限。我们的经验发现，我们的估计和置信区间改善了以前的建议，在有限样本制度。最后，我们提出的策略优化算法优于一个强大的基线系统，用于从非策略数据中学习。
2020-10-17 cs.LG stat.ML
Fast Approximate Bayesian Contextual Cold Start Learning (FAB-COST)
The University of Manchester（曼彻斯特大学）；Auto Trader（汽车交易者公司）
冷启动是一个众所周知的困难问题，它可能发生在推荐系统中，当没有足够的信息来推断用户或项目时就会出现。为了解决这一挑战，上下文强盗算法-快速近似贝叶斯上下文冷启动学习算法（FAB-COST）-提出，这是为了提供更高的精度相比，传统上使用的拉普拉斯近似在物流上下文强盗，同时控制算法的复杂性和计算成本。为此，FAB-COST使用两种矩投影变分方法的组合：期望传播（EP），在冷启动时表现良好，但随着数据量的增加而变慢;假设密度过滤（ADF），计算成本随数据大小的增长较慢，但需要更多的数据才能获得可接受的精度水平。当数据集变大时，通过从EP切换到ADF，它能够利用它们的互补优势。FAB-COST的经验理由，并系统地比较模拟数据的其他方法。在对由来自autotrader.co.uk的超过$670,000$的印象组成的真实数据的拉普拉斯近似的基准测试中，FAB-COST在用户点击中显示出超过$16\%$的一点增加。在这些结果的基础上，有人认为，FAB-COST很可能是一个有吸引力的方法冷启动推荐系统在各种情况下。
2020-08-18 cs.LG stat.ML
Factor-Based Conditional Diffusion Model for Contextual Portfolio Optimization
The Chinese University of Hong Kong（香港中文大学）
提出一种条件扩散模型，利用扩散Transformer架构学习股票收益的条件分布，并通过生成样本进行均值-方差和均值-CVaR优化，在中国A股市场优于多种基准。
2026-06-02 q-fin.PM stat.ML
Improving Offline Contextual Bandits with Distributional Robustness
Criteo AI Lab（科韬人工智能实验室）
本文扩展了分布式鲁棒优化（DRO）方法离线上下文土匪。具体来说，我们利用这个框架，介绍了一个凸的反事实风险最小化原则的重新制定。除了依赖于凸规划，我们的方法是兼容的随机最优化，因此可以很容易地适应大数据制度。我们的方法依赖于通过DRO框架的离线上下文土匪的渐近置信区间的建设。通过利用已知的稳健估计的渐近结果，我们还展示了如何自动校准这样的置信区间，这反过来又消除了超参数选择的负担，政策优化。我们提出了初步的实证结果支持我们的方法的有效性。
2020-11-13 cs.AI cs.LG stat.ML
Regularized Contextual Bandits
CMLA, ENS Cachan CNRS, Université Paris-Saclay（巴黎萨克雷大学卡尚高等师范学院CMLA法国国家科学研究中心）；Criteo Research（Criteo研究院）
考虑了带附加正则化的随机上下文强盗问题。动机来自于这样的问题，即代理的策略必须接近某个已知在任务上表现良好的基线策略。为了解决这个问题，我们使用一个非参数模型，并提出了一个算法分裂的上下文空间到bin，并同时解决-和独立-正则化的多臂强盗实例在每个bin。我们得到缓慢和快速的收敛速度，这取决于未知的问题的复杂性。我们还考虑了一个新的相关的边际条件，以获得问题独立的收敛速度，最终在中间收敛速度之间的上述缓慢和快速的速度插值。
2019-06-05 cs.LG math.OC stat.ML
The Curvature of Regret in Contextual Linear Optimization
Auburn University（奥本大学）；University of Alabama（阿拉巴马大学）
本研究针对线性优化中决策聚焦学习的非光滑问题，证明平均后曲率局部二次，给出闭合形式及可计算近似，并应用于场景生成，实验显示30.8%的遗憾改进。
2026-10-02 cs.LG math.OC stat.ML
Offline Neural Contextual Bandits: Pessimism, Optimization and Generalization
Applied AI Institute（应用人工智能研究所）；Deakin University（迪肯大学）；University of Oxford（牛津大学）
离线策略学习（OPL）利用先验收集的现有数据进行策略优化，而无需任何主动探索。尽管流行和最近的兴趣在这个问题上，其理论和算法的基础，在函数逼近设置仍然欠发达。在本文中，我们考虑这个问题的轴上的分布转移，优化和推广离线上下文土匪神经网络。特别是，我们提出了一个可证明有效的离线上下文土匪与神经网络功能近似，不需要任何功能的假设上的回报。我们表明，我们的方法可证明推广到看不见的情况下，比现有的OPL工程分布转移的温和条件。值得注意的是，与任何其他OPL方法不同，我们的方法使用随机梯度下降以在线方式从离线数据中学习，使我们能够将在线学习的好处利用到离线设置中。此外，我们表明，我们的方法是计算效率更高，并有一个更好的依赖于有效尺寸的神经网络比在线对应。最后，我们证明了我们的方法在一系列合成和现实世界的OPL问题的经验有效性。
2022-03-13 cs.AI cs.LG stat.ML
Prescribe-then-Select: Adaptive Policy Selection for Contextual Stochastic Optimization
Sloan School of Management（斯隆管理学院）；Massachusetts Institute of Technology（麻省理工学院）；Tandon School of Engineering（坦多工程学院）；New York University（纽约大学）
针对情境随机优化中候选策略在协变量空间表现异质的问题，提出Prescribe-then-Select模块化框架，通过构建可行策略库并基于最优策略树集成学习元策略实现数据驱动的自适应选择，在单阶段报童和两阶段运输规划问题中优于单一最优策略。
2026-05-28 cs.LG stat.ML
"Over-optimizing" for Normality: Budget-constrained Uncertainty Quantification for Contextual Decision-making
针对情境决策中加权样本平均逼近的不确定性量化，提出在计算预算下平衡样本量与优化迭代的分配规则，并证明“过度优化”可保持渐近正态性。
2025-10-11 math.OC stat.ME stat.ML
Fast, Structured Clinical Documentation via Contextual Autocomplete
Massachusetts Institute of Technology（麻省理工学院）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）
我们提出了一个系统，使用学习自动完成机制，以促进快速创建半结构化的临床文件。我们动态地建议相关的临床概念，作为一个医生起草一份说明，利用功能，从非结构化和结构化的医疗数据。通过将我们的架构限制为浅层神经网络，我们能够实时的提出这些建议。此外，当我们的算法用于编写注释时，我们可以使用从医学词汇表中提取的临床概念的干净标签自动注释文档，使注释对于医生，患者和未来的算法来说更具结构性和可读性。据我们所知，该系统是唯一一个基于机器学习的文档工具，用于在现场医院环境中部署的临床笔记，它在真实环境中将临床概念的负担减少了67%。
2020-07-29 cs.CL cs.IR cs.LG
Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan（密歇根大学）
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验（例如，尖峰和平板），以模拟未知参数，并提供一个接近最佳的上限预期的累积遗憾。据我们所知，这是第一个工作，提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度，我们使用变分推断代替马尔可夫链蒙特卡罗（MCMC）来近似后验分布。大量的模拟表明，我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME
BOCO: Bayesian Online Contextual Optimization for Decision-Focused Online Learning
Laboratoire Génie Industriel, CentraleSupélec, Université Paris-Saclay（工业工程实验室，中央苏佩莱克学院，巴黎萨克雷大学）
本文提出首个基于PAC-Bayes理论的贝叶斯在线上下文优化框架，通过吉布斯后验实现有界损失下的 $\mathcal{O}(\sqrt{T})$ 坏境，并利用顺序马尔可夫链采样器处理不可微问题。
2026-09-24 math.OC stat.ML
Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对上下文赌博机超参数难以实时调优的问题，提出首个在线连续超参数调优框架 CDT，将超参数优化建模为非平稳连续臂赌博机，并设计 Zooming TS 算法，在理论和实验上均取得优于现有方法的效果。
2024-04-08 cs.LG stat.ML
Conformal Contextual Robust Optimization
University of Michigan（密歇根大学）
提出共形预测-然后-优化框架，利用条件生成模型构建非凸共形预测区域，兼顾鲁棒性与可解释性，在仿真推理和车辆路径任务中验证有效性。
2023-10-16 cs.LG stat.ME stat.ML
Active Learning For Contextual Linear Optimization: A Margin-Based Approach
University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文为上下文线性优化提出首个主动学习方法，基于SPO损失和退化距离设计带泛化保证的标签获取算法，其标签复杂度理论上优于朴素监督学习，并在定价与最短路径实验中验证了实用性。
2025-01-30 cs.LG math.OC stat.ML
Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook（脸书）
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标（奖励）和一个约束的奖励相对于基线政策。然而，许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法，用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后，我们将我们的方法应用于现实世界的视频转码问题，并提供了一个实用的方法，导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
A Bandit-Based Approach to Educational Recommender Systems: Contextual Thompson Sampling for Learner Skill Gain Optimization
本文提出基于上下文性汤普森采样的方法，通过优化学习者技能提升来生成个性化练习序列，有效适应不同学习者需求。
2026-02-04 cs.LG stat.ML
Fast Rates for Offline Contextual Bandits with Forward-KL Regularization under Single-Policy Concentrability
Department of Computer Science, University of California, Los Angeles, CA 90095, USA（加州大学洛杉矶分校计算机科学系）
本文研究了在线上下文老虎机中前向KL正则化下的快速收敛率问题，通过简化分析提出首个$\tilde{O}(ε^{-1})$上界，统一了表格和一般函数逼近设置，并展示了下界证明了上界的统计紧性。
2026-05-09 cs.AI cs.IT cs.LG
Online Assortment and Price Optimization Under Contextual Choice Models
UC Berkeley（加州大学伯克利分校）
针对参数未知的上下文多项 logit 选择模型，研究在线商品组合与定价问题，提出从用户反馈学习的算法，获得收入遗憾上界及任意算法的遗憾下界。
2025-03-14 cs.GT cs.LG econ.TH
Contextual Preference Distribution Learning
Mila -- Quebec Artificial Intelligence Institute, Montreal, Quebec, Canada D\' e partement d'informatique et de recherche op\' e rationnelle (DIRO), Universit\' e de Montr\' e al, Montreal, Quebec, Canada HEC Montr\' e al, Montreal, Quebec, Canada
本文提出一种序列学习与优化流程，通过学习偏好分布解决决策问题，尤其在风险规避场景中表现优异，通过参数化分布生成场景以减少决策后惊喜。
2026-03-17 cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
Diffusion Models Meet Contextual Bandits
Criteo AI Lab（Criteo人工智能实验室）；CREST（CREST研究所）；ENSAE（ENSAE学院）；IP Paris（IP巴黎研究所）
针对上下文老虎机在线决策的效率难题，提出以预训练扩散模型为先验捕捉动作依赖、搭配高效后验近似算法的方案，经实验验证在多种场景下有效且通用。
2025-10-28 cs.AI cs.LG stat.ML
Contextual Multi-armed Bandit Algorithm for Semiparametric Reward Model
Seoul National University（首尔国立大学）
上下文多臂强盗（MAB）算法已被证明有希望在连续的决策任务，如新闻文章推荐系统，网页广告投放算法，和移动健康的累积奖励最大化。然而，大多数提出的上下文MAB算法假设奖励和动作的上下文之间的线性关系。本文提出了一种新的上下文MAB算法的放松，半参数奖励模型，支持非平稳性。所提出的方法是较少的限制，更容易实现和速度比两个替代算法，考虑相同的模型，同时实现了严格的遗憾上限。我们证明了所提出的算法的高概率上界的遗憾所产生的线性奖励模型的汤普森抽样算法具有相同的顺序。建议和现有的算法进行评估，通过模拟，也适用于雅虎！新闻文章推荐日志数据。
2019-01-31 cs.LG stat.ML
