Learning Beam Search Policies via Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
波束搜索广泛用于结构化预测问题的近似解码。模型通常在测试时使用梁，但在训练时忽略它的存在，因此不明确地学习如何使用梁。我们开发了一个统一的元算法，用于使用模仿学习来学习波束搜索策略。在我们的设置中，光束是模型的一部分，而不仅仅是近似解码的伪影。我们的元算法捕获了现有的学习算法，并提出了新的算法。它还让我们展示了学习波束搜索策略的新的无遗憾保证。
2019-06-25 cs.AI cs.LG stat.ML
On Efficient Online Imitation Learning via Classification
University of Arizona（亚利桑那大学）
模仿学习是解决序列决策问题的一种通用学习范式。交互式模仿学习，其中学习者可以交互式查询专家演示，已被证明可以实现可证明的优越的样本效率保证相比，其离线对应或强化学习。在这项工作中，我们研究了基于分类的在线模仿学习（焦v. $\textbf{COIL}$）和基本的可行性，在这种情况下，设计甲骨文高效的遗憾最小化算法，重点放在一般的不可实现的情况下。（2）提出了一个非线性在线学习算法框架--$\textbf{Logger}$，它利用混合策略类的新定义将$\textbf{COIL}$简化为在线线性优化问题;（3）在$\textbf{Logger}$框架下设计了两个具有不同样本和交互轮复杂度权衡的Oracle高效算法，并进行了有限样本分析，以显示它们相对于朴素行为克隆的改进;（4）证明了在标准复杂性理论假设下，有效的动态后悔最小化在$\textbf{Logger}$框架下是不可行的。我们的工作把基于分类的在线模仿学习，一个重要的IL设置，到一个坚实的基础。
2022-09-26 cs.LG
Selective Sampling and Imitation Learning via Online Regression
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文针对有噪声专家反馈下的模仿学习问题，提出基于在线回归预言机的选择性采样交互式算法，在一般函数类和多动作设定下同时给出遗憾与查询复杂度的最优界，并证明其紧性。
2023-07-11 cs.AI cs.LG math.ST
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题，提出基于偏好主动查询的算法，实现了接近标准设定的遗憾界与低查询复杂度，且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Bridging Imitation and Online Reinforcement Learning: An Optimistic Tale
Google Deepmind（谷歌DeepMind）；University of Southern California（南加州大学）
针对不完美专家离线演示如何引导 MDP 在线学习的问题，提出 iPSRL 分析算法及可计算的 iRLSVI，将 RLSVI 与模仿学习结合，并显著降低贝叶斯遗憾。
2023-07-16 cs.AI cs.LG
Follow the Clairvoyant: an Imitation Learning Approach to Optimal Control
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
我们考虑通过竞争分析的镜头控制的动力系统。这一领域的大多数先前的工作都集中在最小化遗憾，也就是说，相对于一个理想的千里眼政策，具有非因果关系的访问过去，现在和未来的干扰损失。由于观察到最佳成本仅提供关于理想闭环行为的粗略信息，我们转而提出直接最小化事后最佳轨迹的跟踪误差，即，模仿千里眼政策。通过拥抱一个系统级的角度来看，我们提出了一个有效的基于优化的方法来计算以下的千里眼（FTC）安全控制器。我们证明，这些达到最小的遗憾，如果没有限制的非因果基准。此外，我们提出的数值实验表明，我们的政策保留了经典的$\mathcal{H}_2$和$\mathcal{H}_\infty$控制律之间的插值竞争算法的标志-同时始终优于遗憾最小化方法在受约束的情况下，由于卓越的能力，以追逐千里眼。
2022-11-14 cs.LG cs.SY eess.SY
Improved Policy Optimization for Online Imitation Learning
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙弗雷泽大学）
我们认为在线模仿学习（OIL），其中的任务是找到一个政策，模仿专家的行为，通过与环境的积极互动。我们的目标是弥合政策优化算法的理论和实践之间的差距，通过分析最流行的OIL算法之一，DAGER。具体来说，如果类的政策是足够的表达，包含专家的政策，我们证明，DAGGER实现不断的遗憾。与以前的界限，要求损失是强凸的，我们的结果只需要较弱的假设，损失是强凸的政策的充分统计（而不是其参数化）。为了确保更广泛的政策和损失的收敛性，我们增加了一个额外的正则化项DAGGER。特别是，我们提出了一个变种的跟随正规化的领导者（FTRL）及其自适应的OIL的变种，并开发了一个内存效率的实现，这符合FTL的内存要求。假设损失函数是光滑的，凸的政策参数，我们还证明了FTRL实现任何充分表达的政策类恒定的遗憾，同时保留$O(\sqrt{T})$遗憾在最坏的情况下。我们证明了这些算法的有效性与合成和高维控制任务的实验。
2022-07-29 cs.LG
Structured Imitation Learning of Interactive Policies through Inverse Games
针对共享空间中无显式通信的多智能体交互策略模仿学习难题，提出结合生成式单智能体策略学习与博弈论结构的框架，通过两步学习提升性能，仅50次演示即达真实策略水平。
2025-11-17 cs.LG cs.RO
Bounded Regret for Finite-Armed Structured Bandits
University of Alberta（阿尔伯塔大学）；INRIA（法国国家信息与自动化研究所）
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
2014-11-11 cs.LG
Neuroprosthetic decoder training as imitation learning
Columbia University（哥伦比亚大学）
神经假体脑-机接口通过一种算法发挥作用，该算法将用户的神经活动解码为末端执行器的运动，例如光标或机器人手臂。在实践中，解码器通常通过在用户执行任务时更新其参数来学习。当用户的意图是不能直接观察到的，最近的方法已经证明了在训练解码器对用户的预期运动的替代品的价值。我们描述了如何以这种方式训练解码器是模仿学习问题的一种新变体，其中采用神谕或专家进行监督训练，而不是直接观察，这是不可用的。具体来说，我们描述了一个通用的模仿学习元算法，数据集聚合（Dagger，[1]），可以适应训练一个通用的脑机接口。通过在这个框架中推导出现有的脑机接口学习算法，我们为脑机接口提供了一种新的后悔分析（学习效能的重要度量）。这种分析使我们能够描述算法变体的空间及其后悔率的界限。用于解码器学习的现有方法已经在光标控制设置中执行，但是用于这些解码器的可用设计原理使得不可能将它们缩放到自然设置。利用我们的研究结果，我们然后提供了一个算法，结合模仿学习与最优控制，这应该允许训练任意的效应器，最优控制可以产生目标导向的控制。我们展示了这种新颖的和一般的BCI算法与模拟神经假体控制的26度的自由度模型的手臂，一个复杂的和现实的末端执行器。
2016-03-14 cs.LG q-bio.NC stat.ML
Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret
Rochester Institute of Technology（罗切斯特理工学院）；Advanced Micro Devices, Inc.（超威半导体公司）；University of Liverpool（利物浦大学）
本文提出MYOE框架，通过可查询的偏好混合状态空间模型估计每一步的目标，利用偏好遗憾优化机器人控制策略，实验显示其鲁棒性、适应性和泛化能力优于其他RLfD方法。
2026-04-04 cs.AI cs.CV cs.LG
Regret Analysis of Guided Diffusion for Black-Box Optimization over Structured Inputs
Lattice Lab（晶格实验室）；Toyota Motor Corporation（丰田汽车公司）；School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文提出基于证书的期望简单后悔框架，用于指导扩散黑盒优化，避免最大信息增益和RKHS假设，通过质量提升度量解释收敛机制，并提供实用诊断和修正重采样构造。
2026-05-11 cs.LG stat.ML
Crush Optimism with Pessimism: Structured Bandits Beyond Asymptotic Optimality
The University of Arizona（亚利桑那大学）
我们研究随机结构土匪最小化遗憾。近年来，研究人员发现，流行的乐观算法不能实现渐进的实例依赖后悔最优性（简称渐近最优性）。另一方面，众所周知，人们可以实现有限的遗憾（即，不会随着$n$无限增长）。不幸的是，现有的渐近最优算法依赖于引入$ω(1)$项w.r.t.时间的地平线$n$在他们的遗憾，未能适应“容易”的实例。在本文中，我们专注于有限假设的情况下，并询问是否可以达到渐近最优，同时尽可能享受有限的遗憾。我们通过引入一种名为CRush Optimism with Pessimism（CROP）的新算法来提供一个积极的答案，该算法通过拉动悲观假设所指示的信息臂来消除乐观假设。我们的有限时间分析表明，作物$(i)$实现了一个常数因子的渐近最优性，由于强制探索的设计，$(ii)$适应有界遗憾，和$(iii)$的遗憾界规模不与$K$，但与我们介绍的有效数量的武器$K_ψ$。我们还讨论了一类问题，其中作物可以指数优于现有的算法在\textit{nonasymptotic}制度。这个问题类还揭示了一个令人惊讶的事实，即使是一个千里眼的先知谁发挥根据渐近最优的手臂拉方案可能会遭受线性最坏情况下的遗憾。
2020-10-23 cs.LG stat.ML
Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning
本文提出一种计算高效算法，在无限 horizon 折扣线性马尔可夫决策过程（MDPs）中实现最优 regret 保证，结合乐观探索技术与正则化近似动态规划方案，达到 O(√(d³(1-γ)^(-7/2)T)) 的 regret，适用于模仿学习。
2026-03-13 cs.LG
Learning in structured MDPs with convex cost functions: Improved regret bounds for inventory management
考虑了需求截尾、销售损失和正提前期下的随机库存控制问题。这是库存管理中的一个基本问题，有大量文献建立了一个简单的称为“基本库存政策”的基本马尔可夫决策过程（MDP）的政策类的近最优性，以及这些政策下的长期平均成本的凸性。我们认为，相对较少研究的问题，设计一个学习算法，这个问题时，潜在的需求分布是未知的。我们的目标是约束遗憾的算法相比，最佳的基本库存政策。我们利用凸性属性和新推导出的基础股票政策的偏见的限制，建立一个连接到随机凸土匪优化。我们的主要贡献是一个学习算法的遗憾界$\tilde{O}(L\sqrt{T}+D)$的库存控制问题。这里，$L$是固定且已知的提前期，而$D$是需求分布的未知参数，其被粗略地描述为产生用于耗尽一个库存单位的足够需求所需的时间步长的数量。值得注意的是，即使底层MDP的状态空间是连续的和$L$维的，我们的遗憾边界线性依赖于$L$。我们的研究结果显着提高了以前最有名的遗憾界为这个问题的依赖$L$是指数和需求分布的许多进一步的假设。这里提出的技术可能是独立的利益，涉及大型结构化的MDP，但与凸成本函数的其他设置。
2019-05-10 cs.LG stat.ML
Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Xerox Research Centre India（施乐印度研究中心）
强化学习（RL）框架中的一个最近的目标是选择一系列动作或策略，以最大化在有限时间范围内收集的奖励或最小化在有限时间范围内产生的遗憾。对于运筹学和最优控制中的若干RL问题，其底层马尔可夫决策过程（MDP）的最优策略具有已知结构的特征。现有技术的算法不利用这种已知的结构的最优策略，同时最大限度地减少遗憾。在这项工作中，我们开发了新的RL算法，利用最优策略的结构，以尽量减少遗憾。在结构化最优策略的MDP上的数值实验表明，该算法具有更好的性能，易于实现，运行时间短，所需的随机数生成次数少.
2016-08-17 cs.LG
Language-Critique Imitation Learning from Suboptimal Demonstrations
Graduate Institute of Communication Engineering, National Taiwan University (NTU)（国立台湾大学电信工程学研究所）；University of Utah（犹他大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；NTU Artificial Intelligence Center of Research Excellence（国立台湾大学人工智能卓越研究中心）
提出语言批评框架，用自然语言作为结构化监督信号从次优演示中学习策略，避免压缩为标量，在连续控制任务上优于基线方法。
2026-07-02 cs.AI cs.LG
Minimal Exploration in Structured Stochastic Bandits
Centrale-Supelec（中央理工-高等电力学院）；KTH（瑞典皇家理工学院）
本文介绍并解决了一类广泛的随机强盗问题的功能映射的手臂相应的奖励表现出一些已知的结构特性。大多数现有的结构（例如线性、Lipschitz、单峰、组合、决斗等）都在我们的框架内。我们推导出这些问题的渐近实例特定的遗憾下界，并开发OSSB，一个算法的遗憾匹配这个基本限制。OSSB不是基于“面对不确定性的乐观主义”或Thompson抽样的经典原则，而是旨在匹配次优武器的最小探索率，其特征在于在遗憾下限的推导中。我们说明了OSSB的效率使用数值实验的情况下，线性强盗问题，并表明OSSB优于现有的算法，包括汤普森采样。
2017-11-01 cs.AI cs.LG math.OC
Optimal Learning for Structured Bandits
本文针对结构化多臂老虎机问题提出DUSA算法，通过求解遗憾下界的对偶形式，首次在统一框架下以渐近最小遗憾处理线性、利普希茨、凸等多种结构信息。
2023-07-10 cs.LG math.OC stat.ML
On-Policy Robot Imitation Learning from a Converging Supervisor
University of California Berkeley（加州大学伯克利分校）
现有的政策上的模仿学习算法，如Dagger，假设访问一个固定的监督。然而，在策略学习过程中，存在许多监管者可能演变的设置，例如执行新任务的人或改进算法控制器。我们正式模仿学习从一个“收敛监督”，并提供次线性静态和动态的后悔保证最好的政策在事后与标签从收敛监督，即使标签在学习过程中只从中间监督。然后，我们表明，这个框架是密切相关的一类强化学习（RL）算法称为双策略迭代（DPI），交替训练反应式学习者与模仿学习和基于模型的监督与数据从学习者。实验表明，当该框架与最先进的基于深度模型的RL算法PETS一起应用时，它在连续控制任务上的性能优于深度RL基线，并在策略评估中提供高达80倍的加速。
2020-05-16 cs.AI cs.LG cs.RO
Online Learning for Structured Loss Spaces
Indian Institute of Science（印度科学理工学院）
我们考虑预测专家的意见时，损失向量被假定为位于一个原子规范球的总和所描述的集合。我们得到一个遗憾的约束的一般版本的在线镜像下降（OMD）算法，使用正则化的组合，每个适应的组成原子规范。一般的结果恢复标准OMD遗憾界，并产生遗憾界的新结构化设置的损失向量是（i）噪声版本的点从一个低秩子空间，（ii）稀疏向量损坏的噪声，和（iii）稀疏扰动的低秩向量。对于具有结构化损失的在线学习问题，我们还显示了损失向量的源集的秩和稀疏性方面的遗憾下界，这也意味着上述附加损失设置的下界。
2017-11-12 cs.LG
Online Structured Prediction with Fenchel--Young Losses and Improved Surrogate Regret for Online Multiclass Classification with Logistic Loss
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文将利用代理差距框架从在线多类分类扩展到基于Fenchel–Young损失的在线结构化预测，提出随机化解码方法，并在逻辑损失下将代理遗憾界改进为O(‖U‖F²)，比先前结果提升d倍。
2024-10-22 cs.LG
Explaining Fast Improvement in Online Imitation Learning
Georgia Tech（佐治亚理工学院）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
在线模仿学习（IL）是一种算法框架，其利用与专家策略的交互来进行有效的策略优化。在这里，通过对一系列损失函数执行在线学习来优化策略，这些损失函数鼓励学习者模仿专家的动作，并且如果在线学习没有遗憾，则代理可以证明学习到类似专家的策略。在线IL已经在许多应用中取得了经验性的成功，有趣的是，在实践中观察到的其政策改进速度通常比现有理论表明的要快得多。在这项工作中，我们提供了一个解释这种现象。令$ξ$表示策略类偏差，并假设在线IL损失函数是凸的、平滑的和非负的。我们证明，$N$轮后的在线IL随机反馈，政策改善$\tilde{O}(1/N + \sqrt{ξ/N})$在预期和高概率。换句话说，我们表明，在在线IL中采用足够表达的策略类有两个好处：策略改进速度增加和性能偏差降低。
2021-02-22 cs.LG cs.RO stat.ML
Active Imitation Learning with Noisy Guidance
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
模仿学习算法通过学习接近最优的搜索策略，在许多结构化预测任务上提供最先进的结果。这样的算法假设训练时间访问专家，可以在任何查询状态下提供最佳动作;不幸的是，这样的查询的数量往往是禁止的，经常使这些方法不切实际。为了对抗这种查询的复杂性，我们考虑一个主动学习设置中，学习算法有额外的访问一个便宜得多的嘈杂启发式，提供嘈杂的指导。我们的算法，LEAQI，学习一个差异分类器，预测当专家可能不同意的启发式，并询问专家只有在必要的时候。我们将LEAQI应用于三个序列标签任务，展示了对专家的查询显着减少，并且与被动方法相比具有相当（或更好）的准确性。
2020-05-26 cs.AI cs.CL cs.LG
Enforcing Predictive Invariance across Structured Biomedical Domains
Massachusetts Institute of Technology（麻省理工学院）
许多生物化学应用，如分子性质预测，需要模型泛化超出其训练域（环境）。此外，这些任务中的自然环境是结构化的，由复杂的描述符（如分子支架或蛋白质家族）定义。因此，大多数环境要么在训练期间从未出现过，要么只包含单个训练样本。为了解决这些挑战，我们提出了一个新的遗憾最小化（RGM）算法及其扩展的结构化环境。RGM建立在不变风险最小化（RGM）的基础上，根据预测性后悔重新铸造同时最优性条件，找到一种表示，使预测器能够与后见之明访问保留环境的预言竞争。结构化的扩展自适应地突出了由于复杂的环境，通过专门的域扰动的变化。我们评估了我们的方法在多个应用：分子特性预测，蛋白质同源性和稳定性预测，并表明RGM显着优于以前的最先进的基线。
2020-10-07 cs.LG stat.ML
Robust Imitation via Mirror Descent Inverse Reinforcement Learning
Seoul National University（首尔国立大学）；Artificial Intelligence Institute（人工智能研究院）
最近，对抗性模仿学习已经展示了一种用于逆强化学习（IRL）问题的可扩展奖励获取方法。然而，估计的奖励信号往往变得不确定，并不能训练一个可靠的统计模型，因为现有的方法往往直接解决困难的优化问题。受一阶优化方法镜像下降的启发，本文提出了预测一系列奖励函数，这是一个约束凸问题的迭代解。IRL的解决方案来自镜像下降是宽容的目标密度估计所引起的不确定性，因为奖励学习的量是相对于局部几何约束进行调节。我们证明，建议的镜像下降更新规则，确保鲁棒性最小化的Bregman分歧方面的一个严格的遗憾界的$\mathcal{O}(1/T)$步长$\{η_t\}_{t=1}^{T}$。我们的IRL方法应用于对抗框架之上，并且在一系列广泛的基准测试中优于现有的对抗方法。
2023-01-05 cs.LG
Tight Bounds for $γ$-Regret via the Decision-Estimation Coefficient
本研究针对结构化老虎机中精确最优解难求的问题，提出修正的统计复杂度参数$\gamma$-DEC，用新技术推导了$\gamma$-悔值的匹配上下界，明确了该悔值的基本极限。
2023-07-21 cs.LG stat.ML
Exploration in Structured Reinforcement Learning
KTH（瑞典皇家理工学院）
我们解决了有限状态和动作空间的强化学习问题，其中底层MDP具有一些已知的结构，可以潜在地利用这些结构来最小化次优（状态，动作）对的探索率。对于任意的结构，我们得到特定问题的遗憾下限满足任何学习算法。这些下界是明确的非结构化MDPs和那些转移概率和平均奖励函数是Lipschitz连续的w.r.t.国家和行动。对于Lipschitz MDP，边界被示出为不与状态和动作空间的大小$S$和$A$成比例，即，它们小于$c\log T$，其中$T$是时间范围，常数$c$仅取决于Lipschitz结构、偏置函数的跨度和最小动作次优性间隙。这与非结构化MDP形成对比，在非结构化MDP中，遗憾下限通常按$SA\log T$缩放。我们设计了DEL（定向探索学习），一种符合我们遗憾下限的算法。我们进一步简化了Lipschitz MDP的算法，并表明简化后的版本仍然能够有效地利用结构。
2018-11-29 cs.LG stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Structured Linear Contextual Bandits: A Sharp and Geometric Smoothed Analysis
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
Bandit学习算法通常涉及探索和利用的平衡。然而，在许多实际应用中，很少遇到需要系统探索的最坏情况。在这项工作中，我们考虑了结构化线性上下文强盗的平滑设置，其中对抗性上下文受到高斯噪声的干扰，并且未知参数$θ^*$具有结构，例如，稀疏性、组稀疏性、低秩等。我们提出了用于单参数和多参数的简单贪心算法（即，每个上下文的不同参数）设置，并为具有任何假定结构的$θ^*$提供统一的遗憾分析。遗憾的界限表示的几何量，如高斯宽度与$θ^*$的结构。我们还获得了更清晰的遗憾界相比，早期的工作，非结构化$θ^*$设置作为我们改进的分析的结果。我们表明，有一个简单的贪心算法工程的平滑设置中的隐式探索。
2020-02-26 cs.LG math.ST stat.ML
Provably Efficient Generative Adversarial Imitation Learning for Online and Offline Setting with Linear Function Approximation
University of Science and Technology of China（中国科学技术大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）
在生成对抗模仿学习（GAIL）中，智能体的目标是从专家演示中学习策略，使得其性能在某个预定义的奖励集上不能与专家策略区分开。在本文中，我们研究了GAIL在在线和离线设置与线性函数近似，其中的过渡和奖励函数是线性的特征映射。除了专家演示之外，在在线设置中，代理可以与环境交互，而在离线设置中，代理仅访问由先前收集的附加数据集。针对在线GAIL，我们提出了一种乐观生成式对抗策略优化算法（OGAP），并证明了OGAP实现了$\widetilde{\mathcal{O}}(H^2 d^{3/2}K^{1/2}+KH^{3/2}dN_1^{-1/2})$遗憾.这里，$N_1$表示专家演示的轨迹的数量，$d$是特征维度，并且$K$是情节的数量。对于离线GAIL，我们提出了一个悲观生成对抗策略优化算法（PGAP）。对于任意的附加数据集，我们得到了PGAP的最优性差距，实现了附加数据集利用率的极大极小下界。假设在额外的数据集上有足够的覆盖率，我们证明了PGAP实现了$\widetilde{\mathcal{O}}(H^{2}dK^{-1/2} +H^2d^{3/2}N_2^{-1/2}+H^{3/2}dN_1^{-1/2} \ )$最优性差距。这里，$N_2$表示具有足够覆盖的附加数据集的轨迹的数量。
2021-08-19 cs.AI cs.LG math.OC
A Novel Confidence-Based Algorithm for Structured Bandits
Politecnico di Milano（米兰理工大学）；Facebook AI Research（脸书人工智能研究院）
我们研究有限武器随机强盗，其中每个武器的奖励可能与其他武器的奖励相关。我们引入了一种新的分阶段算法，利用给定的结构建立真正的强盗问题的参数的置信集，并迅速丢弃所有次优武器。特别是，不像标准的强盗算法，没有结构，我们表明，次优的手臂被选中的次数实际上可能会减少由于通过拉动其他武器收集的信息。此外，我们表明，在某些结构中，我们的算法的任何时候扩展的遗憾是一致有界的时间。对于这些恒定的后悔结构，我们也得到了一个匹配的下限。最后，我们用数值方法证明了我们的方法比现有方法更好地利用了某些结构。
2020-05-23 cs.LG stat.ML
PointMapPolicy: Structured Point Cloud Processing for Multi-Modal Imitation Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Reality Labs, Meta（Meta现实实验室）；Johannes Kepler University Linz（林茨约翰尼斯·开普勒大学）
PointMapPolicy通过结构化点云处理提升多模态模仿学习的精度与泛化能力，利用xLSTM融合点云与RGB数据，在RoboCasa和CALVIN基准中取得最佳性能。
2026-01-24 cs.LG cs.RO
Structured Dynamic Pricing: Optimal Regret in a Global Shrinkage Model
University of Southern California（南加州大学）；Adobe Research（奥多比研究院）
本文针对流式纵向数据下的动态定价问题，提出基于全局收缩模型和惩罚随机梯度下降的定价策略，实现了渐近最优遗憾，并证明利用结构信息对策略规划至关重要。
2023-10-14 cs.DS cs.LG
A Unified Approach to Translate Classical Bandit Algorithms to the Structured Bandit Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
考虑了有限臂结构化的强盗问题，其中不同臂的平均报酬是一个公共隐参数$θ^*$的已知函数。由于我们没有对这些函数进行任何限制，因此问题设置包含了先前研究的几个假设线性或可逆奖励函数的框架。我们提出了一种新的方法来逐步估计隐藏的$θ^*$，并使用估计与平均奖励函数，大大减少探索次优武器。这种方法使我们能够从根本上概括任何经典的强盗算法，包括UCB和汤普森采样的结构化强盗设置。我们证明，通过遗憾的分析，我们提出的UCB-C算法（结构化的强盗版本的UCB）拉只有一个子集的次优武器$O(\log T)$倍，而其他次优武器（称为非竞争性武器）拉$O(1)$倍。因此，在所有次优武器都是非竞争性的情况下，这可能发生在许多实际情况下，所提出的算法实现有限的遗憾。我们还进行了模拟Movielens建议数据集，以证明所提出的算法比现有的结构化强盗算法的改进。
2021-02-03 cs.LG stat.ML
Learning Neural Parsers with Deterministic Differentiable Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）
我们探讨的问题，学习空间任务分解成几个部分，例如一个绘画机器人覆盖一个大的对象的问题。受经典决策树算法构造其输入空间的结构化分区的能力的启发，我们将对象分解为段的问题制定为解析方法。我们认为，将对象分解为段的解析树的推导非常类似于由ID 3构造的决策树，这可以在地面实况可用时完成。我们学习模仿专家解析神谕，这样我们的神经解析器就可以概括为在没有地面事实的情况下解析自然图像。我们引入了一种新的确定性策略梯度更新，DRAG（即，以AggreVaTeD的确定性actor-critic变体的形式，来训练我们的神经解析器。从另一个角度来看，我们的方法是一个适合模仿学习设置的确定性策略梯度的变体。通过使用DRAG训练我们的神经解析器所提供的确定性策略表示使其能够超越最先进的模仿和强化学习方法。
2018-09-19 cs.AI cs.CV cs.LG
Learning to Search Better Than Your Teacher
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Maryland, College Park（马里兰大学帕克分校）
学习搜索结构化预测的方法通常模仿参考策略，与该参考相比，现有的理论保证表现出较低的遗憾。这在许多应用中是不令人满意的，其中引用策略是次优的，并且学习的目标是改进它。我们提供了一个新的学习搜索算法，LOLS，它做得很好相对于参考政策，但另外保证低遗憾相比，偏离学习的政策：局部最优性保证。因此，LOLS可以改善的参考政策，不同于以前的算法。这使我们能够开发结构化的上下文强盗，部分信息结构化的预测设置与许多潜在的应用。
2015-05-20 cs.LG stat.ML
Linear Partial Monitoring for Sequential Decision-Making: Algorithms, Regret Bounds and Applications
University of Alberta（阿尔伯塔大学）；DeepMind；ETH Zurich（苏黎世联邦理工学院）
本文综述并扩展线性部分监控的最新结果，证明信息导向采样算法在有限动作游戏中近乎最优，并统一分析随机部分监控，扩展至上下文和核化设置。
2023-11-13 cs.LG stat.ML
Multi-Point Bandit Algorithms for Nonstationary Online Nonconvex Optimization
University of California, Davis（加州大学戴维斯分校）；Princeton University（普林斯顿大学）
Bandit算法主要是在凸环境下分析的，其性能指标是基于函数值的固定后悔。在本文中，在线强化学习问题的动机，我们提出并分析了一般和结构化的非凸问题与非平稳（或动态）遗憾的性能指标，在随机和非随机设置的强盗算法。首先，对于一般的非凸函数，我们考虑非平稳版本的一阶和二阶固定的解决方案作为一个遗憾的措施，出于类似的性能措施离线非凸优化。在二阶固定解决方案的遗憾的情况下，我们提出并分析在线和土匪版本的立方正则化牛顿的方法。强盗版本是基于估计的海森矩阵的强盗设置，基于二阶高斯斯坦的身份。我们的非平稳遗憾界的二阶固定的解决方案有有趣的后果，避免鞍点的强盗设置。其次，对于弱拟凸函数和单调弱次模函数，我们考虑用函数值表示的非平稳后悔测度;这样的非凸函数的结构类使得人们可以考虑用函数值定义的后悔测度，类似于凸函数。对于这种情况下的功能值，和一阶固定的解决方案为基础的遗憾措施，我们提供遗憾的界限，在低维和高维的设置，在某些情况下。
2019-09-11 cs.DS cs.LG math.OC
Minimax Regret for Cascading Bandits
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
级联强盗是一个自然和流行的模型，框架的任务，学习排序从伯努利点击反馈在强盗设置。对于非结构化奖励的情况，我们证明了问题独立的匹配上界和下界（即，无间隙）遗憾，这两个严格改善最好的已知。一个关键的观察是，这个问题的困难实例是那些具有小平均奖励的实例，即，在实践中最相关的小点击率。基于此，以及小均值意味着Bernoullis的小方差的事实，我们的关键技术结果表明，方差感知置信集来自伯恩斯坦和Barnoff界导致最佳算法（最多对数项），而Hoeffding为基础的算法遭受顺序次优遗憾。这与标准（非级联）bandit设置形成鲜明对比，其中方差感知算法仅改进常数。鉴于此，作为一个额外的贡献，我们提出了一个方差感知算法的结构化情况下的线性奖励，并显示其遗憾严格提高了国家的最先进的。
2022-10-10 cs.LG stat.ML
MisoDICE: Multi-Agent Imitation from Unlabeled Mixed-Quality Demonstrations
Singapore Management University（新加坡国立管理大学）；University of Oregon（俄勒冈大学）
MisoDICE提出两阶段方法，结合大语言模型标注轨迹与新型多智能体DICE算法，从混合质量示范中学习稳健策略，在标准基准上表现优越。
2025-05-24 cs.AI cs.LG cs.MA
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago（芝加哥大学）；Meta Platforms, Inc.（元平台公司）；University of Michigan（密歇根大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注，但当有多个智能体在潜在竞争环境中玩耍时，理论上知之甚少。我们采取措施，提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化，但未知的过渡。我们考虑两类转移结构：因子独立转移和单控制器转移。对于这两种情况下，我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后，$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后，在事后观察整个政策序列。我们的算法结合了上置信界（UCB）型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时，他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
Almost Boltzmann Exploration
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
玻尔兹曼探索被广泛用于强化学习，以提供探索和利用之间的权衡。最近，在（Cesa-Bianchi等人，2017）已经表明，从遗憾的角度来看，纯粹的玻尔兹曼探索并没有表现得很好，即使是在最简单的随机多臂强盗（MAB）问题中。在本文中，我们表明，一个简单的修改玻尔兹曼探索，激励的变化的标准加倍技巧，实现$O(K\log^{1+α} T)$遗憾的随机MAB问题的$K$武器，其中$α>0$是一个参数的算法。这改进了（Cesa-Bianchi等人，2017年），其中一个算法的灵感来自Gumbel-softmax技巧实现$O(K\log^2 T)$遗憾。我们还表明，我们的算法实现了$O(β(G) \log^{1+α} T)$遗憾的随机MAB问题与图形结构的反馈，没有知识的图形结构，其中$β(G)$是独立数的反馈图。此外，我们提出了广泛的实验结果，真实的数据集和应用程序的多臂土匪与传统的土匪反馈和图形结构的反馈。在所有情况下，我们的算法执行以及或优于国家的最先进的。
2019-04-19 cs.DS cs.LG stat.ML
Transfer Learning in Bandits with Latent Continuity
POSTECH（浦项科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Arizona（亚利桑那大学）
结构化随机多臂强盗提供了加速的后悔率超过标准的非结构化强盗问题。然而，大多数结构化的强盗，假设知识的结构参数，如Lipschitz连续性，这往往是不可用的。为了应对潜在的结构参数，我们考虑一个迁移学习设置，其中一个代理必须学会将结构信息从先前的任务转移到下一个任务，这是由实际问题，如无线链路中的速率自适应的启发。我们提出了一个新的框架，可证明和准确地估计Lipschitz常数的基础上以前的任务，并充分利用它的新任务在手。我们从两个方面分析了所提出的框架的效率：（i）我们的估计器的样本复杂度与信息理论的基本限制相匹配;以及（ii）我们在新任务上的遗憾界限接近于在温和假设下完全了解Lipschitz常数的Oracle算法。我们的分析揭示了一组有用的见解迁移学习潜在的Lipschitz常数，如学习者面临的根本挑战。我们的数值评估证实了我们的理论研究结果，并显示了所提出的框架相比，基线的优越性。
2021-06-25 cs.AI cs.LG stat.ML
Offline-to-Online Learning in Linear Bandits
University of Tokyo（东京大学）
针对随机线性Bandit问题，提出一种平衡离线数据与在线探索的算法，实现次线性遗憾并随离线样本增加降低离线参考遗憾。
2026-06-03 cs.LG stat.ML
Iterative Policy Refinement through Semantic Rollout Analysis
Carnegie Mellon University（卡内基梅隆大学）；Meta
提出闭环框架，利用LLM分析策略回滚的表格数据，迭代精化结构化策略，无需人工指令，在赛车和开门任务上性能提升最高15%，计算量减少75%。
2026-10-02 cs.AI cs.LG
Regret Minimization via Saddle Point Optimization
University of Alberta（阿尔伯塔大学）
本文通过鞍点优化重新参数化决策估计系数，提出E2D算法的任意时间变体，在线优化探索-利用权衡，为有限模型类和线性反馈模型提供实用算法，并评估其性能。
2024-03-15 cs.LG
Regret Bounds for Robust Online Decision Making
Computational Rational Agents Laboratory（计算理性代理实验室）；Faculty of Mathematics, Technion - Israel Institute of Technology（数学学院，技术学院-以色列理工学院）
本文提出允许鲁棒多值模型的在线决策框架，推广了结构化观测决策，推导出遗憾界理论并证明了幂律可学习性，在鲁棒线性多臂老虎机和表格型鲁棒在线强化学习两特例中改进了现有遗憾界。
2025-06-26 cs.LG
Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning
提出一种无需最优动作且能超越演示者的预训练决策Transformer方法，利用任务共享结构实现上下文多任务结构化老虎机学习，降低未见任务的累积遗憾。
2025-10-22 cs.LG
Old Dog Learns New Tricks: Randomized UCB for Bandit Problems
Mila, Université de Montréal（Mila（蒙特利尔大学））；McGill University（麦吉尔大学）；Mila, Université Laval（Mila（拉瓦尔大学））；Google Research（谷歌研究院）
我们提出了$\tt RandUCB$，一个强盗策略，建立在理论推导的置信区间类似的置信上限（UCB）算法，但类似于汤普森采样（TS），它使用随机化权衡探索和剥削。在$K$-武装土匪设置，我们表明，有无穷多个变种的$\tt RandUCB$，所有这些实现最小最优$\widetilde{O}(\sqrt{K T})$遗憾后，$T$轮。此外，对于一个特定的多臂强盗设置，我们表明，UCB和TS可以恢复为特殊情况下的$\tt RandUCB$。对于结构化土匪，其中每个手臂与$d$维特征向量和奖励分布根据线性或广义线性模型，我们证明了$\tt RandUCB$实现了最小最优的$\widetilde{O}(d \sqrt{T})$遗憾，即使在无限多个武器的情况下。通过在多臂和结构化强盗设置的实验，我们证明了$\tt RandUCB$匹配或优于TS和其他随机探索策略。我们的理论和实证结果表明，$\tt RandUCB$实现了两全其美。
2020-03-23 cs.LG stat.ML
Machine Learning for Combinatorial Optimisation of Partially-Specified Problems: Regret Minimisation as a Unifying Lens
University of Trento（特伦托大学）；TU Eindhoven（埃因霍温理工大学）；University of Bologna（博洛尼亚大学）；TU Delft（代尔夫特理工大学）；KU Leuven（鲁汶大学）
解决部分指定的组合优化问题越来越普遍。我们调查的情况下，目标函数或变量之间的关系是未知的，或者只是部分指定。挑战在于从可用数据中学习它们，同时考虑解决方案必须满足的一组硬约束，并且解决优化问题（特别是在学习期间）在计算上要求非常高。本文概述了四种看似无关的方法，每种方法都可以被视为学习一个困难的组合优化问题的目标函数：1）基于代理的优化，2）经验模型学习，3）以决策为中心的学习（“预测+优化”），以及4）结构化输出预测。我们形式化每一个学习范式，首先在文献中常见的方式，然后把形式化在一个兼容的方式使用遗憾。我们讨论了这些框架之间的差异和相互作用，强调了交叉施肥和调查开放方向的机会。
2022-05-20 cs.LG
Making Non-Stochastic Control (Almost) as Easy as Stochastic
UC Berkeley（加州大学伯克利分校）
最近的文献在理解\emph{online LQR}方面取得了很大的进展：现代学习理论对经典控制问题的理解，在经典控制问题中，学习者试图最优地控制具有完全可观察状态的未知线性动力系统，受i.i.d.高斯噪声现在可以理解，时间范围上的最优后悔$T$与最优控制律的比例为$\widetildeΘ(\sqrt{T})$。在本文中，我们证明了即使在更一般的非随机控制模型中也可以达到相同的遗憾率（针对合适的基准），其中系统由\emph{arbitrary adversarial}噪声驱动（Agarwal et al. 2019）。换句话说，就是\emph{stochasticity confers little benefit in online LQR}。我们达到最佳的$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾的动态是未知的学习者，和$\mathrm{poly}(\log T)$遗憾时，已知的，提供的成本函数是强凸的（如在LQR）。我们的算法基于在线牛顿步骤的一种新变体（Hazan et al. 2007），它适应于可能由对抗性干扰引起的几何形状，我们的分析取决于OCO-记忆框架中某些结构性损失的通用“政策遗憾”界限（Anava et al. 2015）。此外，我们的研究结果容纳了非随机控制设置的全部一般性：对抗性选择（可能是非二次）成本，部分状态观测，以及完全…
2020-10-05 cs.LG math.OC stat.ML
Structured Prediction in Online Learning
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（PSL大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·库蒂埃实验室）
本研究提出在线学习场景下结构化预测的理论与算法框架，证明算法是监督学习最优算法的推广且非i.i.d.数据下仍达相同超额风险上界，还给出适配非平稳数据的算法及基于分布变化的随机遗憾界。
2024-06-18 cs.LG math.ST stat.ML
Self-Adaptive Learning and Model Predictive Control for Tracking Unknown Dynamics with No Regret
University of Michigan（密歇根大学）
该研究针对未知切换动力学的目标跟踪问题，提出自适应性学习结合模型预测控制的方法，经仿真和硬件实验验证其在各类轨迹下的无遗憾跟踪性能优于多种在线学习基线方法。
2026-07-30 cs.LG cs.RO cs.SY
