Robustly Improving Bandit Algorithms with Confounded and Selection Biased Offline Data: A Causal Approach
University of Arkansas（阿肯色大学）
本文从因果视角处理赌博机中离线数据的复合偏差，将偏差分为混杂与选择偏差，提取含真实均值的鲁棒因果界，引导学习近优策略并降低渐近遗憾。
2023-12-20 cs.AI cs.LG stat.ML
Offline Neural Contextual Bandits: Pessimism, Optimization and Generalization
Applied AI Institute（应用人工智能研究所）；Deakin University（迪肯大学）；University of Oxford（牛津大学）
离线策略学习（OPL）利用先验收集的现有数据进行策略优化，而无需任何主动探索。尽管流行和最近的兴趣在这个问题上，其理论和算法的基础，在函数逼近设置仍然欠发达。在本文中，我们考虑这个问题的轴上的分布转移，优化和推广离线上下文土匪神经网络。特别是，我们提出了一个可证明有效的离线上下文土匪与神经网络功能近似，不需要任何功能的假设上的回报。我们表明，我们的方法可证明推广到看不见的情况下，比现有的OPL工程分布转移的温和条件。值得注意的是，与任何其他OPL方法不同，我们的方法使用随机梯度下降以在线方式从离线数据中学习，使我们能够将在线学习的好处利用到离线设置中。此外，我们表明，我们的方法是计算效率更高，并有一个更好的依赖于有效尺寸的神经网络比在线对应。最后，我们证明了我们的方法在一系列合成和现实世界的OPL问题的经验有效性。
2022-03-13 cs.AI cs.LG stat.ML
Hybrid Preference Optimization for Alignment: Provably Faster Convergence Rates by Combining Offline Preferences with Online Exploration
University of Washington（华盛顿大学）；Apple（苹果公司）
本文提出混合偏好优化（HPO），结合在线探索与离线偏好，放宽集中性条件并提高样本效率，首次给出混合RLHF的可证明最优理论界，证明其优于纯离线或纯在线方法。
2024-12-13 cs.LG
Online Learning via Offline Greedy Algorithms: Applications in Market Design and Optimization
Chicago Booth School of Business（芝加哥大学布斯商学院）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Google Research（谷歌研究院）
在线决策的动机在时变组合环境中，我们研究的问题，离线算法转换到他们的在线同行。我们专注于离线组合的问题，是服从一个常数因子近似使用贪心算法，是强大的本地错误。对于这样的问题，我们提供了一个通用的框架，有效地将离线强大的贪心算法在线使用Blackwell逼近。我们表明，由此产生的在线算法有$O(\sqrt{T})$（近似）遗憾下的充分信息设置。我们进一步介绍了一个强盗扩展的Blackwell可接近性，我们称之为强盗Blackwell可接近性。我们利用这个概念，将贪婪的强大的离线算法转化为$O(T^{2/3})$（近似）的遗憾，在强盗设置。展示了我们的框架的灵活性，我们将我们的离线到在线的转换应用于收入管理，市场设计和在线优化的交叉点上的几个问题，包括在线平台中的产品排名优化，拍卖中的底价优化和子模块最大化。我们还扩展我们的减少贪婪的连续优化中使用的一阶方法，如用于最大化连续强DR单调子模函数凸约束。我们表明，我们的变换，当应用到这些应用程序中，导致新的遗憾界或改善目前已知的界限。我们补充我们的理论研究进行数值模拟我们的两个应用程序，在这两个我们观察到，我们的转换的数值性能优于理论保证在实际情况下。
2023-02-04 cs.DS cs.GT cs.LG
Discriminator-Guided Model-Based Offline Imitation Learning
Tsinghua University（清华大学）；JD Technology（京东科技）；Beijing Jiaotong University（北京交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
离线模仿学习（IL）是一种解决决策问题的强有力的方法，从专家示范没有奖励标签。现有的离线IL方法在有限的专家数据下遭受严重的性能退化。包括学习的动态模型可以潜在地改善专家数据的状态-动作空间覆盖，然而，它也面临着具有挑战性的问题，如模型近似/泛化误差和推出数据的次优性。在本文中，我们提出了鉴别器引导的基于模型的离线模仿学习（DMIL）框架，该框架引入了一个鉴别器，以同时区分模型推出数据的动态正确性和次优性与真实的专家演示。DMIL采用了一种新颖的合作对抗学习策略，利用策略学习器引导和耦合策略和动力学模型的学习过程，从而提高了模型的性能和鲁棒性。我们的框架也可以扩展到的情况下，当演示包含很大比例的次优数据。实验结果表明，DMIL及其扩展实现了优越的性能和鲁棒性相比，国家的最先进的离线IL方法在小数据集。
2023-01-10 cs.AI cs.LG
Active Advantage-Aligned Online Reinforcement Learning with Offline Data
Department of Computer Science, University of Chicago（计算机科学系，芝加哥大学）；Department of Statistics and Data Science, Yale University（统计与数据科学系，耶鲁大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
A3RL通过主动优势对齐采样策略提升在线强化学习与离线数据结合的效果，实现更高效的策略优化。
2026-03-07 cs.LG stat.ML
Active Transfer Learning for Persian Offline Signature Verification
University of Tehran（德黑兰大学）
离线签名验证（OSV）仍然是一个具有挑战性的模式识别任务，特别是在培训期间无法获得熟练的fortunes。当存在小的标记训练数据可用但具有大的个人内变化时，该挑战加剧。在这项研究中，我们解决这个问题，采用主动学习的方法，选择最翔实的实例标记，从而大大减少了人类的标记工作。我们提出的OSV包括三个步骤：特征学习，主动学习和最终验证。我们受益于使用预训练的CNN进行特征学习的迁移学习。我们还提出了基于支持向量机的主动学习，为每个用户分离他的真实签名从随机的forecast。最后，我们使用支持向量机来验证有问题的签名的真实性。我们在UTSig：波斯离线签名数据集上检查了我们提出的主动迁移学习方法。与随机选择实例相比，我们实现了近13%的改进。我们的结果还显示，与最先进的方法相比，改进了1%，在该方法中，使用了每个用户多五个标记实例的完全监督设置。
2019-02-28 cs.CV cs.LG stat.ML
Offline EEG-Based Driver Drowsiness Estimation Using Enhanced Batch-Mode Active Learning (EBMAL) for Regression
DataNova；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；DCS Corp（DCS公司）；National Chiao-Tung University（国立交通大学）；University of Technology, Sydney（悉尼科技大学）
在现实世界的脑机接口（BCI）应用中存在许多重要的回归问题，例如，从EEG信号估计驾驶员困倦。本文考虑离线分析：给定一个在驾驶过程中记录的未标记的EEG epoch池，我们如何最佳地选择其中的一小部分进行标记，以便可以从它们中构建准确的回归模型来标记其余部分？主动学习是解决这个问题的一个很有前途的方法，但有趣的是，据我们所知，到目前为止，它还没有被用于脑机接口中的回归问题。本文提出了一种新的增强型批量模式主动学习（EBMAL）回归方法，该方法通过提高所选样本的可靠性、代表性和多样性来改进基线主动学习算法，以获得更好的回归性能。我们验证了其有效性，驾驶员的困倦估计从脑电信号。然而，EBMAL是一种通用方法，也可以应用于BCI之外的许多其他离线回归问题。
2018-05-12 cs.HC cs.LG stat.ML
Robust Offline Reinforcement Learning for Non-Markovian Decision Processes
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
针对非马尔可夫决策过程，本文提出基于数据集蒸馏、LCB和对偶形式的鲁棒离线RL算法，并证明低秩与无结构情形下的多项式样本效率。
2025-01-05 cs.LG stat.ML
Active Offline Policy Selection
DeepMind（深度思维）
本文讨论的问题，在域中的政策选择与丰富的记录数据，但有限的互动预算。解决这个问题将使离线强化学习策略在工业、机器人和推荐等领域的安全评估和部署成为可能。已经提出了几种脱离策略评估（OPE）技术来仅使用记录的数据来评估策略的价值。但是，OPE的评估与完全在线评估之间仍有很大差距。然而，大量的在线互动在实践中往往是不可能的。为了克服这个问题，我们引入了主动离线策略选择-一种新的顺序决策方法，结合记录的数据与在线交互，以确定最佳的政策。我们使用OPE估计来启动在线评估。然后，为了明智地利用有限的环境相互作用，我们决定下一个政策评估的基础上贝叶斯优化方法的内核，代表政策的相似性。我们使用多个基准，包括现实世界的机器人技术，大量的候选政策，以表明所提出的方法提高了最先进的OPE估计和纯在线政策评估。
2022-05-06 cs.AI cs.LG stat.ML
Sparse Offline Reinforcement Learning with Corruption Robustness
University of Warwick（沃里克大学）；MPI-SWS
本文研究了在强数据扰动下的稀疏离线强化学习鲁棒性，提出基于稀疏鲁棒估计器的actor-critic方法，提供首次非空保障。
2026-05-12 cs.LG stat.ML
Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage
California Institute of Technology（加州理工学院）；Texas A&M University（德克萨斯A&M大学）；Amazon（亚马逊）
本文利用分布鲁棒学习的极小极大化框架解决离线强化学习中的分布偏移问题，针对表格型和线性函数逼近两种设置提出算法，并在单一策略集中性假设下给出样本复杂度分析与仿真验证。
2023-10-27 cs.LG stat.ML
Sample-Efficient Tabular Self-Play for Offline Robust Reinforcement Learning
Zhejiang University（浙江大学）；The Chinese University of Hong Kong（香港中文大学）；Edith Cowan University（埃迪斯·科温大学）；University of New South Wales（新南威尔士大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出RTZ-VI-LCB算法，通过乐观鲁棒值迭代和数据驱动的伯恩斯坦惩罚项，实现离线鲁棒双人零和马尔可夫游戏的最优样本复杂性保证。
2025-11-29 cs.LG stat.ML
Overcoming Model Bias for Robust Offline Deep Reinforcement Learning
Siemens Corporate Technology（西门子企业技术）；Technical University of Munich（慕尼黑工业大学）
最先进的强化学习算法主要依赖于被允许与其环境直接交互以收集数百万个观察结果。这使得他们很难将成功转移到工业控制问题上，因为模拟通常非常昂贵或不存在，并且在真实环境中探索可能会导致灾难性事件。最近开发的无模型离线RL算法可以通过减轻价值函数中的外推误差来从单个数据集（包含有限的探索）中学习。然而，训练过程的鲁棒性仍然相对较低，这是使用价值函数的方法中已知的问题。为了提高学习过程的鲁棒性和稳定性，我们使用动态模型来评估策略性能，而不是价值函数，从而产生MOOSE（基于模型的离线策略搜索与集成），该算法通过将策略保持在数据的支持范围内来确保低模型偏差。我们将MOOSE与最先进的无模型离线RL算法{ BRAC，} BEAR和BCQ在工业基准和MuJoCo连续控制任务中的鲁棒性能进行比较，发现MOOSE在几乎所有考虑的情况下都优于其无模型同行，甚至远远超过。
2021-07-22 cs.LG stat.ML
RORL: Robust Offline Reinforcement Learning via Conservative Smoothing
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；Tencent Robotics X（腾讯Robotics X实验室）；Shanghai AI Laboratory（上海人工智能实验室）
离线强化学习为利用大量离线数据进行复杂决策提供了一个很有前途的方向。由于分布偏移问题，当前离线RL算法通常被设计为在值估计和动作选择上是保守的。然而，这种保守性可能会损害学习策略的鲁棒性时，遇到的观察偏差在现实条件下，如传感器错误和对抗攻击。为了平衡鲁棒性和保守性，我们提出了鲁棒离线强化学习（RORL）与一种新的保守平滑技术。在RORL中，我们显式地引入了策略的正则化和数据集附近状态的价值函数，以及对这些状态的额外保守值估计。理论上，我们表明RORL享有更严格的次优界比最近的理论结果在线性MDPs。我们证明了RORL可以在一般的离线RL基准测试中实现最先进的性能，并且对对抗性观测扰动具有相当强的鲁棒性。
2022-10-22 cs.AI cs.LG stat.ML
Distributionally Robust Model-Based Offline Reinforcement Learning with Near-Optimal Sample Complexity
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于模型的分布鲁棒离线强化学习算法，结合悲观原则与数据驱动惩罚，在表格RMDP上实现近最优样本复杂度，并证明其紧致性。
2023-12-28 cs.LG stat.ML
Robust Reinforcement Learning using Offline Data
Texas A&M University（德州农工大学）；Google Research（谷歌研究院）
鲁棒强化学习（RL）的目标是学习一种对模型参数不确定性具有鲁棒性的策略。参数不确定性通常发生在许多真实世界的RL应用中，这是由于模拟器建模误差、真实世界系统动态随时间的变化以及对抗性干扰。鲁棒强化学习通常被表述为一个最大-最小问题，其目标是学习最大化价值的策略，以对抗不确定性集中最差的可能模型。在这项工作中，我们提出了一个强大的RL算法称为鲁棒拟合Q迭代（RFQI），它只使用离线数据集来学习最佳的鲁棒策略。具有离线数据的鲁棒RL比其非鲁棒对应物更具挑战性，因为鲁棒Bellman算子中存在的所有模型的最小化。这对离线数据汇集、模型优化和无偏估计提出了挑战。在这项工作中，我们提出了一个系统的方法来克服这些挑战，从而在我们的RFQI算法。我们证明了RFQI学习一个接近最优的鲁棒政策，在标准的假设和标准的基准问题上表现出优越的性能。
2022-10-18 cs.AI cs.LG stat.ML
Minimax Optimal and Computationally Efficient Algorithms for Distributionally Robust Offline Reinforcement Learning
Duke University（杜克大学）
针对分布鲁棒离线强化学习，提出在线性参数化设定下实现函数逼近的极小极大最优与计算高效算法，并开创实例依赖的次优性分析，揭示了鲁棒离线RL中函数逼近的独特性与难度。
2025-03-03 cs.AI cs.LG stat.ML
Robust Offline Reinforcement learning with Heavy-Tailed Rewards
LSE（伦敦政治经济学院）；Amazon（亚马逊公司）；George Washington University（乔治·华盛顿大学）；Bytedance（字节跳动公司）
本文针对重尾奖励场景下的离线强化学习鲁棒性问题，提出ROAM和ROOM两个算法框架，通过将中位数之均值方法与离线RL结合实现不确定性估计，在离线策略评估与优化中均优于现有方法。
2024-03-30 cs.AI cs.LG stat.ML
Byzantine-Robust Online and Offline Distributed Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑一个分布式的强化学习设置，多个代理分别探索环境，并通过中央服务器交流他们的经验。然而，$α$ -分数的代理是敌对的，可以报告任意的假信息。至关重要的是，这些敌对代理可以勾结，他们的假数据可以是任何大小。我们希望在这些对抗性代理存在的情况下，为底层马尔可夫决策过程鲁棒地确定一个接近最优的策略。我们的主要技术贡献是加权团，一种新的算法的强大的平均估计批量问题，可以处理任意批量大小。在此基础上，在离线环境下，设计了一个拜占庭鲁棒分布式悲观值迭代算法;在在线环境下，设计了一个拜占庭鲁棒分布式乐观值迭代算法.这两种算法都获得了接近最优的样本复杂度，并实现了比以前的作品更好的鲁棒性保证。
2022-06-01 cs.DC cs.LG stat.ML
Double Pessimism is Provably Efficient for Distributionally Robust Offline Reinforcement Learning: Generic Algorithm and Robust Partial Coverage
Stanford University（斯坦福大学）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
本文提出适用于分布鲁棒离线强化学习的双重悲观原理及通用算法框架$P^2MPO$，证明其在鲁棒部分覆盖数据下样本高效，还拓展至鲁棒马尔可夫博弈求解鲁棒纳什均衡。
2023-08-22 cs.AI cs.LG math.OC
Domain Generalization for Robust Model-Based Offline Reinforcement Learning
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
现有的离线强化学习（RL）算法通常假设训练数据是：1）由已知策略生成的，或者2）完全未知的来源。我们考虑多演示者离线RL，这是一个中间地带，我们知道哪些演示者生成了每个数据集，但不对演示者的基本策略进行假设。这是从多个人类操作员收集数据时最自然的设置，但尚未探索。由于不同的示威者诱导不同的数据分布，我们表明，这可以很自然地被框定为一个领域泛化问题，每个示威者对应于一个不同的域。具体来说，我们提出了基于域不变模型的离线RL（DIMORL），其中我们应用风险外推（REx）（Krueger等人，2020年）的学习动态和奖励模型的过程。我们的研究结果表明，与汇集所有演示者数据的自然基线相比，使用REx训练的模型表现出改进的领域泛化性能。我们观察到，由此产生的模型经常能够在离线基于模型的RL设置中学习高级策略，可以提高策略学习过程的稳定性，并可能增加探索。
2022-11-27 cs.AI cs.LG stat.ML
Model-Free Robust $ϕ$-Divergence Reinforcement Learning Using Both Offline and Online Data
California Institute of Technology（加州理工学院）
针对名义模型与真实环境不匹配导致的参数不确定性，论文提出无模型 RPQ 与混合离线/在线数据的 HyTQ 算法，并在一般函数逼近和大状态空间下给出鲁棒策略的理论保证。
2024-05-08 cs.LG stat.ML
Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions
Florida State University（佛罗里达州立大学）；University of Connecticut（康涅狄格大学）；Zhejiang University（浙江大学）
研究具有隐藏动作的离线强化学习问题，利用下一状态变量为未观测动作的代理，提出LURE估计器，该估计器多重稳健且渐近正态，通过模拟和败血症管理应用证明了其有效性。
2026-07-29 cs.LG stat.ML
Sample Complexity of Offline Reinforcement Learning with Deep ReLU Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Deakin University（迪肯大学）
离线强化学习（RL）利用先前收集的数据进行策略优化，而无需任何进一步的主动探索。尽管最近的兴趣在这个问题上，它的理论结果在神经网络函数逼近设置仍然难以捉摸。本文研究了具有深度ReLU网络函数近似的离线RL的统计理论。特别地，我们建立了具有深度ReLU网络的离线RL的$n = \tilde{\mathcal{O}}( H^{4 + 4 \frac{d}α} κ_μ^{1 + \frac{d}α} ε^{-2 - 2\frac{d}α} )$的样本复杂度，其中$κ_μ$是分布偏移的度量，{ $H = (1-γ)^{-1}$是有效水平长度}，$d$是状态-动作空间的维度，$α$是底层马尔可夫决策过程（MDP）的（可能是分数）平滑参数，并且$ε$是用户指定的错误。值得注意的是，我们的样本的复杂性下两个新的考虑：Besov动态封闭和相关的结构。虽然Besov动态闭包包含了现有工作中离线RL的动态条件，但相关结构使得离线RL的现有工作与一般/神经网络函数近似不适当或效率低下{在长（有效）时域问题中}。据我们所知，这是第一个理论表征离线RL的样本复杂性与深度神经网络函数近似下的一般Besov正则性条件，超越了传统的再生希尔伯特核空间和神经切线核{线性制度}。
2022-12-13 cs.LG stat.ML
Distributionally Robust Offline Reinforcement Learning with Linear Function Approximation
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）；Stanford University（斯坦福大学）；Sun Yat-sen University（中山大学）；New York University（纽约大学）
在阻碍强化学习（RL）应用于现实世界问题的原因中，有两个因素是关键的：有限的数据和测试环境（部署策略的真实环境）与训练环境（例如，模拟器）。本文试图解决这些问题，同时与分布式鲁棒离线RL，在那里我们学习一个分布式鲁棒的政策，使用从源环境中获得的历史数据，通过优化对最坏情况下的扰动。特别是，我们超越表格设置，并考虑线性函数逼近。更具体地说，我们考虑两种设置，一种是数据集被充分探索，另一种是数据集具有足够的最优策略覆盖范围。我们提出了两个算法--一个用于两个设置中的每一个--分别实现误差界$\tilde{O}(d^{1/2}/N^{1/2})$和$\tilde{O}(d^{3/2}/N^{1/2})$，其中$d$是线性函数近似中的维度，$N$是数据集中的轨迹数。据我们所知，他们提供了第一个非渐近结果的样本复杂性在这种情况下。不同的实验进行证明我们的理论研究结果，显示我们的算法对非鲁棒性的优越性。
2023-01-27 cs.AI cs.LG stat.ML
FormulaZero: Distributionally Robust Online Adaptation via Offline Population Synthesis
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
平衡性能和安全性对于在多智能体环境中部署自动驾驶汽车至关重要。特别是，自动驾驶赛车是一个惩罚安全但保守的政策的领域，突出了对稳健，适应性策略的需求。目前的方法要么简化了对其他代理人的假设，要么缺乏强大的在线适应机制。这项工作使算法的贡献，这两个挑战。首先，为了生成一个现实的，多样化的对手，我们开发了一种新的方法，自我发挥的基础上复制交换马尔可夫链蒙特卡罗。其次，我们提出了一个分布式鲁棒的强盗优化过程，自适应调整风险规避相对于对手的行为信念的不确定性。当在实时运动规划中近似这些计算时，我们严格量化了性能和鲁棒性的权衡，并且我们在自动驾驶汽车上实验性地展示了我们的方法，这些自动驾驶汽车可以达到与一级方程式赛车相当的缩放速度。
2020-08-22 cs.LG cs.MA cs.RO
Online and Offline Robust Multivariate Linear Regression
本研究提出多元线性回归的在线与离线鲁棒估计方法，基于鲁棒马氏最小二乘准则，证明渐近正态性，并在合成数据上展示鲁棒性与计算效率优势。
2025-10-10 math.ST stat.ML stat.TH
Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Duke University（杜克大学）
针对离线强化学习中的动力学偏移问题，提出线性结构 $d$-RRMDP 框架与 R2PVI 算法，利用线性函数逼近和 $f$-divergence 正则化学习鲁棒策略，并从理论上证明其近似最优且计算高效。
2025-10-30 cs.AI cs.LG cs.RO
