Don't fear the unlabelled: safe semi-supervised learning via simple debiasing
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；Centre Antoine Lacassagne（安托万·拉卡桑中心）
半监督学习（SSL）提供了一种利用未标记数据来提高模型性能的有效方法。尽管该领域在过去几年中得到了相当多的关注，但大多数方法都存在缺乏理论保证的共同缺点。我们的出发点是注意到，大多数判别SSL方法最小化的风险估计是有偏差的，甚至是渐进的。这种偏见阻碍了标准统计学习理论的使用，并可能损害实证表现。我们提出了一个简单的方法来消除偏见。我们的去偏置方法很容易实现，适用于大多数深度SSL方法。我们提供了简单的理论保证，这些修改后的方法的可信度，而不必依赖于SSL理论通常需要的数据分布的强有力的假设。特别是，我们提供了所提出的方法的泛化误差界。我们评估不同的现有SSL方法，如伪标签的方法和Fixmatch的去偏置版本，并表明，去偏置可以通过提供更好的校准模型在各种设置中与经典的深SSL技术竞争。此外，我们提供了一个流行的SSL方法的直观的理论解释。
2023-03-03 cs.AI cs.LG stat.CO
Debiasing Samples from Online Learning Using Bootstrap
University of Toronto（多伦多大学）；The Chinese University of Hong Kong（香港中文大学）
最近的文献表明，在线学习实验的样本平均值在用于估计平均奖励时是有偏差的。为了纠正偏差，政策外评估方法，包括重要性采样和双稳健估计，通常计算条件倾向得分，这是定义不清的非随机政策，如UCB。本文提出了一种利用自举法对样本进行去偏的方法，该方法不需要知道回报分布，适用于任何自适应策略。数值实验表明，有效的偏差减少流行的多臂强盗算法，如探索然后提交（ETC），UCB，汤普森采样（TS）和$ε$ -贪婪（EG）产生的样本。我们分析和ETC算法下的程序，包括在真实和自助世界的偏差衰减率的渐近收敛提供了理论依据。
2021-12-01 cs.LG math.ST stat.TH
Fast Debiasing of the LASSO Estimator
IIT Bombay（印度理工学院孟买分校）；Monash Research Academy（莫纳什研究院）；Monash University（莫纳什大学）
本研究针对LASSO估计器去偏计算成本高的问题，通过重新参数化优化问题直接计算去偏矩阵W，提供了闭式解，并保证了唯一最优解，数值模拟验证了其有效性。
2025-02-27 cs.LG stat.ML
Eliminating Inductive Bias in Reward Models with Information-Theoretic Guidance
Qwen Large Model Application Team, Alibaba（阿里巴巴大模型应用团队）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出了一种基于信息论的奖励模型去偏方法DIR，通过最大化奖励模型评分与人类偏好对之间的互信息，同时最小化奖励模型输出与偏好输入偏置属性之间的互信息，从而有效缓解归纳偏置问题并提升RLHF性能。
2026-05-19 cs.AI cs.LG
Debiasing Alternative Data for Credit Underwriting Using Causal Inference
Epistamai（埃皮斯塔迈公司）
针对替代数据可能引发信贷审批歧视的问题，提出结合因果推断与监督机器学习的去偏差方法，在公开数据集上验证可提升不同种族群体的模型准确性并提供可靠反歧视保障。
2024-10-31 cs.AI cs.CE cs.LG
Debiasing Online Preference Learning via Preference Feature Preservation
KAIST（韩国科学技术院）；Google Cloud AI Research（谷歌云人工智能研究）；Yonsei University（延世大学）
针对大语言模型在线偏好学习中回复易偏向多数偏好特征且偏差迭代加剧的问题，提出PFP偏好特征保留框架，通过维持偏好特征分布、适配新指令特征并融入提示训练，有效缓解偏差，在对齐基准上性能优于现有方法。
2025-06-06 cs.AI cs.LG
The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Oxford University（牛津大学）；University of Cambridge（剑桥大学）
本文证明奖励模型低测试误差无法保证低遗憾，源于分布偏移，并指出策略正则化也无法解决，呼吁研究更优的奖励学习方法。
2025-07-08 cs.AI cs.LG stat.ML
Debiasing Recommendation by Learning Identifiable Latent Confounders
Hong Kong University of Science and Technology（香港科技大学）；ByteDance Research（字节跳动研究院）；University of Virginia（弗吉尼亚大学）；Chongqing Univeristy（重庆大学）
针对推荐系统中未测量混杂因素引发的偏差及现有方法无法保证反事实反馈可识别的问题，提出基于近端因果推断的可识别去混杂器iDCF框架，经多数据集实验验证其有效性与鲁棒性。
2023-06-15 cs.IR cs.LG
Graph-Based Prediction Models for Data Debiasing
本文提出GROUD，一种基于图的优化框架，通过联合估计真实事件计数与报告偏差概率，对漏报和过度报告数据进行去偏，并在模拟和真实数据上验证了其有效性。
2025-04-19 cs.LG eess.SP stat.ME
Preference Learning with Response Time: Robust Losses and Guarantees
Stanford University（斯坦福大学）
针对传统偏好学习未利用用户决策时间信息、线性奖励下误差率随奖励幅度指数增长的问题，本文结合EZ模型提出带响应时间的偏好学习方法与Neyman正交损失，将误差率降至多项式级，提升了样本效率，并扩展到非参数奖励，经图像实验验证有效。
2025-10-24 cs.AI cs.LG econ.TH
Learning Guarantee of Reward Modeling Using Deep Neural Networks
Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学）；Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学）
本文研究深度神经网络基于成对比较数据的奖励建模理论，提出依赖网络架构的非渐近遗憾界，并通过间隔型条件获得更紧界以解释RLHF成功。
2025-05-10 cs.LG stat.ML
Mitigating Disparity while Maximizing Reward: Tight Anytime Guarantee for Improving Bandits
Indian Institute of Science（印度科学学院）；Arithmic Labs（Arithmic实验室）；Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
我们研究了改进多臂强盗（IMAB）问题，其中从手臂获得的奖励随着它收到的拉动次数而增加。这个模型为教育和就业等领域的许多现实问题提供了一个优雅的抽象，在这些领域，关于机会分配的决策可能会影响社区的未来能力和它们之间的差距。在这种情况下，决策者除了考虑在任何时候最大化其累积回报的标准目标外，还必须考虑其决策对未来回报的影响。在许多这些应用中，时间范围是未知的决策者事先，这促使IMAB问题的研究，在技术上更具挑战性的地平线不知道设置。我们研究了在视界不感知环境中两个看似冲突的目标之间产生的紧张关系：a）根据武器的当前奖励，在任何时候最大化累积奖励，以及b）确保具有更好的长期奖励的武器获得足够的机会，即使它们最初的奖励很低。我们发现，令人惊讶的是，这两个目标是相互一致的，在这种情况下。我们的主要贡献是一个随时算法的IMAB的问题，实现了最好的可能的累积奖励，同时确保武器达到其真正的潜力给予足够的时间。我们的算法减轻了由于缺乏机会而导致的初始差异，并继续拉动手臂，直到它停止改善。我们证明了我们的算法的最优性，表明a）任何算法的IMAB问题，无论多么功利，必须遭受$Ω(T)$政策遗憾和$Ω(k)$竞争比相对于最佳离线政策，和b）我们的算法的竞争比是$O(k)$。
2022-08-19 cs.AI cs.LG
Preference-based Reinforcement Learning with Finite-Time Guarantees
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
基于偏好的强化学习（PbRL）通过偏好取代传统强化学习中的奖励值，以更好地引起人们对目标目标的意见，特别是当数字奖励值难以设计或解释时。尽管在应用中取得了可喜的成果，但对PbRL的理论理解仍处于起步阶段。在本文中，我们提出了一般PbRL问题的第一个有限时间分析。我们首先表明，一个独特的最优策略可能不存在，如果偏好轨迹是确定性的PbRL。如果偏好是随机的，偏好概率与隐藏的奖励值有关，我们提出的算法PbRL，无论有没有模拟器，能够确定最佳的政策，以高概率的准确性$\varepsilon$。我们的方法通过导航到探索不足的状态来探索状态空间，并使用决斗强盗和策略搜索的组合来解决PbRL。实验表明，我们的方法是有效的，当它被应用到现实世界中的问题。
2020-10-23 cs.AI cs.LG stat.ML
Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Auckland（奥克兰大学）；Chongqing University（重庆大学）
本文提出信赖域奖励优化（TRRO）框架及其算法实例PIRO，通过次小化-最大化过程保证专家行为似然单调提升，解决了非对抗逆强化学习缺乏稳定性保证的问题，在多项基准上匹配或超越最先进基线。
2025-10-13 cs.AI cs.LG
Rethinking Personalized Reward Modeling for LLMs under Preference Heterogeneity via Group-Debiased Federated Learning
Institute of Engineering Research, Korea University（韩国大学工程研究所）；Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）；Industrial Management Engineering, Korea University（韩国大学产业管理工程学院）
该研究针对大语言模型个性化奖励建模的偏好异质性问题，提出FedGD方法，通过组去偏的客户端采样抵消组不平衡影响，实现无需预先知晓潜在组的有效个性化。
2026-08-04 cs.AI cs.LG
A Theoretical Framework for Partially Observed Reward-States in RLHF
University of Michigan（密歇根大学）；Technion（以色列理工学院）；Boston University（波士顿大学）
该论文提出部分可观测奖励状态RL（PORRL）框架，统一建模RLHF中的内部状态与中间反馈，并给出基数及决斗反馈下的遗憾与样本复杂度保证，优于朴素历史摘要方法。
2024-11-09 cs.AI cs.LG stat.ML
RewardExplainer: Learning Reward Model Explanations from Counterfactual Preference Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Jilin University（吉林大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出RewardExplainer框架，通过反事实反馈训练可复用的奖励模型解释器，生成可干预的自然语言评分机制，提升解释忠实度并用于识别偏见和去偏，增强模型鲁棒性。
2026-09-29 cs.CL cs.LG
Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees
逆强化学习（IRL）的目标是恢复奖励函数和相关的最优策略，最适合观察到的状态序列和由专家执行的动作。IRL的许多算法具有固有的嵌套结构：内部循环找到给定参数化奖励的最优策略，而外部循环更新估计以优化拟合度量。对于高维环境，这样的嵌套循环结构需要一个显着的计算负担。为了减少嵌套循环的计算负担，SQIL [1]和IQ-Learn [2]等新方法强调策略估计，但牺牲了奖励估计的准确性。然而，如果没有准确的估计奖励，就不可能进行反事实分析，例如预测不同环境动态下的最优策略和/或学习新任务。在本文中，我们开发了一种新的单循环算法的IRL不妥协的奖励估计精度。在所提出的算法中，每个策略改进步骤之后是一个随机梯度步骤的似然最大化。我们证明了该算法可证明收敛到一个固定的解决方案，有限时间的保证。如果奖励是线性参数化的，我们确定的解决方案对应的最大熵IRL问题的解决方案。最后，通过使用MuJoCo机器人控制问题及其传输设置，我们表明，该算法实现了优越的性能相比，其他IRL和模仿学习基准。
2022-10-31 cs.LG stat.ML
Enabling Group Fairness in Graph Unlearning via Bi-level Debiasing
Department of Electrical Engineering and Computer Science, University of California, Irvine（电气工程与计算机科学系，加州大学伊尔凡分校）；Donald Bren School of Information and Computer Sciences, University of California, Irvine（戴维·布伦信息与计算机科学学院，加州大学伊尔凡分校）
针对图遗忘会引入敏感群体偏见的问题，本文提出 FGU，通过分片训练与重训练保障隐私，并结合分片级正则化和全局模型对齐的双层去偏，在保持准确性的同时提升公平性与鲁棒性。
2025-05-14 cs.LG
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University（普渡大学）
逆强化学习（IRL）是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用，在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中，我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外，我们提供了一个正确的证明和形式化的保证，我们的算法的样本和时间复杂度。最后，我们提出了合成实验，以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
Multi-agent Multi-armed Bandits with Minimum Reward Guarantee Fairness
IIT Hyderabad（印度海得拉巴理工学院）
本文提出 RewardFairUCB 算法，在集中式多智能体多臂老虎机中最大化社会福利并保证每个智能体获得最小期望奖励，实现了次线性遗憾界并验证了公平性与效率的权衡。
2025-06-19 cs.LG cs.SY eess.SY
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Distributionally Robust Average-Reward Reinforcement Learning: Finite-Sample Guarantees under Weak Communication
本文研究弱通信平均奖励分布鲁棒强化学习，提出无需先验知识的算法，给出估计鲁棒最优平均奖励和学习的样本复杂度保证，并验证了$n^{-1/2}$收敛速率。
2026-09-29 cs.LG math.OC stat.ML
A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences（德累斯顿应用技术大学）
本研究提出统一分析框架，区分奖励塑造相关类型，分析12类方法族，明确最优性保证在当代深度强化学习流程中的存续条件，揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Stochastic first-order methods for average-reward Markov decision processes
School of Industrial and Systems Engineering（工业与系统工程学院）；School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
本文针对平均奖励马尔可夫决策过程提出平均奖励随机策略镜像下降和方差缩减时序差分方法，解决策略优化与评估中的探索不足和样本复杂度问题，并建立两种噪声模型下的样本复杂度保证。
2024-09-28 cs.LG math.OC stat.ML
Pairwise Elimination with Instance-Dependent Guarantees for Bandits with Cost Subsidy
Department of Electrical and Computer Engineering（电气与计算机工程系）；Carnegie Mellon University（卡内基梅隆大学）
本文提出PE和PE-CS算法，通过实例依赖分析，在带成本补贴的多臂老虎机问题中实现了成本和质量遗憾的对数上界保证。
2025-12-19 cs.LG
Structural Estimation of Markov Decision Processes in High-Dimensional State Space with Finite-Time Guarantees
University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯农工大学）
针对高维状态空间下动态决策结构模型的嵌套估计难题，提出策略改进与似然随机梯度交替的单循环 IRL 算法，给出有限时间收敛保证并验证其性能优势。
2024-03-01 cs.AI cs.LG econ.EM
Plan-Based Relaxed Reward Shaping for Goal-Directed Tasks
TU Berlin（柏林工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
在高维状态空间中，强化学习（RL）的有效性受到探索问题的限制。这个问题已经解决了使用基于潜力的奖励塑造（PB-RS）之前。在目前的工作中，我们介绍了最终卷保持奖励塑造（FV-RS）。FV-RS放宽了PB-RS的严格最优性保证，以保证保持长期行为。由于限制较少，FV-RS允许甚至更适合于提高RL算法的样本效率的奖励塑造函数。特别是，我们考虑设置代理人可以访问一个近似的计划。在这里，我们使用模拟机器人操作任务的例子来证明，计划为基础的FV-RS确实可以显着提高样本效率的RL计划为基础的PB-RS。
2021-07-14 cs.AI cs.LG cs.RO
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种用于离线奖励学习的统一线性规划框架，无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数，具有可证明的样本效率和最优性保证，性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
Information Theoretic Guarantees For Policy Alignment In Large Language Models
IBM Research（IBM研究院）
本文研究大语言模型策略对齐的奖励改进上界，证明在次高斯尾条件下√KL信息论上界成立，并利用顺序统计量Rényi表示与数据处理不等式为n中最佳策略给出任意f-散度的KL上界，同时分析代理奖励到黄金奖励的转移退化。
2024-06-09 cs.IT cs.LG math.IT
Revisiting Value Iteration: Unified Analysis of Discounted and Average-Reward Cases
本文通过统一几何分析，证明在特定条件下价值迭代在折扣和平均奖励设置中均具有更快的几何收敛速度。
2026-03-11 cs.LG
Probabilistic Safety Guarantee for Stochastic Control Systems Using Average Reward MDPs
University of New Hampshire（新罕布什尔大学）
针对随机控制系统因状态变量不可预测演化难以满足安全约束的问题，提出将安全目标转化为平均奖励MDP目标的算法，通过线性规划计算安全策略，在双积分器和倒立摆系统验证得该方法比最小折扣奖励解更优。
2025-11-11 cs.LG cs.RO cs.SY
Finite-Time Guarantees for Multi-Agent Combinatorial Bandits with Nonstationary Rewards
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Ottawa（渥太华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对干预效应随时间变化的多智能体序贯资源分配问题，提出含习惯化与恢复机制的非平稳组合多臂赌博机框架，并给出具有动态遗憾保证的算法，糖尿病干预案例显示注册提升最高达基线三倍。
2025-08-28 cs.LG cs.SY eess.SY
Evaluator Ensembles Under Reward Hacking: Covariance Geometry and Finite-Search Guarantees
Kalinga Institute of Industrial Technology（卡林加工业技术学院）；Iowa State University（爱荷华州立大学）
该研究针对奖励黑客攻击下评估器集成的失效问题，基于协方差几何分析，提出有限搜索的保证方法，通过压力测试与模型审计验证理论，明确分歧诊断的局限。
2026-08-11 cs.LG
Matrix-Decoupled Concentration for Autoregressive Sequences: Dimension-Free Guarantees for Sparse Long-Context Rewards
School of Mathematics and Statistics, Beijing Institute of Technology, Beijing 100872, China（北京理工大学数学系，北京理工大学，北京100872，中国）
本文提出矩阵解耦浓度框架，通过严格因果依赖解析和目标敏感性向量的精确矩阵-向量乘法，解决自回归模型中依赖结构与目标敏感性分离的问题，提供维度无关的方差代理和长上下文推理的稳定性保证。
2026-05-16 cs.LG math.PR
Nearly-tight Approximation Guarantees for the Improving Multi-Armed Bandits Problem
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文研究奖励随拉动次数凹增的改进型多臂老虎机问题，证明随机在线算法的近似下界为 Ω(√k)，并给出已知最大奖励时 O(√k)、未知时 O(√k log k) 的近似算法。
2024-04-01 cs.DS cs.LG stat.ML
Sail into the Headwind: Alignment via Robust Rewards and Dynamic Labels against Reward Hacking
针对离线偏好优化中两类由数据集统计波动引发的奖励黑客问题，提出结合鲁棒奖励最大化的POWER方法与动态标签技术，理论有保证且在对齐基准上性能优于现有方法。
2024-12-12 cs.AI cs.LG math.OC
Lipschitzness Is All You Need To Tame Off-policy Generative Adversarial Imitation Learning
University of Geneva（日内瓦大学）；HES-SO（瑞士西部应用科学与艺术大学）
针对离策略生成对抗模仿学习对超参数敏感的问题，证明强制奖励函数满足局部Lipschitz连续是关键，并提出通用的悲观奖励预处理方法提升鲁棒性，理论保证对任意满足该条件的奖励均有效。
2023-10-25 cs.AI cs.LG
Physical Deep Reinforcement Learning Towards Safety Guarantee
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习（Deep Reinforcement Learning，DRL）在高维状态和/或动作空间自治系统的许多复杂决策任务中取得了巨大成功。然而，安全性和稳定性仍然是主要的问题，阻碍了日间行车灯的应用，安全关键的自治系统。为了解决这些问题，我们提出了Phy-DRL：一个物理深度强化学习框架。Phy-DRL在两个架构设计中是新颖的：i）类似于Lyapunov的奖励，以及ii）剩余控制（即，基于物理模型控制和数据驱动控制的集成）。并发的物理奖励和剩余控制赋予Phy-DRL（数学上）可证明的安全性和稳定性保证。通过对倒立摆系统的仿真实验，验证了Phy-DRL在保证安全性和稳定性的同时，具有较强的鲁棒性，并能显著提高训练速度和训练回报。
2023-03-29 cs.LG cs.SY eess.SY
Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models
Politecnico di Milano（米兰理工大学）
针对未知转移但已知观测的平均奖励POMDP，提出乐观算法与新型估计器，实现$\mathcal{O}(\sqrt{T\log T})$遗憾，超越现有方法。
2025-09-05 cs.LG stat.ML
Conservative Exploration in Reinforcement Learning
当在未知的马尔可夫决策过程（MDP）中学习时，Agent应该权衡探索以发现关于MDP的新信息和利用现有知识以最大化奖励。虽然智能体最终会学习到一个好的或最优的策略，但不能保证中间策略的质量。这种控制的缺乏在现实世界的应用中是不期望的，在现实世界的应用中，最低要求是保证执行的策略至少与现有基线一样好。在本文中，我们引入了平均报酬和有限时域问题的保守探索的概念。我们提出了两个乐观的算法，保证（w.h.p.）在学习过程中，保守约束永远不会被违反。我们得出的遗憾界显示，保守并不妨碍这些算法的学习能力。
2020-07-15 cs.LG stat.ML
On Computation and Generalization of Generative Adversarial Imitation Learning
Georgia Tech（佐治亚理工学院）；Xi’an Jiaotong University（西安交通大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
生成对抗模仿学习（GAIL）是一种学习顺序决策策略的强大而实用的方法。与强化学习（RL）不同，GAIL利用专家的演示数据（例如，人类），并学习未知环境的策略和奖励函数。尽管取得了重大的经验进展，GAIL背后的理论在很大程度上仍然是未知的。主要的困难来自潜在的时间依赖性的示范数据和极小极大计算公式GAIL没有凹凸结构。为了弥合理论与实践之间的差距，本文研究了GAIL的理论特性。具体而言，我们显示：（1）对于一般报酬参数化的GAIL，只要适当控制报酬函数的类，就可以保证推广性;（2）对于报酬参数化为再生核函数的GAIL，可以用随机一阶优化算法有效地求解，该算法可以达到次线性收敛到平稳解.据我们所知，这些是第一个结果的统计和计算保证模仿学习与奖励/政策函数近似。数值实验支持我们的分析。
2020-01-12 cs.LG stat.ML
Conformal bandits: bringing statistical validity and reward efficiency under weak arm separability
MEMOTEF, Sapienza Università di Roma（MEMOTEF，罗马大学）
Conformal Bandits通过整合符合预测，为小间隙领域提供了统计有效性和奖励效率，解决了传统老虎机策略在有限样本中的不足。
2026-08-04 cs.LG
Best of Many Worlds Guarantees for Online Learning with Knapsacks
Bocconi University（博科尼大学）；Politecnico di Milano（米兰理工大学）；Columbia University（哥伦比亚大学）
我们研究在线学习问题，其中决策者希望在不违反有限的$m$资源约束的情况下最大化他们的预期回报。通过在适当定义的策略混合空间上投射学习过程，我们在底层优化问题的拉格朗日松弛上恢复了强对偶性，即使对于具有非凸奖励和资源消耗函数的一般设置也是如此。然后，我们为这种设置提供了第一个多世界最佳类型的框架，在随机，对抗和非平稳输入下具有无遗憾保证。我们的框架产生相同的遗憾保证先前的工作在随机的情况下。另一方面，当预算在时间范围内至少线性增长时，它允许我们在对抗情况下提供恒定的竞争比，这比$O(\log m \log T)$的最佳已知上限有所改善。此外，我们的框架允许决策者处理非凸的奖励和成本函数。我们提供了两个博弈论的应用程序，我们的框架，以进一步证明其灵活性。在这样做的过程中，我们表明，它可以用来实现重复的第一价格拍卖的快速起搏机制。
2023-03-10 cs.LG
Learning Correlated Reward Models: Statistical Barriers and Opportunities
MIT（麻省理工学院）
本文研究了避免IIA假设的相关probit模型的统计与计算挑战，证明了成对偏好数据不足以学习相关性，而三选一偏好数据可实现近最优估计。
2026-05-27 cs.LG econ.EM stat.ML
Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased Recommendations
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, San Diego（加州大学圣地亚哥分校）；Beijing Technology and Business University（北京工商大学）
本文提出一种模型无关的平衡方法，通过交替校正模型参数并自适应学习有偏样本平衡系数，以利用少量无偏评分对抗未观测混杂和模型设定错误，提升去偏推荐性能。
2023-04-17 cs.IR cs.LG
Optimal Single-Policy Sample Complexity and Transient Coverage for Average-Reward Offline RL
Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
本文研究了平均回报MDP中的离线强化学习，提出基于目标策略的精确样本复杂度界，并首次处理一般弱连通MDP，引入改进的悲观折扣价值迭代算法。
2026-04-21 cs.IT cs.LG math.IT
Finite-Time Guarantees for Constrained Reinforcement Learning under Partial Observability
University of Padova（帕多瓦大学）；EPFL（洛桑联邦理工学院）；SYCAMORE
针对部分可观测带约束强化学习的挑战，提出基于有限历史窗口近似的原-对偶算法，获首个联合约束奖励次优性与约束违反的非渐近保证，实验验证其有效性。
2026-10-16 cs.LG
Intervention Efficient Algorithm for Two-Stage Causal MDPs
Indian Institute of Science（印度科学院）；Adobe Research（Adobe研究院）
我们研究马尔可夫决策过程（MDP），其中状态对应于随机产生奖励的因果图。在这种设置中，学习者的目标是通过干预每个状态的变量来识别导致高回报的原子干预。推广最近的cabet-bandit框架，目前的工作发展（简单）的遗憾最小化保证两阶段的因果MDP，并行因果图在每个状态。我们提出了一个算法，实现了一个依赖于实例的遗憾界。我们的算法的一个关键特征是，它利用凸优化来解决勘探问题。我们确定类的情况下，我们的遗憾的保证基本上是紧的，并通过实验验证我们的理论结果。
2021-11-01 cs.AI cs.LG
Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing
The Pennsylvania State University（宾夕法尼亚州立大学）
研究用于大语言模型路由的相关感知上下文博弈问题，提出耦合奖励混合与解耦预测混合两种利用替代奖励的算法，经理论分析和实验评估，相比基线方法提高了样本效率和精度 - 成本权衡。
2026-10-15 cs.AI cs.LG
Dueling RL: Reinforcement Learning with Trajectory Preferences
Microsoft Research（微软研究院）；TTI Chicago（芝加哥丰田理工学院）；Stanford University（斯坦福大学）
我们考虑基于偏好的强化学习（PbRL）问题，其中，与传统的强化学习不同，代理只接收轨迹对的1位（0/1）偏好反馈，而不是绝对的奖励。传统RL框架的成功关键依赖于底层的代理-奖励模型，然而，这取决于系统设计者能够如何准确地表达适当的奖励函数以及通常是重要的任务。我们的框架的主要新颖性是能够从基于偏好的轨迹反馈中学习，从而消除了手工制作数字奖励模型的需要。本文建立了一个非马尔可夫报酬的PbRL问题的形式化框架，其中轨迹偏好由一个维数为$d$的广义线性模型编码.假设转移模型是已知的，然后我们提出了一个几乎最优的遗憾保证$\tilde {\mathcal{O}}\left( SH d \log (T / δ) \sqrt{T} \right)$的算法。进一步，我们将上述算法推广到未知转移动态的情况，并给出了一个具有近最优后悔保证$\widetilde{\mathcal{O}}((\sqrt{d} + H^2 + |\mathcal{S}|)\sqrt{dT} +\sqrt{|\mathcal{S}||\mathcal{A}|TH} )$的算法。据我们所知，我们的工作是第一个给出严格的遗憾保证基于偏好的RL问题与轨迹偏好。
2023-02-06 cs.LG
When Greedy Sampling Explores: KL-Regularized Contextual Bandits without Eluder-Dimension Dependence
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Oregon State University（俄勒冈州立大学）
本文研究 KL 正则化上下文赌博机，证明贪心采样在奖励与偏好反馈下均可实现无 eluder 维度依赖的对数遗憾，并揭示其与上置信界探索间的权衡。
2026-09-22 cs.LG
The Pareto Frontier of Instance-Dependent Guarantees in Multi-Player Multi-Armed Bandits with no Communication
Microsoft Research（微软研究院）
研究了随机多人多臂强盗问题。在这个问题中，$m$参与者合作以最大化他们从$K > m$武器中获得的总奖励。然而，玩家不能交流，如果他们在同一时间拉同一只手臂，就会受到惩罚（例如没有奖励）。我们问是否有可能获得最佳的实例依赖的遗憾$\tilde{O}(1/Δ)$，其中$Δ$是$m$-th和$m+1$-st最佳臂之间的差距。这种保证最近在一个模型中实现，该模型允许参与者通过故意碰撞进行隐式通信。令人惊讶的是，我们表明，没有沟通，这样的保证是无法实现的。事实上，对于$Δ$的某些值，获得最佳的$\tilde{O}(1/Δ)$后悔必然意味着在其他制度中严格的次优后悔。我们的主要结果是帕累托最优的实例相关的权衡，可能没有通信的一个完整的表征。我们的算法概括了Bubeck，Budzinski和第二作者。在那里，我们的算法成功，即使碰撞后的反馈可以被破坏的自适应对手，由于一个强大的无碰撞属性。我们的下界是基于多尺度的拓扑障碍，是全新的。
2022-06-06 cs.LG cs.MA stat.ML
