Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出离线价值排序算法VR，在统一EM框架中同时优化长期奖励和排序指标，无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
Causal policy ranking
causaLens
通过强化学习（RL）训练的策略即使对于简单的任务也通常非常复杂。在具有$n$时间步长的事件中，策略将对要采取的操作做出$n$决策，其中许多决策对于观察者来说可能看起来不直观。此外，尚不清楚这些决定中哪些直接有助于实现奖励，以及它们的贡献有多大。给定一个经过训练的策略，我们提出了一个基于反事实推理的黑盒方法，该方法估计这些决策对奖励获得的因果影响，并根据此估计对决策进行排名。在这个初步的工作中，我们比较我们的措施对替代，非因果，排名过程中，突出的好处，基于cavity的政策排名，并讨论潜在的未来工作整合因果算法到RL代理政策的解释。
2021-11-16 cs.AI cs.LG
Policy-Gradient Training of Fair and Unbiased Ranking Functions
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
虽然隐式反馈（例如，点击、停留时间等）是学习排序的一个丰富而有吸引力的数据来源，但它可能会产生不公平的排名政策，无论是外部的还是内部的原因。外生原因通常表现为训练数据中的偏差，然后反映在学习的排名策略中，并经常导致富人越来越富的动态。此外，即使在纠正了这些偏差之后，学习算法设计的内在原因仍然可能导致排名策略不能以公平的方式在项目之间分配曝光。为了解决外源性和内源性的不公平性，我们提出了第一个学习排名的方法，同时解决介绍偏见和择优公平的曝光。具体来说，我们定义了一类摊销公平的曝光限制，可以选择基于应用程序的需求，我们展示了如何执行这些公平的标准，尽管隐式反馈数据中的选择偏差。关键的结果是一个有效的和灵活的政策梯度算法，称为FULTR，这是第一个使使用反事实估计效用估计和公平性约束。除了框架的理论依据，我们的经验表明，该算法可以学习准确和公平的排名政策，从偏见和嘈杂的反馈。
2021-05-09 cs.CY cs.IR cs.LG
Clustered Policy Decision Ranking
University of Maryland（马里兰大学）
针对强化学习策略决策复杂且贡献不清晰的问题，提出基于统计协方差估计的黑盒方法，通过聚类环境状态并对决策重要性进行排名，且与基于统计故障定位的排名程序进行了比较。
2024-04-28 cs.AI cs.LG
Branch Ranking for Efficient Mixed-Integer Programming via Offline Ranking-based Policy Learning
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
在分支定界算法中，如何选择变量是提高现代混合整数规划求解器效率的关键。随着MIP分支数据收集在以前的解决方案的过程中，学习分支的方法最近变得优越于算法。由于分支定界是一个连续的决策任务，人们应该学会优化整个MIP求解过程的效用，而不是在每一步都目光短浅。在这项工作中，我们制定了学习分支作为一个离线强化学习（RL）的问题，并提出了一个长远的混合搜索方案来构建离线MIP数据集，它的价值的分支决策的长期效用。在策略训练阶段，我们部署了一个基于排名的奖励分配方案，以区分有前途的样本从长期或短期的观点，和训练的分支模型命名为分支排名通过离线策略学习。在合成MIP基准测试和真实任务上的实验表明，与广泛使用的启发式和最先进的基于学习的分支模型相比，分支Rankink更有效，更健壮，并且可以更好地推广到大规模的MIP实例。
2022-07-26 cs.AI cs.DM cs.LG
Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing
New York University（纽约大学）；University of Iowa（爱荷华大学）
基于两两比较的排序聚合有着广泛的应用。虽然相当多的研究已经致力于发展的排名聚合算法，一个基本的问题是如何有效地收集大量的高质量的成对比较的排名的目的。由于许多众包服务的出现，一群工人经常被雇佣来进行成对比较，每对他们比较一个小的金钱奖励。由于不同的工作者具有不同的可靠性水平，并且不同的对具有不同的模糊性水平，因此希望明智地分配有限的预算用于在项目和工作者对之间进行比较，使得可以从比较结果准确地推断全局排名。为此，我们将众包排名中的主动抽样问题建模为贝叶斯马尔可夫决策过程，该过程在预算约束下动态选择项目对和工人以提高排名精度。我们进一步开发了一个计算效率高的采样政策的基础上的知识梯度以及矩匹配技术的后验近似。在合成数据和真实数据上的实验结果表明，该策略以较低的标记代价实现了较高的排序精度。
2016-12-21 cs.LG stat.ME stat.ML
APRIL: Active Preference-learning based Reinforcement Learning
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Université Paris-Sud（巴黎第十一大学）
本文主要研究有限先验知识下的强化学习。例如，在群体机器人领域，专家很难设计奖励函数或演示目标行为，禁止使用标准RL和反向强化学习。虽然专业知识有限，但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架：专家的偏好被用来学习一个近似的策略返回，从而使代理实现直接的策略搜索。迭代地，代理选择一个新的候选策略，并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈，使代理细化近似的政策回报，并迭代的过程。在本文中，基于偏好的强化学习结合主动排名，以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明，几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Reinforcement Learning to Rank in E-Commerce Search Engine: Formalization, Analysis, and Application
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）；Zhejiang Cainiao Supply Chain Management Co., Ltd.（浙江菜鸟供应链管理有限公司）
在亚马逊、淘宝等电子商业平台中，搜索会话中的商品排序是一个典型的多步决策问题。学习排序（LTR）方法已被广泛应用于排序问题。然而，这样的方法通常认为会话中的不同排名步骤是独立的，其相反地可能彼此高度相关。为了更好地利用不同排序步骤之间的相关性，在本文中，我们提出使用强化学习（RL）来学习一个最优的排序策略，最大化搜索会话中的预期累积奖励。首先，我们正式定义了搜索会话马尔可夫决策过程（SSMDP）的概念，制定多步排序问题。其次，分析了SSMDP的性质，从理论上证明了最大化累积报酬的必要性。最后，我们提出了一种新的策略梯度算法来学习最优排序策略，该算法能够处理SSMDP的高奖励方差和不平衡的奖励分配问题。实验在模拟和淘宝搜索引擎上进行。实验结果表明，与在线LTR算法相比，该算法的性能有了明显的提高，在仿真和实际应用中，总交易量分别增长了40%和30%以上。
2018-05-23 cs.LG
A framework for optimizing COVID-19 testing policy using a Multi Armed Bandit approach
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
检测是应对COVID-19疫情的重要组成部分。由于资源有限，测试的可用性是一个瓶颈，需要对个人进行有效的优先级排序。在这里，我们讨论了不同的优先级政策对COVID-19患者发现的影响，以及政府和卫生组织使用结果进行有效决策的能力。我们提出了一个测试框架，平衡了最大限度地发现阳性个体与以人群为基础的监测的需要，旨在了解疾病的传播和特点。该框架借鉴了网络安全领域的类似优先排序方法，即使用风险评分对个人进行排名，然后保留一部分随机抽样的能力。这种方法是多武装土匪最大化勘探/开发底层分布的应用。我们发现，可以使用一些简单的特征对个体进行有效的测试，并且使用这样的模型对它们进行排名，我们可以捕获65%（CI：64.7%-68.3%）使用不到20%检测容量的阳性个体或92.1%（CI：91.1%-93.2%）的阳性个体，使用70%的容量，允许保留相当大一部分的测试用于群体研究。我们的方法使专家和决策者能够根据需要定制相应的政策，从而使排名政策具有透明度，并能够了解疾病在人群中的传播情况，并以知情的方式迅速作出反应。
2020-07-28 cs.LG stat.ML
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们扩展的时间差的政策评估算法的性能标准，包括方差的累积奖励。这些标准对风险管理很有用，在财务和流程控制等领域也很重要。我们提出了TD（0）和LSTD（lambda）变量与线性函数逼近，证明了它们的收敛性，并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Safe Exploration for Optimizing Contextual Bandits
University of Amsterdam（阿姆斯特丹大学）
上下文强盗问题自然适合于许多信息检索任务，例如学习排序、文本分类、推荐等。然而，用于上下文强盗问题的现有学习方法具有两个缺点之一：它们要么不探索所有可能的文档排序的空间（即，动作），并且因此可能错过最优排名，或者它们向用户呈现次优排名，并且因此可能损害用户体验。我们介绍了一种新的学习方法上下文强盗问题，安全探索算法（SEA），它克服了上述缺点。SEA首先使用基线（或生产）排名系统（即，策略），其不损害用户体验，因此执行起来是安全的，但是具有次优性能，因此需要改进。然后SEA使用反事实学习来学习基于基线策略的行为的新策略。SEA还使用高置信度的离策略评估来估计新学习的策略的性能。一旦新学习的策略的性能至少与基线策略的性能一样好，SEA就开始使用新策略执行新动作，允许它积极探索动作空间的有利区域。这样，SEA的性能永远不会比基线策略差，因此不会损害用户体验，同时仍然探索动作空间，因此能够找到最佳策略。我们使用文本分类和文档检索的实验通过比较SEA（和称为BSEA的无限变体）与上下文强盗问题的在线和离线学习方法来证实上述内容。
2020-02-02 cs.IR cs.LG
Personalized Advertisement Recommendation: A Ranking Approach to Address the Ubiquitous Click Sparsity Problem
University of Michigan（密歇根大学）；Adobe Big Data Experience Lab（奥多比大数据体验实验室）
研究了个性化广告推荐问题，即用户访问一个系统（网站），系统向用户显示一个$K$广告。系统使用内部广告推荐策略将用户的配置文件（上下文）映射到其中一个广告。用户点击或忽略广告，相应地，系统更新其推荐策略。PAR问题通常由可扩展的\emph{contextual bandit}算法来解决，其中策略通常基于分类器。PAR中的一个实际问题是极端的点击稀疏性，这是由于很少有用户真正点击广告。系统地研究了基于分类器策略的上下文强盗算法在极端点击稀疏情况下的缺陷。然后，我们提出了一个替代政策，排名的基础上，通过优化曲线下面积（AUC）排名损失，这可以显着缓解点击稀疏的问题。我们在公共数据集以及三个行业专有数据集上进行了广泛的实验，以说明通过使用基于排名的策略比基于分类器的策略获得的点击率（CTR）的改进。
2016-03-06 cs.IR cs.LG
Safe, Efficient, and Robust Reinforcement Learning for Ranking and Diffusion Models
University of Amsterdam（阿姆斯特丹大学）；Meta AI
本文以上下文赌博机为统一视角，研究安全、高效且稳健的强化学习，覆盖排序与扩散模型两大领域，提出带安全保证的反事实风险最小化目标、闭式最优基线及LOOP算法，兼顾样本效率与生成质量。
2025-10-17 cs.LG
Robust Batch Policy Learning in Markov Decision Processes
George Washington University（乔治华盛顿大学）；Harvard University（哈佛大学）
在马尔可夫决策过程（MDP）框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力，我们建议通过一组平均奖励来评估每个策略，这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集，我们的目标是在预先指定的策略类中学习一个鲁棒的策略，该策略类可以最大化这个集合的最小值。利用半参数统计理论，我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers
SAP Labs（思爱普实验室）
本文提出结合离线GRPO与在线蒸馏的两阶段框架，训练出1B规模的紧凑指令跟随重排序器，在MAIR-11、MAIR-Full等基准上优于多种蒸馏方法及7B规模RL训练重排序器，实现了更优的质量效率权衡。
2026-09-03 cs.AI cs.LG
Policy-Gradient Training of Language Models for Ranking
Cornell University（康奈尔大学）
针对基于LLM的检索器依赖复杂启发式对比损失训练的问题，提出Neural PG-RANK算法，将LLM实例化为Plackett-Luce排序策略，通过策略梯度端到端训练，统一训练目标与下游决策质量，在域内性能和部分域外泛化上取得显著提升。
2024-11-23 cs.AI cs.CL cs.IR
Hindsight Goal Ranking on Replay Buffer for Sparse Reward Environment
KAIST（韩国科学技术院）
本文提出了一种用于优先考虑重放经验的方法，称为后见之明目标排名（HGR），以克服后见之明经验重放（HER）的局限性，基于均匀采样生成后见之明目标。HGR对具有较大时间差异（TD）误差的剧集中访问的状态进行更高概率的样本，这被认为是RL代理可以从经验中学习的量的代理度量。大TD误差的实际采样分两步进行：首先，根据其经验的平均TD误差从中继缓冲器中采样一个事件，然后，对于采样的事件，导致较大TD误差的后见之明目标以更高的概率从未来访问状态中采样。该方法结合深度确定性策略梯度（DDPG），一种无策略模型的actor-critic算法，在四个具有挑战性的模拟机器人操作任务上，比没有任何优先级的学习速度快得多。实证结果表明，HGR在所有任务中比以前的方法更有效地使用样本。
2021-10-28 cs.LG
Online Markov decision processes with policy iteration
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
在线马尔可夫决策过程（MDP）是经典马尔可夫决策过程的推广，它包含了不断变化的奖励函数。在本文中，我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是，它可以很容易地与函数逼近相结合，从而可以有效地处理大的和可能连续的状态空间。通过实验，我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
Ranking-aware Reinforcement Learning for Ordinal Ranking
AMAP, Alibaba Group（阿里集团AMAP）
RARL通过整合回归和学习到排名任务，利用排名-aware奖励和响应突变操作提升有序排名性能。
2026-01-28 cs.AI cs.LG
A Geometric Theory of Decision Boundaries in Structured Markov Decision Processes
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文提出结构化马尔可夫决策过程中最优策略的几何理论，证明策略重构复杂度由决策边界几何而非状态空间大小决定，并给出统计保证与实验验证。
2026-09-17 cs.LG math.OC
Contextual bandits with concave rewards, and an application to fair ranking
PSL University（巴黎文理研究大学）；Meta AI
我们认为上下文的强盗与凹奖励（CBCR），一个多目标的强盗问题，其中所需的权衡之间的奖励是由一个已知的凹目标函数定义的，和奖励向量取决于观察到的随机上下文。我们提出了第一个算法，可证明消失的遗憾CBCR没有限制的政策空间，而以前的作品仅限于有限的政策空间或表格表示。我们的解决方案是基于几何解释的CBCR算法作为优化算法的期望回报跨越所有随机政策的凸集。基于约束凸优化中的Frank-Wolfe分析，我们得到了一个新的减少，从CBCR遗憾的标量奖励强盗问题的遗憾。我们说明了如何应用减少现成的线性和一般的奖励函数，在非组合行动的情况下，获得算法的CBCR。出于公平的建议，我们描述了一个特殊情况下的CBCR排名和公平意识的目标，导致第一个算法的遗憾保证上下文组合土匪公平曝光。
2023-02-28 cs.AI cs.CY cs.IR
A Ranking Game for Imitation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个新的模仿学习框架--将模仿视为策略和奖励之间基于排名的两人博弈。在这个游戏中，奖励代理学习满足行为之间的成对性能排名，而策略代理学习最大化此奖励。在模仿学习中，接近最优的专家数据可能很难获得，即使在无限数据的限制下，也不能像偏好那样暗示轨迹上的总排序。另一方面，仅从偏好中学习是具有挑战性的，因为需要大量的偏好来推断高维奖励函数，尽管偏好数据通常比专家演示更容易收集。经典的逆强化学习（IRL）公式从专家演示中学习，但没有提供从离线偏好中学习的机制，反之亦然。我们实例化建议的排名游戏框架与一个新的排名损失给出了一个算法，可以同时从专家演示和偏好学习，获得这两种方式的优势。我们的实验表明，所提出的方法达到了最先进的样本效率，并可以解决以前无法解决的任务，从观察学习（LfO）设置。项目视频和代码可以在https://hari-sikchi.github.io/rank-game/上找到
2023-01-16 cs.AI cs.LG cs.RO
Boolean Decision Rules for Reinforcement Learning Policy Summarisation
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林圣三一学院）
强化学习（RL）策略的可解释性仍然是一个具有挑战性的研究问题，特别是在安全背景下考虑RL时。理解RL策略的决策和意图提供了通过限制不良行为将安全纳入策略的途径。我们建议使用一个布尔决策规则模型来创建一个事后基于规则的摘要代理的政策。我们评估我们提出的方法，使用DQN代理培训的熔岩gridworld的实现，并表明，鉴于手工制作的功能表示这个gridworld，简单的通用规则，可以创建一个事后解释的摘要代理的政策。我们讨论了可能的途径，引入安全到RL代理的政策，通过使用由这个基于规则的模型所产生的规则作为对代理的政策施加的约束，以及讨论如何创建简单的规则摘要的代理的政策可能有助于在RL代理的调试过程。
2022-07-18 cs.AI cs.LG
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University（普渡大学）
本文针对无限时域平均奖励MDP，提出通用策略梯度算法，证明其全局收敛性，并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Policy Gradient for Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）
针对策略梯度方法难以适配模型不确定性、难以学习鲁棒策略的问题，提出双环鲁棒策略镜像下降方法，具备全局最优收敛保证，适配多类空间设置，实验验证了其鲁棒性与收敛性。
2024-10-31 cs.AI cs.LG
Unified Off-Policy Learning to Rank: a Reinforcement Learning Perspective
University of Science and Technology of China（中国科学技术大学）；Google DeepMind（谷歌DeepMind）；Princeton University（普林斯顿大学）；Penn State University（宾夕法尼亚州立大学）；Oregon State University（俄勒冈州立大学）
本文将排序过程统一建模为马尔可夫决策过程，提出点击模型无关的统一离策略学习排序方法CUOLR，利用离线强化学习在无需去偏和先验知识的情况下适应多种点击模型，并在大规模数据集上取得优于现有方法的鲁棒性能。
2023-10-28 cs.IR cs.LG
Off-Policy Evaluation in Partially Observed Markov Decision Processes under Sequential Ignorability
Stanford University（斯坦福大学）
本文针对部分可观测马尔可夫决策过程提出部分历史重要性加权估计器，证明其一致性与极小极大收敛速率，表明该问题难度介于完全可观测MDP与无模型评估之间。
2023-05-09 cs.LG math.ST stat.ME
Policy Optimization with Advantage Regularization for Long-Term Fairness in Decision Systems
UC San Diego（加州大学圣迭戈分校）；UT Austin（得克萨斯大学奥斯汀分校）
长期公平性是在高风险决策环境中设计和部署基于学习的决策系统时考虑的一个重要因素。最近的工作提出了使用马尔可夫决策过程（MDP）制定决策与长期的公平性要求，在动态变化的环境中，并表现出直接部署启发式和基于规则的政策，在静态环境中工作良好的主要挑战。我们表明，与以前已知的策略相比，深度强化学习的策略优化方法可以用来找到更好的决策策略，这些策略通常可以实现更高的整体效用和更少的公平性要求。特别是，我们提出了新的方法，在政策优化的公平性要求，通过正规化的优势评估不同的行动。我们提出的方法可以很容易地施加公平性约束，而无需奖励工程或牺牲训练效率。我们在三个已建立的案例研究中进行了详细的分析，包括事件监测中的注意力分配，银行贷款审批和人口网络中的疫苗分配。
2022-10-22 cs.AI cs.CY cs.LG
Evolving Constrained Reinforcement Learning Policy
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）
针对约束强化学习中回报与约束违反难以平衡的问题，提出 ECRL 算法，结合随机排序与带约束缓冲区的 Lagrange 系数维护，在机器人控制基准上性能优于现有方法。
2023-04-19 cs.AI cs.LG cs.NE
Approximate Linear Programming for Decentralized Policy Iteration in Cooperative Multi-agent Markov Decision Processes
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）
本文针对合作多智能体MDP中动作空间指数增长和精确值函数计算昂贵的问题，提出基于近似线性规划和函数逼近的去中心化策略迭代算法，覆盖有限与无限时域折扣情形，并给出理论保证和优于现有方法的实验效果。
2024-04-29 cs.LG cs.MA math.OC
Ranking and Selection as Stochastic Control
Peking University（北京大学）；Colorado State University（科罗拉多州立大学）；George Mason University（乔治梅森大学）；University of Maryland（马里兰大学）
在贝叶斯框架下，我们制定了完全序贯抽样和选择决策的统计排名和选择作为一个随机控制问题，并推导出相关的贝尔曼方程。利用价值函数近似，我们得到了一个近似最优分配策略。我们证明了这种策略不仅计算效率高，而且对于独立正态抽样分布具有一步前进性和渐近最优性。此外，建议的分配政策是很容易推广的近似动态规划范例。
2017-10-07 cs.LG stat.ML
Ranking metrics on non-shuffled traffic
Criteo AI Lab（科韬人工智能实验室）
排名指标是一系列主要用于评估推荐系统的指标。然而，他们通常遭受的事实，奖励是由推荐项目显示给用户的顺序影响。克服这种位置偏差的经典方法是均匀地打乱推荐的比例，但这种方法可能导致糟糕的用户体验。然而，使用随机策略来生成建议是常见的，我们提出了一种新的方法来克服位置偏差，通过利用用于收集数据集的策略的随机性。
2019-09-17 cs.LG stat.ML
Recommendation Ranking Off-Policy Evaluation under Ranking-Dependent Examination via Examination-Relevance Decomposition
Waseda University（早稻田大学）
针对推荐排序离线策略评估中点击偏差问题，提出基于检验-相关性分解的LE-IIPS与ED-DR估计器，后者在检验概率正确或排名无关检验下无偏，大样本时MSE更低。
2026-09-29 cs.IR cs.LG
Off-Policy Evaluation for Ranking Policies under Deterministic Logging Policies
Keio University（keio大学）；Sony Group Corporation（sony集团）；Yale University（yale大学）；Hanuku-kaso, Co., Ltd.（hanuku-kaso公司）
本文提出Click-based Inverse Propensity Score估计器，利用用户点击行为的内在随机性，在确定性日志策略下实现低偏差的离策略评估。
2026-03-23 cs.LG
Supervised Off-Policy Ranking
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
策略外评估（OPE）是利用其他策略生成的数据对目标策略进行评估。大多数以前的OPE方法专注于精确估计政策的真实表现。我们观察到，在许多应用中，（1）OPE的最终目标是比较两个或多个候选策略并选择一个好的策略，这比精确评估它们的真实性能要简单得多;（2）通常有多个策略已经部署在现实世界的系统中为用户提供服务，因此可以知道这些策略的真实性能。受这两个观察的启发，在这项工作中，我们研究了一个新的问题，监督的政策外排名（SOPR），其目的是排名一组目标政策的基础上监督学习，利用政策外的数据和政策与已知的性能。我们提出了一种解决SOPR的方法，该方法通过最小化训练策略的排名损失来学习策略评分模型，而不是估计精确的策略性能。我们的方法中的评分模型是一个基于分层Transformer的模型，它将一组状态-动作对映射到一个分数，其中每对的状态来自离线策略数据，并且目标策略以离线方式对状态采取动作。在公开数据集上的大量实验表明，该方法在秩相关性、后悔值和稳定性方面优于基线方法。我们的代码在GitHub上公开。
2022-06-20 cs.LG
Ranking Policy Learning via Marketplace Expected Value Estimation From Observational Data
eBay Search Ranking and Monetization（eBay搜索排名与商业化部门）
本研究提出一个决策框架，将双边电商市场的排序策略学习转化为基于观测数据的期望奖励优化问题，引入上下文价值分布并构建考虑异质性与分布偏移的实证估计，通过贝叶斯推理训练策略，在电商搜索任务中验证了相关权衡关系。
2024-10-06 cs.AI cs.IR cs.LG
Off-Policy Evaluation of Ranking Policies under Diverse User Behavior
Hanjuku-Kaso Co., Ltd.（半熟仮想株式会社）；Cornell University（康奈尔大学）；Yale University（耶鲁大学）；Yahoo Japan Corporation（雅虎日本公司）
针对排序策略离线评估中单一用户行为假设导致偏差和方差过大的问题，提出自适应IPS（AIPS）方法，支持多样用户行为，在保证无偏性的同时实现最小方差，并开发数据驱动过程优化MSE，显著提升评估准确性。
2023-06-26 cs.IR cs.LG stat.ML
Metalearners for Ranking Treatment Effects
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）
本文提出基于学习排序的元学习器方法，通过按增量利润优先级直接学习预算约束下的处理分配策略，并设计高效采样程序以扩展至大规模数据，在合成与真实数据上验证了其有效性。
2024-05-03 cs.LG stat.ML
Off-policy Policy Evaluation For Sequential Decisions Under Unobserved Confounding
Stanford University（斯坦福大学）
当观察到的决策只依赖于观察到的特征时，用于顺序决策问题的非策略策略评估（OPE）方法可以在部署策略之前估计评估策略的性能。由于未观察到的混杂因素，即影响决策及其结果的未记录变量，这一假设经常被违反。我们评估鲁棒性的OPE方法下未观察到的混杂发展的最坏情况下的评价政策的性能界限。当未观察到的混杂因素可以影响一个事件中的每一个决定时，我们证明了即使是少量的每一个决定混杂也会严重影响OPE方法。幸运的是，在医疗保健、政策制定、运营和技术领域的许多重要环境中，未观察到的混杂因素可能主要只影响众多决策中的一个。在这种不太悲观的单决策混杂模型下，我们提出了一种有效的基于损失最小化的计算最坏情况边界的方法，并证明了其统计一致性。在两个模拟的医疗保健的例子-脓毒症患者的管理和自闭症儿童的发展干预-这是一个合理的混淆模型，我们证明了我们的方法无效的非鲁棒性的结果，并提供了有意义的证书的鲁棒性，允许可靠的政策选择，即使在未观察到的混淆。
2020-03-12 cs.LG stat.ML
Probabilistic Offline Policy Ranking with Approximate Bayesian Computation
Arizona State University（亚利桑那州立大学）；Brigham Young University（杨百翰大学）
针对离线策略排序中现有基于价值的方法无法刻画整体性能、稀疏奖励下估值难的问题，提出不依赖价值估计的POPR框架及POPR-EABC方法，可实现多场景下策略的概率式比较与排序。
2023-12-17 cs.AI cs.LG
Adaptive Doubly Robust Off-Policy Evaluation for Ranking Policies under Diverse User Behavior
Institute of Science Tokyo（东京科学大学）
针对多样化用户行为下排序策略的离线评估挑战，提出自适应双重鲁棒（ADR）方法，结合自适应重要加权与奖励回归，在合成实验中降低了均方误差。
2026-09-01 cs.IR cs.LG
Observational Policy Ranking for SMB Financial Guidance from Multi-Action Accounting Logs
Foresight-AI（预见人工智能）；Intuit（英图易公司）
该研究针对中小企业财务指导的观测策略排序问题，提出CAR-PL方法，通过85078个公司-月度数据验证，其在毛利润等指标上表现优异，可实现多动作会计日志下的财务指导类别排序。
2026-08-12 cs.LG
Proximal Ranking Policy Optimization for Practical Safety in Counterfactual Learning to Rank
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
针对现有安全反事实排序学习方法适用范围有限、依赖用户行为假设的问题，提出近端排序策略优化PRPO，通过约束学习模型与安全模型的差异保障安全，实验证明其性能更优且在对抗场景下仍保持安全，为实际应用提供无条件鲁棒安全保障。
2024-09-15 cs.IR cs.LG
F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking
UC San Diego（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
本文提出F-GRPO，通过因子化组相对策略优化统一完成候选生成与排序，解决传统方法中因反馈滞后导致的优化不稳定问题，提升推荐系统性能。
2026-05-13 cs.LG
Evaluation of Explore-Exploit Policies in Multi-result Ranking Systems
Microsoft（微软）
我们分析了在多结果排序系统中使用Explore-Exploit技术来提高精度的问题，如Web搜索，查询自动完成和新闻推荐。在不了解其对生产系统的影响的情况下直接在线采用探索策略，可能会产生不必要的后果-系统可能会遭受巨大损失，引起用户不满，或收集无助于提高排名质量的探索数据。因此，离线框架是必要的，让我们决定在生产环境中应该应用什么策略以及如何应用，以确保积极的结果。在这里，我们描述这样一个离线框架。利用该框架，我们研究了一种流行的勘探政策-汤普森抽样。我们发现，有不同的方式来实现它在多结果排名系统，每个有不同的语义解释，并导致不同的结果持续点击率（CTR）损失和预期的模型改进。特别是，我们证明，汤普森采样可以作为一个在线学习优化CTR，这在某些情况下可能会导致一个有趣的结果：电梯CTR在探索。观察对于生产系统是重要的，因为它表明人们可以获得有价值的勘探数据以改善长期的排名性能，同时在勘探持续的同时增加CTR。
2015-04-28 cs.LG
ECPO: Evidence-Coupled Policy Optimization for Verifier-Audited Candidate Ranking
Institute of Information Engineering, Chinese Academy of Sciences（信息工程研究所，中国科学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文研究了证据认证候选者排序问题，提出了一种名为ECPO的策略优化方法，通过结合排序和证据证书来提升排序效果和证据可靠性。
2026-10-19 cs.AI cs.LG
Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（阿霍德·德尔海兹）
反事实评估可以根据历史交互数据估计排名系统之间的点击率（CTR）差异，同时减轻位置偏差和项目选择偏差的影响。我们引入了新的日志策略优化算法（LogOpt），它优化了日志数据的策略，使反事实估计具有最小的方差。由于最小化方差导致更快的收敛，LogOpt提高了反事实估计的数据效率。LogOpt将反事实方法（与日志策略无关）转变为在线方法，由算法决定显示什么样的排名。我们证明，作为一种在线评估方法，LogOpt是无偏的w.r.t.位置和项目选择偏差，不像现有的交织方法。此外，我们通过模拟数千个排名之间的比较来进行大规模实验。我们的研究结果表明，虽然交织方法会产生系统误差，但LogOpt与交织方法一样有效，而不会有偏差。
2020-07-28 cs.IR cs.LG
Uncertainty Quantification and Causal Considerations for Off-Policy Decision Making
针对离策略评估的统计不确定性与因果局限，提出边际比率估计器降低方差、共形离策略预测提供有限样本区间、序贯决策因果边界，为鲁棒决策及策略评估提供新方法与见解。
2025-02-09 cs.LG stat.ML
Enhancing Travel Decision-Making: A Contrastive Learning Approach for Personalized Review Rankings in Accommodations
本文提出基于对比学习的个性化住宿评论排序方法，并构建超两百万条真实评论数据集，实验证明其优于多个基线，可推广至电商等领域。
2024-06-30 cs.IR cs.LG
Optimal Decision Tree and Adaptive Submodular Ranking with Noisy Outcomes
Cornell University（康奈尔大学）；Midpoint Markets（中点市场公司）；University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究带噪声结果的最优决策树问题，提出近似算法处理持续性噪声，保证几乎最优，并在有毒化学物质识别和线性分类器学习实验中验证其成本接近信息论下界。
2024-07-31 cs.LG stat.ML
Equal Ranking Quality, Different Decisions: Measuring and Reducing Order Dependence in LLM Scorers
Thomson Reuters Labs（汤姆森路透实验室）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
该研究发现排名质量相当的大语言模型评分器决策存在差异，提出OC-SFT方法减弱顺序依赖性，提升决策稳定性，建议对比研究需报告阈值保留内容和读者回答而非仅排名质量。
2026-09-29 cs.CL cs.IR cs.LG
