Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出离线价值排序算法VR，在统一EM框架中同时优化长期奖励和排序指标，无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
Causal policy ranking
causaLens
通过强化学习（RL）训练的策略即使对于简单的任务也通常非常复杂。在具有$n$时间步长的事件中，策略将对要采取的操作做出$n$决策，其中许多决策对于观察者来说可能看起来不直观。此外，尚不清楚这些决定中哪些直接有助于实现奖励，以及它们的贡献有多大。给定一个经过训练的策略，我们提出了一个基于反事实推理的黑盒方法，该方法估计这些决策对奖励获得的因果影响，并根据此估计对决策进行排名。在这个初步的工作中，我们比较我们的措施对替代，非因果，排名过程中，突出的好处，基于cavity的政策排名，并讨论潜在的未来工作整合因果算法到RL代理政策的解释。
2021-11-16 cs.AI cs.LG
Off-Policy Evaluation of Ranking Policies via Embedding-Space User Behavior Modeling
Chuo University（中央大学）
针对大排序动作空间离线策略评估的高方差问题，提出基于嵌入空间用户行为假设的GMIPS及MRIPS估计器，有效平衡偏差与方差并实现最低MSE。
2025-05-31 cs.LG stat.ML
Observational Policy Ranking for SMB Financial Guidance from Multi-Action Accounting Logs
Foresight-AI（预见人工智能）；Intuit（英图易公司）
该研究针对中小企业财务指导的观测策略排序问题，提出CAR-PL方法，通过85078个公司-月度数据验证，其在毛利润等指标上表现优异，可实现多动作会计日志下的财务指导类别排序。
2026-08-12 cs.LG
Semi-supervised Ranking Pursuit
The Netherlands Organization for Applied Scientific Research（荷兰应用科学研究组织）；Radboud University Nijmegen（奈梅亨拉德堡德大学）
我们提出了一种新的稀疏偏好学习/排序算法。我们的算法近似的真实效用函数的加权和的基函数使用的平方损失对数据点，是一个推广的核匹配追踪方法。它可以在监督和半监督设置中运行，并允许有效搜索多个接近最优的解决方案。此外，我们描述了该算法的扩展，适用于组合排名和回归任务。在我们的实验中，我们证明了所提出的算法在考虑未标记数据时优于几种最先进的学习方法，并在监督学习场景中执行重复，同时提供更稀疏的解决方案。
2013-07-02 cs.IR cs.LG stat.ML
F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking
UC San Diego（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
本文提出F-GRPO，通过因子化组相对策略优化统一完成候选生成与排序，解决传统方法中因反馈滞后导致的优化不稳定问题，提升推荐系统性能。
2026-05-13 cs.LG
Ranking Policy Decisions
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；causaLens（causaLens公司）；King’s College London（伦敦国王学院）；Queen’s University Belfast（贝尔法斯特女王大学）；Amazon（亚马逊）
通过强化学习（RL）训练的策略通常是不必要的复杂，使得它们难以分析和解释。在使用$n$时间步长的运行中，策略将对要采取的操作做出$n$决策;我们推测，这些决策中只有一小部分比选择简单的默认操作更有价值。给定一个经过训练的策略，我们提出了一种基于统计故障定位的新的黑盒方法，该方法根据在这些状态中做出的决策的重要性对环境状态进行排名。我们认为，除其他外，国家的排名列表可以帮助解释和理解的政策。由于排名方法是统计的，很难对其质量进行直接评估。作为质量的代理，我们使用排名来创建新的，更简单的政策，从原来的修剪确定为不重要的决定（即，替换为默认操作），并衡量对性能的影响。我们在一组不同的标准基准测试上的实验表明，修剪后的策略可以在与原始策略相当的水平上执行。相反，我们表明，天真的方法排名的政策决定，例如，基于访问状态的频率的排名不会导致高性能的修剪策略。
2021-10-26 cs.LG stat.ML
APRIL: Active Preference-learning based Reinforcement Learning
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Université Paris-Sud（巴黎第十一大学）
本文主要研究有限先验知识下的强化学习。例如，在群体机器人领域，专家很难设计奖励函数或演示目标行为，禁止使用标准RL和反向强化学习。虽然专业知识有限，但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架：专家的偏好被用来学习一个近似的策略返回，从而使代理实现直接的策略搜索。迭代地，代理选择一个新的候选策略，并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈，使代理细化近似的政策回报，并迭代的过程。在本文中，基于偏好的强化学习结合主动排名，以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明，几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Evaluation of Explore-Exploit Policies in Multi-result Ranking Systems
Microsoft（微软）
我们分析了在多结果排序系统中使用Explore-Exploit技术来提高精度的问题，如Web搜索，查询自动完成和新闻推荐。在不了解其对生产系统的影响的情况下直接在线采用探索策略，可能会产生不必要的后果-系统可能会遭受巨大损失，引起用户不满，或收集无助于提高排名质量的探索数据。因此，离线框架是必要的，让我们决定在生产环境中应该应用什么策略以及如何应用，以确保积极的结果。在这里，我们描述这样一个离线框架。利用该框架，我们研究了一种流行的勘探政策-汤普森抽样。我们发现，有不同的方式来实现它在多结果排名系统，每个有不同的语义解释，并导致不同的结果持续点击率（CTR）损失和预期的模型改进。特别是，我们证明，汤普森采样可以作为一个在线学习优化CTR，这在某些情况下可能会导致一个有趣的结果：电梯CTR在探索。观察对于生产系统是重要的，因为它表明人们可以获得有价值的勘探数据以改善长期的排名性能，同时在勘探持续的同时增加CTR。
2015-04-28 cs.LG
Clustered Policy Decision Ranking
University of Maryland（马里兰大学）
针对强化学习策略决策复杂且贡献不清晰的问题，提出基于统计协方差估计的黑盒方法，通过聚类环境状态并对决策重要性进行排名，且与基于统计故障定位的排名程序进行了比较。
2024-04-28 cs.AI cs.LG
Ranking Policy Gradient
Michigan State University（密歇根州立大学）
样本低效是强化学习（RL）中一个长期存在的问题。最先进的估计最优动作值，而它通常涉及到广泛的搜索状态动作空间和不稳定的优化。对于样本有效的强化学习，我们提出了排名策略梯度（RPG），一个策略梯度方法，学习一组离散动作的最佳排名。为了加速策略梯度方法的学习，我们建立了收益下限最大化和在不访问任何预言机的情况下模仿接近最优策略之间的等价性。这些结果导致一个通用的离策略学习框架，保持最优性，减少方差，提高样本效率。此外，RPG的样本复杂度不依赖于状态空间的维数，这使得RPG的大规模问题。我们进行了大量的实验表明，当巩固与离策略学习框架，RPG大大降低了样本的复杂性，与国家的最先进的。
2019-11-26 cs.AI cs.LG stat.ML
To Detect Irregular Trade Behaviors In Stock Market By Using Graph Based Ranking Methods
John von Neumann Institute（约翰·冯·诺依曼研究所）；VNU-HCM（胡志明市国家大学）；Thu Dau Mot University（守德大学）
检测股票市场中的不规则交易行为是机器学习领域的重要课题。这些不规范的交易行为显然是违法的。为了检测股票市场中的这些不规则交易行为，数据科学家通常采用监督学习技术。在本文中，我们采用三个基于图拉普拉斯的半监督排名方法来解决不规则的交易行为检测问题。实验结果表明，基于非规范化和对称规范化图拉普拉斯算子的半监督排序方法优于基于随机游走拉普拉斯算子的半监督排序方法.
2019-09-04 cs.LG q-fin.ST stat.ML
Feature Ranking for Semi-supervised Learning
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）
可用于分析的数据在几个方向上变得越来越复杂：高维数，示例数量和每个示例的标签数量。这对现有的机器学习方法提出了各种挑战：处理具有大量在高维空间中描述的示例的数据集，并且不是所有示例都提供了标签。例如，当研究化学化合物的毒性时，有很多可用的化合物，其可以用信息丰富的高维表示来描述，但并非所有化合物都具有关于其毒性的信息。为了解决这些挑战，我们提出了半监督学习的功能排名。在分类和回归的背景下以及在结构化输出预测（多标签分类、分层多标签分类和多目标回归）的背景下学习特征排名。据我们所知，这是在半监督结构化输出预测上下文中处理特征排名任务的第一项工作。更具体地说，我们提出了两种方法，是基于树集成和救济家庭的算法。对38个基准数据集的广泛评估揭示了以下内容：随机森林对于分类类任务表现最好，而对于回归类任务，Extra-PCT表现最好，考虑到所有任务的诱导时间，随机森林是最有效的方法，并且半监督特征排名在来自不同任务的大多数数据集上优于其监督对应物。
2020-08-10 cs.LG stat.ML
Reinforcement Learning to Rank in E-Commerce Search Engine: Formalization, Analysis, and Application
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）；Zhejiang Cainiao Supply Chain Management Co., Ltd.（浙江菜鸟供应链管理有限公司）
在亚马逊、淘宝等电子商业平台中，搜索会话中的商品排序是一个典型的多步决策问题。学习排序（LTR）方法已被广泛应用于排序问题。然而，这样的方法通常认为会话中的不同排名步骤是独立的，其相反地可能彼此高度相关。为了更好地利用不同排序步骤之间的相关性，在本文中，我们提出使用强化学习（RL）来学习一个最优的排序策略，最大化搜索会话中的预期累积奖励。首先，我们正式定义了搜索会话马尔可夫决策过程（SSMDP）的概念，制定多步排序问题。其次，分析了SSMDP的性质，从理论上证明了最大化累积报酬的必要性。最后，我们提出了一种新的策略梯度算法来学习最优排序策略，该算法能够处理SSMDP的高奖励方差和不平衡的奖励分配问题。实验在模拟和淘宝搜索引擎上进行。实验结果表明，与在线LTR算法相比，该算法的性能有了明显的提高，在仿真和实际应用中，总交易量分别增长了40%和30%以上。
2018-05-23 cs.LG
Semi-supervised Collaborative Ranking with Push at Top
Michigan State University（密歇根州立大学）
现有的基于协作排名的推荐系统往往表现最好时，有足够的观察到的评级为每个用户和观察是完全随机的。在此设置下，推荐系统可以根据用户的兴趣适当地建议推荐列表。然而，当观察到的评级是非常稀疏的（例如，在没有评级数据可用的冷启动用户的情况下），并且不是随机均匀采样的，现有的排名方法无法有效地利用边信息来将知识从现有的评级转换为未观察到的评级。我们提出了一个半监督的协作排名模型，称为\texttt{S$^2$COR}，以提高冷启动推荐的质量。\texttt{S$^2$COR}通过协作学习排名模型，利用关于观察到的和缺失的评级的边信息，减轻稀疏性问题。这使得它能够处理丢失数据的情况下，不是随机的，但也有效地将可用的边信息纳入转导。我们在一些具有挑战性的现实世界数据集上对我们提出的算法进行了实验评估，并与最先进的冷启动推荐模型进行了比较。与最先进的算法相比，我们报告了更高质量的推荐。
2015-11-17 cs.IR cs.LG
Policy Learning for Fairness in Ranking
Cornell University（康奈尔大学）
传统的学习排名（LTR）方法优化了排名对用户的效用，但它们忽略了它们对排名项目的影响。然而，人们越来越认识到，对于广泛的排名应用（例如在线市场，就业安置，入学），后者是重要的考虑因素。为了满足这一需求，我们提出了一个通用的LTR框架，可以优化广泛的效用指标（如NDCG），同时满足公平的曝光约束的项目。该框架将可学习的排名函数扩展到随机排名策略，从而提供了一种严格表达公平性规范的语言。此外，我们提供了一个新的LTR算法称为公平PG排名直接搜索空间的公平排名政策，通过政策梯度的方法。除了推导框架和算法的理论证据之外，我们还提供了模拟和真实数据集的经验结果，验证了该方法在个人和群体公平性设置中的有效性。
2019-06-26 cs.CY cs.IR cs.LG
Doubly Robust Off-Policy Evaluation for Ranking Policies under the Cascade Behavior Model
Tokyo Institute of Technology（东京工业大学）；Cornell University（康奈尔大学）；Yahoo Japan Corporation（雅虎日本公司）；Yale University（耶鲁大学）
在现实世界的推荐系统和搜索引擎中，优化排名决策以呈现相关项目的排名列表是至关重要的。因此，用于排名策略的离线策略评估（OPE）获得了越来越多的关注，因为它仅使用记录的数据来实现新排名策略的性能估计。虽然OPE在上下文强盗已被广泛研究，其幼稚的应用程序的排名设置面临着一个关键的方差问题，由于巨大的项目空间。为了解决这个问题，以前的研究引入了一些假设，用户行为，使组合项目空间听话。然而，一个不切实际的假设反过来可能会导致严重的偏见。因此，通过施加合理的假设来适当地控制偏差-方差权衡是排名策略OPE成功的关键。为了实现一个平衡的偏差方差权衡，我们提出了级联双鲁棒估计的级联假设，假设用户交互项目顺序从排名的顶部位置。我们表明，所提出的估计是无偏的，在更多的情况下，现有的估计，使更强的假设。此外，与以前的估计相同的级联假设的基础上，所提出的估计减少了方差，利用控制变量。综合实验的合成和真实世界的数据表明，我们的估计导致更准确的OPE比现有的估计在各种设置。
2022-02-03 cs.LG stat.ML
Learning to Re-rank with Constrained Meta-Optimal Transport
Rakuten Institute of Technology, Rakuten Group, Inc.（乐天集团乐天技术研究所）
针对现有随机重排序策略计算成本高、内存消耗大且难泛化新查询的问题，提出约束元最优传输方法与Gumbel匹配采样方案，实现了快速轻量、可泛化的公平重排序，性能与传统优化方法相当。
2023-04-29 cs.LG
Probabilistic Offline Policy Ranking with Approximate Bayesian Computation
Arizona State University（亚利桑那州立大学）；Brigham Young University（杨百翰大学）
针对离线策略排序中现有基于价值的方法无法刻画整体性能、稀疏奖励下估值难的问题，提出不依赖价值估计的POPR框架及POPR-EABC方法，可实现多场景下策略的概率式比较与排序。
2023-12-17 cs.AI cs.LG
An efficient domain-independent approach for supervised keyphrase extraction and ranking
本研究提出一种领域无关的有监督关键短语提取排序方法，采用候选短语统计和位置特征与轻量集成模型，不依赖外部知识和预训练模型，在基准测试中准确率优于多数现有模型，兼具无监督方法优势。
2024-03-24 cs.CL cs.IR cs.LG
Ranking and Selection as Stochastic Control
Peking University（北京大学）；Colorado State University（科罗拉多州立大学）；George Mason University（乔治梅森大学）；University of Maryland（马里兰大学）
在贝叶斯框架下，我们制定了完全序贯抽样和选择决策的统计排名和选择作为一个随机控制问题，并推导出相关的贝尔曼方程。利用价值函数近似，我们得到了一个近似最优分配策略。我们证明了这种策略不仅计算效率高，而且对于独立正态抽样分布具有一步前进性和渐近最优性。此外，建议的分配政策是很容易推广的近似动态规划范例。
2017-10-07 cs.LG stat.ML
Safe, Efficient, and Robust Reinforcement Learning for Ranking and Diffusion Models
University of Amsterdam（阿姆斯特丹大学）；Meta AI
本文以上下文赌博机为统一视角，研究安全、高效且稳健的强化学习，覆盖排序与扩散模型两大领域，提出带安全保证的反事实风险最小化目标、闭式最优基线及LOOP算法，兼顾样本效率与生成质量。
2025-10-17 cs.LG
Branch Ranking for Efficient Mixed-Integer Programming via Offline Ranking-based Policy Learning
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
在分支定界算法中，如何选择变量是提高现代混合整数规划求解器效率的关键。随着MIP分支数据收集在以前的解决方案的过程中，学习分支的方法最近变得优越于算法。由于分支定界是一个连续的决策任务，人们应该学会优化整个MIP求解过程的效用，而不是在每一步都目光短浅。在这项工作中，我们制定了学习分支作为一个离线强化学习（RL）的问题，并提出了一个长远的混合搜索方案来构建离线MIP数据集，它的价值的分支决策的长期效用。在策略训练阶段，我们部署了一个基于排名的奖励分配方案，以区分有前途的样本从长期或短期的观点，和训练的分支模型命名为分支排名通过离线策略学习。在合成MIP基准测试和真实任务上的实验表明，与广泛使用的启发式和最先进的基于学习的分支模型相比，分支Rankink更有效，更健壮，并且可以更好地推广到大规模的MIP实例。
2022-07-26 cs.AI cs.DM cs.LG
Adaptive Doubly Robust Off-Policy Evaluation for Ranking Policies under Diverse User Behavior
Institute of Science Tokyo（东京科学大学）
针对多样化用户行为下排序策略的离线评估挑战，提出自适应双重鲁棒（ADR）方法，结合自适应重要加权与奖励回归，在合成实验中降低了均方误差。
2026-09-01 cs.IR cs.LG
Proximal Ranking Policy Optimization for Practical Safety in Counterfactual Learning to Rank
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
针对现有安全反事实排序学习方法适用范围有限、依赖用户行为假设的问题，提出近端排序策略优化PRPO，通过约束学习模型与安全模型的差异保障安全，实验证明其性能更优且在对抗场景下仍保持安全，为实际应用提供无条件鲁棒安全保障。
2024-09-15 cs.IR cs.LG
Multipartite Ranking-Selection of Low-Dimensional Instances by Supervised Projection to High-Dimensional Space
Australian National University（澳大利亚国立大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
删除冗余或不相关的数据实例是模式识别每个成功解决方案的关键。在本文中，我们提出了一种新的排序选择框架的长度短，但高度相关的情况下。我们不是在低维实例空间中工作，而是学习到由所研究的数据集中的类数量所跨越的高维空间的监督投影。通过将标签的概念暴露给实例来施加更高的区别，让我们为每个单独的类部署一个与所有的排名，并通过对整体分数的自适应阈值来选择质量实例。为了证明我们的范例的效率，我们采用它的纹理理解的目的，这是一个很难识别的挑战，由于纹理像素的高相似性和低维度的颜色特征。我们的实验表明，在几个公开的数据集上，识别性能比其他本地描述符有相当大的提高。
2016-06-24 cs.CV cs.LG stat.ML
Offline Policy Selection under Uncertainty
University of Alberta（阿尔伯塔大学）；Google Research Brain Team（谷歌研究大脑团队）
政策评估中的不确定性的存在大大复杂化了现实世界中的政策排序和选择过程。我们正式考虑离线政策选择学习偏好的一组政策前景给定一个固定的经验数据集。虽然可以基于策略值或高置信区间的点估计来选择策略或对策略进行排名，但是访问策略值的信念上的完整分布使得能够在更宽范围的下游评估度量下实现更灵活的选择算法。我们提出贝叶斯骰子估计这个信念分布的后验分布校正比来自随机约束（而不是明确的可能性，这是不可用的）。从经验上讲，贝叶斯DICE在置信区间估计方面与现有的最先进的方法具有很强的竞争力。更重要的是，我们展示了贝叶斯骰子估计的置信分布如何用于对任何任意下游政策选择度量进行排名，并且我们根据经验证明了这种选择过程显着优于现有方法，例如根据平均值或高置信度下限值估计对政策进行排名。
2020-12-12 cs.LG
ECPO: Evidence-Coupled Policy Optimization for Verifier-Audited Candidate Ranking
Institute of Information Engineering, Chinese Academy of Sciences（信息工程研究所，中国科学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文研究了证据认证候选者排序问题，提出了一种名为ECPO的策略优化方法，通过结合排序和证据证书来提升排序效果和证据可靠性。
2026-10-19 cs.AI cs.LG
Policy-Gradient Training of Fair and Unbiased Ranking Functions
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
虽然隐式反馈（例如，点击、停留时间等）是学习排序的一个丰富而有吸引力的数据来源，但它可能会产生不公平的排名政策，无论是外部的还是内部的原因。外生原因通常表现为训练数据中的偏差，然后反映在学习的排名策略中，并经常导致富人越来越富的动态。此外，即使在纠正了这些偏差之后，学习算法设计的内在原因仍然可能导致排名策略不能以公平的方式在项目之间分配曝光。为了解决外源性和内源性的不公平性，我们提出了第一个学习排名的方法，同时解决介绍偏见和择优公平的曝光。具体来说，我们定义了一类摊销公平的曝光限制，可以选择基于应用程序的需求，我们展示了如何执行这些公平的标准，尽管隐式反馈数据中的选择偏差。关键的结果是一个有效的和灵活的政策梯度算法，称为FULTR，这是第一个使使用反事实估计效用估计和公平性约束。除了框架的理论依据，我们的经验表明，该算法可以学习准确和公平的排名政策，从偏见和嘈杂的反馈。
2021-05-09 cs.CY cs.IR cs.LG
Ranking Policy Learning via Marketplace Expected Value Estimation From Observational Data
eBay Search Ranking and Monetization（eBay搜索排名与商业化部门）
本研究提出一个决策框架，将双边电商市场的排序策略学习转化为基于观测数据的期望奖励优化问题，引入上下文价值分布并构建考虑异质性与分布偏移的实证估计，通过贝叶斯推理训练策略，在电商搜索任务中验证了相关权衡关系。
2024-10-06 cs.AI cs.IR cs.LG
Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（阿霍德·德尔海兹）
反事实评估可以根据历史交互数据估计排名系统之间的点击率（CTR）差异，同时减轻位置偏差和项目选择偏差的影响。我们引入了新的日志策略优化算法（LogOpt），它优化了日志数据的策略，使反事实估计具有最小的方差。由于最小化方差导致更快的收敛，LogOpt提高了反事实估计的数据效率。LogOpt将反事实方法（与日志策略无关）转变为在线方法，由算法决定显示什么样的排名。我们证明，作为一种在线评估方法，LogOpt是无偏的w.r.t.位置和项目选择偏差，不像现有的交织方法。此外，我们通过模拟数千个排名之间的比较来进行大规模实验。我们的研究结果表明，虽然交织方法会产生系统误差，但LogOpt与交织方法一样有效，而不会有偏差。
2020-07-28 cs.IR cs.LG
RankUp: Boosting Semi-Supervised Regression with an Auxiliary Ranking Classifier
Academia Sinica（中央研究院）；NVIDIA（英伟达公司）
针对现有半监督分类技术无法直接用于回归任务的问题，提出RankUp方法将回归转排序任务结合分类技术，辅以RDA优化伪标签，在多领域回归基准上取得SOTA性能并开源代码。
2024-10-29 cs.CL cs.CV cs.LG
Sequential Multimodal Evidence Optimization for Product Media Ranking in E-Commerce
Amazon.com Inc.（亚马逊公司）
针对电商产品媒体排序问题，本文提出SMEO框架，通过轨迹效用模型和生存加权自回归策略优化，提升转化率并减少消费者划动次数。
2026-08-18 cs.LG
Ranking metrics on non-shuffled traffic
Criteo AI Lab（科韬人工智能实验室）
排名指标是一系列主要用于评估推荐系统的指标。然而，他们通常遭受的事实，奖励是由推荐项目显示给用户的顺序影响。克服这种位置偏差的经典方法是均匀地打乱推荐的比例，但这种方法可能导致糟糕的用户体验。然而，使用随机策略来生成建议是常见的，我们提出了一种新的方法来克服位置偏差，通过利用用于收集数据集的策略的随机性。
2019-09-17 cs.LG stat.ML
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University（德克萨斯农工大学）
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务，因为目前还不清楚如何收集训练数据以改进政策。在这项工作中，我们提出了自我监督强化学习（SSRL），一个简单的算法，优化政策与纯粹的监督损失。我们证明，没有策略梯度或价值估计，"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹，SSRL与当代算法相比具有更稳定的性能和更少的运行时间，显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
Safe Exploration for Optimizing Contextual Bandits
University of Amsterdam（阿姆斯特丹大学）
上下文强盗问题自然适合于许多信息检索任务，例如学习排序、文本分类、推荐等。然而，用于上下文强盗问题的现有学习方法具有两个缺点之一：它们要么不探索所有可能的文档排序的空间（即，动作），并且因此可能错过最优排名，或者它们向用户呈现次优排名，并且因此可能损害用户体验。我们介绍了一种新的学习方法上下文强盗问题，安全探索算法（SEA），它克服了上述缺点。SEA首先使用基线（或生产）排名系统（即，策略），其不损害用户体验，因此执行起来是安全的，但是具有次优性能，因此需要改进。然后SEA使用反事实学习来学习基于基线策略的行为的新策略。SEA还使用高置信度的离策略评估来估计新学习的策略的性能。一旦新学习的策略的性能至少与基线策略的性能一样好，SEA就开始使用新策略执行新动作，允许它积极探索动作空间的有利区域。这样，SEA的性能永远不会比基线策略差，因此不会损害用户体验，同时仍然探索动作空间，因此能够找到最佳策略。我们使用文本分类和文档检索的实验通过比较SEA（和称为BSEA的无限变体）与上下文强盗问题的在线和离线学习方法来证实上述内容。
2020-02-02 cs.IR cs.LG
Personalized Advertisement Recommendation: A Ranking Approach to Address the Ubiquitous Click Sparsity Problem
University of Michigan（密歇根大学）；Adobe Big Data Experience Lab（奥多比大数据体验实验室）
研究了个性化广告推荐问题，即用户访问一个系统（网站），系统向用户显示一个$K$广告。系统使用内部广告推荐策略将用户的配置文件（上下文）映射到其中一个广告。用户点击或忽略广告，相应地，系统更新其推荐策略。PAR问题通常由可扩展的\emph{contextual bandit}算法来解决，其中策略通常基于分类器。PAR中的一个实际问题是极端的点击稀疏性，这是由于很少有用户真正点击广告。系统地研究了基于分类器策略的上下文强盗算法在极端点击稀疏情况下的缺陷。然后，我们提出了一个替代政策，排名的基础上，通过优化曲线下面积（AUC）排名损失，这可以显着缓解点击稀疏的问题。我们在公共数据集以及三个行业专有数据集上进行了广泛的实验，以说明通过使用基于排名的策略比基于分类器的策略获得的点击率（CTR）的改进。
2016-03-06 cs.IR cs.LG
Self-Supervised On-Policy Distillation for Reasoning Language Models
Tsinghua University（清华大学）；Beihang University（北航大学）
本文提出自监督在线策略蒸馏（SSOPD）方法，通过对比正确与错误的完成过程信号，提升推理语言模型的表现，实验表明在多个基准测试中优于GRPO和OPSD基线。
2026-05-17 cs.LG
Contextual Networks and Unsupervised Ranking of Sentences
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
我们构建了一个上下文网络来表示一个文档的语法和语义之间的关系的单词-句子对，在此基础上，我们设计了一个无监督的算法称为CNATAR（上下文网络和文本分析排名）的句子评分，并通过一个双目标0-1背包最大化问题的主题分析和句子分数的排名。我们表明，CNATAR优于在ROUGE和BLEU指标下SummBank数据集上提供的三位人类法官的综合排名，这在术语上显著优于每个法官的排名。此外，CNATAR产生了迄今为止最高的ROUGE分数超过DUC-02，并优于以前的监督算法上的CNN/DailyMail和纽约时报数据集。我们还比较了CNATAR和最新的监督神经网络摘要模型的性能，并计算了预言结果。
2022-03-09 cs.CL cs.LG
Off-Policy Evaluation of Ranking Policies under Diverse User Behavior
Hanjuku-Kaso Co., Ltd.（半熟仮想株式会社）；Cornell University（康奈尔大学）；Yale University（耶鲁大学）；Yahoo Japan Corporation（雅虎日本公司）
针对排序策略离线评估中单一用户行为假设导致偏差和方差过大的问题，提出自适应IPS（AIPS）方法，支持多样用户行为，在保证无偏性的同时实现最小方差，并开发数据驱动过程优化MSE，显著提升评估准确性。
2023-06-26 cs.IR cs.LG stat.ML
On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers
SAP Labs（思爱普实验室）
本文提出结合离线GRPO与在线蒸馏的两阶段框架，训练出1B规模的紧凑指令跟随重排序器，在MAIR-11、MAIR-Full等基准上优于多种蒸馏方法及7B规模RL训练重排序器，实现了更优的质量效率权衡。
2026-09-03 cs.AI cs.LG
A novel evaluation methodology for supervised Feature Ranking algorithms
University of Groningen（格罗宁根大学）
在特征选择和可解释的人工智能领域中，都存在基于特征的重要性对其进行“排名”的愿望。这样的特征重要性排名可以用于：（1）减少数据集大小或（2）解释机器学习模型。然而，在文献中，这些特征排名并没有以系统、一致的方式进行评估。许多论文用不同的方式来讨论哪个特征重要性排名器最有效。本文填补了这一空白，提出了一种新的评价方法。通过使用合成数据集，可以预先知道特征重要性分数，从而允许更系统的评估。为了便于使用新方法进行大规模实验，在Python中构建了一个基准测试框架，称为fseval。该框架允许在HPC系统上并行运行和分布在机器上的实验。通过与名为Weights and Biases的在线平台集成，可以在实时仪表板上交互式地探索图表。该软件作为开源软件发布，并作为PyPi平台上的软件包发布。研究的结论是探索这样一个大规模的实验，以找到参与算法的优势和劣势，在许多方面。
2022-07-09 cs.AI cs.DC cs.LG
Additive Control Variates Dominate Self-Normalisation in Off-Policy Evaluation
Microsoft（微软）
本文证明加性控制变量化身自归一化在非策略评估中具有更优的均方误差性能，理论支持了从自归一化到最优基线修正的转变。
2026-07-28 cs.IR cs.LG
MidRank: Learning to rank based on subsequences
The Australian National University（澳大利亚国立大学）；University of Amsterdam（阿姆斯特丹大学）；Jean Monnet University（让·莫内大学）；KU Leuven（鲁汶大学）
我们提出了一个有监督学习排序算法，有效地利用图像序列中的结构排序图像。在监督学习排序文献中，最常见的是通过分析图像对或通过优化全序列上的列表式代理损失函数来进行排序。在这项工作中，我们提出了MidRank，它从中等大小的子序列中学习。这些子序列包含有用的结构排序信息，这些信息在训练过程中具有更好的可学习性，在测试过程中具有更好的泛化能力。通过利用子序列，所提出的MidRank在广泛的图像排名应用程序和数据集上大大提高了排名精度。
2015-11-29 cs.CV cs.LG
Refactoring Policy for Compositional Generalizability using Self-Supervised Object Proposals
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）
我们研究了如何学习一个策略与组合的概括性。我们提出了一个两阶段的框架，重构高奖励的教师政策到一个概括的学生政策与强烈的归纳偏见。特别是，我们实现了一个以对象为中心的GNN为基础的学生政策，其输入对象是通过自监督学习从图像中学习。从经验上讲，我们评估我们的方法对四个困难的任务，需要合成的概括性，并实现卓越的性能相比，基线。
2020-10-26 cs.AI cs.CV cs.LG
Metalearners for Ranking Treatment Effects
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）
本文提出基于学习排序的元学习器方法，通过按增量利润优先级直接学习预算约束下的处理分配策略，并设计高效采样程序以扩展至大规模数据，在合成与真实数据上验证了其有效性。
2024-05-03 cs.LG stat.ML
A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems
Meta
针对工业广告排序系统依赖带标签数据导致的过拟合、模型扩展收益慢等问题，提出知识蒸馏与半监督学习统一框架UKDSL，通过利用更大规模多样数据提升性能并缓解偏差，已在工业场景成功部署且效果显著。
2025-02-05 cs.AI cs.LG
Policy-Gradient Training of Language Models for Ranking
Cornell University（康奈尔大学）
针对基于LLM的检索器依赖复杂启发式对比损失训练的问题，提出Neural PG-RANK算法，将LLM实例化为Plackett-Luce排序策略，通过策略梯度端到端训练，统一训练目标与下游决策质量，在域内性能和部分域外泛化上取得显著提升。
2024-11-23 cs.AI cs.CL cs.IR
Neural Ranking Models with Weak Supervision
University of Amsterdam（阿姆斯特丹大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
尽管无监督深度神经网络在计算机视觉和NLP任务中取得了令人印象深刻的改进，但在信息检索的排名中尚未观察到这种改进。原因可能是排序问题的复杂性，因为当没有监督信号可用时，如何从查询和文档中学习并不明显。因此，在本文中，我们提出使用弱监督来训练神经排名模型，其中自动获得标签而无需人工注释器或任何外部资源（例如，点击数据）。为此，我们使用无监督排名模型（如BM 25）的输出作为弱监督信号。我们进一步训练一组简单而有效的排名模型的基础上前馈神经网络。我们研究了它们在各种学习场景（逐点和成对模型）下的有效性，并使用不同的输入表示（即，从将查询-文档对编码成密集/稀疏向量到使用词嵌入表示）。我们使用数以千万计的训练实例来训练我们的网络，并在两个标准集合上对其进行评估：同质新闻集合（Robust）和异构大规模Web集合（Cocktail Web）。我们的实验表明，采用适当的目标函数，让网络学习基于弱监督数据的输入表示，可以带来令人印象深刻的性能，在Robust和Cocktail Web集合上，与BM 25模型相比，MAP提高了13%和35%以上。我们的研究结果还表明，监督神经排名模型可以从大量弱标记数据的预训练中受益匪浅，这些数据可以很容易地从无监督IR模型中获得。
2017-05-29 cs.CL cs.IR cs.LG
Zeroth-Order Supervised Policy Improvement
The Chinese University of Hong Kong（香港中文大学）；University of Michigan（密歇根大学）；University of Oxford（牛津大学）；Tencent（腾讯）；Nanyang Technological University（南洋理工大学）
策略梯度（PG）算法在强化学习（RL）中得到了广泛的应用。然而，PG算法依赖于利用一阶局部更新学习的价值函数，这导致有限的样本效率。在这项工作中，我们提出了一种替代方法称为零阶监督策略改进（ZOSPI）。ZOSPI利用估计价值函数$Q$的全局性，同时保留了基于零阶策略优化的PG方法的局部性。这种学习范式遵循Q学习，但克服了在连续动作空间中有效操作argmax的困难。它在少量样本中找到最大值动作。ZOSPI的策略学习分为两个步骤：首先，对动作进行采样，并通过学习值估计器对这些动作进行评估，然后通过监督学习学习执行具有最高值的动作。我们进一步证明了这样的监督学习框架可以学习多模态策略。实验表明，ZOSPI在连续控制基准上取得了有竞争力的结果，具有显着的样本效率。
2021-07-05 cs.AI cs.LG stat.ML
Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model
University of Glasgow（格拉斯哥大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
本研究针对零样本排序模型性能弱于有监督模型的问题，提出成对少样本排序方法，通过补充相似查询偏好示例提升效果，在多基准上优于零样本基线，性能接近有监督模型且无需复杂训练流程。
2024-10-04 cs.CL cs.IR cs.LG
Self-Supervised Correspondence in Visuomotor Policy Learning
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨使用自监督对应提高泛化性能和样本效率的可视化策略学习。以前的工作主要使用的方法，如自动编码，基于姿势的损失，和端到端的策略优化，以训练可视化策略的视觉部分。相反，我们提出了一种使用自监督密集视觉对应训练的方法，并表明这使得可视化策略学习具有令人惊讶的高泛化性能，具有适度的数据量：使用模仿学习，我们展示了广泛的硬件验证具有挑战性的操作任务，只有50个示范。我们学习的策略可以概括各类对象，对可变形对象配置做出反应，并在各种背景中操纵无纹理对称对象，所有这些都具有闭环，实时基于视觉的策略。模拟模仿学习实验表明，与自动编码和端到端训练相比，对应训练提供了样本复杂度和泛化优势。
2019-09-16 cs.CV cs.LG cs.RO
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Alibaba Group（阿里巴巴集团）
本文提出CHORD框架，通过动态加权将监督微调与强化学习统一，解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题，实验表明其在多个任务中具有稳定高效的性能。
2026-03-17 cs.AI cs.LG
Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation
InstaDeep；AIMS；University of Stellenbosch（斯特伦博斯大学）
本文提出CPPO算法，通过对比性Q值直接优化策略优势，无需奖励函数或回放缓冲区，在连续和离散环境中均表现出色，超越现有CRL基线并在多项任务中达到与PPO相当的性能。
2026-05-13 cs.AI cs.LG
