Local Policy Improvement for Recommender Systems
Netflix(奈飞);Adobe Research(奥多比研究院)
针对推荐系统策略优化中的策略不匹配问题,提出一种无需重要性采样等离策略修正的局部策略改进方法,通过优化目标策略期望奖励的可估计下界实现策略更新。
2023-04-26 cs.IR cs.LG
Modeling shopper interest broadness with entropy-driven dialogue policy in the context of arbitrarily large product catalogs
Gorgias Paris France(巴黎高斯集团)
针对大规模商品目录下的对话推荐,本文提出用检索分数熵建模用户兴趣广度,以低熵触发直接推荐、高熵触发探索问题,实现高效探索-利用平衡。
2025-09-07 cs.IR cs.LG
Online Collaborative-Filtering on Graphs
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
现代推荐系统中的一个常见现象是使用来自一个用户的反馈来推断项目对其他用户的“价值”。这导致了探索与开发之间的权衡,即必须向用户展示可能价值较低的物品,以确定其价值。解决这个问题的现有方法集中在项目数量较少的情况下,或者承认一些潜在的结构-但是,还不清楚在处理具有非结构化内容的内容丰富的设置时是否可能有良好的推荐。我们认为这个问题下一个简单的自然模型,其中项目的数量和项目视图的数量是相同的顺序,和一个“访问图”约束哪个用户被允许看到哪个项目。我们的主要观点是,访问图的存在实际上使好的推荐成为可能-然而,这需要设计探索策略以利用访问图。我们的研究结果证明了“意外发现”在探索中的重要性,以及更高的图形扩展如何转化为更高质量的推荐;它还表明了为什么在某些情况下,像Twitter的“最新优先”政策这样的简单政策可以实现良好性能的原因。从技术的角度来看,我们的模型提出了一种方法来研究探索开发权衡设置的“试验”和“战略”的数量是大的(可能是无限的),更重要的是,相同的顺序。我们的算法承认竞争比保证举行的最坏情况下的用户,在有限的人口和无限的地平线设置,并参数化的基础图形的属性。相反,我们还证明了设计不当的政策可能是高度次优的,并且在许多情况下,我们的结果是有序最优的。
2014-11-07 cs.LG
Linear Bandits in High Dimension and Recommendation Systems
Stanford University(斯坦福大学)
大量的在线服务提供自动化推荐,以帮助用户在大量的项目集合中导航。新的项目(产品,视频,歌曲,广告)是根据用户的过去历史和-如果可用-她的人口统计资料。推荐必须满足帮助用户探索可用项目空间的双重目标,同时允许系统探测用户的偏好。我们使用线性参数化的多武装匪徒模型的这种权衡,提出了一个政策,并证明了上限和下限的累积“奖励”,符合常数的数据穷人(高维)政权。之前关于线性强盗的工作主要集中在数据丰富(低维)的机制上,并使用累积“风险”作为品质因数。对于这个数据丰富的制度,我们提供了一个简单的修改,我们的政策,实现接近最佳的风险表现下,更严格的假设的几何形状的问题。我们测试了用于在Netflix和MovieLens数据集上建立可验证性的方案(的变体),并与我们开发的理论的定性预测取得了良好的一致性。
2013-01-08 cs.LG stat.ML
Fast Slate Policy Optimization: Going Beyond Plackett-Luce
CREST-ENSAE;Criteo AI Lab
本文提出一种基于决策函数松弛的新策略类及高效学习算法,用于大规模板条决策系统优化,在数百万动作空间上优于Plackett-Luce方法。
2023-12-29 cs.IR cs.LG stat.ML
Bayesian Non-stationary Linear Bandits for Large-Scale Recommender Systems
Tübingen University(图宾根大学);Fraunhofer Heinrich Herz Institute(弗劳恩霍夫海因里希·赫兹研究所)
针对高维非平稳推荐场景,提出基于汤普森采样和随机投影的线性老虎机策略,降低计算复杂度并保证遗憾界,实验验证有效。
2023-07-24 cs.LG stat.ML
Ranking metrics on non-shuffled traffic
Criteo AI Lab(科韬人工智能实验室)
排名指标是一系列主要用于评估推荐系统的指标。然而,他们通常遭受的事实,奖励是由推荐项目显示给用户的顺序影响。克服这种位置偏差的经典方法是均匀地打乱推荐的比例,但这种方法可能导致糟糕的用户体验。然而,使用随机策略来生成建议是常见的,我们提出了一种新的方法来克服位置偏差,通过利用用于收集数据集的策略的随机性。
2019-09-17 cs.LG stat.ML
Dynamic Prior Thompson Sampling for Cold-Start Exploration in Recommender Systems
Roblox
动态先验汤普森采样通过控制新项目与现有项目的竞争概率,提升推荐系统冷启动探索的精度和效率。
2026-02-01 cs.LG
Off-policy evaluation for slate recommendation
Microsoft Research, Redmond(微软研究院(雷德蒙德));University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research, New York(微软研究院(纽约));Microsoft, Redmond(微软(雷德蒙德))
本文研究了推荐一组有序项目的策略的评估(例如,排名)基于某些上下文-网络搜索、广告和推荐中的常见场景。我们建立在技术的组合土匪介绍一个新的实用估计,使用记录的数据来估计政策的性能。对真实世界数据的全面实证评估表明,我们的估计器在各种设置中都是准确的,包括作为学习排名任务中的子例程,在这种情况下,它可以实现有竞争力的性能。我们得出的条件下,我们的估计是无偏的-这些条件是弱于先前的slate评估-和实验证明一个较小的偏差比参数的方法,即使这些条件被违反。最后,我们的理论和实验也显示出指数节省所需的数据量相比,一般无偏估计。
2017-11-06 cs.AI cs.LG stat.ML
Interpolating Between Softmax Policy Gradient and Neural Replicator Dynamics with Capped Implicit Exploration
Sony AI(索尼人工智能);University of Alberta(阿尔伯塔大学);Amii(阿尔伯塔机器智能研究所);Brown University(布朗大学)
神经复制动力学(NeuRD)是一种替代基本的softmax策略梯度(SPG)算法的在线学习和进化博弈论的动机。NeuRD预期的更新被设计为几乎相同的SPG,但是,我们表明,蒙特卡罗更新有很大的不同:重要性校正占抽样行动是无效的SPG更新,但不是在NeuRD更新。自然地,这导致NeuRD更新具有比其SPG对应物更高的方差。在对抗性强盗设置中的隐式探索算法的基础上,我们引入了封顶隐式探索(CIX)估计,使我们能够构建NeuRD-CIX,它在NeuRD和SPG的这一方面之间插值。我们展示了如何CIX估计可用于黑盒还原,以构建具有高概率的遗憾界限的强盗算法,以及这为NeuRD-CIX在顺序决策设置中带来的好处。我们的分析揭示了SPG和NeuRD之间的偏差-方差权衡,并显示了理论预测NeuRD-CIX将表现得更好,更一致,比NeuRD,同时保留NeuRD的优势,SPG在非平稳环境。
2022-06-04 cs.AI cs.LG stat.ML
Off-Policy Learning with Limited Supply
Keio University(Keio大学);Institute of Science Tokyo(东京科学研究所);Meiji University(Meiji大学);Yale University(Yale大学);LY Corporation(LY公司);Hanjuku-kaso, Co., Ltd.
本文研究了在情境老虎机中受限供应下的离策略学习问题,提出了一种新的OPLS方法,通过考虑用户间的相对预期奖励来更高效地分配有限供应的物品,实验证明其在有限供应情境下的优越性。
2026-05-17 cs.LG
Adaptive Regularized Submodular Maximization
Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院);Department of Computer Science, University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系)
在本文中,我们研究的问题之间的差异最大化的自适应子模(收入)函数和非负的模(成本)函数下的自适应设置。我们的问题的输入是一组$n$项目,其中每个项目都有一个特定的状态,从一些已知的先验分布$p$。收入函数$g$是在项目和状态上定义的,而成本函数$c$是在项目上定义的,即,每个项目都有固定的成本。每个项目的状态最初是未知的,必须选择一个项目,以观察其实现状态。策略$π$根据到目前为止所做的观察指定接下来要挑选哪个项。用$g_{avg}(π)$表示$π$的预期收入,用$c_{avg}(π)$表示$π$的预期成本。我们的目标是在$k$基数约束下确定最佳策略$π^o\in \arg\max_πg_{avg}(π)-c_{avg}(π)$.由于我们的目标函数可以取负值和正值,现有的子模最大化的结果可能不适用。为了克服这一挑战,我们与绩效获得者一起开发了一系列有效的解决方案。令$π^o$表示最优策略。对于$g$是自适应单调和自适应子模的情况,我们提出了一个有效的策略$π^l$,使得$g_{avg}(π^l) - c_{avg}(π^l) \geq (1-\frac{1}{e}-ε)g_{avg}(π^o) - c_{avg}(π^o)$只使用$O(nε^{-2}\log ε^{-1})$值进行Oracle查询.对于$g$是自适应子模的情况,我们提出了一种随机化策略$π^r$,使得$g_{avg…
2021-02-28 cs.AI cs.LG
Off-Policy Evaluation for Semantic ID Recommenders: Does the Model's Own Code Hierarchy Help?
Criteo AI Lab(Criteo人工智能实验室)
该研究探讨能否用生成式推荐器的语义ID树作为离线策略评估的动作抽象,提出通过代码前缀簇粗化的方法提升评估效果,明确粗化增益的来源及分辨率深度的调节作用。
2026-09-01 cs.LG
Sequential Search with Off-Policy Reinforcement Learning
JD.com Silicon Valley R&D Center(京东硅谷研发中心)
近年来,人们对顺序推荐(SR)产生了极大的兴趣,SR旨在理解和建模用户的顺序行为以及用户与项目之间的交互。令人惊讶的是,尽管顺序推荐已经取得了巨大的成功,但很少有关于顺序搜索(SS)的研究,这是一个孪生学习任务,除了考虑用户的当前和过去的搜索查询之外,还考虑了历史查询会话上的行为。对于大多数电子商务公司来说,由于其更大的在线服务需求和流量,SS学习任务甚至比对应的SR任务更重要。为此,我们提出了一个高度可扩展的混合学习模型,该模型由一个RNN学习框架和一个注意力模型组成,RNN学习框架利用了短期用户-项目交互中的所有功能,注意力模型利用了长期交互中选定的仅项目功能。作为一个新的优化步骤,我们通过动态解决贪婪背包问题,在一个训练批内的单个RNN通道中拟合多个短用户序列。此外,我们探讨了使用政策外的强化学习在多会话个性化搜索排名。具体来说,我们设计了一个成对的深度确定性策略梯度模型,有效地捕捉用户的长期奖励的成对分类错误。广泛的消融实验表明,每个组件在各种离线和在线指标上都对其最先进的基线进行了显著改进。
2022-02-01 cs.IR cs.LG
System-Agnostic Meta-Learning for MDP-based Dynamic Scheduling via Descriptive Policy
Sejong University(世宗大学)
动态调度是从排队到无线网络等应用中的一个重要问题。它解决了如何在每个时间步的多个调度项目中选择一个项目,以实现一个长期目标。传统的动态调度方法为给定的特定系统找到最优策略,使得来自这些方法的策略仅可用于对应的系统特性。因此,很难将这种方法用于系统特性动态变化的实际系统。本文提出了一种新的基于MDP的动态调度策略结构,一个描述性的政策,它具有系统不可知的能力,以适应看不见的系统特性,为同一个任务(动态调度)。为此,描述性策略学习了一个与系统无关的调度原则--简而言之,“在调度中,哪些项目的条件应该具有更高的优先级”。调度原则可以应用于任何系统,以便在一个系统中学习的描述性策略可以用于另一个系统。简单的解释和现实的应用场景的实验表明,它使系统无关的元学习与系统特定的传统政策相比,性能下降很少。
2022-01-25 cs.LG stat.AP stat.ML
Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(阿霍德·德尔海兹)
反事实评估可以根据历史交互数据估计排名系统之间的点击率(CTR)差异,同时减轻位置偏差和项目选择偏差的影响。我们引入了新的日志策略优化算法(LogOpt),它优化了日志数据的策略,使反事实估计具有最小的方差。由于最小化方差导致更快的收敛,LogOpt提高了反事实估计的数据效率。LogOpt将反事实方法(与日志策略无关)转变为在线方法,由算法决定显示什么样的排名。我们证明,作为一种在线评估方法,LogOpt是无偏的w.r.t.位置和项目选择偏差,不像现有的交织方法。此外,我们通过模拟数千个排名之间的比较来进行大规模实验。我们的研究结果表明,虽然交织方法会产生系统误差,但LogOpt与交织方法一样有效,而不会有偏差。
2020-07-28 cs.IR cs.LG
Revisiting Energy Based Models as Policies: Ranking Noise Contrastive Estimation and Interpolating Energy Models
Google DeepMind(谷歌DeepMind)
本文重新审视基于能量的模型作为策略表示,提出结合R-NCE、可学习负采样器和非对抗性联合训练的实用算法,证明其渐近一致性,并扩展至插值能量模型,在多模态机器人任务基准中表现优于扩散模型等先进方法。
2023-09-11 cs.LG cs.RO
Large-scale Interactive Recommendation with Tree-structured Policy Gradient
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
强化学习(RL)最近被引入到交互式推荐系统(IRS)中,因为它具有从动态交互中学习和规划长期性能的性质。由于国税局总是有成千上万的项目推荐(即,成千上万的动作),然而,大多数现有的基于RL的方法不能处理这样大的离散动作空间问题,因此变得低效。现有的工作试图通过利用深度确定性策略梯度框架来处理大的离散动作空间问题,但是连续动作表示(Actor网络的输出)与实际离散动作之间存在不一致。为了避免这种不一致性,并实现高效率和推荐效果,在本文中,我们提出了一个树结构的策略梯度推荐(TPGR)框架,其中一个平衡的层次聚类树的项目和挑选一个项目被制定为寻找路径从根到树的某个叶子。在基于两个真实数据集的精心设计的环境中进行的大量实验表明,我们的模型提供了卓越的推荐性能,并在最先进的方法上显着提高了效率。
2018-11-14 cs.AI cs.LG stat.ML
Ranking Policy Learning via Marketplace Expected Value Estimation From Observational Data
eBay Search Ranking and Monetization(eBay搜索排名与商业化部门)
本研究提出一个决策框架,将双边电商市场的排序策略学习转化为基于观测数据的期望奖励优化问题,引入上下文价值分布并构建考虑异质性与分布偏移的实证估计,通过贝叶斯推理训练策略,在电商搜索任务中验证了相关权衡关系。
2024-10-06 cs.AI cs.IR cs.LG
Policy Learning for Fairness in Ranking
Cornell University(康奈尔大学)
传统的学习排名(LTR)方法优化了排名对用户的效用,但它们忽略了它们对排名项目的影响。然而,人们越来越认识到,对于广泛的排名应用(例如在线市场,就业安置,入学),后者是重要的考虑因素。为了满足这一需求,我们提出了一个通用的LTR框架,可以优化广泛的效用指标(如NDCG),同时满足公平的曝光约束的项目。该框架将可学习的排名函数扩展到随机排名策略,从而提供了一种严格表达公平性规范的语言。此外,我们提供了一个新的LTR算法称为公平PG排名直接搜索空间的公平排名政策,通过政策梯度的方法。除了推导框架和算法的理论证据之外,我们还提供了模拟和真实数据集的经验结果,验证了该方法在个人和群体公平性设置中的有效性。
2019-06-26 cs.CY cs.IR cs.LG
Probabilistic Rank and Reward: A Scalable Model for Slate Recommendation
Criteo AI Lab(Criteo人工智能实验室);CREST ENSAE
本文提出概率排序与奖励模型PRR,通过结合奖励与排序高效学习石板成功概率,在离策略奖励优化和大动作空间可扩展性上优于现有方法,并支持基于MIPS的低延迟推荐。
2024-07-05 cs.IR cs.LG stat.ML
Policy Gradients for Contextual Recommendations
Institute of Computing Technology, CAS(中国科学院计算技术研究所);IIIS, Tsinghua University(清华大学交叉信息研究院);University of Chinese Academy of Sciences(中国科学院大学)
在在线推荐系统中,决策是一项具有挑战性的任务。决策者通常需要在每一步从一组候选项中选择一个上下文项。上下文强盗算法已经成功地部署到这样的应用程序,探索和剥削之间的权衡和最小化在线成本的最先进的性能。然而,现有的上下文强盗方法的适用性是有限的问题的过于简化的假设,如假设一个简单的形式的奖励函数或假设一个静态的环境中的状态不受先前的行动。在这项工作中,我们提出了上下文推荐(PGCR)的策略梯度,以解决这个问题,没有那些不切实际的假设。它优化了一个限制类的政策,其中选择一个项目(在其他项目的预期)的边际概率有一个简单的封闭形式,在这个类的政策的预期回报率的梯度是在一个简洁的形式。此外,PGCR利用了两个有用的启发式技术,称为时间依赖贪婪和演员辍学。前者保证了PGCR在极限范围内的经验贪婪,后者通过使用具有Dropout的策略网络作为贝叶斯近似来解决探索和利用之间的权衡。PGCR可以解决标准的上下文强盗以及其马尔可夫决策过程的推广。因此,它可以应用于广泛的现实设置的建议,如个性化广告。我们在玩具数据集以及个性化音乐推荐的真实数据集上评估PGCR。实验结果表明,PGCR算法收敛速度快,后悔率低,优于经典的上下文强盗和香草策略梯度方法。
2019-03-04 cs.LG
Time-Constrained Recommendations: Reinforcement Learning Strategies for E-Commerce
Department of Computer Science(计算机科学系);Northwestern University(西北大学);Elmore Family School of Electrical and Computer Engineering(埃洛姆家族电气与计算机工程学院);Purdue University(普渡大学)
本文研究时间约束下的推荐问题,提出基于马尔可夫决策过程的统一框架,通过强化学习提升推荐效果,实验证明在时间紧张下优于传统上下文老虎机方法。
2025-12-13 cs.AI cs.LG
Quotient DAGs for Off-Policy Evaluation:Forward-Flow Importance Sampling and Exact Slate Propensities
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
提出商DAG视角,通过前向流比率合并等价历史,实现精确的无序板倾向计算,减少方差并提高计算效率。
2026-05-28 cs.AI cs.LG
Short-lived High-volume Multi-A(rmed)/B(andits) Testing
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学);Glance
针对高流量短生命周期臂的多臂赌博机问题,提出贝叶斯策略,最小化平均损失,并在真实平台实验中提升点击率与时长。
2023-12-23 cs.LG stat.ML
Recommendation Ranking Off-Policy Evaluation under Ranking-Dependent Examination via Examination-Relevance Decomposition
Waseda University(早稻田大学)
针对推荐排序离线策略评估中点击偏差问题,提出基于检验-相关性分解的LE-IIPS与ED-DR估计器,后者在检验概率正确或排名无关检验下无偏,大样本时MSE更低。
2026-09-29 cs.IR cs.LG
Learning Practically Feasible Policies for Online 3D Bin Packing
National University of Defense Technology(国防科技大学);Shenzhen University(深圳大学)
针对在线3D箱装问题,本文利用同策略actor-critic强化学习,并结合堆叠树稳定性分析、解耦放置策略和由远及近奖励设计,学习出显著优于现有方法且可实际部署的装箱策略。
2023-06-02 cs.LG cs.RO
Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing
New York University(纽约大学);University of Iowa(爱荷华大学)
基于两两比较的排序聚合有着广泛的应用。虽然相当多的研究已经致力于发展的排名聚合算法,一个基本的问题是如何有效地收集大量的高质量的成对比较的排名的目的。由于许多众包服务的出现,一群工人经常被雇佣来进行成对比较,每对他们比较一个小的金钱奖励。由于不同的工作者具有不同的可靠性水平,并且不同的对具有不同的模糊性水平,因此希望明智地分配有限的预算用于在项目和工作者对之间进行比较,使得可以从比较结果准确地推断全局排名。为此,我们将众包排名中的主动抽样问题建模为贝叶斯马尔可夫决策过程,该过程在预算约束下动态选择项目对和工人以提高排名精度。我们进一步开发了一个计算效率高的采样政策的基础上的知识梯度以及矩匹配技术的后验近似。在合成数据和真实数据上的实验结果表明,该策略以较低的标记代价实现了较高的排序精度。
2016-12-21 cs.LG stat.ME stat.ML
Gated Q-learning: Add Off-Policy Bias to Taste
该研究针对Q学习中离策略偏差与多步信用分配的张力,提出门控Q学习框架,通过状态-动作依赖的门控机制替代重要性采样,实现平滑插值,提升初始学习速度并支持定制化视界与偏差量。
2026-10-14 cs.AI cs.LG
Active Feature Acquisition for Cost-Efficient Temporal Prediction with Reduced Participant Burden
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Nanyang Technological University(南洋理工大学);University of Minnesota Twin Cities(明尼苏达大学双城分校);University of Michigan(密歇根大学)
针对心理学纵向数据预测中参与者负担与预测准确性的矛盾,提出基于树蒸馏的可解释策略,从神经网络LAFA中学习,在模拟和实证数据上以最小精度损失减少获取项目数。
2026-10-07 cs.AI cs.LG stat.AP