On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method
Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学);University of Alberta(阿尔伯塔大学);Deepmind(深度思维)
策略梯度(PG)产生了丰富的一类强化学习(RL)方法。最近,已经出现了通过\emph{variance reduction}技术来加速现有PG方法(诸如REINFORCE)的趋势。然而,所有现有的方差减少PG方法严重依赖于一个不可检查的重要性权重假设的算法的每一个单一的迭代。本文提出了一种简单的梯度截断机制来解决这个问题。此外,我们设计了一个截断随机增量方差减少的策略梯度(TSIVR-PG)方法,它不仅能够最大化的累积奖励和,但也是一个一般的效用函数的政策的长期访问分布。我们展示了一个$\tilde{\mathcal{O}}(ε^{-3})$样本的复杂性TSIVR-PG找到一个$ε$平稳的政策。通过假设策略的过参数化和利用问题的隐凸性,我们进一步证明了TSIVR-PG在$\tilde{\mathcal{O}}(ε^{-2})$样本下收敛于全局$ε$ -最优策略.
2021-05-27 cs.LG stat.ML
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano(米兰理工大学);Inria(法国国家信息与自动化研究所)
在本文中,我们提出了一种新的强化学习算法,包括在随机方差减少版本的策略梯度解决马尔可夫决策过程(MDP)。随机方差缩减梯度(SVRG)方法在监督学习中已被证明是非常成功的。然而,它们对策略梯度的适应并不简单,需要考虑I)非凹目标函数; II)全梯度计算中的近似值;以及III)非平稳采样过程。其结果是SVRPG,一种随机方差减少的策略梯度算法,利用重要性权重来保持梯度估计的无偏性。根据标准假设,sumptions上的MDP,我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后,我们建议SVRPG的实际变体,我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Policy Regret for Embedding Model Routing: Contextual Bandits with Low-Rank Experts
Operations Research Center, MIT(麻省理工学院运筹学研究中心);Sloan School of Management, MIT(麻省理工学院斯隆管理学院);Department of EECS, MIT(麻省理工学院电气工程与计算机科学系)
针对推荐系统中嵌入模型路由问题,形式化为具有低秩专家的对抗性上下文线性赌博机,提出Hypentropy策略梯度算法,实现$\tilde{\mathcal O}(s\sqrt{M T})$线性化策略遗憾。
2026-09-28 cs.AI cs.LG stat.ML
Policy Learning for Fairness in Ranking
Cornell University(康奈尔大学)
传统的学习排名(LTR)方法优化了排名对用户的效用,但它们忽略了它们对排名项目的影响。然而,人们越来越认识到,对于广泛的排名应用(例如在线市场,就业安置,入学),后者是重要的考虑因素。为了满足这一需求,我们提出了一个通用的LTR框架,可以优化广泛的效用指标(如NDCG),同时满足公平的曝光约束的项目。该框架将可学习的排名函数扩展到随机排名策略,从而提供了一种严格表达公平性规范的语言。此外,我们提供了一个新的LTR算法称为公平PG排名直接搜索空间的公平排名政策,通过政策梯度的方法。除了推导框架和算法的理论证据之外,我们还提供了模拟和真实数据集的经验结果,验证了该方法在个人和群体公平性设置中的有效性。
2019-06-26 cs.CY cs.IR cs.LG
Matrix Low-Rank Trust Region Policy Optimization
King Juan Carlos University(胡安·卡洛斯国王大学)
本文提出基于低秩矩阵的模型替代神经网络来估计TRPO参数,通过矩阵补全技术强制低秩性,在降低计算和样本复杂度的同时保持相当的累积奖励。
2024-05-27 cs.AI cs.LG
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们重新审视和改进的收敛性策略梯度(PG),自然PG(NPG)的方法,以及他们的方差减少变种,一般光滑的政策参数化。更具体地说,与政策的Fisher信息矩阵是正定的:i)我们表明,一个国家的最先进的方差减少PG方法,这已经被证明是收敛到平稳点,收敛到全局最优值的一些固有的函数逼近误差,由于政策参数化; ii)我们表明,NPG享有较低的样本复杂性; iii)我们提出了SRVR-NPG,它将方差缩减纳入NPG更新。我们的改进来自于一个观察,即(方差缩减)PG和NPG方法的收敛性可以相互改善:PG的平稳收敛性分析可以应用于NPG,以及和NPG的全局收敛性分析可以帮助建立(方差缩减)PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进,我们也使得NPG的方差减少成为可能,具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
Multilinear Tensor Low-Rank Approximation for Policy-Gradient Methods in Reinforcement Learning
King Juan Carlos University(胡安·卡洛斯国王大学);The Chinese University of Hong Kong(香港中文大学)
针对神经网络策略的收敛、架构选择及状态-动作冗余利用不足等问题,本文利用PARAFAC分解构建张量低秩RL策略,给出理论保证并实验证明其可降低计算与样本复杂度且奖励相近。
2025-01-08 cs.LG
Robust Sparse Reduced Rank Regression in High Dimensions
我们提出了一种稳健的稀疏降秩回归方法,用于分析具有重尾随机噪声的大型复杂高维数据。该方法是基于一个凸松弛的秩和稀疏约束的非凸优化问题,然后使用交替方向法的乘子算法来解决。我们建立了非渐近估计误差界下的Frobenius和核规范在高维设置。这是对降秩回归现有结果的重大贡献,降秩回归主要集中在秩选择和预测一致性上。我们的理论结果量化的随机噪声和统计偏差的重尾之间的权衡。对于随机噪声与有界$(1+δ)$次矩与$δ\in (0,1)$,收敛速度是一个函数的$δ$,是慢于次高斯型偏差界;对于随机噪声与有界的二阶矩,我们得到的收敛速度,如果次高斯噪声被假定。此外,这两种制度之间的过渡是平稳的。我们通过大量的数值研究和数据应用说明了所提出的方法的性能。
2019-04-14 cs.LG stat.ML
Causal policy ranking
causaLens
通过强化学习(RL)训练的策略即使对于简单的任务也通常非常复杂。在具有$n$时间步长的事件中,策略将对要采取的操作做出$n$决策,其中许多决策对于观察者来说可能看起来不直观。此外,尚不清楚这些决定中哪些直接有助于实现奖励,以及它们的贡献有多大。给定一个经过训练的策略,我们提出了一个基于反事实推理的黑盒方法,该方法估计这些决策对奖励获得的因果影响,并根据此估计对决策进行排名。在这个初步的工作中,我们比较我们的措施对替代,非因果,排名过程中,突出的好处,基于cavity的政策排名,并讨论潜在的未来工作整合因果算法到RL代理政策的解释。
2021-11-16 cs.AI cs.LG
Matrix Low-Rank Approximation For Policy Gradient Methods
King Juan Carlos University(胡安·卡洛斯国王大学)
本文提出基于低秩矩阵的策略模型,利用矩阵补全技术估计策略梯度方法参数,在减少计算和样本复杂度的同时保持与神经网络相当的聚合奖励。
2024-05-27 cs.AI cs.LG
Unified Off-Policy Learning to Rank: a Reinforcement Learning Perspective
University of Science and Technology of China(中国科学技术大学);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学);Penn State University(宾夕法尼亚州立大学);Oregon State University(俄勒冈州立大学)
本文将排序过程统一建模为马尔可夫决策过程,提出点击模型无关的统一离策略学习排序方法CUOLR,利用离线强化学习在无需去偏和先验知识的情况下适应多种点击模型,并在大规模数据集上取得优于现有方法的鲁棒性能。
2023-10-28 cs.IR cs.LG
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中,我们被赋予一个目标策略,并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略,使用知识的回报分布的方差。然后,我们介绍了减少方差采样(ReVar)算法,该算法近似的预言机策略时,奖励方差是未知的先验和约束其次优的预言机策略相比。最后,我们经验验证,ReVar导致政策评估的均方误差与Oracle策略相当,并显着低于简单地运行目标策略。
2022-06-17 cs.LG
On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse
Capital One
本文从策略梯度定理推导GRPO,揭示其输出奖励下所有token获得相同优势导致信用分配失败,证明梯度稀疏性并经验证梯度矩阵有效秩约为2,形式化秩-2结构源于优势零和约束。
2026-06-28 cs.LG
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications(电气通信大学)
针对高真实秩下降秩回归系数估计失效的问题,提出基于稀疏正则化与流形优化的同时秩与变量选择算法,实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Variance-Reduced Conservative Policy Iteration
Google Research(谷歌研究院);Princeton(普林斯顿大学);Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究了将强化学习简化为一系列政策空间上的经验风险最小化问题的样本复杂性。这种基于约简的算法在函数空间中表现出局部收敛,而不是在策略梯度算法的参数空间中,因此不受策略类的可能非线性或不连续参数化的影响。我们提出了一个方差减少的保守策略迭代,提高了样本的复杂性产生的$\varepsilon$功能局部最优从$O(\varepsilon^{-4})$到$O(\varepsilon^{-3})$。在状态覆盖和策略完备性假设下,该算法在$O(\varepsilon^{-2})$次采样后具有$\varepsilon$ -全局最优性,改进了先前建立的$O(\varepsilon^{-3})$采样要求.
2023-01-25 cs.AI cs.LG
Matrix Estimation for Offline Reinforcement Learning with Low-Rank Structure
Cornell University(康奈尔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文针对离线强化学习中目标策略未被行为策略充分覆盖的问题,利用MDP的潜在低秩结构提出基于加权矩阵补全的策略评估与优化算法,在无需已知特征表示的情况下放宽覆盖条件,并给出有限样本误差界和非渐近性能保证。
2023-05-24 cs.LG
Clustered Policy Decision Ranking
University of Maryland(马里兰大学)
针对强化学习策略决策复杂且贡献不清晰的问题,提出基于统计协方差估计的黑盒方法,通过聚类环境状态并对决策重要性进行排名,且与基于统计故障定位的排名程序进行了比较。
2024-04-28 cs.AI cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States(康奈尔科技、康奈尔大学,纽约,美国);Columbia University, NY, United States(哥伦比亚大学,纽约,美国)
GOPO通过使用奖励排名而非绝对值,提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich(苏黎世联邦理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管策略梯度方法取得了成功,但它们的梯度估计方差很高,这可能导致样本复杂度不令人满意。最近,许多方差减少扩展的策略梯度方法已被提出,证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查,一些主要的方差减少REINFORCE型方法,我们提出了概率梯度估计策略梯度(PAGE-PG),一种新的无环方差减少策略梯度方法的基础上,两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发,并利用重要性采样来获得无偏梯度估计。我们发现,PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案,它匹配的样本复杂度,其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Stochastic Dimension-reduced Second-order Methods for Policy Optimization
Shanghai University of Finance and Economics(上海财经大学);Fudan University(复旦大学);Stanford University(斯坦福大学)
在本文中,我们提出了几个新的随机二阶算法的政策优化,只需要梯度和海森向量积在每次迭代,使他们的计算效率和政策梯度法。具体地说,我们提出了一个降维二阶方法(DR-SOPO),反复解决投影二维置信域子问题。我们证明了DR-SOPO在达到近似一阶平稳条件和一定的子空间二阶平稳条件时具有$\mathcal{O}(ε^{-3.5})$复杂度。此外,我们提出了一个增强的算法(DVR-SOPO),进一步提高了复杂性的$\mathcal{O}(ε^{-3})$的基础上减少方差技术。初步的实验表明,我们提出的算法表现良好的随机和方差减少的政策梯度法相比。
2023-01-28 cs.LG math.OC
Low-Rank Adaptation for Critic Learning in Off-Policy Reinforcement Learning
University of Connecticut(康涅狄格大学);University of California San Diego(加州大学圣地亚哥分校);University of Texas at Arlington(德克萨斯理工大学);Qualcomm(高通)
本文提出利用低秩适应(LoRA)作为结构正则化方法,通过冻结基础矩阵并优化低秩适配器,约束批评学习更新到低维子空间,实验表明该方法有效降低批评损失并提升整体策略性能。
2026-10-30 cs.AI cs.LG
APRIL: Active Preference-learning based Reinforcement Learning
CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Université Paris-Sud(巴黎第十一大学)
本文主要研究有限先验知识下的强化学习。例如,在群体机器人领域,专家很难设计奖励函数或演示目标行为,禁止使用标准RL和反向强化学习。虽然专业知识有限,但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架:专家的偏好被用来学习一个近似的策略返回,从而使代理实现直接的策略搜索。迭代地,代理选择一个新的候选策略,并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈,使代理细化近似的政策回报,并迭代的过程。在本文中,基于偏好的强化学习结合主动排名,以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明,几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Proximal Ranking Policy Optimization for Practical Safety in Counterfactual Learning to Rank
University of Amsterdam(阿姆斯特丹大学);Radboud University(拉德堡德大学)
针对现有安全反事实排序学习方法适用范围有限、依赖用户行为假设的问题,提出近端排序策略优化PRPO,通过约束学习模型与安全模型的差异保障安全,实验证明其性能更优且在对抗场景下仍保持安全,为实际应用提供无条件鲁棒安全保障。
2024-09-15 cs.IR cs.LG
Addressing Finite-Horizon MDPs via Low-Rank Tensor Value Approximation
Department of Signal Theory and Comms.(信号理论与通讯系);King Juan Carlos University(国王胡安·卡洛斯大学)
本文研究利用低秩强化学习方法解决有限时间 horizon MDPs 的最优策略学习问题,通过将价值函数建模为低秩张量,提出了一种可扩展的表示方法,并结合贪心策略改进计算近优策略。
2026-05-13 cs.LG
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach
Columbia University in the City of New York(纽约市哥伦比亚大学)
本文针对无模型LQR问题,提出一种结合单点与两点估计的双环随机方差缩减策略梯度方法,将两点成本查询复杂度降至O(log(1/ε)^β)。
2023-09-19 cs.LG math.OC
F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking
UC San Diego(南加州大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
本文提出F-GRPO,通过因子化组相对策略优化统一完成候选生成与排序,解决传统方法中因反馈滞后导致的优化不稳定问题,提升推荐系统性能。
2026-05-13 cs.LG
Low-Rank Agent-Specific Adaptation (LoRASA) for Multi-Agent Policy Learning
University of Manchester(曼彻斯特大学)
针对多智能体强化学习中纯参数共享抑制智能体专业化的问题,提出LoRASA方法,通过在共享策略层附加低秩适配矩阵实现参数高效适配,在SMAC和MAMuJoCo基准上匹配或优于基线且降低开销,为MARL策略参数化提供新范式。
2025-02-08 cs.AI cs.LG cs.MA
Off-policy evaluation for learning-to-rank via interpolating the item-position model and the position-based model
Amazon Music ML(亚马逊音乐机器学习部门);Cornell University(康奈尔大学)
工业推荐系统的一个关键需求是在将推荐策略部署到生产环境之前离线评估推荐策略的能力。不幸的是,广泛使用的政策外评估方法要么对用户的行为做出强烈的假设,这可能导致过度的偏见,要么他们做出较少的假设,并遭受较大的方差。我们通过开发一种新的估计器来解决这个问题,该估计器缓解了两种最流行的排名策略估计器的问题,即基于位置的模型和项目位置模型。特别是,新的估计,称为国际刑警组织,解决了一个潜在的错误指定的基于位置的模型的偏差,同时提供了一个适应性的偏差方差权衡相比,项目位置模型。我们提供的理论论据以及实证结果,突出了我们的新的估计方法的性能。
2022-10-15 cs.IR cs.LG stat.CO
An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient
University of California, Los Angeles(加州大学洛杉矶分校)
我们重新审视了Papini等人(2018)提出的用于强化学习的随机方差降低策略梯度(SVRPG)方法。我们提供了一个改进的SVRPG的收敛性分析,并表明它可以找到一个$ε$ -近似平稳点的性能函数内$O(1/ε^{5/3})$轨迹。该示例复杂度比最著名的结果$O(1/ε^2)$提高了$O(1/ε^{1/3})$倍。我们分析的核心是(i)重要性采样权重的方差的更严格的上限,其中我们证明方差可以通过不同策略之间的参数距离来控制;以及(ii)对历元长度和批量大小参数进行细粒度分析,以便我们可以显着减少SVRPG每次迭代所需的轨迹数量。我们还实证证明了我们的理论索赔批量大小的强化学习基准任务的有效性。
2019-05-29 cs.AI cs.LG math.OC
Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds
Politecnico di Milano(米兰理工大学);Budapest University of Technology and Economics(布达佩斯科技经济大学);University of Milan(米兰大学)
本文提出防御性策略梯度算法,在无重要性权重方差假设下达到$O(\epsilon^{-3})$样本复杂度,并通过广义黑盒模型下界证明其速率最优,优于普通策略梯度。
2026-10-05 cs.LG
Pessimistic Off-Policy Optimization for Learning to Rank
Brno University of Technology(布尔诺理工大学);Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所);Amazon(亚马逊)
本文提出一种面向学习排序的悲观离线策略优化方法,通过点击模型参数的下置信界选择最高悲观价值列表,并结合经验贝叶斯,在推荐离线数据不平衡场景下优于基于逆倾向得分或忽略不确定性的基线方法。
2024-08-23 cs.AI cs.IR cs.LG
Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation
Nanyang Technological University(南洋理工大学)
针对代码生成中测试时强化学习因程序不可比较而失效的问题,提出探针驱动TTRL与熵正则化排名掩码策略优化(ERPO),通过行为共识奖励和保守更新显著提升编码基准的pass@1和pass@k。
2026-09-09 cs.CL cs.LG
Observational Policy Ranking for SMB Financial Guidance from Multi-Action Accounting Logs
Foresight-AI(预见人工智能);Intuit(英图易公司)
该研究针对中小企业财务指导的观测策略排序问题,提出CAR-PL方法,通过85078个公司-月度数据验证,其在毛利润等指标上表现优异,可实现多动作会计日志下的财务指导类别排序。
2026-08-12 cs.LG
Higher Order Reduced Rank Regression
本文提出高阶降秩回归(HORRR),通过张量表示与Tucker分解捕捉多响应回归中的非线性交互,并利用黎曼优化求解带多线性秩约束的问题。
2025-03-09 cs.LG cs.NA math.NA
Model-free Low-Rank Reinforcement Learning via Leveraged Entry-wise Matrix Estimation
KTH(瑞典皇家理工学院);MIT(麻省理工学院);Digital Futures(数字未来研究院)
针对低秩潜在结构的受控动态系统,提出无模型算法LoRa-PI,通过杠杆逐项矩阵估计实现ε最优策略学习,样本复杂度阶最优且条件更温和。
2024-11-10 cs.LG
Variance-Reduced Off-Policy TDC Learning: Non-Asymptotic Convergence Analysis
University of Utah(犹他大学);University at Buffalo(布法罗大学)
本文针对离策略设定下的双时间尺度TDC算法提出方差缩减方案,分析了其在i.i.d.和马尔可夫样本下的非渐近收敛速率,在两种设定下分别达到匹配最佳下界和接近最优的样本复杂度,且实验表明其渐近收敛误差更小。
2023-05-22 cs.LG math.OC
A randomized algorithm to solve reduced rank operator regression
Istituto Italiano di Tecnologia(意大利理工学院);University of Novi Sad(诺维萨德大学);University College London(伦敦大学学院)
本文提出随机化降秩回归(R4)算法,利用高斯草图技术高效求解可能无限维的向量值回归问题,理论证明风险接近最优,实验展示在神经科学和Koopman算子回归中的优势。
2023-12-28 cs.LG cs.NA math.NA
CoLoRA: Continuous low-rank adaptation for reduced implicit neural modeling of parameterized partial differential equations
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所)
本文提出CoLoRA方法,通过预训练神经网络并连续调整低秩权重,快速预测参数化偏微分方程的解场,支持数据驱动和变分驱动,速度快且适用于数据稀缺场景。
2024-07-21 cs.LG cs.NA math.NA
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology(香港科技大学)
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失,并考虑到正交性约束。在文献中,凸稀疏诱导函数已被用于SRRR。在这项工作中,提出了一个非凸函数更好的稀疏诱导。基于交替极小化(或投影)方法,提出了一种求解非凸优化问题的有效算法。数值仿真结果表明,该算法是更有效的基准方法相比,非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
Reinforcement Learning to Rank in E-Commerce Search Engine: Formalization, Analysis, and Application
Alibaba Group(阿里巴巴集团);Nanjing University(南京大学);Zhejiang Cainiao Supply Chain Management Co., Ltd.(浙江菜鸟供应链管理有限公司)
在亚马逊、淘宝等电子商业平台中,搜索会话中的商品排序是一个典型的多步决策问题。学习排序(LTR)方法已被广泛应用于排序问题。然而,这样的方法通常认为会话中的不同排名步骤是独立的,其相反地可能彼此高度相关。为了更好地利用不同排序步骤之间的相关性,在本文中,我们提出使用强化学习(RL)来学习一个最优的排序策略,最大化搜索会话中的预期累积奖励。首先,我们正式定义了搜索会话马尔可夫决策过程(SSMDP)的概念,制定多步排序问题。其次,分析了SSMDP的性质,从理论上证明了最大化累积报酬的必要性。最后,我们提出了一种新的策略梯度算法来学习最优排序策略,该算法能够处理SSMDP的高奖励方差和不平衡的奖励分配问题。实验在模拟和淘宝搜索引擎上进行。实验结果表明,与在线LTR算法相比,该算法的性能有了明显的提高,在仿真和实际应用中,总交易量分别增长了40%和30%以上。
2018-05-23 cs.LG
Reduced Policy Optimization for Continuous Control with Hard Constraints
ShanghaiTech University(上海科技大学);King’s College London(伦敦国王学院)
针对一般硬约束(含非凸)的连续控制任务,提出结合广义约简梯度与强化学习的约简策略优化算法,通过划分基本/非基本动作求解约束,并引入投影与拉格朗日松弛,在三个新基准上优于现有方法。
2023-12-21 cs.LG
Policy-Gradient Training of Language Models for Ranking
Cornell University(康奈尔大学)
针对基于LLM的检索器依赖复杂启发式对比损失训练的问题,提出Neural PG-RANK算法,将LLM实例化为Plackett-Luce排序策略,通过策略梯度端到端训练,统一训练目标与下游决策质量,在域内性能和部分域外泛化上取得显著提升。
2024-11-23 cs.AI cs.CL cs.IR
ECPO: Evidence-Coupled Policy Optimization for Verifier-Audited Candidate Ranking
Institute of Information Engineering, Chinese Academy of Sciences(信息工程研究所,中国科学院);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文研究了证据认证候选者排序问题,提出了一种名为ECPO的策略优化方法,通过结合排序和证据证书来提升排序效果和证据可靠性。
2026-10-19 cs.AI cs.LG
Optimal Policy Sparsification and Low Rank Decomposition for Deep Reinforcement Learning
Detroit Country Day School(底特律乡村日校)
针对深度强化学习稠密策略算力消耗高、易过拟合、推理受限的问题,提出基于最优稀疏映射的$L_0$范数正则化技术,可在保证奖励不衰减的前提下实现策略稀疏化与低秩压缩,在多环境验证效果优异。
2024-03-10 cs.AI cs.LG
Variance-Reduced Policy Gradient is Nearly Minimax-Optimal
Politecnico di Milano(米兰理工大学);Università degli Studi di Milano(米兰大学)
针对策略梯度算法估计方差高的问题,提出含递归更新与防御重要性采样的无循环降方差策略梯度框架,证明其在弱梯度控制下的全局收敛性,且样本复杂度近极小极大最优。
2026-10-12 cs.AI cs.LG
A Variance-Reduced Cubic-Regularized Newton for Policy Optimization
School of Computer Science and Engineering, Southeast University(计算机科学与工程学院,东南大学)
本文提出VR-CR-PN算法,首次将Hessian辅助的方差缩减与二阶策略优化结合,无需重要性采样即解决分布偏移问题,将样本复杂度降至 $\tilde{\mathcal{O}}(ε^{-3})$,并实现与步长无关的样本复杂度。
2025-07-14 cs.AI cs.LG
Distributed Low-Rank Estimation Based on Joint Iterative Optimization in Wireless Sensor Networks
University of York(约克大学);PUC-Rio(里约热内卢天主教大学);Princeton University(普林斯顿大学)
提出了一种新的分布式降秩算法和一种自适应分布式估计算法。建议的分布式方案是基于一个变换,在网络的每个代理进行降维,然后由一个降维参数向量。提出了一种分布式降秩联合迭代估计算法,与现有技术相比,该算法能够显著降低通信开销,提高估计性能。仿真结果表明,所提出的策略在收敛速度和均方误差性能方面的优势。
2014-11-05 cs.IT cs.LG math.IT
AirLLM: Diffusion Policy-based Adaptive LoRA for Remote Fine-Tuning of LLM over the Air
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Zhejiang Lab(浙江实验室)
AirLLM是一种分层扩散策略框架,通过PPO智能体与DDIM交替优化实现自适应LoRA秩配置,可提升LLM空中远程微调性能并降低传输成本。
2026-08-28 cs.AI cs.CL cs.LG
Variance Reduced Policy Gradient Method for Multi-Objective Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
针对多目标强化学习中策略梯度方法样本效率低的问题,提出在一般假设下应用方差缩减技术降低样本复杂度,同时保持可扩展性。
2025-08-14 cs.LG cs.SY eess.SY