On-Policy Delta Distillation for Multilingual Math Reasoning
NAVER AI Lab(NAVER AI实验室)
本研究针对多语言数学推理任务,提出OPD²方法,实验表明其在韩语、日语上性能提升显著,且能缩小英语与韩语的性能差距,凸显多语言数据的重要性。
2026-08-07 cs.CL cs.LG
RASFT: Rollout-Adaptive Supervised Fine-Tuning for Reasoning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);New Jersey Institute of Technology(新泽西理工学院);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
提出RASFT框架,通过基于策略rollout的问题级可解性校准专家监督,在模型困难时加强指导、表现可靠时放松模仿并纳入自生成轨迹,同时使用裁剪逆比约束策略漂移,在多个推理基准上优于SFT和RL方法。
2026-06-05 cs.CL cs.LG
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Meta Superintelligence Labs(Meta 超智能实验室)
本文提出自蒸馏推理器,通过单个LLM同时担任教师和学生,利用特权信息提升推理效率,优于强化学习和离线蒸馏方法。
2026-03-20 cs.CL cs.LG
IAPO: Information-Aware Policy Optimization for Token-Efficient Reasoning
University of Virginia(弗吉尼亚大学);LinkedIn Inc.(LinkedIn公司)
提出信息感知策略优化框架IAPO,通过基于条件互信息的令牌级优势塑造,在提升推理准确率的同时将推理长度减少高达36%。
2026-05-29 cs.CL cs.LG
From Outcome to Representation: Tracing Reasoning Mechanisms through Integrated Policy Gradient
Independent Researcher(独立研究者);ShanghaiTech University(上海科技大学)
本文提出集成策略梯度框架,通过反向传播复合结果信号,实现对大语言模型推理行为的精确解释与控制。
2026-11-05 cs.AI cs.CL cs.LG
Adapt to Thrive! Adaptive Power-Mean Policy Optimization for Improved LLM Reasoning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出自适应幂均策略优化方法,通过引入幂均目标和反馈自适应裁剪,提升大语言模型的推理性能,实验显示其在多个任务中表现优于现有方法。
2026-05-07 cs.CL cs.ET cs.LG
Beyond Token-Level Policy Gradients for Complex Reasoning with Large Language Models
School of Computer Science and Technology, Harbin Institute of Technology, China(哈尔滨工业大学计算机科学与技术学院);Baidu Inc.(百度公司)
本文提出MPO框架,通过多令牌级优化提升大语言模型在复杂推理任务中的性能。
2026-02-16 cs.CL
C$^2$GSPG: Confidence-calibrated Group Sequence Policy Gradient towards Self-aware Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高陵人工智能学院);Tsinghua University(清华大学);Beijing Key Laboratory of Research on Large Models(北京大模型研究关键实验室);Engineering Research Center of Next-Generation Intelligent Search(下一代智能搜索工程研究中心)
C$^2$GSPG通过置信度校准群体序列策略梯度方法提升推理性能并抑制过度自信,适用于逻辑和数学推理任务。
2025-12-23 cs.AI cs.CL cs.LG
PrAg-PO: Prompt Augmented Policy Optimization for Robust and Diverse Mathematical Reasoning
Brown University(布朗大学);Palona AI;Harvard University(哈佛大学)
本文提出PrAg-PO,通过混合提示模板与特定格式奖励提升大语言模型的数学推理能力,增强鲁棒性和多样性,优于GRPO和DAPO。
2026-05-08 cs.AI cs.CL cs.LG
Optimizing Anytime Reasoning via Budget Relative Policy Optimization
Sea AI Lab(Sea AI实验室);National University of Singapore(新加坡国立大学)
本文提出AnytimeReasoner框架,通过截断思考过程并引入密集可验证奖励,结合预算相对策略优化(BRPO)技术,在可变token预算下提升大语言模型推理的训练与token效率,并在数学推理任务中优于GRPO。
2026-11-02 cs.AI cs.CL cs.LG
Latent Reasoning in TRMs is Secretly a Policy Improvement Operator
Arip Asadulaev;Rayan Banerjee;Fakhri Karray;Martin Takac
本文通过将潜在递归推理形式化为策略改进算法,解释了递归步骤何时有效提升性能,并提出结合强化学习和扩散方法的训练方案,在Tiny Recursive Model上实现18倍前向传递减少且保持性能。
2026-05-30 cs.AI cs.CL cs.LG
Experience Augmented Policy Optimization for LLM Reasoning
提出经验增强策略优化(EAPO),通过将先验RL优化策略作为动作级经验先验并在关键决策点选择性注入,配合自适应重要性采样,解决RLVR中采样成本高和经验利用不足问题,在多个基准上提升推理性能。
2026-07-23 cs.LG
Adaptive Group Policy Optimization: Towards Stable Training and Token-Efficient Reasoning
HPC-AI Tech(HPC-AI技术)
针对 GRPO 在推理型 LLM 强化学习训练中的零方差、波动和令牌低效问题,本文提出带自适应损失函数的 AGPO,实现更稳定训练、更优性能及更少推理令牌。
2025-09-29 cs.CL
Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent AI Lab(腾讯AI实验室)
本文通过分解Transformer残差流中的内部层策略和内部模块策略,提出自底向上策略优化(BuPO)方法,通过早期优化内部层来重建LLM的推理基础,在复杂推理基准上验证了有效性。
2026-05-29 cs.AI cs.CL cs.LG
On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning
University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学);Tsinghua University(清华大学)
RPG通过统一KL正则化方法和改进的梯度估计,提升LLM推理准确率,实现稳定且可扩展的强化学习算法。
2026-02-19 cs.AI cs.CL cs.LG
RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer
Nanjing University(南京大学)
该研究针对多语言推理迁移中现有在线策略自蒸馏未优先考虑关键推理信号的问题,提出 RP-OPSD 方法,利用教师视图分布偏移引导特权蒸馏,在 17 种语言的数学推理基准上优于基线,提升了多语言推理能力。
2026-08-07 cs.CL
Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning
UW-Madison(威斯康星大学麦迪逊分校);MIT(麻省理工学院)
针对LLM推理中基于策略的RL方法占主导、基于价值的方法未被充分探索的问题,提出轨迹贝尔曼残差最小化(TBRM)算法,无需评论家等组件,在数学推理基准上优于PPO等基线且开销低,为LLM推理提供高效替代方案。
2025-11-12 cs.AI cs.CL cs.LG
Future Policy Approximation for Offline Reinforcement Learning in LLM Reasoning
Graduate School of Data Science, Seoul National University(首尔大学数据科学研究生院)
本文提出未来政策近似方法,通过估计未来策略来优化离线强化学习中的梯度更新,提升长周期推理任务的稳定性与准确性。
2026-08-20 cs.CL
Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
针对RLVR中推理覆盖不足的问题,提出难度自适应句子熵引导树结构策略优化(DATPO),通过树搜索与多样性优势项扩展pass@k,在数学推理基准上取得更优性能。
2026-09-09 cs.AI cs.CL cs.LG
Chain-of-Thought Reasoning is a Policy Improvement Operator
Harvard University(哈佛大学)
针对大语言模型依赖人类训练数据、缺乏自学能力的问题,提出SECToR框架,通过思维链推理构建自学习循环,验证了思维链可作为策略改进算子,助力模型在有限初始数据下自主习得更复杂的技能。
2023-11-08 cs.AI cs.CL cs.LG
Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization
Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学);Eastern Institute of Technology(东方理工学院)
针对GRPO在长链推理中因二元奖励导致的零优势崩溃和幻觉确定性失败模式,提出ISPO方法,通过内在信号密集化奖励,在三个基模型和五个数学推理基准上持续优于基线。
2026-06-07 cs.AI cs.CL cs.LG
SLPO: Scaling Latent Reasoning via a Surrogate Policy
The Hong Kong Polytechnic University(香港理工大学);Sichuan University(四川大学)
研究如何让潜在推理器实现测试时扩展,引入代理潜在策略优化(SLPO),通过经验代理策略密度和正确性监督停止头,将结果奖励强化学习引入自回归潜在推理器,在连续和软思维设置中提升了性能。
2026-10-06 cs.AI cs.CL cs.LG
FAPO: Flawed-Aware Policy Optimization for Efficient and Reliable Reasoning
Soochow University(苏州大学);ByteDance Seed(字节跳动种子)
FAPO通过引入缺陷感知机制,优化策略以提升大语言模型在高效可靠推理中的性能,提高结果正确性与训练稳定性。
2026-02-27 cs.LG
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Apple(苹果公司);Purdue University(普渡大学)
PORTool通过奖励树实现多工具集成推理中的重要性感知策略优化,提升最终答案准确性并减少工具调用步骤。
2026-04-30 cs.AI cs.CL cs.LG
Collaborative Policy Learning for Open Knowledge Graph Reasoning
Carnegie Mellon University(卡内基梅隆大学);University of Montreal(蒙特利尔大学);University of Southern California(南加州大学);Zhejiang University(浙江大学)
近年来,可解释图推理方法引起了人们极大的兴趣。然而,这些模型在稀疏和不完整的图上工作时,由于缺乏可以到达目标实体的证据路径,通常会受到性能限制。在这里,我们研究开放知识图谱推理-一个旨在通过背景文本语料库增强的图来推理缺失事实的任务。该任务的一个关键挑战是过滤掉从语料库中提取的“不相关”事实,以便在路径推理过程中保持有效的搜索空间。我们提出了一种新的强化学习框架,训练两个合作代理人联合,即,多跳图推理器和事实提取器。事实提取代理从语料库中生成事实三元组,以丰富动态图;而推理代理向事实提取器提供反馈,并引导其促进有助于可解释推理的事实。在两个公开数据集上的实验证明了该方法的有效性。本文中使用的源代码和数据集可以从https://github.com/shanzhenren/CPL下载
2019-08-31 cs.AI cs.CL cs.LG
Empowering Multi-Turn Tool-Integrated Agentic Reasoning with Group Turn Policy Optimization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);AWS AI Labs(AWS人工智能实验室);NVIDIA;Meta
本文提出GTPO算法,通过细粒度奖励、优势估计和自监督奖励塑造,提升大语言模型在多轮工具推理任务中的性能,优于GRPO并在常识推理和程序合成任务中表现更佳。
2026-04-20 cs.AI cs.CL cs.LG
Simple Policy Gradients for Reasoning with Diffusion Language Models
Stanford University(斯坦福大学)
本文提出 AGRPO 算法,通过优化 dLLM 的去噪步骤提升推理性能,实现多个任务上的显著增益。
2026-07-24 cs.AI cs.CL cs.LG
R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization
Nanyang Technological University(南洋理工大学)
本文提出StepGRPO在线强化学习框架,通过逐步奖励提升多模态大语言模型的推理能力,并推出R1-VL模型系列,在8个基准上验证了优越性。
2025-08-04 cs.AI cs.CL cs.CV
SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning
ETH AI Center, ETH Zürich(苏黎世联邦理工学院人工智能中心);EPFL(瑞士联邦理工学院);Allen Institute for AI(人工智能研究所)
本文指出,混合策略方法的性能提升源于两个错误:DeepSpeed优化器在梯度累积中丢失中间微批次,以及OpenRLHF损失聚合错误加权。修正后,标准SFT-然后-RL流程在数学基准上超越了所有混合策略方法。
2026-04-26 cs.AI cs.CL cs.LG
Dual-Uncertainty Guided Policy Learning for Multimodal Reasoning
Tencent Hunyuan(腾讯文汇);University of Maryland(马里兰大学);University of North Carolina(北卡罗来纳大学)
提出DUPL方法,通过量化感知不确定性和输出不确定性来引导策略更新,在多个多模态推理基准上显著提升模型准确率,优于现有方法。
2026-06-16 cs.AI cs.CL cs.LG
Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLMs
Zhejiang University(浙江大学)
针对大语言模型推理中因上下文干扰产生事实错误的问题,提出步骤级自一致性组相对策略优化(SSC - GRPO),通过计算自一致性分数分配步骤级奖励,在数学推理基准和幻觉排行榜上取得领先,为检测和减轻幻觉提供新视角。
2026-10-16 cs.CL
Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO
Department of Industrial Engineering and Operations Research(工业工程与运营管理系);Department of Mathematics(数学系);Columbia University(哥伦比亚大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Stern School of Business, New York University(纽约大学斯特恩商学院)
SGPO通过引入组内响应多样性,解决GRPO在所有负样本组时无法更新策略的问题,提升推理模型性能。
2026-03-10 cs.AI cs.CL cs.LG
TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
TAPO通过引入翻译增强策略优化框架,提升多语言数学推理能力,有效结合语言理解和推理能力,优于基线方法并在未见语言和领域任务中表现良好。
2026-03-26 cs.CL
Tree-OPO: Off-policy Monte Carlo Tree-Guided Advantage Optimization for Multistep Reasoning
Technical University of Munich(慕尼黑工业大学);Huawei R&D Munich(华为慕尼黑研发中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
Tree-OPO通过引入分阶段优势估计框架,利用MCTS生成轨迹优化策略学习,提升数学推理任务的准确性与样本效率。
2025-12-21 cs.AI cs.CL cs.LG
Teacher-Guided Policy Optimization for On-Policy Reasoning Distillation under Large Policy Divergence
School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院);Tsinghua University(清华大学);Meituan(美团);Meta AI;NiuTrans Research, Shenyang, China(新译研究院,沈阳,中国)
针对在线蒸馏中教师与学生策略差异大时反向KL监督失效的问题,提出教师引导策略优化(TGPO),通过教师直接指导学生上下文的token级生成并结合RLVR奖励,在推理基准上优于现有方法。
2026-11-10 cs.AI cs.LG
ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Huzhou Normal University(湖州师范学院);Zhejiang Key Laboratory of Intelligent Education Technology and Application(浙江省智能教育技术与应用重点实验室)
提出ConsisGuard框架,通过策略到决策轨迹蒸馏和功能耦合对齐,解决基于推理的LLM护栏中审议与执行之间的不一致问题,提升安全检测性能并减少策略执行失败。
2026-05-29 cs.CL
Segment-Aligned Policy Optimization for Multi-Modal Reasoning
Fudan University(复旦大学);Southeast University(东南大学);China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.(中国电信人工智能技术(北京)有限公司);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院)
本文提出SAPO方法,通过将推理步骤而非token或完整序列作为策略更新的基本单元,提升多模态推理任务的准确性和稳定性。
2026-05-07 cs.AI cs.LG
Reasoning Fine-Tuning Induces Persistent Latent Policy States
University of Oxford(牛津大学);University of Utah(犹他大学)
研究推理微调对语言模型的影响,将思维链推理建模为切换动态系统,通过时间感知对比表征学习等方法恢复潜在策略。发现推理微调使模型有更丰富的潜在策略组织,恢复的状态有功能意义,SDS引导的剪枝效果良好,为推理模型分析和控制提供新视角。
2026-07-22 cs.CL
Policy Guided Tree Search for Enhanced LLM Reasoning
针对大语言模型复杂推理能力不足的问题,提出策略引导树搜索(PGTS)框架,通过学习策略动态决策推理路径探索方式,在多任务基准测试中实现更优推理性能并显著降低计算成本。
2025-02-04 cs.AI cs.LG
Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning
Georgia Institute of Technology(佐治亚理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Manchester(曼彻斯特大学);NVIDIA;Independent(独立);Emory University(埃默里大学)
本文提出慢-快策略优化框架,通过分解步骤为三个阶段,解决RL在早期训练中的稳定性与效率问题,实验表明其在推理任务中提升稳定性、减少rollouts数量并加速收敛。
2026-03-17 cs.AI cs.CL cs.LG
EPO: Explicit Policy Optimization for Strategic Reasoning in LLMs via Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Tongyi Lab(通义实验室);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(复杂系统认知与决策智能重点实验室,中国科学院自动化研究所)
针对LLM在复杂现实场景中战略推理能力不足的问题,提出显式策略优化(EPO),通过多轮强化学习与迭代自博弈训练可插入任意智能体的战略推理模型,显著提升了长期目标对齐及策略生成能力。
2025-05-28 cs.CL
HiPO: Hybrid Policy Optimization for Dynamic Reasoning in LLMs
Kuaishou Technology(快手科技);Nanjing University(南京大学)
针对大语言模型思维链推理token消耗高、效率低的问题,提出混合策略优化框架HiPO,通过混合数据流水线与混合强化学习奖励实现自适应推理控制,可在保精度甚至提精度的同时大幅降低推理成本。
2025-10-21 cs.CL
Semi-off-Policy Reinforcement Learning for Vision-Language Slow-Thinking Reasoning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);MMLab, The Chinese University of Hong Kong(香港中文大学MMLab)
针对同策略强化学习受限、离策略强化学习易引发视觉幻觉的问题,提出半离策略强化学习框架SOPHIA,结合同策略视觉理解与离策略推理,有效提升LVLM多模态推理性能,达到开源模型最优水平。
2025-10-22 cs.CV cs.LG
Enhancing RL Safety with Counterfactual LLM Reasoning
Simula Research Laboratory(西穆拉研究院)
针对强化学习策略存在不安全行为、难以解释的问题,提出在训练后利用反事实大语言模型推理增强其安全性,验证了该方法的安全性提升效果与可解释性价值。
2024-09-16 cs.LG
Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning
Peking University(北京大学)
本文提出OPHSD方法,通过将增强的模型作为教师进行自蒸馏,提升模型在复杂推理任务中的泛化能力和独立表现。
2026-05-09 cs.CL
Escape the Language Prior: Mitigating Late-Stage Modality Collapse in Audio Reasoning via Modality-Aware Policy Optimization
Johns Hopkins University(约翰霍普金斯大学);Tencent Hunyuan(腾讯文言)
针对多模态大语言模型在强化学习后训练中因统一策略梯度忽略模态依赖性而导致的后期模态崩溃问题,提出模态感知策略优化(MAPO)框架,通过模态相关性掩码和辅助注意力损失分支动态聚焦梯度并维持跨模态推理,在复杂音频推理基准上取得新最优结果。
2026-10-14 cs.CL
BPPO: Binary Prefix Policy Optimization for Efficient GRPO-Style Reasoning RL with Concise Responses
TeleAI;Shanghai Jiao Tong University(上海交通大学)
针对GRPO更新成本高且易产生冗长推理的问题,提出BPPO方法,通过仅使用最短正确和错误完成作为更新单元并聚焦前缀优化,实现6倍加速并缩短30-50%响应长度。
2026-05-27 cs.LG
STOP: Structured On-Policy Pruning of Long-Form Reasoning in Low-Data Regimes
University of Washington(华盛顿大学);University of Montreal(蒙特利尔大学)
STOP通过结构化在线剪枝减少低数据场景下的长形式推理生成token,同时保持准确性,提升推理效率与结构效率。
2026-09-22 cs.CL
TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization
TMCC, College of Computer Science, Nankai University, Tianjin, China(TMCC,计算机科学学院,南开大学,天津,中国)
提出TARPO框架,通过动作路由策略优化在每一步自适应切换离散令牌生成和连续隐式推理,以解决隐式推理中连续表示限制策略探索的问题,实验表明其优于现有显式和隐式推理基线。
2026-06-04 cs.CL
Hint-Guided Diversified Policy Optimization for LLM Reasoning
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Ant Group(蚂蚁集团)
提出提示引导的多样化策略优化(HDPO),通过“提出-选择-思考”轨迹激励模型生成多样且可靠的解决方案,提升推理能力、候选方案多样性和可靠方案识别能力。
2026-11-10 cs.CL
Enhancing Reasoning for Diffusion LLMs via Distribution Matching Policy Optimization
Georgia Institute of Technology(佐治亚理工学院)
本文提出DMPO方法,通过分布匹配优化提升扩散大语言模型的推理能力,实现显著的准确率提升。
2026-07-14 cs.LG
CRPO: Character-centric Group Relative Policy Optimization for Role-aware Reasoning in Role-playing Agents
Institute of Computing and Intelligence(计算与智能研究院);Harbin Institute of Technology(哈尔滨工业大学);Shenzhen Loop Area Institute (SLAI)(深圳Loop区研究院);The Chinese University of Hong Kong(香港中文大学)
提出CRPO框架,通过解耦任务逻辑与风格奖励、动态调整优化约束和利用通用响应作为负基线,解决强化学习在角色扮演中角色保真度下降和风格崩溃问题。
2026-05-25 cs.CL
GraphPO: Graph-based Policy Optimization for Reasoning Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院);Ant Group(蚂蚁集团)
提出GraphPO框架,将推理轨迹建模为有向无环图,通过合并语义等价路径减少冗余探索,并利用边级优势函数提高推理效率,在多个基准上优于链式和树式方法。
2026-06-18 cs.CL
Policy Gradient With Serial Markov Chain Reasoning
King’s College London(伦敦国王学院)
我们引入了一个新的框架,执行决策的强化学习(RL)作为一个迭代推理过程。我们的代理行为模型的稳态分布的参数化推理马尔可夫链(RMC),优化与一个新的易于处理的估计的策略梯度。我们通过模拟RMC足够的推理步骤来接近其稳态分布来执行动作选择。我们展示了我们的框架有几个有用的属性,这些属性是传统RL固有的。例如,它允许代理行为近似任何连续分布的动作参数化的RMC与一个简单的高斯转换函数。此外,达到收敛的推理步骤的数量可以随着每个动作选择决策的难度自适应地缩放,并且可以通过重用过去的解决方案来加速。我们得到的算法在流行的Mujoco和DeepMind Control基准测试中实现了最先进的性能,无论是本体感受任务还是基于像素的任务。
2022-10-13 cs.AI cs.LG