Stochastic Learning Approach to Binary Optimization for Optimal Design of Experiments
Argonne National Laboratory（阿贡国家实验室）
针对由数学模型如偏微分方程控制的贝叶斯反问题，提出了一种新的随机二进制优化方法，用于最优试验设计（OED）. OED效用函数，即正则化的最优性准则，被铸造成一个随机目标函数的形式在多元伯努利分布的期望。然后通过使用随机最优化例程来求解概率目标以找到最优观测策略。所提出的方法进行了分析，从优化的角度来看，也从机器学习的角度与对应的政策梯度强化学习。该方法是通过使用一个理想化的二维贝叶斯线性逆问题，并验证了广泛的数值实验进行传感器的位置在参数识别设置的数值模拟。
2021-01-15 cs.LG math.OC
Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization
Zhejiang University（浙江大学）；The Chinese University of Hong Kong（香港中文大学）；Eastern Institute of Technology（东方理工学院）
针对GRPO在长链推理中因二元奖励导致的零优势崩溃和幻觉确定性失败模式，提出ISPO方法，通过内在信号密集化奖励，在三个基模型和五个数学推理基准上持续优于基线。
2026-06-07 cs.AI cs.CL cs.LG
Long-term Safe Reinforcement Learning with Binary Feedback
LINE Corporation（LINE公司）；Osaka University（大阪大学）
本文提出LoBiSaRL算法，针对带二元安全反馈和未知随机转移的CMDPs，通过广义线性模型保守选择安全动作，在保证长期安全约束的同时最大化奖励，并在理论和实验上验证了其安全性与性能优势。
2024-01-11 cs.AI cs.LG cs.RO
Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization
Meituan, China（美团，中国）
本文提出RDPO方法，通过量化归一化和马氏白化处理，解决多任务和混合奖励环境中的奖励分布不均和相关性问题，提升模型在指令遵循和写作质量上的表现。
2026-05-13 cs.CL cs.LG
High Acceleration Reinforcement Learning for Real-World Juggling with Binary Rewards
Technical University of Darmstadt（达姆施塔特工业大学）
能够在物理世界中学习的机器人对于使机器人摆脱僵硬和预先编程的运动非常重要。对于动态高加速度任务，如杂耍，在现实世界中的学习是特别具有挑战性的，因为人们必须推动机器人及其驱动的限制，而不损害系统，放大样本效率和安全性的必要性，机器人学习算法。在以前的工作，主要集中在学习算法，我们提出了一个学习系统，直接将这些要求的政策表示，初始化和优化的设计。我们证明，该系统使高速巴雷特WAM机械手学习杂耍两个球从56分钟的经验与二进制奖励信号。最后的政策杂耍连续长达33分钟或约4500重复渔获物。记录学习过程和评估的视频可以在https://sites.google.com/view/jugglingbot上找到
2020-10-31 cs.LG cs.RO stat.ML
SocraticPO: Policy Optimization via Interactive Guidance
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）；iFLYTEK AI Research (Central China), iFLYTEK Co., Ltd（iFLYTEK中央中国AI研究院，iFLYTEK公司）
提出SocraticPO框架，在强化学习中使用自然语言指导辅助推理，并通过奖励衰减防止模型依赖教师帮助，提升科学推理任务性能。
2026-08-25 cs.AI cs.CL cs.LG
Empowering Multi-Turn Tool-Integrated Agentic Reasoning with Group Turn Policy Optimization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；AWS AI Labs（AWS人工智能实验室）；NVIDIA；Meta
本文提出GTPO算法，通过细粒度奖励、优势估计和自监督奖励塑造，提升大语言模型在多轮工具推理任务中的性能，优于GRPO并在常识推理和程序合成任务中表现更佳。
2026-04-20 cs.AI cs.CL cs.LG
One-Way Policy Optimization for Self-Evolving LLMs
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Dartmouth College（达特茅斯学院）；Alibaba（阿里巴巴）
本文提出单向策略优化方法，通过解耦优化方向与更新幅度，解决传统方法中验证器奖励稀疏导致的训练不稳定问题，实现大语言模型的持续自演化。
2026-05-21 cs.AI cs.LG
Balanced off-policy evaluation in general action spaces
Flatiron Health（弗莱泰龙健康）；Adobe Research（奥多比研究院）；Facebook Core Data Science（脸书核心数据科学部）
用于上下文强盗的非策略评估的重要性采样权重的估计通常导致不平衡-加权后的状态-动作对的期望分布与实际分布之间的不匹配。在这项工作中，我们提出了平衡的政策评估（B-OPE），一个通用的方法来估计权重，最大限度地减少这种不平衡。这些权重的估计减少到一个二进制分类问题，无论动作类型。我们表明，最大限度地减少分类器的风险意味着最小化的不平衡所需的反事实分布的状态-动作对。分类器损失与非策略估计的误差相关，从而允许轻松调整超参数。我们提供的实验证据表明，B-OPE改善了基于权重的方法，离线政策评估离散和连续的行动空间。
2020-03-05 cs.LG stat.ME stat.ML
On KL-Regularized Policy Optimization
Princeton University（普林斯顿大学）
提出KLPO框架，通过将KL正则化锚定于采样器并利用最小二乘拟合，实现无需评论家、单次rollout的LLM策略优化，统一了SPPO等现有方法。
2026-10-08 cs.AI cs.CL cs.LG
SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling
Zhejiang University（浙江大学）；Hunan University（湖南大学）；Tianjin University（天津大学）；Shanghai Jiao Tong University（上海交通大学）；Jilin University（吉林大学）
针对在线蒸馏中轨迹级对齐和教师偏好均匀可靠性假设的失效问题，提出SG-OPD方法，通过符号一致性门控和分阶段教师采样改进蒸馏效果，在竞赛级数学推理任务上平均提升1.98和7.50。
2026-06-08 cs.CL cs.LG
Low Precision Policy Distillation with Application to Low-Power, Real-time Sensation-Cognition-Action Loop with Neuromorphic Computing
IBM Research（IBM研究院）
强化学习（RL）设置中的低精度网络相对未被探索，因为函数近似的二进制激活的限制。在这里，在离散行动ATARI域，我们证明，第一次，低精度的政策蒸馏从高精度网络提供了一个原则性的，实用的方法来训练RL代理。作为一个应用程序，在10个不同的ATARI游戏，我们展示了实时的【形】端到端的游戏在低功耗神经形态硬件通过转换成离散的动作的游戏帧序列。
2018-09-25 cs.LG cs.NE stat.ML
Learning Online Alignments with Continuous Rewards Policy Gradient
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）；Google Brain（谷歌大脑）；Open AI（OpenAI）
具有软注意力的序列到序列模型在机器翻译、语音识别和问答中取得了显著的成功。尽管它们有能力且易于使用，但它们要求在推理开始时整个输入序列可用，这一假设对于即时翻译和语音识别是无效的。为了解决这个问题，我们提出了一种新的方法来解决序列到序列的问题，使用硬在线比对，而不是软离线比对。在线比对模型能够开始产生输出，而不需要首先处理整个输入序列。高度精确的在线序列到序列模型是有用的，因为它可以用于构建精确的基于语音的瞬时翻译器。我们的模型使用硬二进制随机决策来选择将产生输出的时间步长。该模型使用标准的策略梯度方法进行训练以产生这些随机决策。在我们的实验中，我们表明，该模型取得了令人鼓舞的性能TIMIT和华尔街日报（WSJ）语音识别数据集。
2016-08-03 cs.CL cs.LG
Future-KL Regularized GRPO: Process-Level Credit Assignment from $f$-Divergence Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出未来KL正则化策略优化（FRPO），通过因果未来正则化回报修正GRPO中局部KL损失缺失的梯度信号，在数学推理任务中提升pass@16并保持更高熵和更低策略漂移。
2026-05-23 cs.AI cs.CL cs.LG
Surgical Post-Training: Proximal On-Policy Distillation for Reasoning with Knowledge Retention
The University of Hong Kong（香港大学）
本文提出SPOT框架，通过近端策略蒸馏在后训练中保留知识，提升推理性能，实验表明其在少量数据下显著提升模型准确率。
2026-05-15 cs.AI cs.CL
Rethinking the Trust Region in LLM Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
针对PPO在LLM微调中因词表大导致的训练不稳定问题，提出基于策略散度直接约束的DPPO算法，并引入高效近似方法。
2026-06-15 cs.AI cs.CL cs.LG
UCPO: Uncertainty-Aware Policy Optimization
针对现有强化学习范式在不确定性奖励下存在的优势偏差和过度自信问题，提出三元优势解耦和动态不确定性奖励调整机制，显著提升模型在知识边界外的可靠性。
2026-05-26 cs.AI cs.LG
Ratio-Variance Regularized Policy Optimization
Department of Foundation Model, 2012 Labs, Huawei（华为基础模型部门，2012实验室）；Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
提出R²VPO方法，通过约束策略比率方差作为信任区域的局部近似，替代启发式裁剪，在LLM和机器人控制任务中提升性能与样本效率。
2026-05-26 cs.AI cs.LG
Learning Large Neighborhood Search Policy for Integer Programming
Nanyang Technological University（南洋理工大学）；Shandong University（山东大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）
提出了一种深度强化学习（RL）方法来学习整数规划（IP）的大邻域搜索（LNS）策略。RL策略被训练为销毁操作符，以在每个步骤中选择变量的子集，该子集由IP求解器重新优化为修复操作符。然而，变量子集的组合数量阻止了典型RL算法的直接应用。为了应对这一挑战，我们通过将所有子集分解为每个变量的二元决策来表示它们。然后，我们设计一个神经网络来并行学习每个变量的策略，并通过定制的行动者-批评者算法进行训练。我们评估所提出的方法对四个代表性的IP问题。结果表明，它可以找到更好的解决方案比SCIP在更少的时间，并显着优于其他LNS基线相同的运行时间。此外，当这些政策推广到更大的问题时，这些优势明显持续存在。进一步的实验还表明，我们的方法可以在相同的时间限制内优于这种最先进的商业求解器。
2021-11-01 cs.AI cs.LG math.OC
NFT: Bridging Supervised Learning and Reinforcement Learning in Math Reasoning
Tsinghua（清华大学）；NVIDIA；UIUC（伊利诺伊大学香槟分校）；Stanford（斯坦福大学）
NFT通过监督学习方法实现LLM自主改进，无需外部教师，在数学推理任务中超越传统RL算法。
2026-03-01 cs.CL cs.LG
Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime
Baidu（百度）
本文提出Prefix Sampling方法，通过回放自生成轨迹前缀引导二元奖励强化学习进入最信息丰富的区域，提升模型效率和性能。
2026-05-15 cs.LG
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
针对多奖励强化学习中GDPO难以平衡不同粒度奖励信号的问题，提出SMOPD两阶段训练方法，在1.5B、3B、7B骨干模型上的互补与冲突奖励设置下性能优于GDPO。
2026-08-24 cs.AI cs.CL cs.LG
Entropy Controllable Direct Preference Optimization
The University of Tokyo（东京大学）
针对直接偏好优化（DPO）中反向KL散度可能漏捕获参考分布模态、损害策略性能的问题，提出可控制策略熵的H-DPO方法，增强分布锐度以更有效实现模态寻优拟合，在多任务尤其是数学任务pass@k评估中优于DPO且实现简便。
2025-06-13 cs.AI cs.CL cs.LG
Towards Safer Chatbots: Automated Policy Compliance Evaluation of Custom GPTs
Information Processing and Telecommunications Center Universidad Politécnica de Madrid ETSI Telecomunicación（信息处理与电信中心西班牙马德里理工大学电信工程学院）；King’s College London（伦敦国王学院）；INGENIO (CSIC-Universitat Politècnica de València)（INGENIO（西班牙国家研究委员会-瓦伦西亚理工大学））
本文提出了一种自动化方法，用于评估定制GPTs是否符合其市场使用政策，通过黑盒交互结合大规模发现、红队提示和LLM作为法官，揭示了当前审核机制的不足及行为合规性评估的可行性。
2025-12-19 cs.AI cs.CL
Gated Q-learning: Add Off-Policy Bias to Taste
该研究针对Q学习中离策略偏差与多步信用分配的张力，提出门控Q学习框架，通过状态-动作依赖的门控机制替代重要性采样，实现平滑插值，提升初始学习速度并支持定制化视界与偏差量。
2026-10-14 cs.AI cs.LG
Partial Policy-based Reinforcement Learning for Anatomical Landmark Localization in 3D Medical Images
Hankuk University of Foreign Studies
强化学习部署长期累积回报的思想，在各个领域都表现出了显著的表现。我们提出了一个制定的地标定位在三维医学图像作为一个强化学习问题。而基于值的方法已被广泛用于解决类似的问题，我们采用了一个基于行动者-评论家的直接策略搜索方法的时间差异学习方法的框架。成功的行为学习在大的状态和/或动作空间中具有挑战性，需要多次尝试。我们引入了基于部分策略的强化学习，通过在较小的部分域上学习最优策略来解决大型本地化问题。独立的参与者有效地学习相应的部分策略，每个参与者都利用自己的独立评论家。建议的政策重建部分政策，确保了一个强大的和有效的本地化利用子代理解决简单的二元决策问题，在其相应的部分行动空间。提出的强化学习与原始的行为学习方案相比，需要少量的试验来学习最优行为。
2018-12-31 cs.CV cs.LG
Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning
研究连续强化学习中神经网络训练问题，提出校准部分重置（CPR）优化器，定期拉低效用神经元至初始化，拉动强度依效用缩放。该方法避免策略崩溃，在多基准测试中表现优，揭示可塑性与峰值性能权衡，为连续学习提供新方向。
2026-07-29 cs.AI cs.LG cs.RO
Uncertainty-Based Smooth Policy Regularisation for Reinforcement Learning with Few Demonstrations
Department of Statistics（统计系）；Warwick Manufacturing Group University of Warwick（沃里克大学沃里克制造集团）
提出SPReD框架，通过集成方法量化不确定性，在少示范强化学习中实现连续且与不确定性成正比的模仿正则化，显著降低梯度方差并在复杂机器人任务中取得最高14倍的性能提升。
2025-10-31 cs.AI cs.LG cs.RO
Reinforcement Learning with Verifiable Rewards: GRPO's Effective Loss, Dynamics, and Success Amplification
IBM Research（IBM研究院）
本文分析GRPO在可验证二元奖励下的有效对比损失与不同KL正则化形式，推导最优策略及成功概率递推，证明其收敛不动点高于参考策略。
2025-10-20 cs.LG stat.ML
Bellman-Certified Rounding for Sparse Policy Deployment in MDPs
针对MDP中稀疏策略部署，提出Bellman认证舍入方法，利用包络和加权曲率积分提供候选特定保证，显著提升认证覆盖率并降低界限与损失比。
2026-10-02 cs.LG
TAAC: Temporally Abstract Actor-Critic for Continuous Control
Horizon Robotics（地平线机器人）
我们提出了时间抽象的演员-评论家（TAAC），一个简单但有效的离线策略强化学习算法，将闭环时间抽象到演员-评论家框架。TAAC添加了第二阶段的二元策略，用于在先前的操作和参与者输出的新操作之间进行选择。至关重要的是，它的“act-or-repeat”决定取决于实际采样的动作，而不是演员的预期行为。这种后作用切换方案让整体策略做出更明智的决策。TAAC有两个重要的特性：a）持久的探索，以及b）一个新的比较通过Q操作符，用于多步TD备份，专门针对动作重复场景。我们证明了TAAC的优势，在几个强大的基线在14个连续的控制任务。我们令人惊讶的发现表明，在实现最佳性能的同时，TAAC能够“挖掘”大量的重复动作，即使是在表面上的问题结构似乎排斥动作重复的连续任务上，也能使用经过训练的策略。这表明，除了鼓励持续探索，行动重复可以在良好的政策行为中找到自己的位置。代码可在https://github.com/hnyu/taac上获得。
2021-10-11 cs.AI cs.LG cs.RO
Beyond Binary: Turning Partial Success into Dense Verifiable Rewards for Reinforcement Learning in Code Generation
Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））；Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（中国电信人工智能技术（北京）有限公司Xingchen AGI实验室）；National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University（人机混合增强智能国家重点实验室，西安交通大学）
提出VeRPO框架，利用代码测试的部分成功作为可验证密集奖励，通过动态密度校准局部奖励修正基数偏差，并与全局执行结果结合，提升代码生成强化学习的性能。
2026-05-26 cs.AI cs.LG
Off-Policy Evaluation via Off-Policy Classification
University of California Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）；DeepMind（深度思维）
在这项工作中，我们考虑了现实世界环境中深度强化学习（RL）的模型选择问题。通常，深度RL算法的性能通过与目标环境的策略交互来评估。然而，为了提前停止或超参数调整的目的，在现实环境中比较模型是昂贵的，并且通常在实践中是不可行的。这导致我们在这种情况下检查政策外政策评估（OPE）。我们专注于基于值的方法的OPE，这在深度RL中特别感兴趣，在机器人等应用中，基于Q函数估计的非策略算法通常可以获得比直接策略优化更好的样本复杂度。现有的OPE指标要么依赖于环境模型，要么依赖于使用重要性采样（IS）来校正偏离策略的数据。然而，对于高维观测，例如图像，环境模型可能难以拟合，并且基于值的方法可能使IS难以使用甚至病态，特别是在处理连续动作空间时。在本文中，我们专注于具有连续动作空间和稀疏二进制奖励的MDP的具体情况，这是许多重要的现实世界中的应用的代表。我们提出了一个替代的度量，既不依赖于模型，也不依赖于IS，通过框架OPE作为一个积极的未标记（PU）的分类问题与Q函数作为决策函数。我们的实验表明，这个指标优于基线上的一些任务。最重要的是，它可以可靠地预测不同策略在许多泛化场景中的相对性能，包括将在基于图像的机器人操作任务的模拟中训练的策略转移到现实世界。
2019-11-23 cs.AI cs.LG cs.RO
Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization
Xi’an Jiaotong University（西安交通大学）；Fliggy Alibaba（阿里飞猪）
本文提出PRS和VSPO技术，通过渐进奖励塑造和基于价值的采样策略优化，提升代理强化学习在复杂推理任务中的性能与稳定性。
2026-01-20 cs.CL
Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works
National Taiwan University（台湾大学）
本文研究了二元奖励下GRPO算法中组均中心化优势失效的问题，提出通过固定参考Sign优势改进方法，显著提升性能，实验显示其在GSM8K数据集上表现优于传统方法。
2026-05-08 cs.LG
Stabilizing On-Policy Distillation for MLLM Reasoning with Global Normalization
OPPO AI Center（OPPO AI中心）
针对策略蒸馏中异常状态导致梯度不稳定的问题，提出全局归一化蒸馏策略优化（GNDPO），通过将KL分数转化为批次级相对优势来稳定优化，提升多模态推理任务的训练鲁棒性和性能。
2026-06-08 cs.CV cs.LG
An Instrument to Evaluate Governance Proposals: AI Policy Analysis at Scale
本文提出一种AI政策分析框架，结合专家见解与计算分析，以领域校准模型为基准评估商业LLM，助力用户评估AI治理提案的属性一致性，支持政策制定等人员应对复杂环境。
2026-07-31 cs.AI
Co-Evolving LLM Evaluators and Policies via DynamicRubric
Tsinghua University（清华大学）；Tencent（腾讯）
研究基于评估器反馈优化大语言模型时因策略改进导致的优化瓶颈问题，提出DynamicRubric框架，通过生成加权评分标准项实现评估器与策略共同进化，实验证明该框架提升了评估器性能及策略效果，并已成功应用于微信搜索。
2026-07-24 cs.AI cs.LG
Random Policy Valuation is Enough for LLM Reasoning with Verifiable Rewards
Hong Kong University of Science and Technology（香港科学与技术大学）；Kuaishou Technology（快手科技）；StepFun
该研究将数学推理 RLVR 建模为树状有限时域 MDP，证明固定均匀随机策略的 Q 值即可恢复最优动作，并提出极简算法 ROVER，在质量与多样性上超越复杂方法。
2025-09-29 cs.AI cs.LG
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
CueLearner: Bootstrapping and local policy adaptation from relative feedback
Autonomous Systems Lab, ETH Zurich, Switzerland（自主系统实验室，苏黎世联邦理工学院）；Robotics Systems Lab, ETH Zurich, Switzerland（机器人系统实验室，苏黎世联邦理工学院）
本文提出CueLearner方法，将相对反馈与离策略强化学习结合，通过引导探索提升样本效率，并能适应环境或用户偏好变化，在稀疏奖励任务和真实导航场景中验证了有效性。
2025-07-07 cs.LG cs.RO
Learning Classifiers on Positive and Unlabeled Data with Policy Gradient
Rakuten Institute of Technology（乐天技术研究所）；AIR Labs, Continental Automotive Group（大陆汽车集团AIR实验室）
现有的算法旨在从正（P）和未标记（U）的数据学习一个二进制分类器通常需要估计类先验或标签噪声之前建立一个分类模型。然而，估计和分类器学习通常在流水线中进行，而不是联合优化。在本文中，我们提出交替训练这两个步骤使用强化学习。我们的建议采用了一个策略网络来自适应地对未标记数据的标签进行假设，而分类器则建立在策略网络的输出上，并提供奖励来学习更好的策略。决策者和分类器之间的动态和交互式训练可以更有效地利用未标记数据，并显着提高分类性能。此外，我们提出了两种不同的方法来表示从政策采样的行动。第一种方法将连续动作作为软标签，第二种方法将离散动作作为硬标签，并在两个基准数据集和一个电子商务数据集上验证了该方法的有效性。结果表明，所提出的方法是能够始终优于国家的最先进的方法在各种设置。
2020-08-29 cs.LG stat.ML
Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks
Tsinghua University（清华大学）
本文提出信号自适应信任区域方法，用于提高递归脉冲神经网络在高维连续控制任务中的训练稳定性与性能。
2026-01-29 cs.AI cs.LG
Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Xiaohongshu Inc（小红书公司）
本文提出CIPO方法，通过将失败轨迹转化为纠正监督，提升大语言模型的推理和纠错能力，在11个基准测试中优于基线方法。
2026-05-14 cs.CL
Improving Reasoning Ability via Asynchronous On-Policy Self-Distillation under Positive Rollouts
University of Washington（华盛顿大学）
本文提出POPO框架，通过仅使用在线正回滚进行学习，避免负回滚，并通过siamese网络和相似性惩罚提升稳定性，实验证明其在数学基准测试中性能优于GRPO。
2026-10-06 cs.CL
Learning from the Irrecoverable: Error-Localized Policy Optimization for Tool-Integrated LLM Reasoning
MYbank, Ant Group（蚂蚁集团网商银行）；Tongji University（同济大学）
ELPO通过误差局部化策略优化提升工具集成大语言模型推理的性能，有效解决稀疏奖励和信用分配问题。
2026-02-10 cs.CL
Generative Exploration and Exploitation
Peking University（北京大学）
稀疏奖励是强化学习（RL）面临的最大挑战之一。在本文中，我们提出了一种新的方法，称为生成的探索和利用（基因），以克服稀疏奖励。GENE自动生成启动状态，以鼓励智能体探索环境并利用收到的奖励信号。GENE可以根据学习过程中Agent所经历的状态分布的变化，自适应地在探索和利用之间进行权衡。GENE不依赖于环境的先验知识，可以与任何RL算法结合，无论是on-policy还是off-policy，单智能体还是多智能体。经验上，我们证明基因显着优于现有的方法，在三个任务，只有二进制奖励，包括迷宫，迷宫蚂蚁，和合作导航。消融研究证实了渐进探索和自动逆转的出现。
2019-11-20 cs.AI cs.LG stat.ML
Graph-GRPO: Stabilizing Multi-Agent Topology Learning via Group Relative Policy Optimization
Tsinghua University（清华大学）；Donghua University（东华大学）
图GRPO通过群体相对策略优化稳定多智能体拓扑学习，提升训练稳定性并识别关键通信路径。
2026-03-03 cs.CL
Learning First-to-Spike Policies for Neuromorphic Control Using Policy Gradients
New Jersey Institute of Technology（新泽西理工学院）；King’s College London（伦敦国王学院）
人工神经网络（ANN）目前被用作许多最先进的强化学习（RL）算法中的函数逼近器。脉冲神经网络（SNN）通过将信息编码在稀疏的时间二进制脉冲流中，从而模拟生物神经元的通信机制，从而大大降低了ANN的能量消耗。由于其低能耗，SNN被认为是在移动设备中实现的协处理器的重要候选者。在这项工作中，SNN作为随机策略的使用下，探索了一个节能的第一个尖峰行动规则，从而由RL代理所采取的行动是由输出神经元之间的第一个尖峰的发生。基于广义线性模型（GLM）推导出了一种基于策略梯度的神经元尖峰发放算法.实验结果表明，在线训练的SNN作为随机策略的能力，以优雅地交易能量消耗，如由尖峰的数量和控制性能所测量的。与将离线训练的ANN转换为SNN的标准方法相比，显示出显着的增益。
2019-02-28 cs.LG eess.SP stat.ML
Optimizing LVLMs with On-Policy Data for Effective Hallucination Mitigation
University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港 Baptist 大学）
本文提出利用策略数据优化LVLMs，通过幻觉分类器和动态加权DPO算法，显著降低幻觉率并提升模型性能。
2025-11-30 cs.AI cs.CV
ExPO-HM: Learning to Explain-then-Detect for Hateful Meme Detection
Department of Engineering, University of Cambridge（剑桥大学工程系）；Xiaohongshu Inc.（小红书公司）；University of Bath（巴斯大学）；Tencent Company, China（腾讯公司）；Alibaba Group（阿里巴巴集团）
ExPO-HM通过结合SFT预热、GRPO与课程学习及CDE，提升仇恨表情包检测的解释性和准确性。
2026-03-01 cs.CL
Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出一种无需反向传播的优化式结构化剪枝方法，通过在概率空间中学习伯努利分布采样剪枝掩码，并利用策略梯度优化，实现大语言模型的高效全局异构剪枝。
2025-07-03 cs.CL cs.LG stat.ML
Effective Off-Policy Evaluation and Learning in Contextual Combinatorial Bandits
Keio University（庆应义塾大学）；Tokyo Institute of Technology（东京工业大学）；Cornell University（康奈尔大学）；CyberAgent, Inc.（CyberAgent公司）
针对上下文组合老虎机中离线策略评估与学习的高偏差高方差问题，提出因子动作空间分解与OPCB估计器，结合重要性采样与回归，显著降低方差和偏差，实验验证其优越性。
2024-08-20 cs.AI cs.LG stat.ML
Context-aware Active Multi-Step Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）；Baidu（百度）；Salesforce（赛富时）
强化学习最近引起了人们的极大关注，特别是策略梯度算法，已经在具有挑战性的决策和控制任务上得到了展示。在本文中，我们提出了一个积极的多步TD算法与自适应步长学习演员和评论家。具体来说，我们的模型由两个部分组成：主动步长学习和自适应多步TD算法。首先，我们将时间范围划分为块，并在每个块中主动选择状态和动作。然后，给定选定的样本，我们提出了自适应的多步TD，它推广TD（$λ$），但自适应地打开/关闭备份，从未来的回报不同的步骤。特别地，自适应多步TD引入了上下文感知机制，这里是二元分类器，其基于上下文变化来决定是否打开其未来备份。因此，我们的模型是一种主动学习和多步TD算法的结合，它具有学习的能力，而不需要重要性采样。我们评估了我们的方法在离散和连续的空间任务分别在一个关闭的政策设置，并展示了竞争力的结果相比，其他强化学习基线。
2019-11-27 cs.AI cs.LG stat.ML
