Causal Reinforcement Learning for Complex Card Games: A Magic The Gathering Benchmark
Department of Computer Science and Software Engineering, University of Western Australia(西澳大学计算机科学与软件工程系)
本文提出MTG-Causal-RL基准测试,通过Magic: The Gathering游戏中的复杂环境,结合因果结构和掩码动作空间,评估因果信用分配、跨 archetype 转移和策略可审计性等核心问题。
2026-05-07 cs.AI cs.LG
Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation
Nanyang Technological University(南洋理工大学)
针对代码生成中测试时强化学习因程序不可比较而失效的问题,提出探针驱动TTRL与熵正则化排名掩码策略优化(ERPO),通过行为共识奖励和保守更新显著提升编码基准的pass@1和pass@k。
2026-09-09 cs.CL cs.LG
Oracle-Guided Masked Contrastive Reinforcement Learning for Visuomotor Policies
School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院);College of Automation Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学自动化工程学院)
提出OMC-RL框架,通过两阶段解耦(掩码Transformer对比学习表示+oracle教师引导策略学习),提升视觉运动策略的样本效率、渐近性能与泛化能力。
2025-10-07 cs.LG cs.RO
EEGDancer: Dynamic Emotion Latent Space Masked Modeling with Reinforcement Learning for EEG Continuous Emotion Prediction
National University of Singapore(新加坡国立大学);Agency for Science, Technology and Research(科技研究局)
提出EEGDancer框架,结合向量量化表示学习、掩码时间建模和强化学习轨迹优化,解决EEG连续情感预测中长时依赖和噪声问题。
2026-06-04 cs.AI cs.HC
PointPatchRL -- Masked Reconstruction Improves Reinforcement Learning on Point Clouds
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人体工程与机器人研究所);HIDSS4Health - Helmholtz Information and Data Science School for Health(HIDSS4Health - 亥姆霍兹健康信息与数据科学学院)
本文提出PointPatchRL,通过点云补丁分词、Transformer编码与掩码重建提升点云强化学习,在复杂可变形物体操作任务中优于强图像观测基线。
2024-10-24 cs.LG cs.RO
Deep Reinforcement Learning for HPC Job Scheduling: A Statistical Evaluation
University of the Western Cape(西开普大学)
本研究通过对比六种带/不带掩码的DRL算法、三种启发式算法及掩码随机对照,在两类Slurm工作负载轨迹上评估DRL用于HPC作业调度的性能,发现MaskablePPO在异构轨迹上表现最优,且需纳入掩码随机对照以评估DRL价值。
2026-10-16 cs.AI
Masked Generative Priors Improve World Models Sequence Modelling Capabilities
该研究提出GIT-STORM模型,用掩码生成先验替换STORM架构的传统MLP先验,在Atari 100k基准RL任务上获显著提升,还首次将Transformer世界模型应用于连续动作环境并验证有效。
2025-10-22 cs.AI cs.LG
CoBERL: Contrastive BERT for Reinforcement Learning
DeepMind(深度思维)
许多强化学习(RL)代理需要大量的经验来解决任务。我们提出了对比BERT的RL(CoBERL),一个代理,结合了一个新的对比损失和混合LSTM变压器架构,以解决提高数据效率的挑战。CoBERL能够从各种领域的像素中进行高效、鲁棒的学习。我们使用双向掩码预测结合最近的对比方法的推广来学习RL中Transformers的更好表示,而不需要手工设计的数据增强。我们发现,CoBERL在整个Atari套件、一系列控制任务和具有挑战性的3D环境中不断提高性能。
2022-02-22 cs.AI cs.LG
Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy
Fudan University(复旦大学);Zhejiang University(浙江大学);Wuhan University(武汉大学)
通过微分视觉推理策略增强强化学习的视觉理解能力,提升多模态任务性能。
2026-01-11 cs.AI cs.LG
Novel Multi-Agent Action Masked Deep Reinforcement Learning for General Industrial Assembly Lines Balancing Problems
Department of Mechanical and Aerospace Engineering, Carleton University(机械与航空航天工程系,卡尔顿大学)
本文针对通用工业装配线平衡问题,提出基于MDP建模的多智能体深度强化学习方法,结合动作掩码与集中训练分散执行框架,显著加快收敛到最优解的速度。
2025-07-22 cs.AI
LanGWM: Language Grounded World Model
Cambridge Research Laboratory(剑桥研究实验室);Toshiba Europe Limited(东芝欧洲有限公司);University of Cambridge(剑桥大学)
本文提出LanGWM语言基元世界模型,通过遮盖对象并利用文本提示重建像素来学习语言基元视觉特征,从而提升强化学习状态抽象和分布外泛化能力,并在iGibson导航任务中取得最先进性能。
2023-11-29 cs.AI cs.CL cs.CV
Sparse Masked Attention Policies for Reliable Generalization
Delft University of Technology(代尔夫特理工大学)
本文提出了一种稀疏遮蔽注意力策略,通过学习遮蔽函数提升策略在未见任务中的泛化能力。
2026-02-23 cs.LG
d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning
UCLA(加州大学洛杉矶分校);Meta AI
本文提出d1框架,通过掩码监督微调与无批评者策略梯度算法diffu-GRPO,将预训练掩码扩散大语言模型适配为推理模型,并在数学与规划基准上显著提升性能。
2025-06-03 cs.CL cs.LG
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher(独立研究者)
研究了自我对战强化学习中的对抗性动作遮蔽,发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性,揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
Taming Masked Diffusion Language Models via Consistency Trajectory Reinforcement Learning with Fewer Decoding Step
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
针对 MDLM 完全扩散解码与强化学习中轨迹不一致问题,提出 EOSER、ASS 调度器及 CJ-GRPO,使 LLaDA-8B-Instruct 以更少解码步获得有竞争力的推理性能。
2025-09-28 cs.AI cs.CL
Decision Transformer: Reinforcement Learning via Sequence Modeling
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
我们介绍了一个框架,抽象的强化学习(RL)作为一个序列建模问题。这使我们能够利用Transformer架构的简单性和可伸缩性,以及语言建模(如GPT-x和BERT)的相关进步。特别是,我们提出了决策Transformer,一个架构,铸造的RL作为条件序列建模的问题。与先前的RL方法不同,该方法拟合价值函数或计算策略梯度,决策Transformer通过利用因果屏蔽的Transformer来简单地输出最佳动作。通过将期望回报(奖励)、过去状态和动作作为自回归模型的条件,我们的决策Transformer模型可以生成实现期望回报的未来动作。尽管简单,Decision Transformer在Atari、OpenAI Gym和Key-to-Door任务上的性能仍与最先进的无模型离线RL基线相匹配或超过。
2021-06-24 cs.AI cs.LG
Learning to Ask Medical Questions using Reinforcement Learning
Yale University(耶鲁大学);Technion(以色列理工学院)
我们提出了一种新的基于强化学习的自适应和迭代特征选择方法。给定输入特征的屏蔽向量,强化学习代理迭代地选择要被去除屏蔽的某些特征,并在足够自信时使用它们来预测结果。该算法利用了一种新的环境设置,对应于一个非平稳马尔可夫决策过程。我们的方法的一个关键组成部分是一个猜测网络,经过训练可以预测所选特征的结果并参数化奖励函数。将我们的方法应用于国家调查数据集,我们表明,当需要基于少量输入特征进行预测时,它不仅优于强基线,而且更具可解释性。我们的代码可在\url{https://github.com/ushaham/adaptiveFS}上公开获取。
2020-05-25 cs.AI cs.LG stat.ML
Ad Headline Generation using Self-Critical Masked Language Model
amazon(亚马逊)
研究如何为电商网站生成吸引人的广告标题,核心方法是将强化学习策略梯度方法应用于基于Transformer的掩码语言模型,通过联合多种产品信息生成标题,该方法在指标和质量审核上优于现有方法,生成标题质量也优于人工提交的。
2026-07-09 cs.AI cs.CL cs.LG
Optimal Multi-Debris Mission Planning in LEO: A Deep Reinforcement Learning Approach with Co-Elliptic Transfers and Refueling
Department of Computer Science, Julius-Maximilians-Universität Würzburg, Germany(计算机科学系,乌尔姆-马克西米利安大学,德国)
本文提出一种结合共椭圆转移与补给的深度强化学习方法,用于近地轨道多碎片任务规划,实验显示其在任务效率和计算性能上优于传统方法。
2026-02-04 cs.LG cs.RO physics.space-ph
Masked Deep Q-Recommender for Effective Question Scheduling
TmaxEdu Inc.(TmaxEdu 公司)
根据学生的知识水平提供适当的问题是个性化学习的必要条件。然而,教师要了解学生的知识状况,并据此提出最佳问题,需要大量的人工劳动。为了解决这个问题,我们引入了一个问题调度模型,可以有效地提高学生的知识水平,使用强化学习(RL)。我们所提出的方法首先评估学生的概念级知识使用知识跟踪(KT)模型。给定预测的学生知识,基于RL的推荐器预测每个问题的好处。在课程范围限制和重复惩罚的情况下,推荐器按顺序选择问题,直到达到预定义的问题数量。在使用学生模拟器的实验环境中,每天给出20个问题,持续两周,所提出的方法推荐的问题使学生的平均知识水平提高了21.3%,优于专家设计的时间表基线,学生的知识水平提高了10%。
2021-12-19 cs.AI cs.CY
The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning
UC Berkeley(加州大学伯克利分校);KAIST(韩国科学技术院)
本文提出 M3L 掩码多模态学习框架,在强化学习中联合训练视觉-触觉表征与策略,提升样本效率和跨任务泛化,并在三类机器人操控仿真中验证其优势。
2023-11-02 cs.AI cs.RO
Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL
Patronus AI(守护神人工智能公司)
研究强化学习中世界模型问题,对比自回归语言模型和掩码扩散语言模型,发现掩码扩散语言模型性能更优。引入GRPO训练框架,在三个OOD环境上零样本转移消融效果良好,还进行相关分析与评估,最后开源工作推动该领域研究。
2026-10-09 cs.AI cs.LG
DiffPDE: Masked Diffusion Language Models as PDE Solver
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本研究针对现有PDE求解器合成方法中自回归模型解码冗余的问题,提出基于离散扩散语言模型的DiffPDE框架,结合局部重掩码填充策略与ID-GRPO强化学习方案,在PDEBench上实现了更优准确率与更快修复速度。
2026-09-01 cs.AI
AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders
Johns Hopkins University(约翰斯·霍普金斯大学);Zippin
掩码自编码器(MAE)学习图像、文本、音频、视频等的可概括表示,通过从可见数据的令牌重构屏蔽的输入数据。当前用于视频的MAE方法依赖于基于随机块、管或帧的掩蔽策略来选择这些标记。本文提出了AdaMAE,一种用于MAE的自适应掩蔽策略,该策略是端到端可训练的。我们的自适应掩蔽策略使用辅助采样网络基于语义上下文对可见标记进行采样。该网络估计时空补丁令牌上的分类分布。在强化学习的策略梯度算法的激励下,增加预期重建误差的令牌被奖励并选择为可见令牌。我们表明,AdaMAE从高时空信息区域中采样更多的令牌,从而使我们能够屏蔽95%的令牌,从而降低内存需求和更快的预训练。我们对Something-Something v2(SSv 2)数据集进行了消融研究,以证明我们的自适应采样方法的有效性,并报告了SSv 2和Kinetics-400动作分类数据集的最高准确率为70.0%和81.7%的最新结果,这些数据集具有ViT-Base主干和800个预训练时期。
2022-11-16 cs.AI cs.CV
Masked Visual Pre-training for Motor Control
University of California, Berkeley(加州大学伯克利分校)
本文表明,从真实世界的图像自我监督的视觉预训练是有效的学习运动控制任务的像素。我们首先训练的视觉表示自然图像的蒙面建模。然后,我们冻结视觉编码器,并在上面用强化学习训练神经网络控制器。我们不对编码器执行任何特定于任务的微调;相同的视觉表示用于所有运动控制任务。据我们所知,这是第一个利用真实世界图像进行运动控制的自我监督模型。为了加快从像素中学习的进度,我们提供了一套基准的手工设计任务,这些任务在动作、场景和机器人方面各不相同。在不依赖标签、状态估计或专家演示的情况下,我们的绝对成功率始终超过监督编码器高达80%,有时甚至与Oracle状态性能相匹配。我们还发现,在野外的图像,例如,来自YouTube或以自我为中心的视频,导致比ImageNet图像更好的各种操作任务的视觉表示。
2022-03-11 cs.CV cs.LG cs.RO
Trust the Model When It Is Confident: Masked Model-based Actor-Critic
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei EI Innovation Lab(华为EI创新实验室)
人们普遍认为,基于模型的强化学习(RL)比无模型RL更有效,但在实践中,由于模型误差过大,这并不总是正确的。在复杂和嘈杂的环境中,基于模型的强化学习往往在使用模型时遇到麻烦,如果它不知道何时信任模型。在这项工作中,我们发现更好的模型使用可以产生巨大的差异。我们从理论上表明,如果模型生成的数据的使用仅限于模型误差小的状态-动作对,则可以减少模型和实际推出之间的性能差距。它促使我们仅在模型对其预测有信心时才使用模型卷展。我们提出了一种新的策略优化算法M2 AC(Masked Model-based Actor-Critic),它最大化了基于模型的真实价值函数的下限。M2 AC基于模型的不确定性实现了一种掩蔽机制,以决定是否应该使用其预测。因此,新的算法往往会提供强大的政策改进。在连续控制基准上的实验表明,即使在非常嘈杂的环境中使用长模型推出时,M2 AC也具有很强的性能,并且它显着优于以前最先进的方法。
2020-10-10 cs.LG
Score-Based Diffusion Policy Compatible with Reinforcement Learning via Optimal Transport
Zhejiang University(浙江大学);Westlake University(西湖大学);Shanghai Jiao Tong University(上海交通大学)
针对扩散策略在分布偏移下鲁棒性不足的问题,提出结合最优传输的OTPR方法,通过Q函数作传输代价、掩码匹配及兼容性重采样实现扩散策略与RL的高效稳定微调,在仿真任务中性能更优。
2025-02-21 cs.AI cs.LG
Trace-Based On-Policy Distillation for Masked Diffusion Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
研究针对扩散大语言模型推理训练后处理难的问题,提出基于轨迹的策略蒸馏(TOPD)框架,通过在目标模型去噪轨迹上监督,利用教师模型获取令牌分布并以反向KL目标更新,在数学推理基准上提升了模型准确率且减少计算量。
2026-07-21 cs.AI cs.CL cs.LG
Learning Versatile Skills with Curriculum Masking
Tencent AI Lab(腾讯AI实验室);Shanghai Jiao Tong University(上海交通大学)
针对离线强化学习掩码预测预训练中不同复杂度技能学习的平衡难题,提出课程掩码预训练范式CurrMask,通过动态调整掩码方案逐步习得多样技能,在零样本任务和微调任务上均表现优异。
2024-11-04 cs.AI cs.LG
DiFFPO: Training Diffusion LLMs to Reason Fast and Furious via Reinforcement Learning
Columbia University(哥伦比亚大学);Netflix
DiFFPO通过强化学习训练扩散大语言模型,使其在推理速度和准确性上取得平衡,提升推理效率和性能。
2026-01-10 cs.AI cs.LG
Multi-Step Likelihood-Ratio Correction for Reinforcement Learning with Verifiable Rewards
Seoul National University(首尔国立大学);Upstage
本文提出了一种多步前向轨迹政策优化(NFPO)算法,通过引入N步前向轨迹来改进PPO的近似目标,从而在可验证奖励的强化学习中实现更精确的策略改进。
2026-05-20 cs.AI cs.LG
Graph-Enhanced Model-Free Reinforcement Learning Agents for Efficient Power Grid Topological Control
针对电网管理复杂性,提出一种无模型强化学习方法,利用掩码拓扑动作空间和图增强训练,在5变电站20场景中降低功率损耗并保障稳定性。
2025-03-26 cs.AI
dUltra: Ultra-Fast Diffusion Language Models via Reinforcement Learning
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
dUltra通过端对端强化学习框架实现超快扩散语言模型,提升并行生成效率和准确性。
2026-02-06 cs.AI cs.LG
Mask-based Latent Reconstruction for Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
对于从像素进行深度强化学习(RL),学习有效的状态表示对于实现高性能至关重要。然而,在实践中,有限的经验和高维输入阻碍了有效的表示学习。为了解决这个问题,在其他研究领域的成功基于掩码的建模的动机,我们引入基于掩码的重建,以促进状态表示学习在RL。具体来说,我们提出了一个简单而有效的自我监督的方法,基于掩码的潜在重建(MLR),预测完整的状态表示在潜在的空间与空间和时间掩蔽像素的意见。MLR在学习状态表示时能够更好地使用上下文信息,使它们更具信息性,这有利于RL代理的训练。大量的实验表明,我们的MLR显着提高了RL的样本效率,并优于国家的最先进的样本效率RL方法在多个连续和离散控制基准。我们的代码可在https://github.com/microsoft/Mask-based-Latent-Reconstruction上获得。
2022-10-09 cs.LG
Reinforcement Learning for Unsupervised Video Summarization with Reward Generator Training
本文提出基于强化学习的无监督视频摘要方法,通过奖励生成器训练提升摘要质量与稳定性。
2025-12-22 cs.AI cs.CV cs.LG
Unsupervised Salient Patch Selection for Data-Efficient Reinforcement Learning
UM-SJTU Joint Institute(上海交通大学密西根联合学院)
提出SPIRL方法,利用自监督预训练的视觉Transformer自动选择图像中的显著块,通过注意力模块处理,提高视觉RL的样本效率,并在Atari游戏上验证了其数据效率优势。
2024-01-10 cs.AI cs.CV
Road Planning for Slums via Deep Reinforcement Learning
Tsinghua University(清华大学)
针对贫民窟道路不足导致服务可达性差、现有规划方法有局限的问题,提出基于深度强化学习的贫民窟道路规划方法,用图模型和图神经网络结合掩码策略优化生成低成本方案,实验证明其可达性提升显著且具迁移能力。
2023-06-14 cs.AI cs.LG
MDPO: Overcoming the Training-Inference Divide of Masked Diffusion Language Models
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
针对掩码扩散语言模型训练与推理的差异,提出MDPO方法,利用强化学习优化去噪轨迹,以更少更新达到SOTA性能,并改进重掩码策略RCR进一步提升效果。
2025-09-25 cs.LG
M$^3$PC: Test-time Model Predictive Control for Pretrained Masked Trajectory Model
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学);Hong Kong University(香港大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出M$^3$PC框架,在测试时利用预训练掩码轨迹模型自身的预测能力进行模型预测控制,无需额外训练即可提升离线强化学习的决策性能,并可扩展至离线到在线和目标达成任务。
2025-02-06 cs.LG cs.RO cs.SY
Don't Peek at the Answer: Outcome-Masked Group Relative Policy Optimization for Label-Free RLVR
该研究针对无标签RLVR中模型易强化答案标记的问题,提出OM-GRPO框架,解耦奖励估计与策略优化,结合对比增强奖励,在多推理基准及测试时训练场景中性能优于现有方法。
2026-08-05 cs.AI
Image AID via continuous-time reinforcement learning
Department of Industrial Engineering and Operations Research, Columbia University, New York, NY 10027, USA(工业工程与运筹学系,哥伦比亚大学,纽约,NY 10027,美国);Department of Industrial Engineering and Operations Research & Data Science Institute, Columbia University, New York, NY 10027, USA(工业工程与运筹学系及数据科学研究所,哥伦比亚大学,纽约,NY 10027,美国)
本文提出AID模型,通过预训练扩散模型和离线训练的指导模块,在多种掩码类型下提升图像修复的质量-速度平衡,训练开销低。
2026-10-01 cs.AI cs.CV cs.SY
Mask 2D-3D: Adaptive Dual-Masked Autoencoder Network for Image-to-Point Cloud Registration
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Institute of Advanced Technology, University of Science and Technology of China(中国科学技术大学先进技术研究院)
针对图像到点云配准中域差异和错误对应问题,提出基于相似性和强化学习的自适应掩码双MAE框架(ID-MAE),在RGB-D Scenes v2和7-Scenes上取得最先进性能。
2026-09-17 cs.AI cs.CV
dFlowGRPO: Rate-Aware Policy Optimization for Discrete Flow Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);East China Normal University(东华大学);University of California, Los Angeles(加州大学洛杉矶分校);University of Toronto(多伦多大学)
本文提出dFlowGRPO框架,用于离散流模型的强化学习,支持多种概率路径和非掩码源分布,通过轨迹概率推导和去噪马尔可夫决策过程,提升文本到图像生成和多模态理解任务性能。
2026-10-02 cs.LG stat.AP
Mask-Aware Policy Gradients for Diffusion Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究针对强化学习扩展到MDLMs的难题,将MDLM生成形式化为两阶段动作MDP,使策略梯度分解为令牌项和掩码项,结合优化这两项在数学推理和编码基准测试中取得了最优成绩。
2026-07-17 cs.AI cs.CL cs.LG
Revisiting Space Mission Planning: A Reinforcement Learning-Guided Approach for Multi-Debris Rendezvous
Julius-Maximilians-Universität Würzburg(维尔茨堡大学);Faculty of Mathematics and Computer Science(数学与计算机科学学院)
本研究提出一种基于掩码PPO强化学习的空间碎片访问序列优化方法,结合Izzo改编的Lambert求解器进行多碎片交会规划,相比遗传与贪婪算法平均减少约10.96%和13.66%的任务时间。
2024-09-25 cs.AI cs.LG cs.RO
Modeling Unseen Environments with Language-guided Composable Causal Components in Reinforcement Learning
University of California San Diego(加州大学圣地亚哥分校)
本文提出语言引导的WM3C框架,通过可组合因果组件建模环境动态并解耦潜在转移,在模拟与机器人操作任务中显著提升RL对未见环境的泛化能力。
2025-05-13 cs.AI
Re-ENACT: Reinforcement Learning for Emotional Speech Generation using Actor-Critic Strategy
Johns Hopkins University(约翰斯·霍普金斯大学)
提出 Re-ENACT,用贝叶斯片段选择与 actor-critic 强化学习修改语音韵律,实现目标情感转换,并达到需成对训练的先进模型水平。
2024-08-04 cs.AI cs.LG eess.AS
GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models
UCL Dept. of Statistical Science(伦敦大学学院统计科学系);UCL Centre for AI(伦敦大学学院人工智能中心);Alibaba Group(阿里巴巴集团);Dept. of EEE(电子工程系);Imperial College London(伦敦帝国理工学院);UNIST(全南大学);University of Basel(巴塞尔大学)
提出引导去噪器自蒸馏(GDSD)方法,通过从逆KL正则化强化学习的闭式最优解中导出的优势引导自教师直接蒸馏扩散语言模型的去噪器,避免了ELBO似然代理带来的训练-推理不匹配偏差,在规划、数学和代码基准上显著优于现有方法。
2026-05-28 cs.AI cs.LG
The Assistance Dilemma: Learning to Teach via Multi-Turn Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
针对LLM辅导者易直接告知答案的问题,提出掩蔽近迁移后测与二元奖励门,开发多轮RL方法Eduardo,训练出高效且教学能力强的模型。
2026-10-06 cs.AI cs.CL
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma(计算机科学学院俄克拉荷马大学)
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题,提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架,提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
与流行的模块化框架不同,端到端自动驾驶寻求以集成的方式解决感知,决策和控制问题,这可以更好地适应新场景,更容易大规模推广。然而,现有的端到端方法往往缺乏可解释性,只能处理简单的驾驶任务,如车道保持。在本文中,我们提出了一种用于端到端自动驾驶的可解释的深度强化学习方法,该方法能够处理复杂的城市场景。引入了一个顺序的潜在环境模型,并与强化学习过程一起学习。利用该潜在模型,可以生成语义birdeye mask,该语义birdeye mask被强制与当今模块化框架中的某个中间属性连接,以解释学习策略的行为。潜在空间还显著降低了强化学习的样本复杂度。与CARLA中模拟自动驾驶汽车的比较测试表明,我们的方法在周围车辆拥挤的城市场景中的性能占主导地位,包括DQN,DDPG,TD3和SAC。此外,通过掩蔽输出,学习的策略能够更好地解释汽车如何对驾驶环境进行推理。这个工作的代码和视频可以在我们的github repo和项目网站上找到。
2020-07-07 cs.CV cs.LG cs.RO
d2: Improving Reasoning in Diffusion Language Models via Trajectory Likelihood Estimation
Cornell University, Cornell Tech(康奈尔大学,康奈尔科技)
提出d2框架,通过新的策略梯度算法和轨迹似然估计,显著提升扩散语言模型在逻辑与数学推理任务上的性能。
2026-05-29 cs.LG
Streaming Reinforcement Learning under Partial Observability with Real-Time Recurrent Learning
Technical University of Darmstadt(德累斯顿技术大学);University of Würzburg(维尔茨堡大学);German Research Center for AI (DFKI)(德国人工智能研究中心 (DFKI));Zuse School(祖斯学校)
提出使用递归迹单元(RTU)实现精确实时循环学习(RTRL),在参数数量上具有线性时间和内存复杂度,解决了部分可观测环境下流式强化学习的梯度计算瓶颈,并在离散和连续控制任务中保持性能。
2026-07-08 cs.LG
A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models
Columbia University(哥伦比亚大学)
该研究提出连续时间强化学习框架,推导策略梯度方法得到PPO和GRPO的连续时间变体。以此开发框架微调离散扩散模型,无需奖励信号可微,能纳入中间奖励或优势信号,还为MDM提供统一视角,用轨迹子采样技术降低计算成本,在相关任务中验证了方法有效性。
2026-09-29 cs.LG