Applying supervised and reinforcement learning methods to create neural-network-based agents for playing StarCraft II
近年来,人们提出了多种方法来创建用于玩各种复杂的实时计算机游戏(如星际争霸II或Dota 2)的代理,然而,它们要么将大量的专家知识嵌入到代理中,要么使用对大多数研究人员来说过于庞大的计算资源。我们提出了一个神经网络架构,用于玩星际争霸II的完整双人比赛,该架构采用通用监督和强化学习进行训练,可以在具有单个GPU的单个消费级PC上进行训练。我们还表明,我们的实现了一个不平凡的性能相比,在游戏中脚本机器人。除了在一张选定的地图上进行游戏外,我们对游戏没有任何简化的假设,而且我们使用很少的专业知识。原则上,我们的方法可以应用于任何RTS游戏的小修改。虽然我们的结果在最终性能方面远远落后于最先进的大规模方法,但我们相信我们的工作可以作为其他小规模实验的坚实基线。
2021-09-26 cs.AI
Similarities between policy gradient methods (PGM) in Reinforcement learning (RL) and supervised learning (SL)
A.I Square Connect;Lamsade PSL(巴黎文理研究大学Lamsade实验室)
强化学习(RL)是关于顺序决策的,传统上与监督学习(SL)和无监督学习(USL)相反。在RL中,给定当前状态,代理做出可能影响下一状态的决策,而不是SL(和USL),其中下一状态保持不变,无论在批处理或在线学习中做出的决策如何。虽然SL和RL之间的这种差异是根本性的,但也有一些联系被忽视了。特别地,我们证明了在本文中,梯度策略方法可以被转换为一个监督学习的问题,真正的标签被替换为折扣奖励。我们提供了一个新的证明策略梯度方法(PGM),强调了紧密联系的交叉熵和监督学习。我们提供了一个简单的实验,我们交换标签和伪奖励。我们的结论是,如果我们明智地修改奖励函数,可以与SL的其他关系。
2019-05-02 cs.AI cs.LG stat.ML
Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning
Microsoft Research(微软研究院);Brown University(布朗大学);JPMorgan Chase(摩根大通)
递归神经网络(RNN)的端到端学习是对话系统的一个有吸引力的解决方案;然而,目前的技术是数据密集型的,需要数千个对话框来学习简单的行为。我们介绍了混合代码网络(HCN),它将RNN与编码为软件和系统动作模板的特定领域知识相结合。与现有的端到端方法相比,HCN大大减少了所需的训练数据量,同时保留了推断对话状态的潜在表示的关键优势。此外,HCN可以用监督学习、强化学习或两者的混合来优化。HCN在bAbI对话数据集上获得了最先进的性能,并且优于两个商业部署的面向客户的对话系统。
2017-04-24 cs.AI cs.CL
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis(圣路易斯华盛顿大学)
提出部分监督强化学习(PSRL)框架,通过融合监督语义状态和无监督潜在表示作为策略网络输入,在部分可观测环境中提升模型可解释性,同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Self-Supervised Reinforcement Learning that Transfers using Random Features
Massachusetts Institute of Technology(麻省理工学院);University of Washington(华盛顿大学);University of Maryland(马里兰大学)
本文提出一种自监督强化学习方法,通过以随机特征为奖励对无模型RL进行预训练来隐式建模环境动态,并结合模型预测控制实现跨不同奖励任务的快速迁移,在多种操作与运动仿真任务中验证了有效性。
2023-05-26 cs.AI cs.LG
Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot
Italian Institute of Technology(意大利理工学院);University of Genova(热那亚大学);University of Lethbridge(莱斯布里奇大学)
在未来,机器人将与人类进行越来越多的互动,并且必须进行自然和有效的沟通。自动语音识别系统(ASR)将在创造自然交互和使机器人成为更好的伴侣方面发挥重要作用。人类擅长在嘈杂环境中进行语音识别,能够滤除噪音。在这种嘈杂的环境中,看一个人的脸是人类过滤语音所依赖的机制之一。拥有一个可以看向说话者的机器人可以在具有挑战性的环境中提高ASR的性能。为了实现这一目标,我们提出了一个基于自我监督强化学习的框架,该框架受到人类早期发展的启发,允许机器人自主创建一个数据集,该数据集后来用于学习使用深度学习网络来定位扬声器。
2020-11-12 cs.AI cs.RO
Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning
National University of Singapore(新加坡国立大学)
这项工作的重点是使用多个可能不可靠的传感器来学习有用且鲁棒的深度世界模型。我们发现,目前的方法不足以鼓励模态之间的共享表示,这可能会导致下游任务的性能不佳和过度依赖特定的传感器。作为解决方案,我们贡献了一个新的多模态深层潜在状态空间模型,使用互信息下限进行训练。关键的创新是一个专门设计的密度比估计,鼓励每一种形式的潜在代码之间的一致性。我们的任务是在多模态Natural MuJoCo基准和具有挑战性的Table Wiping任务上学习策略(以自我监督的方式)。实验表明,我们的方法明显优于最先进的深度强化学习方法,特别是在存在缺失观测的情况下。
2021-07-06 cs.AI cs.LG cs.RO
Supervised Fine-Tuning as Inverse Reinforcement Learning
University of Cambridge(剑桥大学)
本文质疑偏好数据集的有效性,提出用示范数据对齐LLM,借鉴逆强化学习与模仿学习构建序贯决策框架,分析多种散度最小化方法及监督微调的优劣。
2024-03-18 cs.AI cs.CL cs.LG
Reinforcement Learning-Guided Semi-Supervised Learning
本文提出RLGSSL方法,将半监督学习建模为单臂老虎机问题,通过强化学习损失和奖励函数自适应利用有标签与无标签数据,并结合教师-学生框架,在多个基准数据集上取得优于现有SSL方法的性能。
2024-05-02 cs.AI cs.LG
Semi-Supervised Off Policy Reinforcement Learning
Harvard University(哈佛大学);Massachusetts General Hospital(麻省总医院)
强化学习(RL)在估计考虑患者异质性的序贯治疗策略方面取得了巨大成功。然而,作为强化学习方法奖励的健康结果信息通常没有很好地编码,而是嵌入在临床笔记中。提取精确的结果信息是一项资源密集型任务,因此大多数可用的注释良好的队列都很小。为了解决这个问题,我们提出了一个半监督学习(SSL)的方法,有效地利用一个小规模的标记数据与观察到的真实结果,和一个大的未标记的数据与结果代理。特别是,我们提出了一个半监督的,有效的方法来Q学习和双鲁棒关闭政策值估计。将SSL推广到顺序治疗方案带来了有趣的挑战:1)Q学习的特征分布是未知的,因为它包括以前的结果。2)我们在改进的SSL框架中利用的代理变量可以预测结果,但不能为最优策略或价值函数提供信息。我们提供的理论结果,我们的Q-函数和价值函数估计,了解到什么程度的效率可以从SSL。我们的方法至少与监督方法一样有效,而且安全,因为它对插补模型的错误指定具有鲁棒性。
2021-02-23 cs.AI cs.LG stat.ME
GUI-Shift: Enhancing VLM-Based GUI Agents through Self-supervised Reinforcement Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Unaffiliated(无隶属机构)
提出GUI-Shift框架,通过自监督逆动力学任务K步GUI转换和强化学习,利用未标注轨迹提升VLM智能体的GUI自动化与接地性能,准确率提升达11.2%。
2025-10-10 cs.AI
Beyond the Trade-off: Self-Supervised Reinforcement Learning for Reasoning Models' Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(上海数据科学关键实验室,计算机科学与人工智能学院,复旦大学);School of Data Science, Fudan University(数据科学学院,复旦大学);Ant Group(蚂蚁集团)
提出自监督强化学习框架,利用推理模型内部信号提升指令遵循能力,无需外部监督,在保持推理性能的同时显著增强指令遵循,且可扩展、成本低。
2025-08-04 cs.AI
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley(加州大学伯克利分校);Salesforce AI Research(Salesforce AI研究)
本文提出理论框架,证明监督预训练的Transformer可模仿专家算法条件期望,并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法,首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
There Is No Turning Back: A Self-Supervised Approach for Reversibility-Aware Reinforcement Learning
Inria(法国国家信息与自动化研究所);CRIStAL(里尔计算机科学、信号与自动化研究中心);CNRS(法国国家科学研究中心);Université de Lille(里尔大学);Google Research(谷歌研究院)
我们建议学习区分可逆和不可逆的动作,以便在强化学习(RL)中做出更明智的决策。从理论上考虑,我们表明,近似可逆性可以通过一个简单的替代任务:随机采样的轨迹事件按时间顺序排列。直觉上,总是以相同顺序观察到的事件对可能被不可逆的动作序列分开。方便的是,学习事件的时间顺序可以以完全自我监督的方式完成,我们使用这种方式来根据经验估计动作的可逆性,而无需任何先验知识。我们提出了两种不同的策略,将可逆性在RL代理,一个战略探索(RAE)和一个战略控制(RAC)。我们展示了可逆性感知代理在几个环境中的潜力,包括具有挑战性的推箱子游戏。在合成任务中,我们证明了我们可以学习永远不会失败的控制策略,并将交互的副作用减少到零,即使没有获得奖励功能。
2021-10-29 cs.AI cs.LG
Semiconductor Fab Scheduling with Self-Supervised and Reinforcement Learning
University of Klagenfurt(克拉根福大学);Graz University of Technology(格拉茨技术大学);Infineon Technologies(英飞凌科技)
众所周知,半导体制造是复杂且昂贵的多步骤工艺,涉及在昂贵且数量有限的设备上的长序列操作。最近的芯片短缺及其影响凸显了半导体在全球供应链中的重要性,以及我们日常生活对半导体的依赖程度。由于投资成本、环境影响和建造新工厂所需的时间规模,在需求激增时很难提高产量。这项工作介绍了一种方法,成功地学习调度半导体制造设施更有效地使用深度强化和自监督学习。我们提出了第一个自适应调度方法来处理复杂的,连续的,随机的,动态的,现代半导体制造模型。我们的方法优于传统的分层调度策略通常用于半导体制造厂,大大减少每个订单的延误和时间,直到完成。因此,我们的方法在半导体制造过程中产生了更好的资源分配。
2023-02-14 cs.AI cs.LG cs.NE
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)(香港大学数学系);Department of Data and Systems Engineering, HKU(香港大学数据与系统工程系);Musketeers Foundation Institute of Data Science, HKU(穆斯克特基金会数据科学研究所)
本文提出一种半监督方法,通过利用非零奖励转移和数据增强学习轨迹空间表示,提升稀疏奖励下的奖励塑造效果,在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities
Trinity College Dublin(都柏林圣三一学院)
本文探讨反事实解释在强化学习中应用不足的原因,分析监督学习与RL的差异与挑战,重新定义RL反事实解释并提出未来研究方向。
2024-02-09 cs.AI
Instructions are all you need: Self-supervised Reinforcement Learning for Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(上海数据科学 key laboratory,复旦大学计算机科学与人工智能学院);School of Data Science, Fudan University(复旦大学数据科学学院);Ant Group(蚂蚁集团)
本文提出一种无需外部监督的自监督强化学习框架,通过直接从指令中生成奖励信号和伪标签来解决多约束任务中稀疏奖励问题,实验表明其在多个领域数据集上表现优异。
2026-04-14 cs.AI cs.CL
ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)
ProRAG通过过程监督强化学习框架提升检索增强生成在复杂推理任务中的性能,通过细粒度过程监督和双粒度优势机制实现更精确的反馈和优化。
2026-01-29 cs.AI cs.CL cs.IR
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST(韩国科学技术院);University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院);UC Berkeley(加州大学伯克利分校)
基于偏好的强化学习(RL)已经显示出潜在的教学代理执行目标任务,而无需昂贵的,预定义的奖励函数,通过学习奖励与监督者的偏好之间的两个代理行为。然而,基于偏好的学习通常需要大量的人类反馈,这使得这种方法很难应用于各种应用程序。另一方面,这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发,我们提出了SURF,这是一种半监督奖励学习框架,它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习,我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率,我们引入了一种新的数据增强,从原始行为中临时裁剪连续的连续性。我们的实验表明,我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning
Microsoft Research(微软研究院)
本文提出了一个面向任务的对话系统的端到端学习模型。该模型的主要组件是一个递归神经网络(LSTM),它将原始对话历史直接映射到系统操作的分布。LSTM自动推断对话历史的表示,这减轻了系统开发人员对对话状态的大量手动功能工程。此外,开发人员可以提供表达业务规则的软件,并提供对编程API的访问,使LSTM能够代表用户在现实世界中采取行动。LSTM可以使用监督学习(SL)进行优化,其中领域专家提供LSTM应该模仿的示例对话框;或者使用强化学习(RL),其中系统通过直接与最终用户交互来改进。实验表明,SL和RL是互补的:SL可以从少量的训练对话框中获得合理的初始策略;使用SL训练的策略启动RL优化可以大大加快RL的学习率。
2016-06-03 cs.AI cs.CL cs.LG
Self-Supervised Exploration via Temporal Inconsistency in Reinforcement Learning
National University of Defense Technology(国防科技大学)
本文针对稀疏外部奖励下的强化学习挑战,提出了一种受人类学习启发的内在奖励机制,通过自监督预测模型参数快照间的核范数时间不一致性及变分加权机制驱动探索,在基准环境中表现优于现有方法且无额外训练成本。
2023-06-27 cs.AI cs.LG
Neural Lyapunov Function Approximation with Self-Supervised Reinforcement Learning
University of Surrey(萨里大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对非线性系统Lyapunov函数推导难的问题,提出一种结合自监督RL和数据驱动World Model的样本高效神经逼近方法,在多类机器人任务上收敛更快、精度更高。
2025-03-19 cs.AI cs.CG cs.LG
TSRL: Trigger-based Supervised Reinforcement Learning for Continual Agent Training
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);University of Science and Technology of China(中国科学技术大学)
TSRL是整合SFT与RL优势的框架,通过在智能体策略失效的困难状态选择性激活SFT减少遗忘,在7B、32B规模的三个基准上均实现性能提升。
2026-10-14 cs.AI cs.LG
Semi-supervised reward learning for offline reinforcement learning
DeepMind(深度思维)
在离线强化学习(RL)中,使用记录的数据集来训练代理。这似乎是攻击现实生活中应用程序的最自然的途径,因为在医疗保健和机器人等领域,与环境的交互要么昂贵,要么不道德。训练代理通常需要奖励功能,但不幸的是,奖励很少在实践中,他们的工程是具有挑战性和费力。为了克服这一点,我们研究奖励学习的约束下,最大限度地减少人类奖励注释。我们考虑两种类型的监督:时间步长注释和演示。我们提出了半监督学习算法,从有限的注释中学习,并将未标记的数据。在我们对模拟机器人手臂的实验中,我们大大改进了行为克隆,并接近了地面真实奖励所实现的性能。我们进一步研究了奖励模型的质量与最终策略之间的关系。例如,我们注意到,奖励模型不需要完美才能产生有用的政策。
2020-12-12 cs.AI cs.LG cs.RO
Semi-supervised Deep Reinforcement Learning in Support of IoT and Smart City Services
Western Michigan University(西密歇根大学);University of Idaho(爱达荷大学)
智能服务是智慧城市和物联网(IoT)生态系统的重要组成部分,其中服务背后的智能通过传感数据获得和改进。提供大量的训练数据并不总是可行的;因此,我们需要考虑合并未标记数据的替代方法。近年来,深度强化学习(Deep Reinforcement Learning,DRL)在多个应用领域取得了巨大的成功。这是一种适用于物联网和智慧城市场景的方法,其中自动生成的数据可以部分地通过用户的反馈进行标记以用于培训目的。在本文中,我们提出了一种适合智慧城市应用的半监督深度强化学习模型,因为它同时消耗标记和未标记的数据,以提高学习代理的性能和准确性。该模型利用变分自编码器(VAE)作为推理引擎,用于推广最优策略。据我们所知,该模型是第一次将深度强化学习扩展到半监督范式的研究。作为智慧城市应用的案例研究,我们专注于智能建筑,并将所提出的模型应用于基于BLE信号强度的室内定位问题。室内定位是智慧城市服务的主要组成部分,因为人们在室内环境中花费大量时间。我们的模型学习了最佳的行动策略,导致对目标位置的接近估计,与监督DRL模型相比,到目标的距离提高了23%,收到的奖励至少增加了67%。
2018-10-09 cs.AI cs.LG cs.NI
Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning
Google Cloud AI Research(谷歌云人工智能研究部);UCLA(加州大学洛杉矶分校);Google Cloud(谷歌云)
本文提出SRL框架,通过生成逻辑动作序列提升小模型的多步推理能力,结合监督与强化学习实现更有效的训练。
2026-02-27 cs.AI cs.CL cs.LG
The Post-Training Dilemma: Why We Should Rethink the Sequential SFT-RL Paradigm
Theory Laboratory Central Research Institute, 2012 Laboratories(理论实验室中央研究院,2012实验室);Huawei Technologies Co., Ltd(华为技术有限公司)
研究证明在训练后阶段,监督微调与强化学习无法解耦,且在交替训练顺序下会导致性能下降。
2026-11-20 cs.AI cs.IT cs.LG
Unsupervised deep clustering and reinforcement learning can accurately segment MRI brain tumors with very small training sets
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
目的:医学成像中的病变分割是评价治疗反应的关键。我们最近表明,强化学习可以应用于放射图像的病变定位。此外,我们证明了强化学习解决了监督式深度学习的重要局限性;即,它可以消除对大量带注释的训练数据的需求,并且可以提供监督式方法中缺乏的有价值的直觉。然而,我们没有解决病变/感兴趣结构分割的基本任务。在这里,我们介绍一种结合无监督深度学习聚类和强化学习的方法来分割MRI上的脑部病变。材料与方法:我们最初使用无监督深度学习聚类对图像进行聚类,以生成每个MRI图像的候选病变掩模。然后,用户为10个训练图像中的每一个选择最佳掩模。然后,我们训练了一个强化学习算法来选择掩码。我们在10张图像的单独测试集上测试了相应的训练后的深度Q网络。为了进行比较,我们还在同一组训练/测试图像上训练和测试了U-net监督深度学习网络。结果如下:虽然监督方法很快过拟合训练数据,并且在测试集上表现不佳(平均Dice得分为16%),但无监督深度聚类和强化学习的平均Dice得分为83%。结论:我们已经证明了无监督深度聚类和强化学习在分割脑肿瘤方面的原理证明应用。该方法代表了人类联盟的AI,需要放射科医生的最小输入,而不需要手动跟踪注释。
2021-03-19 cs.AI cs.CV
ChronoSRL: Temporal Geometry for Self-Supervised Reinforcement Learning
Technical University of Darmstadt(达姆施塔特工业大学);Robotics Institute Germany (RIG)(德国机器人研究所);German Research Center for AI (DFKI)(德国人工智能研究中心)
ChronoSRL通过为批评者嵌入赋予时序几何,将状态-动作与目标间的距离训练为匹配到达时间,并预测到达时间分布及目标附近停留时间,从而在多个基准和四足机器人任务上实现更快、更可靠的学习,超越现有自监督强化学习方法。
2026-09-30 cs.AI cs.RO
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
自我监督方法通过利用数据本身来减少对昂贵注释的需求,对于推进深度学习至关重要。然而,如何以原则性的方式进行自监督离线强化学习(RL)的问题仍然不清楚。在本文中,我们解决这个问题,通过研究在半监督设置中的线性马尔可夫决策过程(MDP)中利用无奖励数据的理论优势。此外,我们提出了一种新的,可证明的数据共享算法(PDS),利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估,确保算法的保守性。我们在各种离线RL任务上的结果表明,PDS显着提高了离线RL算法的性能与无奖励数据。总的来说,我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处,同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Expert-Supervised Reinforcement Learning for Offline Policy Learning and Evaluation
Harvard University(哈佛大学);MIT(麻省理工学院)
离线强化学习(RL)是一种很有前途的方法,用于在直接探索昂贵或不可行的环境中学习最优策略。然而,在实践中采用这样的政策往往是具有挑战性的,因为它们很难在应用程序的上下文中解释,并缺乏措施的不确定性的学习政策的价值和它的决定。为了克服这些问题,我们提出了一个专家监督强化学习(ESRL)框架,使用不确定性量化离线策略学习。特别是,我们有三个贡献:1)该方法可以学习安全和最佳的政策,通过假设检验,2)ESRL允许不同级别的风险规避实现定制的应用程序上下文,最后,3)我们提出了一种方法来解释ESRL的政策在每个状态下,通过后验分布,并使用这个框架来计算政策外的价值函数后验。我们提供了理论保证,我们的估计和遗憾界一致RL(PSRL)的后验抽样。ESRL的样本效率与所选择的风险厌恶阈值和行为策略的质量无关。
2020-10-30 cs.AI cs.LG stat.ME
DeepTool: Scaling Interleaved Deliberation in Tool-Integrated Reasoning via Process-Supervised Reinforcement Learning
Research Center for Social Computing(社会计算研究中心);Interactive Robotics, Harbin Institute of Technology, China(交互机器人,哈尔滨工业大学,中国)
针对工具集成推理中缺乏逐步监督和自纠正能力的问题,提出DeepTool框架,通过合成交错轨迹和基于动作中心过程奖励的GRPO强化学习,显著提升模型在多个基准上的性能。
2026-05-28 cs.AI
Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management
University of Cambridge(剑桥大学)
深度强化学习(RL)方法在对话策略优化方面具有巨大的潜力。然而,他们在学习的早期阶段表现不佳。这对于与真实用户的在线学习来说尤其成问题。介绍了两种方法来解决这个问题。首先,为了加快学习过程,提出了两种样本有效的神经网络算法:具有经验重放的信任域行动者-评论家(TRACER)和具有经验重放的情节自然行动者-评论家(eNACER)。对于TRACER,信任区域有助于控制学习步长并避免灾难性的模型变化。对于eNACER,自然梯度标识策略空间中的最陡上升方向以加速收敛。这两个模型都采用了离策略学习和经验重放来提高样本效率。其次,为了缓解冷启动问题,在在线强化学习之前,利用示范数据语料库来预训练模型。结合这两种方法,我们展示了一种实用的方法来学习基于RL的深度对话策略,并展示了它们在面向任务的信息搜索领域中的有效性。
2017-07-05 cs.AI cs.CL cs.LG
Hybrid-AIRL: Enhancing Inverse Reinforcement Learning with Supervised Expert Guidance
Artificial Intelligence Lab — Vrije Universiteit Brussel(自由大学布鲁塞尔人工智能实验室);College of Science and Engineering — University of Galway(盖尔威大学科学与工程学院);Family Medicine and Population Health — University of Antwerp(安特卫普大学家庭医学与人口健康)
本文提出Hybrid-AIRL,通过结合监督损失和随机正则化机制改进逆强化学习,在高复杂度的 imperfect-information 环境中提升奖励推断和策略学习效率。
2026-04-21 cs.AI cs.LG
PROPEL: Supervised and Reinforcement Learning for Large-Scale Supply Chain Planning
NSF Artificial Intelligence Institute for Advances in Optimization (AI4OPT)(NSF人工智能优化推进研究所);Georgia Institute of Technology(佐治亚理工学院)
本文提出PROPEL框架,结合监督学习与深度强化学习缩小大规模供应链规划MIP的搜索空间,通过识别并选择性松弛固定为零的变量,在工业级实例上显著提升求解速度与解质量。
2025-04-10 cs.AI cs.LG
Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Innovation Institute(上海创新研究院)
Spatial-SSRL通过自监督强化学习提升大视觉-语言模型的空间理解能力,无需人工标注,在多个基准测试中取得显著准确率提升。
2025-11-25 cs.AI cs.CV
Supervised Policy Update for Deep Reinforcement Learning
University of California, San Diego(加州大学圣地亚哥分校);New York University(纽约大学)
本文提出了一种新的样本效率高的方法,称为监督策略更新(SPU),用于深度强化学习。该方法通过当前策略生成的数据,在非参数化的近端策略空间中构建并求解一个约束优化问题,然后利用监督回归将最优的非参数化策略转换为参数化策略,从而生成新的样本。该方法适用于离散和连续动作空间,并能处理多种接近约束。本文展示了如何通过该方法解决自然策略梯度和信任区域策略优化(NPG/TRPO)以及近端策略优化(PPO)问题。SPU的实现比TRPO更简单,在样本效率方面,实验表明SPU在Mujoco模拟机器人任务中优于TRPO,在Atari视频游戏任务中优于PPO。
2018-12-24 cs.AI cs.LG cs.RO
Supervised Fine Tuning on Curated Data is Reinforcement Learning (and can be improved)
Independent Research(独立研究者)
本文揭示精选数据上的监督微调等价于强化学习下界优化,提出重要性加权监督微调(iw-SFT)以优化更紧界并提升性能,在AIME 2024上达66.7%。
2025-09-06 cs.AI cs.LG
Knowledge Graph Reasoning with Self-supervised Reinforcement Learning
School of Information and Electronics, Beijing Institute of Technology(北京理工大学信息与电子学院);University of Central Florida(中佛罗里达大学);Google(谷歌公司);Apple(苹果公司);Orby AI(Orby AI公司)
针对不完整知识图谱推理中强化学习的大动作空间与分布不匹配问题,提出自监督预训练框架,提升策略网络性能,在四个基准数据集上指标超现有方法,可作为插件适配多种RL架构。
2025-04-15 cs.AI cs.CL cs.LG
Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference for Sensor Signals
College of Computer and Cyber Security, Fujian Normal University(福建师范大学计算机与网络空间安全学院);Fujian Provincial Key Laboratory of Network Security and Cryptology(福建省网络安全与密码技术重点实验室)
针对传感器信号半监督异常检测中现有方法忽略因果关系、强化学习方法存在先验利用不足等问题,提出融合因果推断的三重辅助因果强化学习检测模型Tri-CRLAD,在7个数据集上优于9种SOTA方法,稳定性最高提升23%。
2024-05-16 cs.AI cs.LG
CWAE-IRL: Formulating a supervised approach to Inverse Reinforcement Learning problem
Ford Motor Company(福特汽车公司)
逆强化学习(IRL)用于从运行马尔可夫决策过程(MDP)的专家的动作推断奖励函数。本研究提出一种利用变分推论来学习报酬函数的新方法。使用这种技术,连续潜变量(在这种情况下的奖励函数)的棘手的后验分布被分析近似,似乎是接近先验信念,同时试图重建未来的状态条件下的当前状态和行动。奖励函数是使用众所周知的深度生成模型(称为条件变分自动编码器(CVAE))和Wasserstein损失函数推导出来的,因此称为条件Wasserstein自动编码器-IRL(CWAE-IRL),可以将其分析为向后和向前推理的组合。然后,这可以形成一个有效的替代以前的方法IRL,而没有知识的代理的系统动力学。在标准基准测试程序objectworld和pendulum上的实验结果表明,该算法能够有效地学习复杂高维环境下的潜在奖励函数.
2019-10-02 cs.AI cs.LG stat.ML
Physically-Grounded Goal Imagination: Physics-Informed Variational Autoencoder for Self-Supervised Reinforcement Learning
FPT University(FPT大学)
本文提出PI-RIG,通过增强物理信息变分自编码器将物理约束融入目标生成,分离物理变量与环境因素,提升自监督强化学习中目标的物理一致性与可实现性,改善机器人操作技能学习效果。
2025-11-10 cs.AI cs.RO
Integrating Deep Reinforcement and Supervised Learning to Expedite Indoor Mapping
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Technion - Israel Institute of Technology(以色列理工学院)
解决了绘制室内环境的挑战。求解运动规划问题的典型启发式算法是基于前沿的方法,这在环境完全未知时特别有效。然而,在关于环境的架构特征的先前统计数据可用的情况下,这样的算法可能远非最佳。此外,它们的计算时间可能随着更多的区域被暴露而显著增加。在本文中,我们提出了两种方法来克服这些缺点。一个是使用深度强化学习来训练运动规划器。第二个是包含一个预训练的生成式深度神经网络,用作地图预测器。每一个都有助于通过使用环境的学习结构统计来改进决策,并且两者都被实现为神经网络,确保恒定的计算时间。我们表明,结合这两种方法可以缩短映射过程的持续时间高达4倍,相比基于前沿的运动规划。
2022-02-27 cs.AI cs.LG cs.RO
Process-Supervised Reinforcement Learning for Interactive Multimodal Tool-Use Agents
Johns Hopkins University(约翰霍普金斯大学)
本文提出轮次级裁定强化学习(TARL),利用LLM裁判进行过程监督,结合语音-文本交错沙盒与混合任务课程,在$τ$-bench上提升任务通过率超6%,并成功赋予多模态基础模型工具使用能力。
2025-09-17 cs.AI cs.CL cs.MA
GDI: Rethinking What Makes Reinforcement Learning Different From Supervised Learning
Tsinghua University(清华大学);ByteDance(字节跳动)
深度Q网络(DQN)通过将深度学习(DL)与强化学习(RL)相结合,首次开启了深度强化学习(DRL)的大门,它注意到在训练过程中获取的数据的分布会发生变化。DQN发现这个属性可能会导致训练的不稳定性,因此它提出了有效的方法来处理这个属性的缺点。而不是专注于不利的方面,我们发现关键的RL,以减轻估计的数据分布和地面真实数据分布之间的差距,而监督学习(SL)未能做到这一点。从这个新的角度来看,我们扩展了RL的基本范式称为广义策略迭代(GPI)到一个更广义的版本,这是所谓的广义数据分布迭代(GDI)。我们看到大量的RL算法和技术可以统一到GDI范式中,这可以被认为是GDI的特殊情况之一。我们从理论上证明了为什么GDI比GPI更好,以及它是如何工作的。在Arcade学习环境(ALE)上的实验结果表明,本文提出的基于GDI的学习算法具有良好的SOTA性能,平均人类标准化得分(HNS)达到了9620.98%。1146.39%的中位数HNS和22个人类世界纪录的突破(HWRB)使用只有200米的训练帧。我们的工作旨在引导强化学习研究步入征服人类世界纪录的征程,寻求真正的性能和效率的超人代理。
2022-01-09 cs.AI cs.LG cs.NE
SeRO: Self-Supervised Reinforcement Learning for Recovery from Out-of-Distribution Situations
Seoul National University(首尔大学);University of Florida(佛罗里达大学)
针对强化学习智能体在分布外状态下动作不可靠的问题,提出自监督再训练方法SeRO,可提升智能体从分布外情境恢复的样本效率与原任务性能,且适用于分布内状态难探索的场景。
2023-11-07 cs.AI cs.LG cs.RO
TraPO: A Semi-Supervised Reinforcement Learning Framework for Boosting LLM Reasoning
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
TraPO通过结合少量标注样本与大量未标注样本,提升大语言模型在数学推理任务中的表现。
2025-12-15 cs.AI cs.LG
Scope Loss for Imbalanced Classification and RL Exploration
RBC CM(加拿大皇家银行资本市场);University of Toronto(多伦多大学)
本文提出Scope Loss,通过揭示强化学习探索-利用权衡与监督分类数据不平衡的等价性,以梯度调整方式同时缓解过度利用和类别不平衡问题,无需调参,并在强化学习基准和偏斜分类数据集上验证其优于现有损失函数。
2023-08-08 cs.AI cs.LG
Semi-Supervised Offline Reinforcement Learning with Action-Free Trajectories
Meta AI Research(元人工智能研究院);UCLA(加州大学洛杉矶分校)
本文提出半监督离线强化学习设置,利用逆动力学模型为无动作轨迹生成代理标签,配合离线RL算法,在仅标记10%次优轨迹时即可匹配全标记性能,并系统研究了数据属性与算法选择的影响。
2023-06-22 cs.AI cs.LG cs.RO
Strategic Dialogue Management via Deep Reinforcement Learning
Heriot-Watt University(赫瑞-瓦特大学)
具有战略技能的智能代理,可以在与其他自然或人工代理的交互过程中进行谈判,仍然不发达。本文描述了一个成功的应用深度强化学习(DRL)训练智能代理的战略会话技能,在情景对话设置。以前的研究已经使用监督学习和传统的强化学习技术,后者使用表格表示或学习线性函数逼近的策略代理的行为建模。在这项研究中,我们应用DRL与一个高维的状态空间的战略棋盘游戏的卡坦岛的定居者-在那里,玩家可以提供资源,以换取他人,他们也可以回答由其他玩家提供。我们的实验结果表明,基于DRL的学习策略显著优于几个基线,包括随机,基于规则和基于监督的行为。基于DRL的策略与3个自动播放器(“机器人”)相比具有53%的胜率,而在此设置中在对话语料库上训练的受监督播放器与相同的3个机器人相比仅实现了27%。这一结果支持了DRL是一个有前途的框架,用于训练对话系统和具有谈判能力的战略代理的主张。
2015-11-25 cs.AI cs.LG
Step-wise Adaptive Integration of Supervised Fine-tuning and Reinforcement Learning for Task-Specific LLMs
针对SFT过拟合与RL模式崩溃问题,提出逐步自适应混合训练框架SASR,统一SFT与RL并动态平衡,实验证明其优于单一及静态混合方法。
2025-08-04 cs.AI cs.LG
VendiRL: A Framework for Self-Supervised Reinforcement Learning of Diversely Diverse Skills
针对自监督强化学习中技能学习的可扩展性与多样性评估难题,提出基于生态学Vendi Score的统一框架VendiRL,支持用户自定义并评估任意形式的多样性,从而在复杂交互环境中促进多样化技能的预训练。
2025-10-12 cs.AI cs.LG cs.RO
Concept Drift Adaptation Using Self-Supervised and Reinforcement Learning In Android Malware Detection
Birzeit University(巴伊兹大学);University of Central Florida(中央佛罗里达大学)
提出一个基于自监督学习和强化学习的框架,通过冻结编码器测量潜在漂移并轻量适配,同时利用PPO控制器在成本约束下选择维护动作,以应对Android恶意软件检测中的概念漂移。
2026-05-22 cs.AI cs.CR cs.LG