Reinforced Imitation Learning by Free Energy Principle
The University of Tokyo（东京大学）
强化学习（RL）需要大量的探索，尤其是在稀疏奖励环境中。模仿学习（Imitation Learning，IL）可以从专家的演示中学习而无需探索，但它永远不会超过专家的表现，而且也容易受到演示和执行之间的分布转移的影响。本文从自由能原理出发，从根本上统一了强化学习和交互学习。FEP是一种统一的大脑贝叶斯理论，它通过一个共同的基本原理来解释感知，行动和模型学习。我们提出了一个理论上的扩展FEP和推导出一个算法，在该算法中，代理学习的世界模型，内化专家演示，并在同一时间使用该模型来推断当前和未来的状态和行动，最大限度地提高回报。因此，该算法通过部分模仿专家以及以无缝的方式最大化其回报来降低探索成本，从而获得比次优专家更高的性能。我们的实验结果表明，这种方法是有前途的视觉控制任务，特别是在稀疏奖励环境。
2021-07-25 cs.AI cs.LG
RILe: Reinforced Imitation Learning
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
RILe结合模仿学习与逆强化学习，通过教练-学生框架动态学习稠密奖励函数，在高维机器人运动任务中实现接近专家的性能，显著优于现有方法。
2025-04-21 cs.AI cs.LG cs.RO
DPO Meets PPO: Reinforced Token Optimization for RLHF
Peking University（北京大学）；University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）；Microsoft Research Asia（微软亚洲研究院）
提出RTO框架，将RLHF建模为MDP以学习令牌级奖励，创新整合DPO与PPO，在AlpacaEval 2和Arena-Hard上分别超越PPO 7.5和4.1个百分点。
2025-05-21 cs.AI cs.CL cs.LG
Reinforced Medical Report Generation with X-Linear Attention and Repetition Penalty
Hebei University of Technology（河北工业大学）；University of Oxford（牛津大学）
为了减少医生的工作量，基于深度学习的自动医疗报告生成最近吸引了越来越多的研究努力，其中注意力机制和强化学习与经典的编码器-解码器架构相结合，以增强深度模型的性能。然而，这些最先进的解决方案主要存在两个缺点：（i）它们的注意力机制不能利用高阶特征交互，以及（ii）由于使用基于TF-IDF的奖励函数，这些方法是脆弱的，会产生重复项。因此，在这项工作中，我们提出了一个加强的医疗报告生成解决方案，x-线性注意力和重复惩罚机制（ReMRG-XR），以克服这些问题。具体而言，x-线性注意力模块用于探索高阶特征交互并实现多模态推理，而重复惩罚用于在模型的训练过程中对重复项施加惩罚。在两个公共数据集上进行了广泛的实验研究，结果表明ReMRG-XR在所有指标方面都大大优于最先进的基线。
2020-11-16 cs.AI cs.CL cs.LG
Absolute Zero: Reinforced Self-play Reasoning with Zero Data
Tsinghua University（清华大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Penn State University（宾夕法尼亚州立大学）
提出绝对零度范式，使模型通过自生成任务和代码执行器验证奖励，在零外部数据下实现编码与数学推理的最先进性能。
2025-10-16 cs.AI cs.CL cs.LG
Reinforced Efficient Reasoning via Semantically Diverse Exploration
Shandong University（山东大学）；Leiden University（莱顿大学）；Baidu Inc.（百度公司）
本文提出ROSE方法，通过语义熵分支策略和ε探索机制提升大语言模型的推理多样性与效率，并通过实验验证其有效性。
2026-04-20 cs.AI cs.CL
Reinforced Imitative Trajectory Planning for Urban Automated Driving
本文提出一种结合强化学习与模仿学习的多步轨迹规划方法，引入基于Transformer的贝叶斯奖励函数和混合驱动框架，在nuPlan数据集上显著优于基线并媲美最先进方法。
2025-07-16 cs.AI cs.RO
CLARity: Reasoning Consistency Alone Can Teach Reinforced Experts
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
CLARity通过一致性感知奖励机制和两阶段精炼-监控训练流程，提升推理一致性，利用小规模通用LLM有效指导专家模型，实验显示在一致性与准确性上均有显著提升。
2026-06-28 cs.AI cs.CL
Configurable Agent With Reward As Input: A Play-Style Continuum Generation
Ubisoft（育碧）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
现代电子游戏在游戏机制方面变得越来越丰富和复杂。这种复杂性允许出现各种各样的方式来玩游戏的球员。从游戏设计师的角度来看，这意味着一个人需要预测很多不同的游戏方式。机器学习（ML）可以帮助解决这个问题。更准确地说，强化学习是满足视频游戏测试自动化需求的一个很有前途的答案。在本文中，我们提供了一个视频游戏环境，可以让我们定义多种游戏风格。然后，我们介绍CARI：一个可配置的代理与奖励作为输入。一个能够模拟各种游戏风格的代理。它不局限于极端的原型行为，如当前使用奖励塑造的方法。此外，它通过一个单一的训练循环来实现这一点，而不是通常的一个循环每发挥风格。我们将这种新的训练方法与更经典的奖励塑造方法进行了比较，并得出结论，CARI在原型生成方面也优于基线。这种新的代理可以用来调查行为和平衡过程中的视频游戏与现实量的训练时间。
2022-11-29 cs.AI cs.LG
Mitigating Political Bias in Language Models Through Reinforced Calibration
Dartmouth College（达特茅斯学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；ProtagoLabs
当前的大规模语言模型可能会因为训练数据而带有政治偏见，当它们部署在现实世界中时可能会导致严重的问题。在本文中，我们描述了衡量GPT-2生成的政治偏见的指标，并提出了一个强化学习（RL）框架，以减轻生成的文本中的政治偏见。通过使用来自词嵌入或分类器的奖励，我们的RL框架指导去偏生成，而无需访问训练数据或需要重新训练模型。在对政治偏见敏感的三个属性（性别，位置和主题）的实证实验中，我们的方法根据我们的指标和人类评估减少了偏见，同时保持了可读性和语义连贯性。
2021-04-30 cs.AI cs.CL
Driving Style Encoder: Situational Reward Adaptation for General-Purpose Planning in Automated Driving
Volkswagen AG（大众汽车公司）；Technische Universität Darmstadt（达姆施塔特工业大学）
自动驾驶的通用规划算法结合了任务、行为和局部运动规划。这种规划算法将环境和驾驶运动学的特征映射到复杂的奖励函数中。为了实现这一目标，规划专家通常依赖于线性奖励函数。这些奖励函数的规范和调优是一个繁琐的过程，需要大量的经验。此外，手动设计的线性奖励函数不能在不同的驾驶情况下推广。在这项工作中，我们提出了一种基于逆强化学习的深度学习方法，该方法可以生成依赖于情境的奖励函数。我们的神经网络提供了一个基于模型预测控制的规划器的采样驾驶策略的特征和动作之间的映射，并预测即将到来的规划周期的奖励函数。在我们的评估中，我们将深度网络预测的奖励函数的驱动风格与聚类和线性奖励函数进行了比较。我们提出的深度学习方法优于集群线性奖励函数，并且与具有有关情况的先验知识的线性奖励函数相当。
2020-09-13 cs.AI cs.LG cs.RO
Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of California, San Diego（加州大学圣地亚哥分校）
通过强化犹豫方法，将回避作为核心训练目标，使语言模型在风险可控下提升可信度，降低计算成本。
2026-10-07 cs.LG
Reinforced Dynamic Reasoning for Conversational Question Generation
Zhejiang University（浙江大学）；The Ohio State University（俄亥俄州立大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文研究了一种新的会话问题生成（CQG）任务，该任务是基于段落和会话历史（即，前几轮问答对）。CQG是开发智能代理的关键任务，可以驱动问答式对话或测试用户对给定段落的理解。为此，我们提出了一种新的方法，名为增强动态推理（ReDR）网络，它是基于一般的编码器-解码器框架，但采用了一种动态的推理过程，以更好地理解已经问了什么，接下来要问什么的段落。为了鼓励产生有意义的问题，我们利用流行的问答（QA）模型来提供反馈，并使用强化学习机制来微调问题生成器。最近发布的CoQA数据集上的实证结果表明，我们的方法与各种基线和模型变量相比是有效的。此外，为了显示我们的方法的适用性，我们还将其应用于创建多轮问答会话的SQuAD中的段落。
2019-07-29 cs.AI cs.CL
RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling
State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）
RuleReasoner通过领域感知动态采样方法提升规则推理性能，优于现有大型推理模型。
2026-02-15 cs.AI cs.CL cs.LG
Efficient Reinforcement Learning for Unsupervised Controlled Text Generation
受控文本生成任务，如无监督文本风格转换，越来越多地采用强化学习（RL）。将RL应用于此类任务的一个主要挑战是稀疏奖励，只有在生成全文后才可用。稀疏的奖励，加上大的动作空间，使得RL训练样本效率低下，难以收敛。最近提出的旨在解决这一问题的奖励形成战略所取得的成果微不足道。相比之下，这项工作提出了一种新的方法，为每个生成的令牌提供密集的奖励。我们评估我们的方法在无监督的文本风格转移的使用。在数据集上平均，我们的风格转换系统在当前最先进的系统上提高了21%的人工评估和12%的自动评估。在与当前的奖励塑造方法（“推出策略”）进行消融比较后，基于人类评估，使用密集奖励将整体风格转移质量提高了22%。此外，RL训练是样本效率的2.5倍，速度快7倍。
2022-04-16 cs.AI cs.CL
BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning
Peking University（北京大学）；Northwestern University（西北大学）；Bytedance Inc（字节跳动公司）；University of Minnesota（明尼苏达大学）
提出统一概率框架与 BRiTE 算法，通过奖励塑造强化学习生成高质量理据并联合优化基础 LLM，在数学和编程任务上无需人工思维标注即可稳定提升推理。
2025-06-06 cs.AI cs.CL cs.LG
Reinforced Language Models for Sequential Decision Making
本文提出MS-GRPO算法，通过多步信用分配与绝对优势加权采样策略对小型LLM进行后训练，使其在序贯决策任务上以3B参数超越72B基线50%。
2025-08-14 cs.AI cs.CL cs.LG
Controllable Dialogue Generation with Disentangled Multi-grained Style Specification and Attribute Consistency Reward
University of Macau（澳门大学）；Baidu Inc（百度公司）；Xiamen University（厦门大学）
可控文本生成是一个吸引人但具有挑战性的任务，它允许用户指定生成的输出的特定属性。在本文中，我们提出了一个可控的对话生成模型，引导响应生成多属性约束下。具体来说，我们定义和分类的常用控制属性为全球和本地的，具有不同的粒度响应生成的影响。然后，我们显着扩展了传统的seq2seq框架，引入了一种新的两阶段解码器，首先使用多粒度的风格规范层施加的风格约束，并确定字级控制状态的响应的基础上的属性，然后采用响应生成层生成最终的响应保持语义相关的上下文和保真度的属性。此外，我们训练我们的模型与属性一致性奖励，以促进响应控制与明确的监督信号。在两个数据集上的大量实验和深入分析表明，我们的模型在响应质量、内容多样性和可控性方面可以显著优于竞争基线。
2022-10-21 cs.AI cs.CL
Crystal: Introspective Reasoners Reinforced with Self-Feedback
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；FAIR, Meta（Meta 基础人工智能研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出内省式常识推理器 Crystal，通过强化学习调优知识内省与基于知识的推理模式，利用模型自反馈作为奖励，显著提升了推理性能与透明度。
2023-10-18 cs.AI cs.CL cs.LG
Leaps Beyond the Seen: Reinforced Reasoning Augmented Generation for Clinical Notes
National Cheng Kung University（国立成功大学）；Arizona State University（亚利桑那州立大学）
提出ReinRAG框架，通过从医学知识图谱检索推理路径并结合组归一化奖励优化检索器，为LLM提供语义指导，有效解决了有限入院前信息下长文本出院指导生成的难题。
2025-08-09 cs.AI cs.CL
Reinforced Contact Tracing and Epidemic Intervention
Tsinghua University（清华大学）
近期爆发的COVID-19疫情对人们的生命构成严重威胁。疫情控制策略切断了人类的日常通勤，也对经济造成了损害。在本文中，我们开发了一个基于个人的强化学习流行病控制代理（IDRLECA），以寻找智能的流行病控制策略，可以同时最小化感染和移动干预的成本。IDRLECA首先使用感染概率模型来计算每个个体的当前感染概率。然后，将感染概率与个人的健康状况和运动信息一起输入到一个新的GNN，以估计病毒通过人类接触的传播。估计的风险被用来进一步支持RL代理选择个人级别的药物控制行动。IDRLECA的培训由一个专门设计的奖励函数指导，该函数考虑到流动性干预的成本和流行病控制的有效性。此外，我们设计了一个控制动作选择的约束条件，减轻了难度，进一步提高了探索效率。广泛的实验结果表明，IDRLECA可以抑制感染在一个非常低的水平，并保留超过95%的人的流动性。
2021-02-04 cs.AI cs.LG
MARS-Sep: Multimodal-Aligned Reinforced Sound Separation
Zhejiang University（浙江大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
MARS-Sep通过强化学习框架实现多模态对齐，提升声音分离的语义一致性和信号质量。
2026-02-17 cs.AI cs.SD
Agentic Reinforced Policy Optimization
Renmin University of China（中国人民大学）；Kuaishou Technology（快手科技）
本文提出ARPO算法，通过基于熵的自适应展开和优势归因估计训练多轮LLM智能体，在13个基准上以一半工具预算超越轨迹级RL方法。
2025-07-26 cs.AI cs.CL cs.LG
ReIL: A Framework for Reinforced Intervention-based Imitation Learning
Asian Institute of Technology（亚洲理工学院）；The University of Tokyo（东京大学）
与传统的模仿学习方法如Dagger和DART相比，基于干预的模仿为用户提供了一个更方便和样本效率更高的数据汇集过程。在本文中，我们介绍了加强干预为基础的学习（ReIL），一个框架，包括一个一般的干预为基础的学习算法和多任务的模仿学习模型，旨在使非专家用户训练代理在真实的环境中很少监督或微调。ReIL通过一种算法实现了这一点，该算法结合了模仿学习和强化学习的优点，以及能够同时处理演示、过去经验和当前观察的模型。来自真实世界移动机器人导航挑战的实验结果表明，ReIL从稀疏监督校正中快速学习，而不会遭受性能恶化，这是基于监督学习的方法（如HG-匕首和IWR）的特征。结果还表明，与其他基于干预的方法（如IARL和EGPO）相比，ReIL可以利用任意的奖励函数进行训练，而无需任何额外的训练。
2022-03-29 cs.AI cs.LG cs.RO
Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG（大众汽车公司）；Technische Universität Darmstadt（达姆施塔特工业大学）
行为和运动规划在自动驾驶中起着重要的作用。传统上，行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性，可能会发生不可预测的情况，其中行为规划者无法匹配预定义的行为模板。最近，已经引入了通用规划器，其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而，出现了两个挑战：首先，该函数必须将复杂的特征空间映射到奖励。其次，奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中，我们提出了一种方法，依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外，我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明，我们能够学习奖励函数超过手动专家调整的水平，没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
Deep Reinforced Self-Attention Masks for Abstractive Summarization (DR.SAS)
Stanford（斯坦福大学）
我们提出了一种新的架构方案来解决基于CNN/DM数据集的抽象摘要问题，该数据集将强化学习（RL）与UniLM（一种预训练的深度学习模型）融合在一起，以解决各种自然语言任务。我们已经测试了在Transformers中学习细粒度注意力以提高摘要质量的限制。UniLM以全局方式关注整个令牌空间。我们提出了DR.SAS，它应用Actor-Critic（AC）算法来学习令牌上的动态自我注意力分布，以减少冗余，并生成事实和连贯的摘要，以提高摘要的质量。在进行超参数调整后，我们获得了比基线更好的ROUGE结果。由于对ROUGE奖励进行了优化，我们的模型往往更加提取/真实，但在细节上更加连贯。我们提出了详细的误差分析与我们的模型的优势和局限性的例子。我们的代码库将在我们的GitHub上公开。
2019-12-30 cs.CL
Urban-R1: Reinforced MLLMs Mitigate Geospatial Biases for Urban General Intelligence
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Carnegie Mellon University（卡内基梅隆大学）；Squirrel Ai Learning
针对城市基础模型的地理空间偏差问题，本文提出基于GRPO强化学习和城市区域画像奖励的Urban-R1后训练框架，显著提升MLLM的跨区域泛化与公平可信性。
2025-10-18 cs.AI cs.LG
Generating Diverse Programs with Instruction Conditioned Reinforced Adversarial Learning
Georgia Tech（佐治亚理工学院）；DeepMind（深度思维）
深度强化学习的进步已经导致代理在各种感觉运动领域表现良好。在这项工作中，我们研究的设置中，代理必须学会生成程序的不同场景的条件下，一个给定的符号指令。最终目标通过场景的图像指定给我们的代理。与目标图像一致的符号指令被用作我们策略的条件输入。由于单个指令对应于一组不同但仍然一致的最终目标图像，因此代理需要学习在给定指令的程序上生成分布。我们证明，通过对强化对抗学习目标的简单改变，我们可以学习指令条件政策，以实现相应的不同目标。最重要的是，我们的代理的随机政策，更准确地捕捉目标分布的多样性比一个固定的基于像素的奖励函数基线。我们在两个领域证明了我们的方法的有效性：（1）使用基于指令的绘制软件绘制MNIST数字，以及（2）在满足特定指令的3D编辑器中构建场景。
2018-12-03 cs.CL cs.CV cs.LG
Attractive or Faithful? Popularity-Reinforced Learning for Inspired Headline Generation
National Chiao Tung University（国立交通大学）；National Tsing Hua University（国立清华大学）；Academia Sinica（中央研究院）
随着在线媒体源和已发布新闻的快速扩散，标题对于吸引读者阅读新闻文章变得越来越重要，因为用户可能被大量信息淹没。在本文中，我们生成的灵感标题，保持新闻文章的性质，并抓住读者的眼睛同时。启发式标题生成任务可以被视为标题生成任务的一种特殊形式，其重点是从给定的新闻文章中创建有吸引力的标题。为了生成启发式标题，我们提出了一个新的框架，称为受欢迎程度增强学习启发式标题生成（PORL-HG）。PORL-HG利用提取-抽象架构，具有1）用于引导提取器从文章中选择有吸引力的句子的流行主题注意力（PTA）和2）用于引导抽象器重写有吸引力的句子的流行度预测器。此外，由于提取器的句子选择是不可区分的，因此利用强化学习（RL）技术来用从流行度分数预测器获得的奖励来弥合差距。通过定量和定性实验，我们表明，所提出的PORL-HG显着优于国家的最先进的标题生成模型的吸引力评价的人类（71.03%）和预测（至少27.60%），而忠实的PORL-HG也是国家的最先进的生成模型。
2020-02-06 cs.CL cs.LG
Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
训练一个高维的模拟代理与一个指定的奖励函数往往导致代理学习物理上不可行的策略，部署在现实世界中时是无效的。为了减轻这些不自然的行为，强化学习实践者经常利用复杂的奖励函数来鼓励物理上合理的行为。然而，创建手工设计的奖励通常需要繁琐的劳动密集型调优过程，这可能不容易在平台和任务之间推广。我们建议用从动作捕捉演示数据集学习的“风格奖励”来代替复杂的奖励函数。学习风格奖励可以与任意任务奖励组合，以训练使用自然策略执行任务的策略。这些自然策略也可以促进转移到现实世界。我们建立在对抗运动先验-一种来自计算机图形领域的方法，从参考运动的数据集编码风格奖励-来证明训练策略的对抗方法可以产生转移到真正的四足机器人的行为，而不需要复杂的奖励函数。我们还证明了一个有效的风格奖励可以从几秒钟的动作捕捉数据从德国牧羊犬收集，并导致节能的运动策略与自然的步态过渡。
2022-03-28 cs.AI cs.RO
A Hierarchical Reinforced Sequence Operation Method for Unsupervised Text Style Transfer
Tsinghua University（清华大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
无监督文本样式传输旨在更改文本样式，同时保留内容，而无需对齐数据进行监督。现有的seq2seq方法面临三个挑战：1）传输是弱可解释的，2）生成的输出在内容保存方面很困难，3）内容和风格之间的权衡是棘手的。为了解决这些挑战，我们提出了一个层次化的增强序列操作方法，命名为点然后操作（PTO），它由一个高层次的代理，提出操作位置和一个低层次的代理，改变句子。我们提供全面的训练目标来控制输出的流畅性，风格和内容，以及基于掩码的推理算法，该算法允许基于单步训练的代理进行多步修改。在两个文本样式传输数据集上的实验结果表明，我们的方法显着优于最近的方法，并有效地解决了上述挑战。
2019-06-05 cs.AI cs.CL
Reward Dropout Improves Control: Bi-objective Perspective on Reinforced LM
Graduate School of Artificial Intelligence（人工智能研究生院）；Ulsan National Institute of Science and Technology (UNIST)（蔚山国立科学技术研究院（UNIST））
本研究从双目标优化视角分析强化语言模型，提出 RUBO 理论基础，并设计 Reward Dropout 方法，在五个数据集和四个 LLM 上显著提升了模型的优化性能。
2023-11-24 cs.AI cs.CL cs.LG
Imitation Learning for Fashion Style Based on Hierarchical Multimodal Representation
JD.com American Technologies（京东美国科技）
时尚是一种复杂的社会现象。人们从专家或时尚偶像的示范中追随时尚风格。然而，对于机器智能体来说，学习模仿时装专家的示范可能是具有挑战性的，特别是对于具有高维多模态观察的环境中的复杂风格。现有的研究大多是利用监督学习的方法来模仿时尚图标的行为。这些方法受到分布偏移的影响：由于智能体大量模仿一些给定的服装演示，它可以从一种风格漂移到另一种风格，给出细微的差异。在这项工作中，我们提出了一个对抗性的逆强化学习制定恢复奖励功能的基础上，分层多模态表示（HM-AIRL）在模仿过程中。层次联合表示能更全面地对专家组合服装演示进行建模，以恢复奖励函数。我们证明了所提出的HM-AIRL模型能够恢复对多模态观测变化具有鲁棒性的奖励函数，使我们能够在不同风格之间的显著变化下学习策略。
2020-04-13 cs.CV cs.LG
Reinforced Workload Distribution Fairness
École Polytechnique（巴黎综合理工学院）；Princeton University（普林斯顿大学）
网络负载均衡器是数据中心的核心组件，它将工作负载分布在多个服务器上，从而有助于提供可扩展的服务。然而，当负载均衡器在动态环境中运行时，对应用程序服务器负载的监控有限，它们依赖于启发式算法，需要手动配置以实现公平性和性能。为了缓解这一问题，本文提出了一种分布式异步强化学习机制，在没有主动负载均衡器状态监控和有限网络观察的情况下，提高负载均衡器实现的工作负载分配的公平性。所提出的机制的性能进行评估，并与最先进的负载均衡算法在模拟器中进行比较，在配置与逐步增加的复杂性。初步结果表明，在基于RL的负载均衡算法的承诺，并确定额外的挑战和未来的研究方向，包括奖励功能的设计和模型的可扩展性。
2021-10-29 cs.AI cs.DC cs.NI
Structured Diversification Emergence via Reinforced Organization Control and Hierarchical Consensus Learning
East China Normal University（华东师范大学）；SRIAS（上海人工智能研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；AIRS（深圳市人工智能与机器人研究院）
在解决一个复杂的任务时，人类会自发地组成团队，分别完成整个任务的不同部分。同时，队友之间的合作也会提高效率。然而，对于目前的合作MARL方法，合作团队是通过构造或端到端的黑盒优化。为了提高合作和探索的效率，提出了一个基于强化组织控制和层次一致性学习的结构化多样化涌现MARL框架{ \sc{Rochico} }。{ \sc{Rochico} }首先通过组织控制模块学习一个自适应的分组策略，该策略是通过独立的多智能体强化学习建立的。在团队形成后，引入了基于共识约束的层次意图的层次共识模块。同时，利用层次一致性模块和自监督内在奖励增强决策模块，提出的协作MARL算法{ \sc{Rochico} }可以输出最终的多样化多智能体协作策略。这三个模块有机地结合在一起，促进了结构化多元化的出现。在4个大规模协作任务上的对比实验表明，{ \sc{Rochico} }在探索效率和协作强度方面明显优于现有的SOTA算法.
2021-02-09 cs.AI cs.GT cs.LG
Reinforced Reasoning for End-to-End Retrosynthetic Planning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；PharMolix Inc（PharMolix公司）
本文提出ReTriP框架，通过端到端生成方法将逆合成规划转化为连续推理任务，采用路径一致的分子表示和渐进训练课程，提升长周期规划的鲁棒性。
2026-03-31 cs.AI
SoRFT: Issue Resolving with Subtask-oriented Reinforced Fine-Tuning
School of Computer Science, Peking University（北京大学计算机学院）；ByteDance（字节跳动）
SoRFT通过将问题解决分解为文件、函数、行定位及代码编辑生成等子任务，结合拒绝采样监督微调与基于规则的强化学习，在SWE-Bench上达到开源模型最优性能，提供低成本替代方案。
2025-02-27 cs.AI cs.CL cs.SE
Guided by Gut: Efficient Test-Time Scaling with Reinforced Intrinsic Confidence
University of Alberta（阿尔伯塔大学）；University of Toronto（多伦多大学）
本文提出直觉引导（GG）框架，利用内在置信度和步骤新颖性进行轻量级树搜索，通过强化学习提升置信度可靠性，使小模型在数学推理中达到大模型水平，同时大幅降低计算和内存成本。
2025-05-23 cs.AI cs.CL
FLoRA: Sample-Efficient Preference-based RL via Low-Rank Style Adaptation of Reward Functions
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对低偏好数据场景下预训练机器人适配的灾难性奖励遗忘问题，提出通过低秩矩阵增强原始奖励模型的FLoRA方法，实现了对人类偏好的高效适配，在模拟和真实任务中均有效。
2025-04-14 cs.LG cs.RO
Hallucination Self-Play: Bootstrapping Reinforced Detector via Evolved Generator
Simon Fraser University（西蒙 Fraser大学）；Microsoft（微软）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
针对高质量标注数据稀缺致识别LLM生成输出中幻觉困难及现有方法局限，提出幻觉自我博弈框架，含检测器和生成器，经多轮训练优化，能在无外部监督下提升小型LLM性能。
2026-10-08 cs.CL cs.LG
RV-HATE: Reinforced Multi-Module Voting for Implicit Hate Speech Detection
Yonsei University（延世大学）
RV-HATE通过多模块投票机制和强化学习优化，针对不同数据集特性提升隐性仇恨言论检测准确率并提供可解释性分析。
2026-04-23 cs.AI cs.CL
CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
本文提出CRAFT-GUI，通过课程学习框架和群体相对策略优化，解决GUI任务中难度差异和奖励信号单一的问题，实验表明在Android Control和内部基准上分别提升5.6%和10.3%。
2026-03-13 cs.AI cs.HC
Class-Balanced and Reinforced Active Learning on Graphs
Shanghai Polytechnic University（上海第二工业大学）；East China Normal University（华东师范大学）
本文提出类别均衡强化主动学习框架GCBR及其升级版GCBR++，通过设计类别均衡感知状态和奖励函数并引入惩罚机制，解决GNN主动学习中类别不均衡问题，在多个数据集上取得优于现有基线的性能。
2024-05-07 cs.LG
Reinforced Coloring for End-to-End Instance Segmentation
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）；Korea University（高丽大学）
实例分割是计算机视觉中的一个研究热点，它需要对多个感兴趣的对象进行分割。虽然许多前馈网络在不同类型的图像上产生高质量的分割，但它们的结果往往会因许多对象的分割而出现拓扑错误（合并或分裂），需要进行后处理。另一方面，现有的迭代法使用基于知识的属性（形状、边界等）一次提取单个对象。而不依赖于后处理，但它们的扩展性不好。为了在不影响可扩展性的情况下利用传统的每步单个对象分割方法的优势，我们提出了一种新的迭代深度强化学习代理，它学习如何并行区分多个对象。我们的可训练代理的奖励函数的设计有利于分组像素属于同一个对象使用图着色算法。我们证明，该方法可以有效地执行实例分割的许多对象，而无需繁重的后处理。
2020-05-19 cs.CV cs.LG eess.IV
MarlRank: Multi-agent Reinforced Learning to Rank
University of Alberta（阿尔伯塔大学）；Huawei（华为）；University College London（伦敦大学学院）；Tianjin University（天津大学）
在估计查询和文档之间的相关性时，排序模型在很大程度上忽略了文档之间的互信息。一个共同的智慧是，如果两个文档在相同的查询方面相似，它们更有可能具有相似的相关性得分。为了缓解这个问题，在本文中，我们提出了一个多智能体增强排名模型，名为MarlRank。特别是，通过考虑每个文件作为一个代理，我们制定的排名过程作为一个多代理马尔可夫决策过程（MDP），文件之间的相互作用被纳入排名过程。为了计算排序列表，每个文档不仅考虑其自身的查询文档特征，而且还考虑其相似的文档特征和动作来预测其与查询的相关性。通过将奖励定义为NDCG的函数，我们可以直接在排名性能指标上优化我们的模型。我们在两个LETOR基准数据集上的实验结果表明，我们的模型在最先进的基线上具有显着的性能增益。我们还发现，NDCG呈现出整体上升的趋势，随着交互的步骤，这表明，互信息之间的文档有助于提高排名性能。
2019-09-15 cs.IR cs.LG stat.ML
ARGen: Affect-Reinforced Generative Augmentation towards Vision-based Dynamic Emotion Perception
Fudan University（复旦大学）；East China Normal University（华东师范大学）
本文提出ARGen框架，通过情感语义注入和自适应强化扩散阶段，解决野外动态表情识别中的数据稀缺问题，提升情绪感知的生成质量和识别性能。
2026-08-04 cs.AI cs.CV
Behavior Knowledge Merge in Reinforced Agentic Models
Georgia Institute of Technology（佐治亚理工学院）；Dartmouth College（达特茅斯学院）；University of Notre Dame（诺丁汉大学）
本文提出RAM框架，通过分离共享和任务特定参数更新，提升RL训练代理模型的融合效果，实现性能超越专门化代理。
2026-01-20 cs.LG
Performance-guided Reinforced Active Learning for Object Detection
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）
MGRAL通过强化学习优化样本选择，以提升目标检测的mAP性能，实现高效主动学习。
2026-01-22 cs.CV cs.LG
Reinforced dynamics for enhanced sampling in large atomic and molecular systems
Princeton University（普林斯顿大学）；Institute of Applied Physics and Computational Mathematics（应用物理与计算数学研究所）；CAEP Software Center for High Performance Numerical Simulation（中国工程物理研究院高性能数值模拟软件中心）；Beijing Institute of Big Data Research（北京大数据研究院）
提出了一种新的方法，有效地探索配置空间和计算大的原子和分子系统的自由能，激励与强化学习的类比。这种新方法有两个主要组成部分。像元自适应，它允许一个有效的探索的配置空间，通过添加一个自适应计算的偏置电位的原始动态。与深度强化学习一样，这种偏置潜力是使用深度神经网络进行动态训练的，从探索中明智地收集数据，神经网络模型中的不确定性指标扮演着奖励函数的角色。使用神经网络的参数化使得处理具有大量集合变量的情况变得可行。这样做的潜在好处是，精确地选择正确的集合变量对于捕捉系统的结构转换来说已经变得不那么重要了。通过研究丙氨酸二肽和三肽的全原子，明确的溶剂模型，以及具有20个集体变量的聚丙氨酸-10分子的系统来说明该方法。
2018-02-19 cs.LG physics.bio-ph physics.chem-ph
Enhanced Gene Selection in Single-Cell Genomics: Pre-Filtering Synergy and Reinforced Optimization
CNIC, CAS（中国科学院计算机网络信息中心）；University of CAS（中国科学院大学）；University of Kansas（堪萨斯大学）；IR A*STAR（新加坡科技研究局研究院）；Portland State Univerisity（波特兰州立大学）
本文针对单细胞基因组学聚类任务提出一种迭代式基因面板选择策略，通过整合其他基因选择算法的结果作为先验边界，并结合强化学习的随机探索与奖励反馈优化，有效减少偏差并提升选择效率。
2024-06-11 cs.AI cs.LG q-bio.GN
FALCON: Feedback-driven Adaptive Long/short-term memory reinforced Coding Optimization system
School of Software, South China Normal University（南方科技大学软件学院）；University of Minnesota - Twin Cities（明尼苏达大学双城分校）；University of Electronic Science and Technology of China（电子科技大学）；University of Toronto（多伦多大学）；University of Connecticut（康涅狄格大学）；AI center, AIGCode Inc.（AIGCode公司人工智能中心）
针对LLM代码生成与用户意图对齐困难的问题，提出FALCON系统，利用长短期记忆和元强化学习优化编码，在MBPP和Humaneval上分别领先4.5和6.1个百分点。
2025-06-19 cs.AI cs.LG cs.PF
Synthesizing Programs for Images using Reinforced Adversarial Learning
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；DeepMind（深度思维）
近年来，深度生成网络的进步带来了令人印象深刻的结果。尽管如此，这些模型往往会在数据集的细节上浪费它们的能力，这可能是由于它们的解码器中的弱归纳偏差。这就是图形引擎可能派上用场的地方，因为它们抽象出低级细节并将图像表示为高级程序。目前结合深度学习和渲染器的方法受到手工制作的似然或距离函数的限制，需要大量的监督，或者难以将其推理算法扩展到更丰富的数据集。为了缓解这些问题，我们提出了螺旋，一个adversarially训练的代理，生成一个程序，由图形引擎执行解释和采样图像。这个代理的目标是欺骗一个区分真实数据和渲染数据的神经网络，该网络在没有任何监督的情况下使用分布式强化学习设置进行训练。一个令人惊讶的发现是，使用代理的输出作为奖励信号是允许代理在匹配所需的输出渲染方面取得有意义的进展的关键。据我们所知，这是第一次在具有挑战性的现实世界（MNIST，Omniglot，CelebA）和合成3D数据集上演示端到端，无监督和对抗性的逆图形代理。
2018-04-03 cs.CV cs.LG stat.ML
Offline Learning from Demonstrations and Unlabeled Experience
DeepMind；Google Brain（谷歌大脑）
行为克隆（BC）对于机器人学习通常是实用的，因为它允许通过专家演示的监督学习在没有奖励的情况下离线训练策略。然而，BC并没有有效地利用我们将称为未标记体验的东西：没有奖励注释的混合和未知质量的数据。这种未标记的数据可以由各种来源生成，例如人类远程操作，脚本策略和同一机器人上的其他代理。为了实现数据驱动的离线机器人学习，我们引入了离线强化模仿学习（ORIL）。ORIL首先通过对比来自演示者和未标记轨迹的观察来学习奖励函数，然后用学习到的奖励来注释所有数据，最后通过离线强化学习来训练智能体。在一组不同的连续控制和模拟机器人操作任务，我们表明，ORIL始终优于可比的BC代理有效地利用未标记的经验。
2020-11-27 cs.AI cs.LG cs.RO
Think Less, Act Early: Reinforced Latent Reasoning with Early Exit in Vision-Language-Action Models
Tsinghua University, Beijing, China（清华大学）
提出AVA-VLA框架，通过强化学习去噪和早退策略优化潜在推理轨迹，在LIBERO上实现6倍推理加速和98.3%平均成功率。
2026-06-16 cs.CV cs.LG cs.RO
