Amortized Active Causal Induction with Deep Reinforcement Learning
Helmholtz AI（亥姆霍兹人工智能）；Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）
提出CAASL，一种基于Transformer和强化学习的主动干预策略，无需似然函数即可实时选择干预，在合成数据和单细胞模拟器上优于替代方法，并具备良好的分布偏移和零样本泛化能力。
2024-05-26 cs.AI cs.LG
DYSTIL: Dynamic Strategy Induction with Large Language Models for Reinforcement Learning
Department of Computer Science Columbia University（哥伦比亚大学计算机科学系）
本文提出DYSTIL框架，利用大语言模型基于优势估计和专家示范动态归纳文本策略，并通过策略优化将其内化到强化学习智能体中，在Minigrid和BabyAI环境中显著提升泛化能力、样本效率和可解释性。
2025-05-06 cs.LG
Induction of Subgoal Automata for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；Universitat Pompeu Fabra（庞培法布拉大学）
在这项工作中，我们提出了ISA，一种新的方法学习和利用子目标的强化学习（RL）。我们的方法依赖于诱导一个自动机，其转换是表示为命题公式在一组可观察到的事件的子目标。一个国家的最先进的归纳逻辑程序设计系统是用来学习的自动机从观察轨迹感知的RL代理。强化学习和自动机学习过程是交错的：每当RL代理生成当前自动机无法识别的跟踪时，就会学习新的精炼自动机。我们评估ISA在几个网格世界的问题，并表明它执行类似的自动机预先给定的方法。我们还表明，学习自动机可以利用，以加快收敛，通过奖励塑造和跨多个任务的迁移学习。最后，我们分析了ISA学习自动机所需的运行时间和跟踪数量，以及可观察事件的数量对学习器性能的影响。
2019-11-29 cs.AI cs.LG cs.LO
Safe Reinforcement Learning via Curriculum Induction
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
在安全关键型应用中，自主智能体可能需要在错误代价非常高昂的环境中学习。在这样的设置中，代理不仅需要在学习之后而且在学习期间安全地行为。为了实现这一点，现有的安全强化学习方法使智能体依赖于先验知识，使其在探索过程中以高概率避免危险情况，但先验知识中固有的概率保证和平滑假设在许多感兴趣的场景中都是不可行的，例如自动驾驶。本文提出了一种受人类教学启发的替代方法，在该方法中，代理在自动教练的监督下学习，从而避免代理在学习过程中违反约束。在这个模型中，我们引入了监视器，既不需要知道如何做好代理正在学习的任务，也不需要知道环境是如何工作的。相反，它有一个重置控制器库，当代理开始危险行为时，它会激活该库，以防止它造成损害。至关重要的是，选择在何种情况下应用哪种重置控制器会影响代理学习的速度。基于观察代理的进展，教师本身学习用于选择重置控制器的策略，课程，以优化代理的最终策略奖励。我们的实验使用这个框架在两个环境中诱导课程的安全和有效的学习。
2021-01-21 cs.AI cs.LG cs.RO
Dynamic Policy Induction for Adaptive Prompt Optimization: Bridging the Efficiency-Accuracy Gap via Lightweight Reinforcement Learning
University of California, Irvine School of Information & Computer Science（加州大学尔湾分校信息与计算机科学学院）
针对大语言模型静态提示策略存在的效率-精度权衡僵化问题，提出基于轻量级强化学习的提示策略网络PPN，通过单步MDP和资源感知奖励自适应选择推理策略，在算术任务上以更低token成本保持竞争力精度。
2025-09-28 cs.AI cs.CL cs.LG
Representational efficiency outweighs action efficiency in human program induction
University of California, Berkeley（加州大学伯克利分校）
分层结构表示法对于易于处理的规划的重要性早已被认识到。然而，人们如何发现这种抽象以及如何定义一组最佳抽象的问题仍然是开放的。这个问题已经在认知科学中的问题解决文献和计算机科学中的分层强化学习中进行了探索。在这里，我们强调学习层次表示的算法观点，其目标是有效地编码问题的结构，或者等价地，学习具有最小长度的算法。我们介绍了一种新的问题解决范式，链接问题解决和马尔可夫决策过程（MDP）框架下的程序归纳。使用这个任务，我们的目标是人类是否发现分层的解决方案，通过最大限度地提高效率，他们产生的行动或通过最小化所产生的表示的复杂性，并找到证据的首要代表效率的问题。
2018-07-18 cs.AI
Graph neural induction of value iteration
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；University of Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）
许多强化学习任务可以受益于基于环境内部模型的明确规划。以前，这样的规划组件已经通过神经网络被合并，该神经网络部分地与价值迭代的计算图对齐。这样的网络到目前为止都集中在限制性的环境（如网格世界），并模拟规划程序只是间接的。我们放松这些限制，提出了一个图神经网络（GNN），执行值迭代（VI）算法，在任意的环境模型，直接监督VI的中间步骤。结果表明，GNN能够准确地对价值迭代进行建模，在各种分布外测试中恢复有利的指标和策略。这表明具有强监督的GNN执行器是深度强化学习系统中的可行组件。
2020-09-26 cs.AI cs.LG stat.ML
Distributionally Robust Multi-Agent Reinforcement Learning for Dynamic Chute Mapping
Amazon Robotics（亚马逊机器人公司）；Duke University（杜克大学）
针对亚马逊仓库包裹导入率动态不确定导致的再循环问题，提出结合分组 DRO 与上下文老虎机最坏分布预测的 DRMARL 框架，实现鲁棒滑槽映射并平均降低 80% 再循环。
2025-03-12 cs.LG cs.RO
Neuro-Symbolic Hierarchical Rule Induction
Shanghai Jiao Tong University（上海交通大学）
提出了一种有效的可解释神经符号模型来解决归纳逻辑程序设计（ILP）问题。在这个模型中，它是建立在一组元规则组织在一个层次结构，一阶规则是通过学习嵌入匹配的事实和身体谓词的元规则。为了实例化它，我们专门设计了一组富有表达力的通用元规则，并证明它们会生成Horn子句的结果片段。在训练过程中，我们注入一个受控的\pw{Gumbel}噪声，以避免局部最优值，并采用可解释性正则化项，以进一步引导收敛到可解释的规则。我们根据经验验证了我们的模型对各种任务（ILP，视觉基因组，强化学习）对几个国家的最先进的方法。
2021-12-26 cs.AI cs.LG
Schema: Discovering Unknown Environments via Agentic Program Induction
Impossible Research；UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
Schema通过交互式程序归纳，将智能体对环境理解编码为可执行程序，显著提升未知环境任务完成率，ARC-AGI-3从58.7%升至99.2%。
2026-10-01 cs.AI
Chess on Ice: Curling Tactical Decision-Making via Backward Induction and Deep Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；Belimo Automation AG（贝利莫自动化股份公司）；University of Padova（帕多瓦大学）
该研究针对冰壶战术决策的建模挑战，采用适配有限时间范围结构的DDPG算法，通过自监督学习获得的智能体在简化四石冰壶中可匹敌专家启发式策略，其评论家还能提供连续动作空间的价值估计以支持战术分析。
2026-08-04 cs.AI
Towards Modular Algorithm Induction
Google Brain（谷歌大脑（Google Brain））
我们提出了一个模块化的神经网络架构的主要，学习算法给定的一组输入输出的例子。Main由一个神经控制器组成，它与一个可变长度的输入带交互，并学习组合模块及其相应的参数选择。与以前的方法不同，Main使用通用的域不可知机制来选择模块及其参数。它使用一个通用的输入磁带布局与一个并行的历史磁带，以表明最近使用的位置。最后，它使用了一个无记忆控制器的长度不变的自注意为基础的输入磁带编码，以允许随机访问磁带的位置。主架构使用来自一组输入-输出示例的强化学习进行端到端训练。我们对Main进行了五个算法任务的评估，并表明它可以学习到比用于训练的输入长度更长的输入的策略。
2020-02-27 cs.AI cs.LG
Ultimate Intelligence Part III: Measures of Intelligence, Perception and Intelligent Agents
Gök Us Sibernetik Ar&Ge Ltd. Şti.（Gök Us Sibernetik 研发有限公司）
我们建议，操作员感应作为一个适当的模型的感知。我们解释了如何减少通用代理模型的操作员感应。我们提出了一个通用的操作员感应健身措施，并展示了它如何可以用于强化学习模型和稳态（自我保护）代理的自由能原则的基础上。我们表明，该行动的稳态剂可以解释的运营商诱导模型。
2017-09-08 cs.AI
Using Deep Reinforcement Learning for Zero Defect Smart Forging
Karlstads Universitet（卡尔斯塔德大学）；RISE Research Institutes of Sweden（瑞典RISE研究机构）；Viking Analytics AB（维京分析有限公司）；Bharat Forge Kilsta AB（巴拉特锻造基尔斯塔有限公司）
生产过程中的缺陷可能导致材料浪费，这对许多公司来说是一个重大挑战，因为它会减少收入并对可持续性和环境产生负面影响。材料浪费的一个根本原因是自动化程度低，特别是在目前数字化程度较低的行业，如钢铁锻造。这些行业通常依赖于重型和老式机械，例如大型感应炉，这些设备大多是手动控制或使用专家创建的众所周知的配方。然而，当不可预见的事件发生时，标准配方可能会失败，例如生产中的计划外停止，这可能导致过热，从而导致锻造过程中的材料退化。在本文中，我们开发了一个数字孪生为基础的优化策略的锻造生产线的加热过程中，自动化的最优控制政策，调整功率的加热线圈在感应炉的基础上从高温计观察到的温度数据的发展。我们设计了一个基于数字孪生的深度强化学习（DTRL）框架，并使用锻造生产线的数字孪生为加热阶段训练两个不同的深度强化学习（DRL）模型。双胞胎是基于一个模拟器，其中包含一个热传递和运动模型，这是用来作为环境的日间行车训练。我们的评估表明，这两种模型显着降低了温度不均匀性，可以帮助自动化的传统加热过程。
2022-01-25 cs.AI cs.LG
A Reinforcement Learning Environment for Mathematical Reasoning via Program Synthesis
Cash App Labs（Cash App实验室）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们将DeepMind数学数据集转换为强化学习环境，将其解释为程序合成问题。在环境中采取的每个动作都将运算符或输入添加到离散计算图中。计算正确答案的图产生正奖励，从而能够优化策略以构建以问题语句为条件的计算图。基线模型使用Double DQN在各种问题类型的子集上进行训练，展示了学习正确构建图形的能力，尽管存在组合爆炸和噪声奖励的挑战。
2021-07-16 cs.AI cs.LG
Interpretable and Editable Programmatic Tree Policies for Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；ATHENE；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Hessian AI（黑森人工智能研究所）；DFKI（德国人工智能研究中心）
针对深度强化学习策略黑盒导致的目标错位问题，提出INTERPRETER快速蒸馏方法生成可解释可编辑的树程序，在多种任务上匹配基准性能，并能修正Atari游戏错位及解释农业策略。
2024-05-23 cs.AI cs.LG
NICE: Robust Scheduling through Reinforcement Learning-Guided Integer Programming
US Air Force-MIT AI Accelerator（美国空军-麻省理工学院人工智能加速器）；MIT（麻省理工学院）
可编程逻辑程序提供了一个强大的抽象，代表了广泛的现实世界的调度问题。尽管他们能够模拟一般的调度问题，解决大规模整数规划（IP）在实践中仍然是一个计算上的挑战。纳入更复杂的目标，如鲁棒性中断进一步加剧了计算的挑战。我们提出了NICE（神经网络IP系数提取），一种新的技术，结合强化学习和整数规划来解决鲁棒调度问题。更具体地说，NICE使用强化学习来近似表示整数规划公式中的复杂目标。我们使用NICE来确定飞行员的飞行机组时间表分配，以减少中断的影响。我们比较NICE与（1）基线整数规划公式，产生一个可行的船员计划，和（2）一个强大的整数规划公式，明确地试图尽量减少中断的影响。我们的实验表明，在各种情况下，NICE产生的时间表，导致33%至48%的中断比基线配方。此外，在鲁棒整数规划无法在90分钟内生成调度的更严格约束的调度场景中，NICE能够在平均不到2秒的时间内构建鲁棒调度。
2022-04-14 cs.AI cs.LG
StructRL: Recovering Dynamic Programming Structure from Learning Dynamics in Distributional Reinforcement Learning
Ivo Nowak
本文提出StructRL框架，通过分析学习动态中的返回分布时间演变，识别学习信号并引导采样，从而恢复动态规划结构，为强化学习提供新视角。
2026-04-19 cs.AI cs.LG
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
N-Gram Induction Heads for In-Context RL: Improving Stability and Reducing Data Needs
Innopolis University（因诺波利斯大学）；ETH（苏黎世联邦理工学院）
本文提出将n-gram归纳头集成到Transformer中用于上下文强化学习，通过引入n-gram注意力模式显著减少泛化所需数据量并提升训练稳定性，在网格世界和像素环境中达到或超过算法蒸馏（AD）的性能。
2025-02-06 cs.LG
Strong Generalization and Efficiency in Neural Programs
DeepMind
我们研究的问题，学习有效的算法，强烈概括的神经程序归纳的框架。通过仔细设计神经模型的输入/输出接口并通过模仿，我们能够学习对任意输入大小产生正确结果的模型，从而实现强大的泛化能力。此外，通过使用强化学习，我们优化了程序的效率指标，并发现了新的算法，超越了模仿中使用的老师。有了这个，我们的方法可以学习超越各种问题的定制编写的解决方案，因为我们在排序，有序列表中搜索和NP完全0/1背包问题上测试了它，这在神经程序归纳领域树立了一个值得注意的里程碑。作为亮点，我们学习的模型可以在我们测试的任何输入数据大小上完美地执行排序，具有$O(n log n)$复杂性，同时在操作数量上优于手工编码的算法，包括快速排序，即使列表大小远远超过训练期间看到的。
2020-07-08 cs.AI cs.LG cs.NE
Reinforcement Learning-based Heuristics to Guide Domain-Independent Dynamic Programming
University of Toronto（多伦多大学）；National Institute of Informatics（日本信息处理学会）
针对DIDP依赖用户定义对偶界的问题，提出用DQN价值引导和PPO策略引导学习搜索启发式，在相同节点扩展下显著优于标准DIDP及贪婪方法。
2025-05-13 cs.AI cs.LG
Human-Readable Programs as Actors of Reinforcement Learning Agents Using Critic-Moderated Evolution
Vrije Universiteit Brussel（布鲁塞尔自由大学）
针对强化学习黑盒策略可解释性差、蒸馏程序性能低的问题，提出以TD3评论家为遗传算法目标函数、训练中直接合成程序策略的方法，兼具可解释性与高样本效率。
2024-10-29 cs.AI cs.LG
Neuro-symbolic Meta Reinforcement Learning for Trading
APPCAIR, BITS Pilani K.K. Birla Goa Campus（BITS Pilani K.K. Birla Goa校区APPCAIR）；TCS Research（塔塔咨询服务研究部）；IIT Delhi（印度理工学院德里分校）
我们在金融市场中的短期（如日）交易模型作为一个连续的决策问题的不确定性下，与不断的概念漂移增加的复杂性。因此，我们通过RL2算法采用Meta强化学习。人们还知道，人类交易者经常依赖于价格序列中频繁出现的符号模式。我们采用逻辑程序归纳来发现频繁出现的符号模式，以及最近，并探讨使用这些功能是否提高了我们的Meta强化学习算法的性能。我们报告了在真实数据上的实验，表明元RL比香草RL更好，并且也受益于学习的符号特征。
2023-01-15 cs.AI cs.LG cs.LO
Principled Exploration via Optimistic Bootstrapping and Backward Induction
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Tencent Robotics X（腾讯 Robotics X）；Tianjin University（天津大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
一种可证明有效的探索的原则方法是将置信上限（UCB）作为奖励并入价值函数中。然而，UCB被指定用于处理线性和表格设置，并且与深度强化学习（DRL）不兼容。在本文中，我们提出了一个原则性的探索方法DRL通过乐观引导和反向归纳（OB 2 I）。OB 2 I通过DRL中的非参数bootstrap构建了通用的UCB奖金。UCB奖金估计乐观探索的状态-动作对的认知不确定性。我们在线性环境中建立了拟议的UCB奖金和LSVI-UCB之间的理论联系。我们传播未来的不确定性在一个时间一致的方式通过情节向后更新，这利用了理论上的优势，并在经验上提高了样本效率。我们在MNIST迷宫和Atari套件中的实验表明，OB 2 I优于几种最先进的探索方法。
2021-05-17 cs.LG
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur（印度理工学院卡拉格普尔分校）
强化学习（RL）与深度学习（DL）结合的最新进展在复杂任务（包括自动驾驶）中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验，但深度强化学习（DRL）有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习，而不是依赖于RL代理来学习复杂的任务，它使用由结构化程序和多个RL代理组成的层次结构，每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下，从RL代理，导致一个更显着的可解释性和可验证的实现相比，一个复杂的RL代理。不同的驾驶任务，和NHTSA precrash方案使用CARLA，一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Using Natural Language and Program Abstractions to Instill Human Inductive Biases in Machines
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；DeepMind（深度思维）；Princeton University（普林斯顿大学）
强烈的归纳偏见使人类能够快速学习执行各种任务。虽然元学习是一种赋予神经网络有用的归纳偏差的方法，但通过元学习训练的代理有时可能会获得与人类非常不同的策略。我们发现，共同训练这些代理预测表示从自然语言任务描述和程序诱导产生这样的任务引导他们走向更人性化的归纳偏见。人类生成的语言描述和程序归纳模型，添加新的学习原语都包含抽象的概念，可以压缩描述长度。这些表示的共同训练导致下游Meta强化学习代理的行为比不那么抽象的控制（合成语言描述，没有学习原语的程序归纳）更像人类，这表明这些表示支持的抽象是关键。
2023-02-05 cs.AI
Neurogenetic Programming Framework for Explainable Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research Eindhoven（飞利浦埃因霍温研究院）
自动编程，即在没有人类开发人员的情况下生成符合规范的计算机程序的任务，通常通过基于程序突变和重组的遗传编程方法或通过神经语言模型来解决。我们提出了一种新的方法，结合了这两种方法使用的概念，一个虚拟的神经遗传程序员：使用进化方法作为替代梯度下降的神经网络训练}，或团队。我们展示了它为各种OpenAI Gym任务提供高性能和可解释的解决方案的能力，并将专家知识注入到其他数据驱动的解决方案搜索中。
2021-02-08 cs.AI cs.LG cs.NE
From Language to Programs: Bridging Reinforcement Learning and Maximum Marginal Likelihood
Stanford University（斯坦福大学）
我们的目标是学习一个语义解析器，当只有间接监督时，将自然语言语句映射到可执行程序中：示例被标记为正确的执行结果，而不是程序本身。因此，我们必须在程序空间中搜索那些输出正确结果的程序，同时不要被虚假程序误导：不正确的程序碰巧输出正确的结果。我们连接两个常见的学习范式，强化学习（RL）和最大边际似然（MML），然后提出一个新的学习算法，结合两者的优势。新算法通过将MML中传统采用的系统搜索与RL的随机探索相结合，并通过更新参数，使概率在一致的程序中分布得更均匀，来防止虚假程序。我们将我们的学习算法应用到一个新的神经语义解析器，并在最近的上下文相关的语义解析任务上显示出比现有的最先进的结果显着的收益。
2017-04-25 cs.AI cs.LG stat.ML
Towards Mixed Optimization for Reinforcement Learning with Program Synthesis
Google Brain（谷歌大脑）
深度强化学习最近取得了一些突破，尽管学习的策略通常基于黑盒神经网络。这使得它们难以解释，并在学习过程中施加所需的规范约束。我们提出了一个迭代的框架，MORL，使用程序合成，以提高学习的政策。具体地说，我们建议使用合成技术来获得一个符号表示的学习政策，然后可以手动或自动使用程序修复调试。在修复步骤之后，我们使用行为克隆来获得与修复程序相对应的策略，然后使用梯度下降来进一步改进该策略。这个过程一直持续到学习到的策略满足所需的约束。我们实例化MORL简单的CartPole问题，并表明，编程表示允许高层次的修改，从而导致改善学习的政策。
2018-07-03 cs.AI cs.LG stat.ML
Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology（海湾科技大学）
我们提出了一个概率逻辑编程框架，强化学习，通过集成强化学习，在POMDP环境中，与正常的混合概率逻辑程序与概率答案集语义，这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外，我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明，一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言，允许POMDP的因子表示。此外，我们修改了POMDP的原始模型，使它能够区分知识生产行动和行动，改变环境。
2010-11-27 cs.AI
Stochastic Constraint Programming as Reinforcement Learning
Insight Centre for Data Analytics（数据分析洞察中心）；University College Cork（科克大学学院）；University of Edinburgh（爱丁堡大学）；Cankaya University（昌卡亚大学）
随机约束编程（SCP）是约束编程（CP）的扩展，用于建模和解决涉及约束和不确定性的问题。SCP继承了CP优秀的建模能力和滤波算法，但到目前为止，它还没有被应用到大型问题。强化学习（RL）将动态规划扩展到大型随机问题，但它是特定于问题的，没有通用的求解器。我们提出了一个混合的RL的可扩展性与CP的建模和约束过滤方法相结合。我们在CP系统中实现了一个原型，并证明了它对SCP问题的有用性。
2017-04-24 cs.AI
Program Synthesis Guided Reinforcement Learning for Partially Observed Environments
MIT（麻省理工学院）；Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）；Autodesk Research（欧特克研究院）
强化学习的一个关键挑战是解决长期规划问题。最近的工作利用程序来指导这些设置中的强化学习。然而，这些方法给用户带来了很大的手动负担，因为它们必须为每个新任务提供指导程序。部分观察的环境使编程任务进一步复杂化，因为程序必须实现正确且理想地最优地处理环境的隐藏区域的每一种可能配置的策略。我们提出了一种新的方法，模型预测程序合成（MPPS），使用程序合成自动生成的指导程序。它训练一个生成模型来预测世界上未观察到的部分，然后基于该模型的样本以对其不确定性具有鲁棒性的方式合成一个程序。在我们的实验中，我们表明，我们的方法显着优于非程序引导的方法在一组具有挑战性的基准，包括二维Minecraft启发的环境中，代理必须完成一系列复杂的子任务，以实现其目标，并实现了类似的性能，使用手工制作的程序来指导代理。我们的研究结果表明，我们的方法可以获得程序引导的强化学习的好处，而不需要用户提供一个新的指导计划，每一个新的任务。
2021-11-01 cs.AI
Hierarchical Programmatic Reinforcement Learning via Learning to Compose Programs
National Taiwan University（台湾大学）
本文提出分层程序化强化学习框架HPRL，通过学习元策略组合程序嵌入空间中的程序，克服LEAPS受数据集分布限制和信用分配不足的问题，在Karel领域取得优于基线的效果。
2023-05-31 cs.AI cs.LG cs.PL
Programmatically Interpretable Reinforcement Learning
Rice University（莱斯大学）；Google Brain（谷歌大脑）；Deepmind（深度思维）
我们提出了一个强化学习框架，称为程序可解释的强化学习（PIRL），旨在生成可解释和可验证的代理政策。与流行的深度强化学习（DRL）范式不同，它通过神经网络来表示策略，PIRL使用高级的、特定于领域的程序设计语言来表示策略。这种程序化策略的好处是比神经网络更容易解释，并且可以通过符号方法进行验证。我们提出了一种新的方法，称为神经导向程序搜索（NDPS），解决具有挑战性的非光滑优化问题，找到一个最大的奖励计划的政策。NDPS的工作原理是首先使用DRL学习神经策略网络，然后在编程策略上执行本地搜索，以最大限度地减少与这个神经“oracle”的距离。我们评估NDPS的任务，学习驾驶模拟汽车在TORCS赛车环境。我们证明，NDPS是能够发现人类可读的政策，通过一些显着的性能酒吧。我们还表明，PIRL政策可以有更平滑的轨迹，可以更容易地转移到训练过程中没有遇到的环境，比DRL发现相应的政策。
2019-04-10 cs.AI cs.LG cs.PL
From Gameplay Traces to Game Mechanics: Causal Induction with Large Language Models
Institute for Information Processing, Leibniz University Hannover, Germany（汉诺威莱布尼茨大学信息处理研究所）；SDU Metaverse Lab, University of Southern Denmark, Denmark（丹麦南方大学元宇宙实验室）
本文提出利用大语言模型进行因果推理，通过从游戏行为追踪中推断出视频游戏描述语言规则，以更准确地理解游戏机制。
2026-01-30 cs.AI cs.CV cs.LG
Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning
Mila（米拉研究所）；Polytechnique Montréal（蒙特利尔综合理工学院）；Deepmind（深度思维）；Element AI（Element AI公司）；Google AI（谷歌人工智能）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
从观察结果中归纳因果关系是机器学习中的一个经典问题。大多数因果关系的工作都是从因果变量本身被观察到的前提开始的。然而，对于人工智能代理（如试图理解其环境的机器人）来说，唯一的可观察变量是低级变量，如图像中的像素。为了很好地概括，智能体必须引入高级变量，特别是那些因果变量或受因果变量影响的变量。因此，人工智能和因果关系的核心目标是共同发现抽象表示和因果结构。然而，我们注意到，现有的研究因果归纳的环境不太适合这个目标，因为它们具有复杂的任务特定的因果图，不可能参数化地操纵（例如，节点数、稀疏性、因果链长度等）。在这项工作中，我们的目标是促进研究在学习表示的高层次变量以及因果结构之间。为了系统地探索识别这些变量和结构的方法的能力，我们设计了一套基准RL环境。我们评估了文献中的各种表示学习算法，发现在模型中显式地结合结构和模块化可以帮助基于模型的强化学习中的因果归纳。
2021-07-02 cs.LG stat.ML
Forward-Backward Reinforcement Learning
Google Brain（谷歌大脑）；Georgia Institute of Technology（佐治亚理工学院）
强化学习问题的目标通常通过手动指定的奖励来定义。为了设计这样的问题，学习算法的开发人员必须从本质上知道任务目标是什么，但我们经常要求代理自己发现它们，除了这些稀疏的奖励之外没有任何监督。虽然强化学习的大部分力量来自于代理可以在很少的指导下学习的概念，但这一要求极大地加重了训练过程的负担。如果我们放松这一限制，并赋予智能体关于奖励函数的知识，特别是关于目标的知识，我们就可以利用反向归纳来加速训练。为了实现这一点，我们提出训练一个模型来学习从已知的目标状态采取想象的逆转步骤。我们的方法不是专门训练一个智能体来确定如何在时间上向前移动的同时达到一个目标，而是向后移动来共同预测我们是如何到达那里的。我们评估我们在Gridworld和河内塔的工作，并实证证明，它比标准DDQN产生更好的性能。
2018-03-27 cs.AI cs.LG stat.ML
Scheduling That Speaks: An Interpretable Programmatic Reinforcement Learning Framework
Eindhoven University of Technology, Eindhoven, the Netherlands Centrum Wiskunde \& Informatica, Amsterdam, the Netherlands
本文提出了一种可解释的程序化强化学习框架ProRL，通过人类可读且可编辑的程序化策略实现高效调度，解决了传统深度强化学习在透明性和计算效率方面的不足。
2026-05-18 cs.AI cs.LG cs.SC
Unveiling the Decision-Making Process in Reinforcement Learning with Genetic Programming
Hochschule der Medien（Medien学院（斯图加特））；Hochschule Mannheim（曼海姆应用技术大学）；Ruhr-Universität Bochum（波鸿鲁尔大学）
针对强化学习决策不可解释的问题，提出用遗传编程生成可执行程序来模仿智能体，以解释其动作选择，性能与最先进方法相当但资源消耗更低。
2024-07-20 cs.AI cs.LG cs.NE
Theory-based Causal Transfer: Integrating Instance-level Induction and Abstract-level Structure Learning
UCLA（加利福尼亚大学洛杉矶分校）
在相似但不同的环境中学习可转移的知识是广义智能的基本组成部分。在本文中，我们从因果理论的角度来探讨迁移学习的挑战。我们的智能体被赋予了迁移学习的两个基本而通用的理论：（i）任务共享一个通用的抽象结构，该结构在域间是不变的，以及（ii）环境的特定特征的行为在域间保持不变。我们采用贝叶斯因果理论归纳的观点，并使用这些理论在环境之间转移知识。鉴于这些一般理论，目标是通过交互式探索问题空间来训练代理，以（i）发现，形成和转移有用的抽象和结构知识，以及（ii）从环境中观察到的实例级属性中诱导有用的知识。贝叶斯结构的层次结构是用来模拟抽象层次的结构因果知识，和一个实例级的联想学习计划学习哪些特定的对象可以用来诱导状态变化，通过相互作用。这个模型学习计划，然后集成了一个基于模型的计划，以实现在OpenLock环境中的任务，一个虚拟的“密室”与复杂的层次结构，需要代理的原因一个抽象的，广义的因果结构。我们比较了一组占主导地位的无模型强化学习（RL）算法的性能。RL代理在不同的试验中表现出较差的转移学习知识的能力。然而，所提出的模型显示了与人类学习者相似的表现趋势，更重要的是，在试验和学习情况下表现出迁移行为。
2019-11-25 cs.AI cs.LG stat.ML
Program Synthesis Through Reinforcement Learning Guided Tree Search
Princeton University（普林斯顿大学）
程序合成是根据提供的规范生成程序的任务。传统上，这被程序设计语言（PL）社区视为搜索问题，最近被机器学习社区视为监督学习问题。在这里，我们提出了第三种方法，将给定程序的合成任务表示为可通过强化学习（RL）求解的马尔可夫决策过程。从部分程序的状态的观察，我们试图找到一个程序，是最佳的奖励度量对程序和状态。我们在RISC-V汇编语言的一个子集上实例化了这种方法，该语言操作于浮点数，作为PL社区基于搜索的技术的优化，我们将RL与优先级搜索树相结合。我们评估这种实例化，并证明了我们的组合方法的有效性相比，各种基线，包括纯RL消融和最先进的马尔可夫链蒙特卡罗搜索方法在这项任务上。
2018-06-08 cs.AI cs.LG cs.NE
Reinforcement Learning-based Adaptive Path Selection for Programmable Networks
Institute of Informatics, University of Amsterdam（阿姆斯特丹大学信息学院）；Ericsson Research（爱立信研究）
本研究提出分布式网络内强化学习框架，结合随机学习自动机与带内网络遥测数据实现可编程网络自适应路径选择，经测试验证其可快速收敛并适应网络变化。
2025-08-31 cs.LG
Automated quantum programming via reinforcement learning for combinatorial optimization
Stanford University（斯坦福大学）；Rigetti Computing（里盖蒂计算公司）
我们开发了一种基于激励的混合量子经典计算系统的编程方法，使用强化学习，并将其应用于解决模拟和真实的基于门的量子计算机上的组合优化问题。相对于一组随机生成的问题实例，通过强化学习技术训练的智能体能够生成短量子程序，这些程序在两种类型的量子资源上生成高质量的解决方案。我们观察到泛化到训练集之外的问题，以及从模拟量子资源到物理量子资源的泛化。
2019-08-21 cs.LG quant-ph
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
在许多工程实施中，安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而，强化学习算法不能完全保证实际操作的安全性。为了解决这个问题，这项工作采用了控制障碍函数强化学习，并提出了一个补偿算法，完全保持安全。具体而言，已利用平方和规划来搜索最优控制器，并同时调整学习超参数。因此，保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比，本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
Synthesizing Programmatic Reinforcement Learning Policies with Large Language Model Guided Search
National Taiwan University（台湾大学）；Microsoft（微软公司）
本文提出LLM-GS框架，通过Pythonic-DSL策略和Scheduled Hill Climbing算法，利用大语言模型引导搜索高效合成程序化强化学习策略，显著提升样本效率并降低使用门槛。
2025-03-11 cs.AI cs.LG cs.PL
Imitation-Projected Programmatic Reinforcement Learning
Rice University（莱斯大学）；Caltech（加州理工学院）
我们研究了程序化强化学习的问题，在该学习中，策略被表示为符号语言的短程序。编程策略比神经策略更容易解释、更容易推广，更容易接受形式化验证;然而，为这些策略设计严格的学习方法仍然是一个挑战。我们应对这一挑战的方法--一种名为PROPEL的元算法--基于三个见解。首先，我们将我们的学习任务视为策略空间中的优化，对所需策略具有编程表示的约束取模，并使用镜像下降的形式来解决此优化问题，该形式将梯度步骤引入无约束的策略空间，然后投影回约束空间。其次，我们将不受约束的策略空间视为神经和编程表示的混合，这使得能够采用最先进的深度策略梯度方法。第三，我们通过模仿学习将投影步骤转换为程序合成，并利用当代组合方法完成这项任务。我们目前的理论收敛结果PROPEL和经验评估的方法在三个连续的控制域。实验表明，PROPEL可以显着优于国家的最先进的方法学习程序化政策。
2021-01-19 cs.AI cs.LG cs.PL
Breeding Programs Optimization with Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；Wageningen University and Research（瓦赫宁根大学及研究中心）
本文提出用强化学习优化模拟作物育种程序，通过训练智能体基于遗传信息进行选择和杂交决策，并引入Gym环境基准，在真实玉米基因组数据上验证其遗传增益优于传统方法。
2024-06-06 cs.LG
KnowPC: Knowledge-Driven Programmatic Reinforcement Learning for Zero-shot Coordination
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
KnowPC提出用可解释程序替代神经网络策略，通过领域特定语言和知识提取与推理机制，高效搜索程序空间以解决零样本协调问题。
2024-08-08 cs.AI
Deep Reinforcement Learning for Programming Language Correction
Department of Computer Science and Automation（计算机科学与自动化系）；Indian Institute of Science（印度科学研究所）
新手程序员经常为程序设计语言的形式语法而苦恼。为了帮助他们，我们设计了一个新的程序设计语言校正框架服从强化学习。该框架允许代理模仿人类的文本导航和编辑操作。我们证明，代理可以通过自我探索直接从原始输入，即程序文本本身，没有任何知识的正式语法的程序设计语言的培训。我们利用专家演示十分之一的训练数据来加速训练。建议的技术进行评估6975错误的C程序与排版错误，写的学生在介绍编程课程。我们的技术修复了14%以上的程序和29%以上的编译器错误消息，相对于使用完全监督神经机器翻译方法的最先进的工具DeepFix。
2018-01-31 cs.AI cs.PL cs.SE
Interpretable Model-based Hierarchical Reinforcement Learning using Inductive Logic Programming
Georgia Institute of Technology（佐治亚理工学院）
近年来，深度强化学习在广泛的应用中取得了巨大的成功。然而，它缺乏数据效率和可解释性。数据效率很重要，因为与环境交互的成本很高。此外，可解释性可以增加黑盒式深度RL模型的透明度，从而获得用户的信任。在这项工作中，我们提出了一个新的分层框架，通过符号RL，利用符号转换模型，以提高数据效率，并介绍了学习策略的可解释性。该框架由一个高级Agent、一个子任务求解器和一个符号转换模型组成。在不假设任何先验知识的状态转换，我们采用归纳逻辑程序设计（ILP）学习的符号状态转换的规则，引入可解释性，使学习的行为可理解的用户。在实证实验中，我们证实，所提出的框架提供了约30%至40%之间的数据效率比以前的方法。
2021-06-21 cs.LG
Survival Dynamics of Neural and Programmatic Policies in Evolutionary Reinforcement Learning
University of Alberta（阿尔伯塔大学）
研究进化强化学习中神经策略与编程策略的生存动态，通过开源重新实现经典测试平台并进行严格生存分析，发现编程策略在生存性能上超越神经策略，如PERL比NERL平均多存活201.69步。
2026-07-16 cs.LG
PRIMO: Progressive Induction for Multi-hop Open Rule Generation
Southeast University（东南大学）
PRIMO提出渐进式多阶段开放规则生成方法，引入本体信息并采用人类反馈强化学习，显著提升多跳规则的质量与多样性，降低原子重复率。
2024-11-02 cs.AI cs.CL
Leveraging Grammar and Reinforcement Learning for Neural Program Synthesis
University of Oxford（牛津大学）；Microsoft Research（微软研究院）；Google（谷歌）；Deepmind（深度思维）
程序合成是自动生成符合规范的程序的任务。近年来，已经看到了许多用于程序合成的神经方法的提议，其中许多采用类似于神经机器翻译的序列生成范例，其中序列到序列模型被训练以最大化已知参考程序的可能性。虽然取得了令人印象深刻的成果，但这一战略有两个关键的局限性。首先，它忽略了程序别名：许多不同的程序可能满足给定的规范（特别是不完整的规范，如一些输入输出示例）。通过最大化只有一个参考程序的可能性，它惩罚了许多语义正确的程序，这可能会对合成器的性能产生不利影响。其次，这种策略忽略了这样一个事实，即程序有一个严格的语法，可以有效地检查。为了解决第一个限制，我们在监督模型之上执行强化学习，其目标是显式地最大化生成语义正确程序的可能性。为了解决第二个限制，我们引入了一个训练过程，直接最大限度地提高生成语法正确的程序，满足规范的概率。我们表明，我们的贡献导致模型的精度提高，特别是在训练数据有限的情况下。
2018-05-22 cs.LG stat.ML
