arXiv 2405.149562024-05-23cs.AIcs.LG

可解释且可编辑的强化学习程序化树策略

Interpretable and Editable Programmatic Tree Policies for Reinforcement Learning

TU Darmstadt（达姆施塔特工业大学）；ATHENE；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Hessian AI（黑森人工智能研究所）；DFKI（德国人工智能研究中心）

Hector Kohler, Quentin Delfosse, Riad Akrour, Kristian Kersting, Philippe Preux

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对深度强化学习策略黑盒导致的目标错位问题，提出INTERPRETER快速蒸馏方法生成可解释可编辑的树程序，在多种任务上匹配基准性能，并能修正Atari游戏错位及解释农业策略。

摘要：

深度强化学习智能体容易产生目标错位问题。其策略的黑盒特性阻碍了对此类错位的检测与修正，也削弱了实际部署所需的信任。迄今为止，学习可解释策略的解决方案要么效率低下，要么需要大量人工先验知识。我们提出INTERPRETER，一种快速蒸馏方法，可为强化学习生成可解释且可编辑的树程序。我们通过实验证明，INTERPRETER生成的紧凑树程序在一系列不同的序贯决策任务上能够匹配oracle（基准专家）的性能，并评估了我们的设计选择对可解释性和性能的影响。我们表明，我们的策略可以被解释和编辑，以修正Atari游戏中的目标错位，并解释真实的农业策略。

英文摘要：

Deep reinforcement learning agents are prone to goal misalignments. The black-box nature of their policies hinders the detection and correction of such misalignments, and the trust necessary for real-world deployment. So far, solutions learning interpretable policies are inefficient or require many human priors. We propose INTERPRETER, a fast distillation method producing INTerpretable Editable tRee Programs for ReinforcEmenT lEaRning. We empirically demonstrate that INTERPRETER compact tree programs match oracles across a diverse set of sequential decision tasks and evaluate the impact of our design choices on interpretability and performances. We show that our policies can be interpreted and edited to correct misalignments on Atari games and to explain real farming strategies.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。