arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2306.09800cs.LGcs.RO

$\pi2\text{vec}$:基于后继特征的策略表示

$\pi2\text{vec}$: Policy Representations with Successor Features

Istituto Italiano di Tecnologia(意大利技术研究院);Google DeepMind(谷歌DeepMind)

Gianluca Scarpellini, Ksenia Konyushkova, Claudio Fantacci, Tom Le Paine, Yutian Chen, Misha Denil

AI总结:

本文提出 $\pi2\text{vec}$,利用离线数据学习任务无关的策略特征向量表示,以支持离线策略选择,并衔接离线策略评估、基础模型状态表示与资源受限下的高效策略选择。

摘要:

本文介绍了 $\pi2\text{vec}$,这是一种将黑盒策略的行为表示为特征向量的方法。该策略表示以任务无关的方式捕捉基础模型特征的统计量如何随策略行为变化,并且可以从离线数据中训练,使其能够用于离线策略选择。本工作为融合三个现代研究方向提供了关键一环:作为离线 RL 对应物的离线策略评估、作为通用且强大状态表示的基础模型,以及资源受限环境中的高效策略选择。

英文摘要:

This paper describes $\pi2\text{vec}$, a method for representing behaviors of black box policies as feature vectors. The policy representations capture how the statistics of foundation model features change in response to the policy behavior in a task agnostic way, and can be trained from offline data, allowing them to be used in offline policy selection. This work provides a key piece of a recipe for fusing together three modern lines of research: Offline policy evaluation as a counterpart to offline RL, foundation models as generic and powerful state representations, and efficient policy selection in resource constrained environments.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑