arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2402.01275cs.NEcs.LG
收藏

参数化任务 MAP-Elites

Parametric-Task MAP-Elites

Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)

Timothée Anne, Jean-Baptiste Mouret

AI总结:

针对连续任务空间下黑盒多任务优化只能处理有限任务的问题,提出 PT-ME,通过逐迭代求解新任务并结合局部线性回归变异算子,形成任务参数到最优解的映射,并在玩具与机器人仿真任务中超过 PPO 等基线。

摘要:

通过利用一组函数之间的相似性同时优化它们,称为多任务优化。当前的黑盒多任务算法只能求解有限的任务集合,即使这些任务源自一个连续空间。本文提出 Parametric-Task MAP-Elites(PT-ME),这是一种面向连续多任务优化问题的新型黑盒算法。该算法:(1)在每次迭代中求解一个新任务,从而有效覆盖连续空间;(2)采用一种基于局部线性回归的新型变异算子。由此产生的解数据集使得构建一个函数成为可能,该函数可将任意任务参数映射到其最优解。我们表明,在两个参数化任务玩具问题和一个仿真机器人问题上,PT-ME 的表现优于所有基线方法,包括深度强化学习算法 PPO。

英文摘要:

Optimizing a set of functions simultaneously by leveraging their similarity is called multi-task optimization. Current black-box multi-task algorithms only solve a finite set of tasks, even when the tasks originate from a continuous space. In this paper, we introduce Parametric-Task MAP-Elites (PT-ME), a new black-box algorithm for continuous multi-task optimization problems. This algorithm (1) solves a new task at each iteration, effectively covering the continuous space, and (2) exploits a new variation operator based on local linear regression. The resulting dataset of solutions makes it possible to create a function that maps any task parameter to its optimal solution. We show that PT-ME outperforms all baselines, including the deep reinforcement learning algorithm PPO on two parametric-task toy problems and a robotic problem in simulation.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑