面向扩散规划器中人类偏好对齐的潜嵌入适配方法
Latent Embedding Adaptation for Human Preference Alignment in Diffusion Planners
- Nanyang Technological University（南洋理工大学）
- Continental Automotive Singapore（大陆汽车新加坡公司）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本研究提出一种基于偏好潜嵌入的扩散规划器人类偏好对齐方法，通过偏好反转优化可学习嵌入实现快速个性化适配，在真实人类偏好基准上性能优于RLHF和LoRA等现有方案。
AI中文摘要：
本研究针对自动化决策系统生成轨迹的个性化难题，提出了一种资源高效的方法，可快速适配个体用户的偏好。该方法利用在大规模无奖励离线数据集上训练的、带有偏好潜嵌入（Preference Latent Embeddings，PLE）的预训练条件扩散模型，其中PLE作为捕获特定用户偏好的紧凑表征。通过所提出的偏好反转方法适配预训练模型，该方法直接优化可学习的PLE，与现有方案如基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）和低秩适配（Low-Rank Adaptation，LoRA）相比，实现了更优的人类偏好对齐效果。为更好地贴合实际应用，研究构建了一项基准实验，采用真实人类偏好对多样化的高奖励轨迹进行评估。
英文摘要：
This work addresses the challenge of personalizing trajectories generated in automated decision-making systems by introducing a resource-efficient approach that enables rapid adaptation to individual users' preferences. Our method leverages a pretrained conditional diffusion model with Preference Latent Embeddings (PLE), trained on a large, reward-free offline dataset. The PLE serves as a compact representation for capturing specific user preferences. By adapting the pretrained model using our proposed preference inversion method, which directly optimizes the learnable PLE, we achieve superior alignment with human preferences compared to existing solutions like Reinforcement Learning from Human Feedback (RLHF) and Low-Rank Adaptation (LoRA). To better reflect practical applications, we create a benchmark experiment using real human preferences on diverse, high-reward trajectories.
