基于成对用户偏好的算法优化
Optimizing Algorithms From Pairwise User Preferences
AI总结：
本文提出 SortCMA 方法，通过成对用户偏好在高维空间中优化算法参数配置，无需建模奖励函数，并在深度传感器调优和机器人社交导航任务中验证了其有效性。
摘要：
机器人领域中典型的黑盒优化方法侧重于从度量分数中学习。然而，这并不总是可行的，因为并非所有开发者都能获得真实值（ground truth）。在以人为中心的环境中学习合适的机器人行为通常需要询问用户，而用户通常无法提供精确的度量分数。现有方法利用人类反馈来尝试建模隐式奖励函数；然而，这种奖励可能难以甚至无法被有效捕捉。在这项工作中，我们引入了 SortCMA，以基于成对用户偏好在高维空间中优化算法参数配置。SortCMA 高效且稳健地利用用户输入来寻找参数集，而无需直接建模奖励。我们将该方法应用于在没有真实值的情况下调优商用深度传感器，以及机器人社交导航，后者涉及对机器人行为的高度复杂偏好。我们展示了我们的方法能够成功针对用户目标进行优化，并进行了一项用户研究以评估社交导航结果。
英文摘要：
Typical black-box optimization approaches in robotics focus on learning from metric scores. However, that is not always possible, as not all developers have ground truth available. Learning appropriate robot behavior in human-centric contexts often requires querying users, who typically cannot provide precise metric scores. Existing approaches leverage human feedback in an attempt to model an implicit reward function; however, this reward may be difficult or impossible to effectively capture. In this work, we introduce SortCMA to optimize algorithm parameter configurations in high dimensions based on pairwise user preferences. SortCMA efficiently and robustly leverages user input to find parameter sets without directly modeling a reward. We apply this method to tuning a commercial depth sensor without ground truth, and to robot social navigation, which involves highly complex preferences over robot behavior. We show that our method succeeds in optimizing for the user's goals and perform a user study to evaluate social navigation results.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
