好计划难寻：将模型与偏好对齐反而偏离了真正对用户有帮助的目标
A Good Plan is Hard to Find: Aligning Models with Preferences is Misaligned with What Helps Users
AI总结：
本文通过Planorama用户实验发现，用户偏好和智能体成功率无法准确预测LLM计划的实际帮助性，指出对齐应基于真实用户交互反馈而非表面偏好。
摘要：
为了帮助用户完成复杂任务，大语言模型（LLM）会生成计划：即通向目标的逐步指令。虽然对齐方法旨在确保LLM计划具有帮助性，但它们基于用户偏好进行训练（RLHF）或评估（ChatbotArena），并假设这反映了什么对用户真正有帮助。我们通过Planorama对这一假设进行检验：这是一个界面，126名用户在其中借助LLM计划回答300个多步骤问题。我们获得了4388次计划执行和5584次比较，用于衡量计划帮助性（问答成功率）和用户对计划的偏好，并在智能体和奖励模型中重现该设置，以观察它们是否能够模拟或偏好真正对用户有帮助的内容。我们揭示：1）用户/模型偏好和智能体成功率并不能准确预测哪些计划真正帮助用户，因此常见的对齐反馈可能与帮助性发生错位；2）这一差距并非源于用户特定的偏好，因为用户在使用他们偏好或不偏好的计划时成功率相似；3）简洁性和问题相似性等表面线索与偏好强相关，但这类偏差无法预测帮助性。总之，我们认为对齐有帮助的LLM需要来自真实用户交互的反馈，而不仅仅是对“看起来有帮助”的内容的偏好，因此我们讨论了NLP研究者可以执行的计划来解决这一问题。
英文摘要：
To assist users in complex tasks, LLMs generate plans: step-by-step instructions towards a goal. While alignment methods aim to ensure LLM plans are helpful, they train (RLHF) or evaluate (ChatbotArena) on what users prefer, assuming this reflects what helps them. We test this with Planorama: an interface where 126 users answer 300 multi-step questions with LLM plans. We get 4388 plan executions and 5584 comparisons to measure plan helpfulness (QA success) and user preferences on plans, and recreate the setup in agents and reward models to see if they simulate or prefer what helps users. We expose: 1) user/model preferences and agent success do not accurately predict which plans help users, so common alignment feedback can misalign with helpfulness; 2) this gap is not due to user-specific preferences, as users are similarly successful when using plans they prefer/disprefer; 3) surface-level cues like brevity and question similarity strongly link to preferences, but such biases fail to predict helpfulness. In all, we argue aligning helpful LLMs needs feedback from real user interactions, not just preferences of what looks helpful, so we discuss the plan NLP researchers can execute to solve this problem.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
