通过交互式 LLM 对齐增强社交驱动对话中的用户参与度
Enhancing User Engagement in Socially-Driven Dialogue through Interactive LLM Alignments
AI总结：
本文提出利用对话未来发展的信号作为用户参与度指标，通过 i×MCTS 收集经验对并采用 DPO 方法对齐交互式 LLM，有效提升了社交驱动对话中的用户参与度。
摘要：
通过交互提升用户参与度在社交驱动对话中起着至关重要的作用。尽管先前的工作优化了模型以对相关知识进行推理或规划对话行为流程，但用户参与度与知识或对话行为之间的关系是微妙的，并不能保证在社交驱动对话中的用户参与度。为此，我们使交互式 LLM 能够通过利用来自对话未来发展的信号来学习用户参与度。具体而言，我们采用一个更直接且相关的用户参与度指标，即交互后与对话意图相关的用户反应，作为奖励来对齐交互式 LLM。为了实现这一点，我们开发了一个用户模拟器与目标交互式 LLM 进行交互，并通过 i×MCTS（用于交互的 Monte Carlo Tree Search）探索用户与交互式 LLM 系统之间的交互。通过这种方式，我们收集了一个包含使用 i×MCTS 获得的较高质量和较低质量经验对的数据集，并通过直接偏好优化（DPO）相应地对齐交互式 LLM 以实现高级用户参与度。在两个社交驱动对话场景（情感支持对话和为善劝导）上进行的实验表明，我们的方法有效地增强了交互式 LLM 中的用户参与度。
英文摘要：
Enhancing user engagement through interactions plays an essential role in socially-driven dialogues. While prior works have optimized models to reason over relevant knowledge or plan a dialogue act flow, the relationship between user engagement and knowledge or dialogue acts is subtle and does not guarantee user engagement in socially-driven dialogues. To this end, we enable interactive LLMs to learn user engagement by leveraging signals from the future development of conversations. Specifically, we adopt a more direct and relevant indicator of user engagement, i.e., the user's reaction related to dialogue intention after the interaction, as a reward to align interactive LLMs. To achieve this, we develop a user simulator to interact with target interactive LLMs and explore interactions between the user and the interactive LLM system via \textit{i$\times$MCTS} (\textit{M}onte \textit{C}arlo \textit{T}ree \textit{S}earch for \textit{i}nteraction). In this way, we collect a dataset containing pairs of higher and lower-quality experiences using \textit{i$\times$MCTS}, and align interactive LLMs for high-level user engagement by direct preference optimization (DPO) accordingly. Experiments conducted on two socially-driven dialogue scenarios (emotional support conversations and persuasion for good) demonstrate that our method effectively enhances user engagement in interactive LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
