arXiv 2506.196522025-07-08cs.CLcs.AI

超越LLM的定制对话：基于强化学习的对话管理器

Tailored Conversations beyond LLMs: A RL-Based Dialogue Manager

ISIR Sorbonne University Paris, France（索邦大学ISIR研究所巴黎，法国）；CNRS/ISIR Sorbonne University Paris, France（法国国家科学研究中心/索邦大学ISIR研究所巴黎，法国）；CNRS/SANPSY Univ. Bordeaux Bordeaux, France（法国国家科学研究中心/SANPSY大学波尔多，法国）

Lucie Galland, Catherine Pelachaud, Florian Pecune

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出一种结合LLM与基于强化学习的对话管理器框架，通过分层强化学习和元学习提升适应性与效率，在动机性访谈中优于LLM基线，实现特定目标的开放式对话。

摘要：

在这项工作中，我们提出了一种新颖的框架，将大型语言模型（LLMs）与基于强化学习的对话管理器相结合，用于具有特定目标的开放式对话。通过利用分层强化学习来建模对话的结构化阶段，并采用元学习来增强对不同用户画像的适应性，我们的方法提升了适应性和效率，使系统能够从有限的数据中学习，在对话阶段之间流畅转换，并针对异质患者需求进行个性化响应。我们将该框架应用于动机性访谈，旨在促进行为改变，并证明所提出的对话管理器在奖励方面优于最先进的LLM基线，显示出条件化LLM以创建具有特定目标的开放式对话系统的潜在益处。

英文摘要：

In this work, we propose a novel framework that integrates large language models (LLMs) with an RL-based dialogue manager for open-ended dialogue with a specific goal. By leveraging hierarchical reinforcement learning to model the structured phases of dialogue and employ meta-learning to enhance adaptability across diverse user profiles, our approach enhances adaptability and efficiency, enabling the system to learn from limited data, transition fluidly between dialogue phases, and personalize responses to heterogeneous patient needs. We apply our framework to Motivational Interviews, aiming to foster behavior change, and demonstrate that the proposed dialogue manager outperforms a state-of-the-art LLM baseline in terms of reward, showing a potential benefit of conditioning LLMs to create open-ended dialogue systems with specific goals.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。