A Generative User Simulator with GPT-based Architecture and Goal State Tracking for Reinforced Multi-Domain Dialog Systems
Tsinghua University(清华大学);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院);China Mobile Research Institute(中国移动研究院)
为面向任务的对话系统(DS)的强化学习(RL)构建用户模拟器(US)已受到越来越多的关注,但仍面临一些基本挑战。首先,目前还不清楚我们是否可以利用预训练的语言模型来设计,例如,基于GPT-2的US,以赶上最近先进的基于GPT-2的DS并与之交互。其次,US的一个重要组成部分是用户目标可以被有效地整合和跟踪;但如何灵活地集成目标状态跟踪并开发多领域的端到端可训练US仍然是一个挑战。在这项工作中,我们提出了一个生成式用户模拟器(GUS)与GPT-2为基础的架构和目标状态跟踪对解决上述两个挑战。在MultiWOZ2.1上进行了大量的实验。分别使用GUS、经典的基于ARMA的用户模拟器(ABUS)和其他消融模拟器通过RL训练不同的DS,并比较跨模型评估、基于语料库的评估和人类评估。GUS在所有三项评估任务中均取得了优异的结果。
2022-10-18 cs.AI cs.CL
DialSim: A Dialogue Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversational Agents
KAIST(韩国科学技术院);SNU(釜山大学)
针对现有对话智能体评估忽视多方对话与长期依赖的问题,提出DialSim模拟评估框架及LongDialQA数据集,发现大上下文或RAG模型仍难以保持长期多方理解,凸显更真实基准的必要性。
2025-09-26 cs.AI cs.CL
Iterative Policy Learning in End-to-End Trainable Task-Oriented Neural Dialog Models
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个深度强化学习(RL)框架,用于端到端面向任务的对话系统中的迭代对话策略优化。使用RL学习对话策略的流行方法包括让对话代理学习用户模拟器。然而,构建一个可靠的用户模拟器并不简单,它通常和构建一个好的对话代理一样困难。我们通过模拟两个代理之间的对话来联合优化对话代理和具有深度RL的用户模拟器来解决这一挑战。我们首先引导一个基本的对话代理和一个基本的用户模拟器直接从对话语料库与监督训练。然后,我们通过让两个代理进行面向任务的对话并使用深度RL迭代优化其策略来进一步改进它们。对话代理和用户模拟器都是用可以端到端训练的神经网络模型设计的。我们的实验结果表明,与监督训练和单智能体RL训练基线模型相比,所提出的方法在任务成功率和总任务奖励方面都有很大的改进。
2017-09-18 cs.CL
Reliable LLM-based User Simulator for Task-Oriented Dialogue Systems
Telepathy Labs GmbH
本文提出领域感知用户模拟器DAUS,通过在大语言模型上微调真实任务型对话数据,显著提升用户目标达成率并有效抑制幻觉,为任务型对话系统提供更可靠的评估与增强手段。
2024-02-20 cs.CL
Neural User Simulation for Corpus-based Policy Optimisation for Spoken Dialogue Systems
Cambridge University Engineering Department(剑桥大学工程系)
用户模拟器是实现面向任务的对话系统离线训练的主要工具之一。对于这个任务,通常使用基于XML的用户模拟器(ABUS)。ABUS是基于手工制作的规则,其输出是语义形式。这两个属性都会产生问题,例如有限的多样性和无法连接文本级信念跟踪器。本文介绍了神经用户模拟器(NUS),其行为是从语料库中学习,并生成自然语言,因此需要一个更少的标记数据集比模拟器生成的语义输出。在这个主题上,它评估用户模拟器基于语料库的指标的过去的工作相比,我们使用NUS训练的政策,强化学习为基础的口语对话系统。通过评估使用模拟器训练的策略,将NUS与ABUS进行比较。进行跨模型评估,即在一个模拟器上进行训练,在另一个模拟器上进行测试。此外,经过训练的策略在真实用户上进行测试。在这两项评估任务中,NUS的表现都优于ABUS。
2018-05-17 cs.AI cs.CL stat.ML
Towards a Universal NLG for Dialogue Systems and Simulators with Future Bridging
MediaTek Research(联发科研究院);Imperial College London(帝国理工学院)
在对话系统流水线中,自然语言生成(NLG)单元将对话方向和内容转换为相应的自然语言实现。对话系统的最近趋势是首先在大型数据集上进行预训练,然后使用用特定于应用的特征注释的数据集以监督的方式进行微调。虽然可以从自定义注释中学习新的行为,但所需的工作量严重限制了训练集的数量,并且特定于应用程序的性质限制了重用。鉴于最近成功的数据驱动的方法,我们提出了新的未来桥接NLG(FBNLG)概念的对话系统和模拟器。关键的一步是FBNLG接受未来的用户或系统话语,以桥接当前的上下文。未来的桥接可以在无注释的数据集上进行自我监督训练,将NLG的训练与系统的其他部分解耦。一个FBNLG,预先训练了大量的数据集,预计将适用于经典或新的对话场景,以最小的适应工作。我们评估了一个原型FBNLG表明,未来的桥接可以是一个可行的方法,一个通用的Few-Shot NLG面向任务和聊天对话。
2021-05-24 cs.AI cs.CL cs.LG
Generating Diverse Personas for User Simulators to Test Interview Dialogue Systems
C4A Research Institute, Inc.(C4A研究所);SANKEN, University of Osaka(大阪大学SANKEN研究所);Musashi University(武藏野大学)
针对面试对话系统测试人力成本高的问题,提出用大语言模型自动生成带沟通风格人格特质的多样化角色的用户模拟器,实验显示其生成话语的变化性更大。
2026-08-21 cs.CL cs.HC
Learning Robust Dialog Policies in Noisy Environments
Amazon Inc(亚马逊公司);Brown University(布朗大学)
现代虚拟个人助理提供了一个方便的界面,通过语音命令完成日常任务。这些助理的一个重要考虑因素是从自动语音识别(ASR)和自然语言理解(NLU)错误中恢复的能力。在本文中,我们专注于学习强大的对话策略来从这些错误中恢复。为此,我们开发了一个用户模拟器,该模拟器在具有嘈杂音频的现实场景中通过语音命令与助手进行交互,并使用它通过深度强化学习来学习对话策略。我们表明,我们的模拟器生成的对话框是无法区分的人类生成的对话框,由人类评估。此外,初步的实验结果表明,在嘈杂的环境中学习的政策实现相同的执行成功率与更少的对话轮相比,固定的基于规则的政策。
2017-12-11 cs.AI cs.CL
Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems
Shandong University(山东大学);Bloomberg(彭博);University of Amsterdam(阿姆斯特丹大学)
本文提出模拟用户类比思维的隐喻式用户模拟器及基于测试器的变体生成框架,用于端到端任务导向对话系统评估,并在三个数据集上验证其更贴近人工评估。
2023-11-02 cs.CL cs.IR
SimRPD: Optimizing Recruitment Proactive Dialogue Agents through Simulator-Based Data Evaluation and Selection
Zhaopin Limited(智聘有限公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Automation,Beijing Institute of Technology(北京理工大学自动化学院);Central University of Finance and Economics(中央财经大学);Beihang University(北航);Independent Researcher(独立研究者)
研究针对招聘主动对话代理训练数据稀缺问题,提出SimRPD框架。通过高保真用户模拟器合成数据,基于意图链的评估框架选数据,在所选数据集上训练代理。实验证明该框架优于现有策略,有工业部署价值和其他场景适用性。
2026-07-10 cs.AI
Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System
National University of Singapore(新加坡国立大学);University College London(伦敦大学学院);Nanyang Technology University(南洋理工大学)
针对大语言模型直接用于任务型对话表现不佳的问题,提出UGRO方法,将LLM作为无标注用户模拟器评估对话响应,结合较小的微调TOD模型生成高满意度回复,在两个TOD基准上超越了先前SOTA结果。
2023-10-19 cs.CL
SpokenUS: A Spoken User Simulator for Task-Oriented Dialogue
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);Department of Information Systems, Hanyang University(翰阳大学信息系统系);Department of Computer Science and Engineering, Seoul National University(首尔国立大学计算机科学与工程系)
本文提出SpokenUS,一种基于任务导向对话的语音用户模拟器,通过引入四种语音用户行为,提升了对话系统的鲁棒性与实用性。
2026-09-02 cs.CL
Exploring Personality-Aware Interactions in Salesperson Dialogue Agents
National Taiwan University(台湾大学)
本研究通过大规模测试,基于MBTI人格类型评估销售对话代理的交互质量与性能,揭示人格对交互动态和任务完成率的影响,并发布通用用户模拟器以支持个性化对话系统研究。
2025-04-25 cs.AI cs.CL
Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration
Columbia University(哥伦比亚大学);University of California Davis(加州大学戴维斯分校);Intel Labs(英特尔研究院)
说服性对话系统反映了机器在口头交流之外进行战略行动的能力,因此区别于面向任务或开放领域的对话系统,具有自己独特的价值。然而,重复和不一致的问题仍然存在于对话响应生成中,并且可能严重影响用户体验并阻碍说服结果。此外,尽管强化学习(RL)方法在游戏等战略任务中取得了巨大成功,但它们需要一个复杂的用户模拟器来向对话系统提供实时反馈,这限制了RL在说服对话中的应用。为了解决这些问题,以更好的说服对话系统,我们应用强化学习细化语言模型基线没有用户模拟器,并通过奖励提取重复,不一致和任务相关性的重复级别的信息。此外,为了更好地完成说服任务,该模型从人类示范学习模仿人类的说服行为,并选择最有说服力的反应。实验结果表明,该模型在捐赠说服任务中的自动评价和人工评价结果均优于现有的对话模型,并根据用户反馈生成更多样化、一致性和说服力更强的对话。
2022-10-22 cs.AI cs.CL
DIAL: Direct Iterative Adversarial Learning for Realistic Multi-Turn Dialogue Simulation
Slingshot AI;Department of Engineering, University of Cambridge(工程系,剑桥大学);Department of Psychiatry, NYU School of Medicine(精神病学系,纽约大学医学院)
DIAL通过对抗训练提升多轮对话模拟的真实性,有效恢复词汇多样性并降低鉴别器准确性,适用于心理健康支持等复杂领域。
2026-11-05 cs.CL
Domain-independent User Simulation with Transformers for Task-oriented Dialogue Systems
Heinrich Heine University Dusseldorf(杜塞尔多夫海因里希·海涅大学);University of Cambridge(剑桥大学)
通过强化学习优化对话策略需要大量的训练交互,这使得与真实用户的学习耗时且昂贵。因此,许多设置依赖于用户模拟器而不是人类。这些用户模拟器有自己的问题。虽然手工编码,基于规则的用户模拟器已被证明是足够的小,简单的领域,复杂的领域的规则的数量很快变得棘手。另一方面,最先进的数据驱动的用户模拟器仍然依赖于域。这意味着适应每一个新领域都需要重新设计和再培训。在这项工作中,我们提出了一个域独立的基于变压器的用户模拟器(TUS)。TUS的结构不依赖于特定的领域,从而实现了领域概括和从数据中学习跨领域用户行为。我们比较TUS与使用自动和人工评估的最新技术水平。TUS可以在预定义的领域与基于规则的用户模拟器竞争,并且能够以zero-shot的方式推广到看不见的领域。
2021-06-16 cs.CL
A Sequence-to-Sequence Model for User Simulation in Spoken Dialogue Systems
Maluuba Research(马鲁巴研究院)
用户模拟对于生成足够的数据来训练统计口语对话系统是必不可少的。以前的用户模拟模型有几个缺点,如无法考虑到对话历史,需要刚性的结构,以确保连贯的用户行为,严重依赖于一个特定的域,无法输出几个用户的意图在一个对话回合,或要求一个概括的动作空间的易处理性。本文介绍了一种数据驱动的用户模拟器的基础上的编码器-解码器的递归神经网络。该模型将一系列对话上下文作为输入,并输出与用户意图相对应的一系列对话行为。对话上下文包括关于机器动作和用户目标的状态的信息。我们在对话状态跟踪挑战2(DSTC 2)数据集上显示,根据F分数,序列到序列模型的性能优于基于martina的模拟器和n-gram模拟器。此外,我们展示了如何使用这个模型可以在原来的动作空间,从而更精细的粒度用户行为模型。
2016-06-30 cs.CL
Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems
Microsoft Research AI(微软研究院人工智能);Microsoft Corporation(微软公司)
传统上,构建面向任务的对话系统的行业解决方案依赖于帮助对话作者定义基于规则的对话管理器,表示为对话流。虽然对话流可以直观地解释,并且适合简单的场景,但在处理复杂对话框所需的灵活性方面,它们的性能不足。另一方面,纯机器学习的模型可以处理复杂的对话,但它们被认为是黑箱,需要大量的训练数据。在这个演示中,我们展示了对话学习者,一个用于构建对话管理器的机器教学工具。它结合了两种方法的优点,使对话作者能够使用熟悉的工具创建对话流,将对话流转换为参数模型(例如,神经网络),并且允许对话作者改进对话管理器(即,参数模型)通过利用用户-系统对话日志作为机器教导接口的训练数据。
2020-05-01 cs.AI cs.CL
Teaching Models new APIs: Domain-Agnostic Simulators for Task Oriented Dialogue
Facebook AI Research(Facebook AI研究院);Facebook Reality Labs
我们证明,大语言模型能够模拟面向任务的对话在新的领域,只提供一个API实现和目标列表。我们表明,这些模拟可以制定在线,自动的指标,以及与人类的评价。此外,通过检查是否满足用户的目标,我们可以使用模拟来重复生成训练数据并提高模拟本身的质量。在没有人为干预或特定领域的训练数据的情况下,我们的模拟引导端到端模型,在以前看不见的领域中实现了37%的错误减少。通过包含多达32个特定于领域的会话,自举模型可以与具有$10\times$更多数据的全监督模型的性能相匹配。据我们所知,这是第一次模拟被证明在引导模型时是有效的,而不需要任何特定领域的训练数据、规则工程或人工参与。
2021-10-13 cs.CL
User Modeling for Task Oriented Dialogues
Google AI(谷歌人工智能)
我们介绍了端到端的神经网络为基础的模型,用于模拟面向任务的对话系统的用户。对话系统中的用户模拟从两个不同的角度来看是至关重要的:(i)不同对话模型的自动评估,以及(ii)训练面向任务的对话系统。我们设计了一个分层的序列到序列模型,首先编码的初始用户的目标和系统变成固定长度的表示使用递归神经网络(RNN)。然后,它使用另一个RNN层对对话历史进行编码。在每一轮中,用户响应都是从对话级别RNN的隐藏表示中解码出来的。这种层次化的用户模拟器(HUS)方法允许模型捕获用户目标中未被发现的部分,而不需要显式的对话状态跟踪。我们进一步开发了几个变种,利用潜变量模型注入随机变化到用户响应,以促进模拟用户响应的多样性和一种新的目标正则化机制,以惩罚用户响应偏离初始用户目标。我们评估电影票预订领域的建议模型,系统地互动每个用户模拟器与各种对话系统政策训练与不同的目标和用户。
2018-11-11 cs.AI cs.CL cs.LG
Prototypical Q Networks for Automatic Conversational Diagnosis and Few-Shot New Disease Adaption
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能)
口语对话系统已经在许多领域中得到应用,包括用于自动会话诊断的医疗领域。最先进的对话管理器通常由深度强化学习模型驱动,例如深度Q网络(DQN),它通过与模拟器交互来探索整个动作空间,因为真实的对话是有限的。然而,基于DQN的自动诊断模型在适应新的、未知的疾病时,只有很少的训练样本,不能达到令人满意的性能。在这项工作中,我们提出了原型Q网络(ProtoQN)作为自动诊断系统的对话管理器。该模型通过医生和患者之间的真实对话计算原型嵌入,更有效地从他们和模拟器增强的对话中学习。我们使用Muzhi语料库创建了监督学习和少样本学习任务。实验表明,ProtoQN在监督和少样本学习场景中的性能均显著优于基线DQN模型,并实现了最先进的少样本学习性能。
2020-05-19 cs.AI cs.CL
Is MultiWOZ a Solved Task? An Interactive TOD Evaluation Framework with User Simulator
Fudan University(复旦大学);Midea Group Co Ltd(美的集团股份有限公司)
面向任务的对话(Task-Oriented dialogue,TOD)系统在近年来的研究中受到越来越多的关注。目前的方法侧重于构建预训练模型或微调策略,而TOD的评估受到政策不匹配问题的限制。也就是说,在评估期间,用户话语来自带注释的数据集,而这些话语应当与除了带注释的文本之外还可以具有许多替代方案的先前响应交互。因此,在这项工作中,我们提出了一个互动的评估框架,为TOD。我们首先建立一个面向目标的用户模拟器基于预先训练的模型,然后使用用户模拟器与对话系统进行交互,以生成对话。此外,我们还引入了会话水平和会话水平的分数来衡量句子流畅性和会话连贯性。实验结果表明,我们提出的用户模拟器训练的基于RL的TOD系统可以达到近98%的通知率和成功率在MultiWOZ数据集的交互式评估和建议的分数衡量响应质量除了通知率和成功率。我们希望,我们的工作将鼓励基于模拟器的互动评估在TOD任务。
2022-10-26 cs.CL
"Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs
China Mobile Research(中国移动研究院)
多动作对话策略(MADP),它产生多个原子对话动作,已被广泛应用于面向任务的对话系统,以提供富有表现力的和有效的系统响应。现有的MADP模型通常从标记的多动作对话样本中模仿动作组合。由于数据的限制,它们对看不见的对话流的概括性很差。虽然交互式学习和强化学习算法可以应用于合并真实用户和用户模拟器的外部数据源,但它们需要大量的手动工作来构建并且具有不稳定性。为了解决这些问题,我们提出了规划增强对话策略(PEDP),一种新的多任务学习框架,学习单动作对话动态,以增强多动作预测。我们的PEDP方法采用基于模型的规划,通过模拟单动作对话框,在决定当前响应之前构思要表达的内容。在MultiWOZ数据集上的实验结果表明,我们基于完全监督学习的方法实现了90.6%的可靠任务成功率,与最先进的方法相比提高了3%。
2022-04-25 cs.AI cs.CL
Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning
Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);National Taiwan University(台湾大学)
通过强化学习(RL)训练任务完成对话代理是昂贵的,因为它需要与真实用户进行许多交互。一种常见的替代方法是使用用户模拟器。然而,用户模拟器通常缺乏人类对话者的语言复杂性,并且其设计中的偏见可能会降低代理。为了解决这些问题,我们提出了Deep Dyna-Q,据我们所知,它是第一个集成了任务完成对话策略学习规划的深度RL框架。我们纳入对话代理的环境模型,称为世界模型,模仿真实的用户响应,并产生模拟的经验。在对话策略学习过程中,世界模型不断更新真实的用户体验,以接近真实的用户行为,反过来,对话代理使用真实的经验和模拟的经验进行优化。我们的方法的有效性证明了在模拟和人在循环设置的电影票预订任务。
2018-05-23 cs.AI cs.CL cs.LG
Few-Shot Structured Policy Learning for Multi-Domain and Multi-Task Dialogues
LIA - Avignon University(法国艾维尼翁大学LIA实验室);Orange Innovation(Orange创新公司);Avignon University(艾维尼翁大学)
强化学习已被广泛采用,以模拟面向任务的对话中的对话管理器。然而,由最先进的对话框架提供的用户模拟器只是人类行为的粗略近似。因此,从少量人类交互中学习的能力至关重要,特别是在动作空间很大的多域和多任务环境中。因此,我们建议使用结构化的政策,以提高样本效率时,学习这些类型的环境。我们还评估了从人类与模拟专家学习的影响。在我们测试的不同层次的结构中,图神经网络(GNNs)显示出显着的优越性,当从模拟专家那里学习时,只有50个对话就达到了80%以上的成功率。他们在向人类专家学习时也表现出优越性,尽管观察到性能下降,这表明在捕捉人类策略的可变性方面可能存在困难。因此,我们建议将未来的研究工作集中在弥合人类数据,模拟器和对话框架中的自动评估器之间的差距上。
2023-02-22 cs.CL
Challenges in Building Intelligent Open-domain Dialog Systems
Tsinghua University(清华大学);Microsoft Research(微软研究院)
由于大量会话数据的可用性以及最近在会话AI的神经方法方面的进展,开发智能开放域对话系统的兴趣重新燃起。与传统的面向任务的机器人不同,开放域对话系统旨在通过满足人类对沟通、情感和社会归属感的需求,与用户建立长期联系。本文回顾了最近的神经方法,致力于解决三个挑战,在开发这样的系统:语义,一致性和交互性的工作。语义学要求对话系统不仅要理解对话的内容,而且要在对话过程中识别用户的社交需求。一致性要求系统表现出一致的个性,以赢得用户的信任并获得他们的长期信心。互动性是指系统产生人际反应以实现特定社交目标(如娱乐、协调和任务完成)的能力。我们选择在这里展示的作品是基于我们的独特观点,并不完整。尽管如此,我们希望讨论将激发新的研究,开发更智能的对话系统。
2020-02-28 cs.AI cs.CL
A Hybrid Task-Oriented Dialog System with Domain and Task Adaptive Pretraining
DiDi AI Labs(滴滴人工智能实验室)
本文介绍了我们提交的端到端多域任务完成对话框共享任务在第九届对话系统技术挑战赛(DSTC-9)。共享任务的参与者建立一个端到端的任务完成对话系统,该系统由人工评估和基于用户模拟器的自动评估来评估。与传统的流水线方法不同,传统的流水线方法中模块被单独优化并遭受级联故障,我们提出了一个端到端的对话系统,1)使用生成预训练2(GPT-2)作为骨干,以联合解决自然语言理解,对话状态跟踪和自然语言生成任务,2)采用领域和任务自适应预训练来调整GPT-2以适应对话领域,3)利用启发式预/后处理规则,其极大地简化了预测任务并提高了可推广性,以及4)装备容错模块以校正错误和不适当的响应。我们提出的方法显着优于基线和领带的第一位,在官方评估。我们公开我们的源代码。
2021-02-08 cs.AI cs.CL
Manual-Guided Dialogue for Flexible Conversational Agents
Tsinghua University(清华大学);Tencent Inc.(腾讯公司);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);WeChat AI, Tencent Inc.(腾讯微信人工智能部)
如何有效地构建和使用对话数据,以及如何在不同领域大规模部署模型是构建面向任务的对话系统的两个关键问题。在本文中,我们提出了一种新的手动引导对话计划,以减轻这些问题,代理学习的任务,从对话和手册。该手册是一个非结构化的文本文档,指导代理在对话期间与用户和数据库进行交互。我们提出的方案减少了对话模型对细粒度领域本体的依赖,使它们更灵活地适应不同的领域。然后,我们贡献了一个完全注释的多域数据集MagDial来支持我们的计划。它介绍了三个对话建模子任务:指令匹配,参数填充和响应生成。对这些子任务进行建模与人类代理的行为模式是一致的。实验表明,人工引导的对话方案提高了数据效率和领域的可扩展性,在建立对话系统。数据集和基准将公开提供,以促进未来的研究。
2022-08-16 cs.AI cs.CL
Simulated Chats for Building Dialog Systems: Learning to Generate Conversations from Instructions
IBM Research AI(IBM研究院);International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院)
流行的对话数据集(如MultiWOZ)是通过向群组工作人员提供以自然语言表达的指令来创建的,该指令描述了要完成的任务。人群工作者扮演用户和代理的角色,生成对话来完成预订餐厅餐桌,叫出租车等任务。在本文中,我们提出了一种数据创建策略,使用预先训练好的语言模型,GPT 2,通过创建一个用户机器人和一个代理机器人来模拟人群工作者之间的交互。我们训练模拟器时,只使用一小部分实际人群生成的对话及其相应的指令。我们证明,通过使用模拟数据,我们在两个公开可用的数据集-MultiWOZ数据集和Persona聊天数据集上实现了低资源设置的显着改进。
2021-10-20 cs.AI cs.CL
Building Task-Oriented Visual Dialog Systems Through Alternative Optimization Between Dialog Policy and Language Generation
University of California, Davis(加州大学戴维斯分校)
强化学习(Reinforcement learning,RL)是面向任务的可视化对话系统学习最优对话策略的有效方法。一种常见的做法是在神经序列到序列(seq2seq)框架上应用RL,其中动作空间是解码器中的输出词汇表。然而,很难设计一个奖励函数,可以在学习有效的策略和生成自然的对话响应之间实现平衡。本文提出了一种新的框架,交替训练图像猜测的RL策略和监督seq2seq模型,以提高对话生成质量。我们评估我们的框架上的GuessWhich任务和框架实现了国家的最先进的性能,在任务完成和对话质量。
2019-10-28 cs.AI cs.CL cs.LG
Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation
Tsinghua University(清华大学);Microsoft Research(微软研究院)
人们对开发面向目标的对话系统越来越感兴趣,该系统通过多轮对话为用户完成复杂任务提供服务。虽然设计了许多方法来评估和提高单个对话组件的性能,但缺乏对不同组件如何对对话系统的整体性能做出贡献的全面实证研究。在本文中,我们进行了系统的评估,并提出了不同类型的对话系统,这是由不同的模块在不同的设置进行了实证分析。我们的研究结果表明,(1)使用不同组件级别的细粒度监督信号训练的管道对话系统通常比使用粗粒度标签训练的联合或端到端模型的系统获得更好的性能,(2)组件方面的单轮评估结果并不总是与对话系统的整体性能一致,(3)尽管模拟器和人类用户之间存在差异,但模拟评估仍然是昂贵的人类评估的有效替代方案,特别是在开发的早期阶段。
2020-05-15 cs.AI cs.CL
Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System
Nagoya University(名古屋大学)
本文介绍Team Flow在DRC2023中开发的旅行代理对话系统,通过构建共同基础和基于文本的轮流发言,提升对话机器人的交互自然度。
2023-12-21 cs.AI cs.CL cs.RO
EmoUS: Simulating User Emotions in Task-Oriented Dialogues
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
提出 EmoUS 用户模拟器,结合用户目标、历史与角色生成情绪、语义动作和回复,并作为探针评估对话系统对用户情绪状态的影响。
2023-06-02 cs.CL
Automatic Curriculum Learning With Over-repetition Penalty for Dialogue Policy Learning
School of software engineering, South China University of Technology(华南理工大学软件学院)
基于强化学习的对话策略学习由于成本高,难以应用于真实用户,从头开始训练对话代理。用户模拟器,它选择随机的用户目标的对话代理训练,已被认为是一个负担得起的替代品,真正的用户。然而,这种随机抽样的方法忽略了人类学习的规律,使得学习的对话策略效率低下且不稳定。提出了一种新的基于自动课程学习的深度Q网络(ACL-DQN)框架,该框架用教师策略模型代替传统的随机抽样方法,实现了自动课程学习的对话策略。教师模型安排一个有意义的有序课程,并通过监测对话代理的学习进度和过度重复惩罚来自动调整它,而不需要任何先验知识。对话Agent的学习进度反映了对话Agent的能力与目标采样难度之间的关系,以达到样本效率。过重复惩罚保证了采样的多样性。实验表明,ACL-DQN显着提高了对话任务的有效性和稳定性,具有统计上显着的余量。此外,该框架还可以通过配备不同的课程表来进一步完善,这表明该框架具有很强的通用性。
2020-12-28 cs.AI cs.CL
clem:todd: A Framework for the Systematic Benchmarking of LLM-Based Task-Oriented Dialogue System Realisations
Computational Linguistics, Department of Linguistics University of Potsdam(普腾多夫大学语言学系);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出clem:todd框架,用于在统一条件下系统基准测试基于LLM的任务型对话系统,支持用户模拟器与对话系统的即插即用组合评估,并通过重新评估现有系统及集成三个新系统,揭示了架构、规模和提示策略对对话性能的影响。
2025-07-21 cs.CL
Multi-turn Dialog System on Single-turn Data in Medical Domain
University of California Santa Cruz(加州大学圣克鲁兹分校);Weill Cornell Medicine(威尔康奈尔医学院);Penn State University(宾夕法尼亚州立大学)
最近,人们对对话系统产生了极大的兴趣。这种兴趣也已经在医学领域的领域中发展,其中研究人员正专注于在医学领域中构建对话系统。本研究的重点是在多轮对话数据上训练的多轮对话系统。在医疗领域,很难收集到经过专业人士验证的、可以信任的大量多轮会话数据。然而,有几个常见问题(FAQ)或单轮QA对,其中包含专家验证的信息,可用于构建多轮对话系统。
2021-05-27 cs.AI cs.CL
A Multimodal Dialogue System for Conversational Image Editing
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
在本文中,我们提出了一个多模态对话系统的对话图像编辑。我们将我们的多模态对话系统制定为部分观察马尔可夫决策过程(POMDP),并使用深度Q网络(DQN)和用户模拟器对其进行训练。我们的评估表明,DQN政策优于基于规则的基线政策,在高出错率下达到90\%的成功率。我们还进行了真实用户研究并分析了真实用户行为。
2020-02-16 cs.CL
Two Approaches to Building Collaborative, Task-Oriented Dialog Agents through Self-Play
DiDi Labs(滴滴实验室)
面向任务的对话系统通常在人/人对话上训练,例如从向导界面收集。然而,人类/人类语料库往往太小,监督训练是有效的。本文研究了两种通过自我游戏训练代理机器人和用户机器人的方法,在这种方法中,他们自主探索API环境,发现使他们能够解决任务的通信策略。我们给出了强化学习和博弈论均衡发现的实证结果。
2021-09-20 cs.AI cs.CL cs.GT
Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
编码器-解码器对话模型是用于在复杂领域中构建对话系统的最突出的方法之一。然而,它是有限的,因为它不能输出可解释的行动,在传统的系统,这阻碍了人类理解其生成过程。我们提出了一个无监督的离散句子表示学习方法,可以与任何现有的编码器-解码器对话模型,可解释的响应生成。在变分自编码器(VAE)的基础上,我们提出了两种新的模型DI-VAE和DI-VST,它们改进了VAE,并且可以通过自动编码或上下文预测来发现可解释的语义。我们的方法已经在真实世界的对话数据集上进行了验证,以发现语义表示并增强具有可解释生成的编码器-解码器模型。
2018-04-22 cs.AI cs.CL
From Simulation to Strategy: Automating Personalized Interaction Planning for Conversational Agents
Department of Computer Science and Information Engineering(计算机科学与信息工程系);National Taiwan University(台湾大学)
本文提出了一种基于职业信息的轻量级策略,用于优化销售导向对话代理的个性化交互规划,通过调整对话意图提升对话效果。
2025-12-05 cs.CL
GenTUS: Simulating User Behaviour and Language in Task-oriented Dialogues with Generative Transformers
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
用户模拟器(US)通常用于通过强化学习来训练面向任务的对话系统(DS)。为了提高效率,交互通常发生在语义级别上,但是从语义动作到自然语言仍然存在差距,这导致训练和部署环境之间的不匹配。在训练过程中使用US来描述自然语言生成(NLG)模块可以部分地处理这个问题。然而,由于US的策略和NLG是单独优化的,因此这些模拟的用户话语在给定的上下文中可能不够自然。在这项工作中,我们提出了一个基于生成变换的用户模拟器(GenTUS)。GenTUS由编码器-解码器结构组成,这意味着它可以同时优化用户策略和自然语言生成。Gentus生成语义动作和自然语言话语,保持可解释性并增强语言变化。此外,通过将输入和输出表示为单词序列,并通过使用大型预训练的语言模型,我们可以实现特征表示的通用性。我们通过自动指标和人工评估来评估GenTUS。我们的研究结果表明,GenTUS生成更多的自然语言,并能够转移到一个看不见的本体在一个zero-shot的时尚。此外,通过强化学习可以进一步塑造其行为,从而为训练专门的用户模拟器打开大门。
2022-08-23 cs.CL
Building a Personalized Dialogue System with Prompt-Tuning
Waseda University(早稻田大学);LINE Corporation(LINE公司)
没有一致响应的对话系统是不吸引人的。在这项研究中,我们建立了一个对话系统,可以响应基于给定的字符设置(人物)带来的一致性。针对语言模型规模迅速扩大的趋势,提出了一种对预先训练好的大规模语言模型进行提示微调的方法,该方法具有较低的学习成本。英语和日语的自动和手动评估的结果表明,有可能使用比微调更少的计算资源来构建具有更自然和个性化响应的对话系统。
2022-06-11 cs.CL
A Review of Dialogue Systems: From Trained Monkeys to Stochastic Parrots
IIT Kanpur(印度理工学院坎普尔分校)
在口语对话系统中,我们的目标是部署人工智能来构建可以与人类对话的自动对话代理。对话系统越来越多地被设计成不仅仅是模仿对话,而且随着时间的推移,还从这种交互中得到改进。在本调查中,我们提出了一个广泛的概述的方法,建立对话系统多年来。从基于任务的系统到开放域聊天机器人,对话系统的不同用例激发并需要特定的系统。从简单的基于规则的系统开始,研究已经朝着在大量数据集上训练的越来越复杂的架构发展,例如深度学习系统。出于类似人类对话的直觉,使用强化学习将情感融入自然语言生成器已经取得了进展。虽然我们看到一些指标的高度边际改进的趋势,我们发现,有限的理由存在的指标,和评估的做法是不统一的。最后,我们标记这些问题,并强调可能的研究方向。
2021-11-02 cs.AI cs.CL
Towards End-to-End Learning for Dialog State Tracking and Management using Deep Reinforcement Learning
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一个端到端的框架,面向任务的对话系统使用的深度递归Q网络(DRQN)的变体。该模型能够与关系数据库接口,并共同学习语言理解和对话策略的策略。此外,我们提出了一种混合算法,结合了强化学习和监督学习的强度,以实现更快的学习速度。我们评估了20个问题的游戏会话游戏模拟器上提出的模型。结果表明,该方法优于基于模块的基线和学习的潜在对话状态的分布式表示。
2016-09-15 cs.AI cs.CL cs.LG
Dialog-to-Actions: Building Task-Oriented Dialogue System via Action-Level Generation
Meituan Group(美团集团);Peking University(北京大学)
针对工业场景中任务型对话系统在可控性和效率上的瓶颈,提出基于动作级生成的对话系统,通过构建对话动作序列并训练 Seq2Seq 模型生成动作再转换为响应,实现轻量且具竞争力的可控高效方案。
2023-04-03 cs.CL
How to Evaluate Your Dialogue Models: A Review of Approaches
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院)
评价对话系统的质量是一个未充分研究的问题。评价方法的最新演变促使进行了这项调查,其中寻求对现有方法进行明确和全面的分析。我们首先将评价方法分为三类,即,自动评估、人工参与评估和基于用户模拟器的评估。然后,每个类都涵盖了主要功能和相关的评估指标。存在的基准,适合于对话技术的评估也进行了详细讨论。最后指出了一些有待解决的问题,以期将评价方法引入一个新的领域.
2021-08-03 cs.CL
ConvLab-3: A Flexible Dialogue System Toolkit Based on a Unified Data Format
Microsoft Research(微软研究院);Tsinghua University(清华大学);Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);University of Cambridge(剑桥大学)
推出ConvLab-3对话系统工具包,采用统一数据格式简化数据集与模型集成,支持强化学习与迁移学习,助力快速开发评估稳健对话策略。
2023-10-17 cs.AI cs.CL
SDialog: A Python Toolkit for End-to-End Agent Building, User Simulation, Dialog Generation, and Evaluation
Idiap Research Institute(Idiap研究 institute);Université de Toulon(里昂大学);Aix Marseille Univ(马赛大学);LIS(LIS实验室);Avignon University(阿维尼翁大学);Zenidoc University of Zurich(苏黎世Zenidoc大学);Stenograf;Solventum CNRS & ILLS(Solventum CNRS与ILLs);Johns Hopkins University(约翰霍普金斯大学)
SDialog工具包通过统一的对话生成、评估和可解释性框架,提供多代理模拟、综合评估、机制可解释性和音频生成功能,支持混合后端实验。
2026-01-16 cs.AI cs.CL cs.LG
Pre-Trained and Attention-Based Neural Networks for Building Noetic Task-Oriented Dialogue Systems
University of Science and Technology of China(中国科学技术大学);Queen’s University(女王大学)
NOESIS II挑战赛作为第八届对话系统技术挑战赛(DSTC 8)的第二轨道,是DSTC 7的延伸。这条轨道纳入了新的要素,这些要素对于创建已部署的面向任务的对话系统至关重要。本文介绍了我们的系统,在这一挑战下的所有子任务进行评估。我们研究的问题,采用预先训练的基于注意力的网络多轮对话系统。同时,为了保持对话系统的固有特性,提出了几种自适应方法,对多轮对话系统中预先训练好的语言模型进行自适应。在DSTC 8的Track 2发布的评估结果中,我们提出的模型在子任务1中排名第四,在子任务2中排名第三,在子任务3和子任务4中分别排名第一。
2020-04-04 cs.CL
CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
为了推进多领域(跨领域)对话建模,以及缓解中国面向任务的数据集的不足,我们提出了CrossWOZ,第一个大规模的中国跨领域向导Oz面向任务的数据集。它包含6 K对话会话和5个领域的102 K话语,包括酒店,餐厅,景点,地铁和出租车。此外,语料库包含了丰富的用户和系统双方的对话状态和对话行为的注释。大约60%的对话具有跨域用户目标,这些目标有利于域间依赖,并鼓励对话中跨域的自然过渡。我们还提供了一个用户模拟器和几个基准模型的流水线面向任务的对话系统,这将有助于研究人员比较和评估他们的模型在这个语料库。CrossWOZ的大尺寸和丰富的注释使其适合研究跨域对话建模中的各种任务,如对话状态跟踪、策略学习、用户模拟等。
2020-02-28 cs.CL
SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching
Microsoft Research(微软研究院)
我们提出了一种新的方法SOLOIST,它使用迁移学习和机器教学来大规模构建任务机器人。我们使用基于transformer的自回归语言模型来参数化经典模块化面向任务的对话系统,该模型将不同的对话模块归入单个神经模型。我们预训练,异构对话语料库,任务为基础的响应生成模型,它可以生成基于用户目标和现实世界的知识完成任务的对话响应。预先训练的模型可以通过机器教学有效地进行调整,以完成一些特定于任务的对话框,其中训练样本由人类教师与系统交互生成。实验表明,(i)SOLOIST创建新的国家的最先进的研究面向任务的对话基准,包括CamRest 676和MultiWOZ;(ii)在Few-Shot微调设置,SOLOIST显着优于现有的方法,和(iii)使用机器教学大大降低了微调的标签成本。预先训练的模型和代码可在https://aka.ms/soloist上获得。
2021-04-09 cs.AI cs.CL cs.LG
Advancing the State of the Art in Open Domain Dialog Systems through the Alexa Prize
Amazon(亚马逊)
构建开放域对话系统,允许用户就他们选择的主题进行引人入胜的对话是一项具有挑战性的任务。Alexa Prize于2016年推出,旨在解决实现自然,持续,连贯和引人入胜的开放领域对话的问题。在2018年的第二轮比赛中,大学团队通过在对话模型中使用上下文,利用知识图谱进行语言理解,处理复杂的话语,构建统计和分层对话管理器,以及利用用户响应的模型驱动信号来推进最先进的技术。2018年的比赛还包括为参赛者提供一套工具和模型,包括CoBot(会话机器人)工具包,主题和对话行为检测模型,对话评估器和敏感内容检测模型,以便参赛团队可以专注于构建知识丰富,连贯和引人入胜的多轮对话系统。本文概述了大学团队和Alexa Prize团队为实现推进对话式人工智能科学的共同目标而取得的进展。我们解决了几个关键的开放式问题,如会话语音识别,开放域自然语言理解,常识推理,统计对话管理,对话评估。这些合作努力使Alexa用户的体验得到了改善,平均评分为3.61分,中位持续时间为2分18秒,平均回合数为14.6,自2018年比赛启动以来分别增长了14%,92%和54%。对于会话语音识别,自Alexa Prize推出以来,我们的相对单词出错率提高了55%,相对实体出错率提高了34%。Socialbots在2018年的质量改善速度明显加快,部分原因是CoBot工具包的发布。
2018-12-27 cs.AI cs.CL
IGLU Gridworld: Simple and Fast Environment for Embodied Dialog Agents
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute(人工智能研究所);ITMO University(圣光机大学);Microsoft Research(微软研究院);Meta AI
我们介绍IGLU Gridworld:一个强化学习环境,用于以可扩展的方式构建和评估语言条件化的具体代理。该环境具有可视化代理体现,通过协作进行交互式学习,语言条件强化学习和组合硬任务(3D块构建)空间。
2022-05-31 cs.AI cs.CL cs.LG
Causal-aware Safe Policy Improvement for Task-oriented dialogue
Salesforce Research(赛富时研究院)
最近强化学习(RL)在解决复杂任务方面的成功通常归功于其探索和利用训练环境的能力。样本效率通常不是问题,因为便宜的模拟器可用于对策略上的数据进行采样。另一方面,面向任务的对话通常是从使用人类演示收集的离线数据中学习的。收集不同的演示并注释它们是昂贵的。不幸的是,使用在非政策数据上训练的RL方法容易出现偏差和泛化问题,这进一步加剧了人类响应的随机性和对话管理系统的非马尔可夫信念状态。为此,我们提出了一个面向任务的对话策略学习的批量强化学习框架:因果感知安全策略改进(CASPI)。这种方法保证了对话策略的性能,并根据人类响应背后的意图来学习塑造奖励,而不仅仅是模仿演示数据;这种与批量RL的结合有助于整体提高框架的样本效率。我们证明了这个框架的有效性对话上下文到文本生成和端到端的对话任务的Multiwoz2.0数据集。在这两种情况下,所提出的方法在这些指标上优于现有技术。在端到端的情况下,我们的方法只训练了10%的数据,在四个评估指标中有三个能够超过当前状态。
2021-03-10 cs.AI cs.CL cs.LG