A Corpus-free State2Seq User Simulator for Task-oriented Dialogue
Harbin Institute of Technology(哈尔滨工业大学);Tencent Robotics X(腾讯机器人X实验室)
近年来,面向任务的对话系统的强化学习算法引起了人们的极大兴趣。然而,训练这样的算法不可避免的障碍是,注释的对话语料库往往是不可用的。解决这个问题的流行方法之一是用用户模拟器训练对话代理。传统的用户模拟器是建立在一套对话规则,因此缺乏反应的多样性。这严重限制了代理培训的模拟案例。后来的数据驱动的用户模型在多样性方面工作得更好,但受到数据稀缺问题的困扰。为了弥补这一缺陷,我们设计了一个新的无语料库框架,充分利用了它们的优点。该框架通过首先从模板生成不同的对话数据,然后在数据上构建新的State2Seq用户模拟器来构建用户模拟器。为了提高性能,我们提出了State2Seq用户模拟器模型,以有效地利用对话状态和历史。在开放数据集上的实验结果表明,我们的用户模拟器帮助代理实现6.36%的成功率提高。State2Seq模型优于seq2seq基线,F值为1.9。
2019-09-10 cs.CL
DialSim: A Dialogue Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversational Agents
KAIST(韩国科学技术院);SNU(釜山大学)
针对现有对话智能体评估忽视多方对话与长期依赖的问题,提出DialSim模拟评估框架及LongDialQA数据集,发现大上下文或RAG模型仍难以保持长期多方理解,凸显更真实基准的必要性。
2025-09-26 cs.AI cs.CL
Reliable LLM-based User Simulator for Task-Oriented Dialogue Systems
Telepathy Labs GmbH
本文提出领域感知用户模拟器DAUS,通过在大语言模型上微调真实任务型对话数据,显著提升用户目标达成率并有效抑制幻觉,为任务型对话系统提供更可靠的评估与增强手段。
2024-02-20 cs.CL
Neural User Simulation for Corpus-based Policy Optimisation for Spoken Dialogue Systems
Cambridge University Engineering Department(剑桥大学工程系)
用户模拟器是实现面向任务的对话系统离线训练的主要工具之一。对于这个任务,通常使用基于XML的用户模拟器(ABUS)。ABUS是基于手工制作的规则,其输出是语义形式。这两个属性都会产生问题,例如有限的多样性和无法连接文本级信念跟踪器。本文介绍了神经用户模拟器(NUS),其行为是从语料库中学习,并生成自然语言,因此需要一个更少的标记数据集比模拟器生成的语义输出。在这个主题上,它评估用户模拟器基于语料库的指标的过去的工作相比,我们使用NUS训练的政策,强化学习为基础的口语对话系统。通过评估使用模拟器训练的策略,将NUS与ABUS进行比较。进行跨模型评估,即在一个模拟器上进行训练,在另一个模拟器上进行测试。此外,经过训练的策略在真实用户上进行测试。在这两项评估任务中,NUS的表现都优于ABUS。
2018-05-17 cs.AI cs.CL stat.ML
Towards a Universal NLG for Dialogue Systems and Simulators with Future Bridging
MediaTek Research(联发科研究院);Imperial College London(帝国理工学院)
在对话系统流水线中,自然语言生成(NLG)单元将对话方向和内容转换为相应的自然语言实现。对话系统的最近趋势是首先在大型数据集上进行预训练,然后使用用特定于应用的特征注释的数据集以监督的方式进行微调。虽然可以从自定义注释中学习新的行为,但所需的工作量严重限制了训练集的数量,并且特定于应用程序的性质限制了重用。鉴于最近成功的数据驱动的方法,我们提出了新的未来桥接NLG(FBNLG)概念的对话系统和模拟器。关键的一步是FBNLG接受未来的用户或系统话语,以桥接当前的上下文。未来的桥接可以在无注释的数据集上进行自我监督训练,将NLG的训练与系统的其他部分解耦。一个FBNLG,预先训练了大量的数据集,预计将适用于经典或新的对话场景,以最小的适应工作。我们评估了一个原型FBNLG表明,未来的桥接可以是一个可行的方法,一个通用的Few-Shot NLG面向任务和聊天对话。
2021-05-24 cs.AI cs.CL cs.LG
Generating Diverse Personas for User Simulators to Test Interview Dialogue Systems
C4A Research Institute, Inc.(C4A研究所);SANKEN, University of Osaka(大阪大学SANKEN研究所);Musashi University(武藏野大学)
针对面试对话系统测试人力成本高的问题,提出用大语言模型自动生成带沟通风格人格特质的多样化角色的用户模拟器,实验显示其生成话语的变化性更大。
2026-08-21 cs.CL cs.HC
Zero-shot Cross-lingual Dialogue Systems with Transferable Latent Variables
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
尽管对多语言面向任务的对话系统的需求激增(例如,Alexa,Google Home),在多语言或跨语言场景中进行的研究较少。因此,我们提出了面向任务的对话系统对低资源语言的零调整(zero-shot adaptation)。为了应对这一挑战,我们首先使用一组非常少的平行单词对来细化对齐的跨语言单词级表示。然后,我们采用了一个潜在的变量模型,以应付不同的语言,这是由不完善的跨语言对齐和语言的固有差异引起的相似的句子的差异。最后,实验结果表明,即使我们利用更少的外部资源,我们的模型取得了更好的适应性能的自然语言理解任务(即,意图检测和时隙填充)与zero-shot场景中的当前最先进的模型相比。
2019-11-11 cs.CL cs.LG
Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems
Shandong University(山东大学);Bloomberg(彭博);University of Amsterdam(阿姆斯特丹大学)
本文提出模拟用户类比思维的隐喻式用户模拟器及基于测试器的变体生成框架,用于端到端任务导向对话系统评估,并在三个数据集上验证其更贴近人工评估。
2023-11-02 cs.CL cs.IR
SimRPD: Optimizing Recruitment Proactive Dialogue Agents through Simulator-Based Data Evaluation and Selection
Zhaopin Limited(智聘有限公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Automation,Beijing Institute of Technology(北京理工大学自动化学院);Central University of Finance and Economics(中央财经大学);Beihang University(北航);Independent Researcher(独立研究者)
研究针对招聘主动对话代理训练数据稀缺问题,提出SimRPD框架。通过高保真用户模拟器合成数据,基于意图链的评估框架选数据,在所选数据集上训练代理。实验证明该框架优于现有策略,有工业部署价值和其他场景适用性。
2026-07-10 cs.AI
Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System
National University of Singapore(新加坡国立大学);University College London(伦敦大学学院);Nanyang Technology University(南洋理工大学)
针对大语言模型直接用于任务型对话表现不佳的问题,提出UGRO方法,将LLM作为无标注用户模拟器评估对话响应,结合较小的微调TOD模型生成高满意度回复,在两个TOD基准上超越了先前SOTA结果。
2023-10-19 cs.CL
Exploring Personality-Aware Interactions in Salesperson Dialogue Agents
National Taiwan University(台湾大学)
本研究通过大规模测试,基于MBTI人格类型评估销售对话代理的交互质量与性能,揭示人格对交互动态和任务完成率的影响,并发布通用用户模拟器以支持个性化对话系统研究。
2025-04-25 cs.AI cs.CL
Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration
Columbia University(哥伦比亚大学);University of California Davis(加州大学戴维斯分校);Intel Labs(英特尔研究院)
说服性对话系统反映了机器在口头交流之外进行战略行动的能力,因此区别于面向任务或开放领域的对话系统,具有自己独特的价值。然而,重复和不一致的问题仍然存在于对话响应生成中,并且可能严重影响用户体验并阻碍说服结果。此外,尽管强化学习(RL)方法在游戏等战略任务中取得了巨大成功,但它们需要一个复杂的用户模拟器来向对话系统提供实时反馈,这限制了RL在说服对话中的应用。为了解决这些问题,以更好的说服对话系统,我们应用强化学习细化语言模型基线没有用户模拟器,并通过奖励提取重复,不一致和任务相关性的重复级别的信息。此外,为了更好地完成说服任务,该模型从人类示范学习模仿人类的说服行为,并选择最有说服力的反应。实验结果表明,该模型在捐赠说服任务中的自动评价和人工评价结果均优于现有的对话模型,并根据用户反馈生成更多样化、一致性和说服力更强的对话。
2022-10-22 cs.AI cs.CL
SpokenUS: A Spoken User Simulator for Task-Oriented Dialogue
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);Department of Information Systems, Hanyang University(翰阳大学信息系统系);Department of Computer Science and Engineering, Seoul National University(首尔国立大学计算机科学与工程系)
本文提出SpokenUS,一种基于任务导向对话的语音用户模拟器,通过引入四种语音用户行为,提升了对话系统的鲁棒性与实用性。
2026-09-02 cs.CL
DIAL: Direct Iterative Adversarial Learning for Realistic Multi-Turn Dialogue Simulation
Slingshot AI;Department of Engineering, University of Cambridge(工程系,剑桥大学);Department of Psychiatry, NYU School of Medicine(精神病学系,纽约大学医学院)
DIAL通过对抗训练提升多轮对话模拟的真实性,有效恢复词汇多样性并降低鉴别器准确性,适用于心理健康支持等复杂领域。
2026-11-05 cs.CL
Domain-independent User Simulation with Transformers for Task-oriented Dialogue Systems
Heinrich Heine University Dusseldorf(杜塞尔多夫海因里希·海涅大学);University of Cambridge(剑桥大学)
通过强化学习优化对话策略需要大量的训练交互,这使得与真实用户的学习耗时且昂贵。因此,许多设置依赖于用户模拟器而不是人类。这些用户模拟器有自己的问题。虽然手工编码,基于规则的用户模拟器已被证明是足够的小,简单的领域,复杂的领域的规则的数量很快变得棘手。另一方面,最先进的数据驱动的用户模拟器仍然依赖于域。这意味着适应每一个新领域都需要重新设计和再培训。在这项工作中,我们提出了一个域独立的基于变压器的用户模拟器(TUS)。TUS的结构不依赖于特定的领域,从而实现了领域概括和从数据中学习跨领域用户行为。我们比较TUS与使用自动和人工评估的最新技术水平。TUS可以在预定义的领域与基于规则的用户模拟器竞争,并且能够以zero-shot的方式推广到看不见的领域。
2021-06-16 cs.CL
A Sequence-to-Sequence Model for User Simulation in Spoken Dialogue Systems
Maluuba Research(马鲁巴研究院)
用户模拟对于生成足够的数据来训练统计口语对话系统是必不可少的。以前的用户模拟模型有几个缺点,如无法考虑到对话历史,需要刚性的结构,以确保连贯的用户行为,严重依赖于一个特定的域,无法输出几个用户的意图在一个对话回合,或要求一个概括的动作空间的易处理性。本文介绍了一种数据驱动的用户模拟器的基础上的编码器-解码器的递归神经网络。该模型将一系列对话上下文作为输入,并输出与用户意图相对应的一系列对话行为。对话上下文包括关于机器动作和用户目标的状态的信息。我们在对话状态跟踪挑战2(DSTC 2)数据集上显示,根据F分数,序列到序列模型的性能优于基于martina的模拟器和n-gram模拟器。此外,我们展示了如何使用这个模型可以在原来的动作空间,从而更精细的粒度用户行为模型。
2016-06-30 cs.CL
Replicating Complex Dialogue Policy of Humans via Offline Imitation Learning with Supervised Regularization
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
针对任务型对话中模仿人类策略的难题,提出一种无需用户模拟器、利用状态转移信息并引入正则化技巧的离线模仿学习模型,在四个公开数据集的动作预测任务上取得更优性能。
2023-05-06 cs.AI cs.CL
Teaching Models new APIs: Domain-Agnostic Simulators for Task Oriented Dialogue
Facebook AI Research(Facebook AI研究院);Facebook Reality Labs
我们证明,大语言模型能够模拟面向任务的对话在新的领域,只提供一个API实现和目标列表。我们表明,这些模拟可以制定在线,自动的指标,以及与人类的评价。此外,通过检查是否满足用户的目标,我们可以使用模拟来重复生成训练数据并提高模拟本身的质量。在没有人为干预或特定领域的训练数据的情况下,我们的模拟引导端到端模型,在以前看不见的领域中实现了37%的错误减少。通过包含多达32个特定于领域的会话,自举模型可以与具有$10\times$更多数据的全监督模型的性能相匹配。据我们所知,这是第一次模拟被证明在引导模型时是有效的,而不需要任何特定领域的训练数据、规则工程或人工参与。
2021-10-13 cs.CL
Goal-oriented Dialogue Policy Learning from Failures
University of Science and Technology of China(中国科学技术大学);SUNY Binghamton(纽约州立大学宾汉姆顿分校)
强化学习方法已经被用于学习对话策略。然而,学习一个有效的对话政策往往需要大量的对话。这部分是因为对话中的奖励很少,而且在早期学习阶段很少有成功的对话。后见之明的经验重演(HER)可以从失败中学习,但由于隐含的目标,香草HER不适用于对话学习。在这项工作中,我们开发了两个复杂的HER方法,提供不同的复杂性和性能之间的权衡,并首次启用HER为基础的对话策略学习。使用真实用户模拟器的实验表明,我们的HER方法在学习率方面优于现有的经验重放方法(应用于深度Q网络)。
2018-11-22 cs.AI cs.CL
User Modeling for Task Oriented Dialogues
Google AI(谷歌人工智能)
我们介绍了端到端的神经网络为基础的模型,用于模拟面向任务的对话系统的用户。对话系统中的用户模拟从两个不同的角度来看是至关重要的:(i)不同对话模型的自动评估,以及(ii)训练面向任务的对话系统。我们设计了一个分层的序列到序列模型,首先编码的初始用户的目标和系统变成固定长度的表示使用递归神经网络(RNN)。然后,它使用另一个RNN层对对话历史进行编码。在每一轮中,用户响应都是从对话级别RNN的隐藏表示中解码出来的。这种层次化的用户模拟器(HUS)方法允许模型捕获用户目标中未被发现的部分,而不需要显式的对话状态跟踪。我们进一步开发了几个变种,利用潜变量模型注入随机变化到用户响应,以促进模拟用户响应的多样性和一种新的目标正则化机制,以惩罚用户响应偏离初始用户目标。我们评估电影票预订领域的建议模型,系统地互动每个用户模拟器与各种对话系统政策训练与不同的目标和用户。
2018-11-11 cs.AI cs.CL cs.LG
Modeling Long Context for Task-Oriented Dialogue State Generation
Soochow University(苏州大学)
基于最近提出的可转移的对话状态生成器(TRADE),预测对话状态,从话语连接的对话上下文,我们提出了一个多任务学习模型,一个简单而有效的话语标记技术和双向语言模型作为辅助任务的面向任务的对话状态生成。通过使模型能够学习更好地表示长对话上下文,我们的方法试图解决当输入对话上下文序列较长时基线性能显着下降的问题。在我们的实验中,我们提出的模型比基线实现了7.03%的相对改进,在MultiWOZ 2.0数据集上建立了52.04%的新的最先进的联合目标准确度。
2020-04-29 cs.CL
Learning to Memorize in Neural Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology(香港科技大学)
在这篇论文中,我们利用神经复制机制和记忆增强的神经网络(MANNs)来解决神经任务导向对话学习的挑战。我们通过在多域对话状态跟踪、基于检索的对话系统和基于生成的对话系统中实现良好的性能来展示我们的策略的有效性。我们首先提出了一个可转移的对话状态生成器(TRADE),利用其复制机制,摆脱对话本体和领域之间的知识共享。我们还评估看不见的域对话状态跟踪,并表明,贸易使zero-shot对话状态跟踪,可以适应新的Few-Shot域,而不会忘记以前的域。第二,我们利用人工神经网络来改善基于检索的对话学习。他们能够捕捉对话顺序的依赖关系,并记住长期的信息。我们还提出了一个记录的delexicalization复制策略,以取代真正的实体值与有序的实体类型。我们的模型被证明超过其他检索基线,特别是当对话有大量的回合。最后,我们用两个模型来处理基于生成的对话学习,即内存到序列(Mem2Seq)和全局到局部内存指针网络(GLMP)。Mem2Seq是第一个将多跳内存注意力与复制机制相结合的模型。GLMP进一步引入了响应草图和双指针复制的概念。我们表明,GLMP实现了最先进的性能对人类的评价。
2019-05-19 cs.AI cs.CL
Learning through Dialogue Interactions by Asking Questions
Facebook AI Research(Facebook人工智能研究院)
一个好的对话代理应该有能力通过回答问题和提问与用户交互,重要的是要从这两种类型的交互中学习。在这项工作中,我们探索这个方向,设计一个模拟器和一组合成的任务,在电影领域,让这样的互动之间的学习者和教师。我们研究了学习者如何在离线和在线强化学习设置中从提问中受益,并证明了学习者在提问时会有所提高。最后,通过在Mechanical Turk上的实验验证了该方法的有效性.我们的工作代表了开发这种端到端学习交互式对话代理的第一步。
2017-02-13 cs.AI cs.CL
Is MultiWOZ a Solved Task? An Interactive TOD Evaluation Framework with User Simulator
Fudan University(复旦大学);Midea Group Co Ltd(美的集团股份有限公司)
面向任务的对话(Task-Oriented dialogue,TOD)系统在近年来的研究中受到越来越多的关注。目前的方法侧重于构建预训练模型或微调策略,而TOD的评估受到政策不匹配问题的限制。也就是说,在评估期间,用户话语来自带注释的数据集,而这些话语应当与除了带注释的文本之外还可以具有许多替代方案的先前响应交互。因此,在这项工作中,我们提出了一个互动的评估框架,为TOD。我们首先建立一个面向目标的用户模拟器基于预先训练的模型,然后使用用户模拟器与对话系统进行交互,以生成对话。此外,我们还引入了会话水平和会话水平的分数来衡量句子流畅性和会话连贯性。实验结果表明,我们提出的用户模拟器训练的基于RL的TOD系统可以达到近98%的通知率和成功率在MultiWOZ数据集的交互式评估和建议的分数衡量响应质量除了通知率和成功率。我们希望,我们的工作将鼓励基于模拟器的互动评估在TOD任务。
2022-10-26 cs.CL
Microsoft Dialogue Challenge: Building End-to-End Task-Completion Dialogue Systems
Microsoft(微软)
该提案引入了一个对话挑战,用于构建端到端的任务完成对话系统,其目标是鼓励对话研究社区在标准数据集和统一的实验环境上进行合作和基准测试。在本次特别会议中,我们将发布三个领域(电影票预订,餐厅预订和出租车预订)的人工注释对话数据,以及每个领域内置模拟器的实验平台,用于培训和评估目的。最终提交的系统将在模拟环境中进行评估,并由人类法官进行评估。
2018-09-14 cs.AI cs.CL cs.LG
Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning
Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);National Taiwan University(台湾大学)
通过强化学习(RL)训练任务完成对话代理是昂贵的,因为它需要与真实用户进行许多交互。一种常见的替代方法是使用用户模拟器。然而,用户模拟器通常缺乏人类对话者的语言复杂性,并且其设计中的偏见可能会降低代理。为了解决这些问题,我们提出了Deep Dyna-Q,据我们所知,它是第一个集成了任务完成对话策略学习规划的深度RL框架。我们纳入对话代理的环境模型,称为世界模型,模仿真实的用户响应,并产生模拟的经验。在对话策略学习过程中,世界模型不断更新真实的用户体验,以接近真实的用户行为,反过来,对话代理使用真实的经验和模拟的经验进行优化。我们的方法的有效性证明了在模拟和人在循环设置的电影票预订任务。
2018-05-23 cs.AI cs.CL cs.LG
Few-Shot Structured Policy Learning for Multi-Domain and Multi-Task Dialogues
LIA - Avignon University(法国艾维尼翁大学LIA实验室);Orange Innovation(Orange创新公司);Avignon University(艾维尼翁大学)
强化学习已被广泛采用,以模拟面向任务的对话中的对话管理器。然而,由最先进的对话框架提供的用户模拟器只是人类行为的粗略近似。因此,从少量人类交互中学习的能力至关重要,特别是在动作空间很大的多域和多任务环境中。因此,我们建议使用结构化的政策,以提高样本效率时,学习这些类型的环境。我们还评估了从人类与模拟专家学习的影响。在我们测试的不同层次的结构中,图神经网络(GNNs)显示出显着的优越性,当从模拟专家那里学习时,只有50个对话就达到了80%以上的成功率。他们在向人类专家学习时也表现出优越性,尽管观察到性能下降,这表明在捕捉人类策略的可变性方面可能存在困难。因此,我们建议将未来的研究工作集中在弥合人类数据,模拟器和对话框架中的自动评估器之间的差距上。
2023-02-22 cs.CL
Automatic Curriculum Learning With Over-repetition Penalty for Dialogue Policy Learning
School of software engineering, South China University of Technology(华南理工大学软件学院)
基于强化学习的对话策略学习由于成本高,难以应用于真实用户,从头开始训练对话代理。用户模拟器,它选择随机的用户目标的对话代理训练,已被认为是一个负担得起的替代品,真正的用户。然而,这种随机抽样的方法忽略了人类学习的规律,使得学习的对话策略效率低下且不稳定。提出了一种新的基于自动课程学习的深度Q网络(ACL-DQN)框架,该框架用教师策略模型代替传统的随机抽样方法,实现了自动课程学习的对话策略。教师模型安排一个有意义的有序课程,并通过监测对话代理的学习进度和过度重复惩罚来自动调整它,而不需要任何先验知识。对话Agent的学习进度反映了对话Agent的能力与目标采样难度之间的关系,以达到样本效率。过重复惩罚保证了采样的多样性。实验表明,ACL-DQN显着提高了对话任务的有效性和稳定性,具有统计上显着的余量。此外,该框架还可以通过配备不同的课程表来进一步完善,这表明该框架具有很强的通用性。
2020-12-28 cs.AI cs.CL
Are You for Real? Detecting Identity Fraud via Dialogue Interactions
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Mobvoi(出门问问);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
身份欺诈检测在许多现实世界的场景中非常重要,例如金融行业。然而,以前很少有研究解决这个问题。在本文中,我们专注于身份欺诈检测贷款申请,并提出解决这个问题,一个新的交互式对话系统,其中包括两个模块。一个是知识图谱(KG)构造器,用于组织每个贷款申请人的个人信息。另一种是结构化对话管理,它可以根据个人KG动态生成一系列问题来询问申请人并确定其身份状态。我们还提出了一个启发式的用户模拟器的基础上的问题分析,以评估我们的方法。实验表明,可训练对话系统可以有效地检测欺诈者,并且与基于规则的系统相比具有更高的识别准确率。此外,我们学习的对话策略是可解释的和灵活的,这有助于促进现实世界的应用。
2019-08-19 cs.AI cs.CL
EmoUS: Simulating User Emotions in Task-Oriented Dialogues
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
提出 EmoUS 用户模拟器,结合用户目标、历史与角色生成情绪、语义动作和回复,并作为探针评估对话系统对用户情绪状态的影响。
2023-06-02 cs.CL
clem:todd: A Framework for the Systematic Benchmarking of LLM-Based Task-Oriented Dialogue System Realisations
Computational Linguistics, Department of Linguistics University of Potsdam(普腾多夫大学语言学系);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出clem:todd框架,用于在统一条件下系统基准测试基于LLM的任务型对话系统,支持用户模拟器与对话系统的即插即用组合评估,并通过重新评估现有系统及集成三个新系统,揭示了架构、规模和提示策略对对话性能的影响。
2025-07-21 cs.CL
Dialogue Strategy Adaptation to New Action Sets Using Multi-dimensional Modelling
Cambridge Research Laboratory, Toshiba Europe Limited(东芝欧洲有限公司剑桥研究实验室)
为新领域和应用构建统计口语对话系统的主要瓶颈是需要大量的训练数据。为了解决这个问题,我们采用了多维度的对话管理方法,并评估其潜在的迁移学习。具体来说,我们利用预先训练的任务无关的政策,以加快训练扩展的任务特定的动作集,其中请求插槽的单个摘要动作被多个插槽特定的请求动作所取代。策略优化和评估实验,使用一个基于ARIMA的用户模拟器表明,有限的训练数据,更好的性能水平时,可以实现所提出的多维自适应方法。我们证实了这一改进,在我们的口语对话系统的众包人类用户的评价,比较部分训练的政策。多维系统(在目标场景中对有限的训练数据进行适配)比一维基线(在相同量的训练数据上不进行适配)表现出7%的感知成功率。
2022-04-14 cs.AI cs.CL
Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems
University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院)
面向任务的对话系统的对话策略学习近年来取得了很大的进展,主要是通过采用强化学习方法。然而,这些方法已经变得非常复杂。现在是时候重新评估它了。我们真的在开发基于强化学习的对话代理方面取得了进展吗?我们演示了如何(1)传统的监督学习与(2)无模拟器的对抗学习方法一起使用,以实现与最先进的基于RL的方法相当的性能。首先,我们引入一个简单的对话动作解码器来预测适当的动作。然后,对传统的多标签对话策略学习方案进行扩展,增加密集层,提高对话Agent的性能。最后,我们采用Gumbel-Softmax估计交替训练对话代理和对话奖励模型,而不使用强化学习。基于我们广泛的实验,我们可以得出结论,所提出的方法可以实现更稳定和更高的性能,更少的努力,如领域知识所需的设计一个用户模拟器和棘手的参数调整强化学习。我们的主要目标不是用监督学习击败强化学习,而是展示重新思考强化学习和监督学习在优化面向任务的对话系统中的作用的价值。
2020-09-21 cs.CL cs.LG
A Multimodal Dialogue System for Conversational Image Editing
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
在本文中,我们提出了一个多模态对话系统的对话图像编辑。我们将我们的多模态对话系统制定为部分观察马尔可夫决策过程(POMDP),并使用深度Q网络(DQN)和用户模拟器对其进行训练。我们的评估表明,DQN政策优于基于规则的基线政策,在高出错率下达到90\%的成功率。我们还进行了真实用户研究并分析了真实用户行为。
2020-02-16 cs.CL
From Simulation to Strategy: Automating Personalized Interaction Planning for Conversational Agents
Department of Computer Science and Information Engineering(计算机科学与信息工程系);National Taiwan University(台湾大学)
本文提出了一种基于职业信息的轻量级策略,用于优化销售导向对话代理的个性化交互规划,通过调整对话意图提升对话效果。
2025-12-05 cs.CL
GenTUS: Simulating User Behaviour and Language in Task-oriented Dialogues with Generative Transformers
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
用户模拟器(US)通常用于通过强化学习来训练面向任务的对话系统(DS)。为了提高效率,交互通常发生在语义级别上,但是从语义动作到自然语言仍然存在差距,这导致训练和部署环境之间的不匹配。在训练过程中使用US来描述自然语言生成(NLG)模块可以部分地处理这个问题。然而,由于US的策略和NLG是单独优化的,因此这些模拟的用户话语在给定的上下文中可能不够自然。在这项工作中,我们提出了一个基于生成变换的用户模拟器(GenTUS)。GenTUS由编码器-解码器结构组成,这意味着它可以同时优化用户策略和自然语言生成。Gentus生成语义动作和自然语言话语,保持可解释性并增强语言变化。此外,通过将输入和输出表示为单词序列,并通过使用大型预训练的语言模型,我们可以实现特征表示的通用性。我们通过自动指标和人工评估来评估GenTUS。我们的研究结果表明,GenTUS生成更多的自然语言,并能够转移到一个看不见的本体在一个zero-shot的时尚。此外,通过强化学习可以进一步塑造其行为,从而为训练专门的用户模拟器打开大门。
2022-08-23 cs.CL
Meta Dialogue Policy Learning
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);Microsoft Cognitive Services Research(微软认知服务研究院);Microsoft Research(微软研究院)
对话策略决定了代理的下一步动作,因此是对话系统的核心。然而,当迁移到具有少量数据的新域时,策略模型可能由于与新环境的交互不足而无法适应。我们提出了深度可转移Q网络(DTQN),以利用域之间的共享低级信号,如对话行为和插槽。我们将状态和动作表示空间分解为与这些低层组件相对应的特征子空间,以促进跨领域的知识转移。此外,我们将DTQN嵌入到元学习框架中,并引入具有双重重放机制的Meta-DTQN,以实现有效的离线训练和自适应。在实验中,我们的模型在多域对话数据集MultiWOZ 2.0上的成功率和对话效率方面优于基线模型。
2020-06-03 cs.CL cs.LG
How to Evaluate Your Dialogue Models: A Review of Approaches
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院)
评价对话系统的质量是一个未充分研究的问题。评价方法的最新演变促使进行了这项调查,其中寻求对现有方法进行明确和全面的分析。我们首先将评价方法分为三类,即,自动评估、人工参与评估和基于用户模拟器的评估。然后,每个类都涵盖了主要功能和相关的评估指标。存在的基准,适合于对话技术的评估也进行了详细讨论。最后指出了一些有待解决的问题,以期将评价方法引入一个新的领域.
2021-08-03 cs.CL
ConvLab-3: A Flexible Dialogue System Toolkit Based on a Unified Data Format
Microsoft Research(微软研究院);Tsinghua University(清华大学);Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);University of Cambridge(剑桥大学)
推出ConvLab-3对话系统工具包,采用统一数据格式简化数据集与模型集成,支持强化学习与迁移学习,助力快速开发评估稳健对话策略。
2023-10-17 cs.AI cs.CL
Zero-Shot Dialogue State Tracking via Cross-Task Transfer
The Hong Kong University of Science and Technology(香港科技大学);Facebook;Columbia University(哥伦比亚大学)
用于对话状态跟踪(DST)Zero-shot迁移学习使我们能够处理各种面向任务的对话域,而无需收集域内数据。在这项工作中,我们建议从一般的问答(QA)语料库的zero-shot DST任务的\textit{cross-task}知识。具体来说,我们提出了TransferQA,一个可转移的生成QA模型,通过文本到文本的Transformer框架,无缝地结合了提取QA和多选择QA,并跟踪DST中的分类槽和非分类槽。此外,我们引入了两种有效的方法来构建无法回答的问题,即否定问题采样和上下文截断,这使得我们的模型能够处理“无”值槽中的zero-shot DST设置。大量的实验表明,我们的方法大大改善了现有的zero-shot和Few-Shot的结果MultiWoz。此外,与Schema-Guided Dialogue数据集上经过充分训练的基线相比,我们的方法在看不见的领域中表现出更好的泛化能力。
2021-09-10 cs.CL
MedConceal: A Benchmark for Clinical Hidden-Concern Reasoning Under Partial Observability
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NYC Health + Hospitals/Jacobi(纽约市健康与医院管理局/雅可比医疗中心)
MedConceal通过交互式患者模拟器评估医疗对话中的隐藏关切推理,包含300个案例和600个医生-LLM交互,研究确认和干预能力,发现前沿模型在确认指标上表现优异,而人类医生在干预成功率上表现最佳。
2026-09-01 cs.CL
CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
为了推进多领域(跨领域)对话建模,以及缓解中国面向任务的数据集的不足,我们提出了CrossWOZ,第一个大规模的中国跨领域向导Oz面向任务的数据集。它包含6 K对话会话和5个领域的102 K话语,包括酒店,餐厅,景点,地铁和出租车。此外,语料库包含了丰富的用户和系统双方的对话状态和对话行为的注释。大约60%的对话具有跨域用户目标,这些目标有利于域间依赖,并鼓励对话中跨域的自然过渡。我们还提供了一个用户模拟器和几个基准模型的流水线面向任务的对话系统,这将有助于研究人员比较和评估他们的模型在这个语料库。CrossWOZ的大尺寸和丰富的注释使其适合研究跨域对话建模中的各种任务,如对话状态跟踪、策略学习、用户模拟等。
2020-02-28 cs.CL
Alexa Conversations: An Extensible Data-driven Approach for Building Task-oriented Dialogue Systems
Amazon Alexa AI(亚马逊Alexa AI)
传统的面向目标的对话系统依赖于各种组件,例如自然语言理解、对话状态跟踪、策略学习和响应生成。训练每个组件都需要注释,这对于每个新领域都很难获得,限制了此类系统的可扩展性。类似地,基于规则的对话系统需要大量的规则编写和维护,并且也不能扩展。另一方面,端到端对话系统不需要特定于模块的注释,但需要大量数据用于训练。为了克服这些问题,在这个演示中,我们提出了Alexa Conversations,这是一种用于构建面向目标的对话系统的新方法,它具有可扩展性,可扩展性和数据效率。该系统的组件以数据驱动的方式进行训练,但我们不是收集注释对话进行训练,而是使用基于开发人员提供的一些种子对话和API和实体规范的新型对话模拟器生成它们。我们的方法提供了开箱即用的支持自然的会话现象,如跨回合的实体共享或用户在会话过程中改变主意,而不需要开发人员提供任何这样的对话流。我们使用一个简单的比萨饼订购任务来验证我们的方法,并展示了它在减少开发人员负担以创建强大体验方面的价值。最后,我们评估我们的系统使用一个典型的电影票预订任务,并表明,对话模拟器是一个重要组成部分的系统,导致超过$50\%$改善回合级动作签名预测精度。
2021-04-19 cs.CL cs.LG
Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering
The University of Melbourne(墨尔本大学)
数据伪影激励机器学习模型通过利用数据中的捷径来学习不可转移的概括,越来越多的证据表明,数据伪影对深度学习模型在最近的自然语言处理基准测试中取得的强大结果起着重要作用。在本文中,我们专注于面向任务的对话,并调查是否流行的数据集,如MultiWOZ包含这样的数据工件。我们发现,通过在训练样本中只保留频繁短语,最先进的模型与用完整数据训练的变体相比表现相似,这表明它们利用这些虚假的相关性来解决任务。基于此,我们提出了一个基于对比学习的框架,以鼓励模型忽略这些线索,专注于学习可推广的模式。我们还尝试了对抗性过滤,以删除“简单”的训练实例,以便模型专注于从“较难”的实例中学习。我们进行了大量的泛化实验,例如,跨域/数据集和对抗性测试-评估我们方法的鲁棒性,发现它工作得非常好。
2022-05-20 cs.CL
TOD-DA: Towards Boosting the Robustness of Task-oriented Dialogue Modeling on Spoken Conversations
Baidu Inc.(百度公司)
面向任务的对话系统一直受到获取大规模、高质量带注释对话的困难的困扰。此外,大多数公开可用的数据集仅包括书面对话,这不足以反映实际口语对话系统中的实际人类行为。在本文中,我们提出了面向任务的对话数据增强(TOD-DA),一种新的模型无关的数据增强范例,以提高面向任务的对话建模的口语对话的鲁棒性。TOD-DA由两个模块组成:1)对话丰富,用于扩展面向任务的对话的训练数据,以缓解数据稀疏性; 2)口语对话模拟器,用于模拟不同粒度的口语风格表达和语音识别错误,以弥合书面和口语对话之间的差距。通过这些设计,我们的方法在DSTC 10 Track 2的两个任务中均排名第一,DSTC 10 Track 2是面向任务的口语对话建模的基准,证明了我们提出的TOD-DA的优越性和有效性。
2021-12-23 cs.CL
Causal-aware Safe Policy Improvement for Task-oriented dialogue
Salesforce Research(赛富时研究院)
最近强化学习(RL)在解决复杂任务方面的成功通常归功于其探索和利用训练环境的能力。样本效率通常不是问题,因为便宜的模拟器可用于对策略上的数据进行采样。另一方面,面向任务的对话通常是从使用人类演示收集的离线数据中学习的。收集不同的演示并注释它们是昂贵的。不幸的是,使用在非政策数据上训练的RL方法容易出现偏差和泛化问题,这进一步加剧了人类响应的随机性和对话管理系统的非马尔可夫信念状态。为此,我们提出了一个面向任务的对话策略学习的批量强化学习框架:因果感知安全策略改进(CASPI)。这种方法保证了对话策略的性能,并根据人类响应背后的意图来学习塑造奖励,而不仅仅是模仿演示数据;这种与批量RL的结合有助于整体提高框架的样本效率。我们证明了这个框架的有效性对话上下文到文本生成和端到端的对话任务的Multiwoz2.0数据集。在这两种情况下,所提出的方法在这些指标上优于现有技术。在端到端的情况下,我们的方法只训练了10%的数据,在四个评估指标中有三个能够超过当前状态。
2021-03-10 cs.AI cs.CL cs.LG
High-Quality Diversification for Task-Oriented Dialogue Systems
Georgetown University(乔治城大学)
许多面向任务的对话系统使用深度强化学习(DRL)来学习策略,以适当地响应用户并成功地完成任务。训练DRL代理具有不同的对话轨迹,使他们能够很好地应对罕见的用户请求和看不见的情况。一种有效的多样化方法是让代理与一组不同的学习用户模型进行交互。然而,由这些人工用户模型创建的轨迹可能包含生成错误,这些错误可以快速传播到代理的策略中。因此,重要的是控制多样化的质量和抵抗噪声。在本文中,我们提出了一种新的面向任务的对话系统在模拟器训练的对话多样化的方法。我们的方法,间歇性的短扩展Ensemination(I-SEE),约束的强度与不同的用户模型的合奏互动,并有效地控制多样化的质量。对Multiwoz数据集的评估表明,I-SEE成功地提高了几个最先进的DRL对话代理的性能。
2021-06-09 cs.CL cs.HC
Model-based Bayesian Reinforcement Learning for Dialogue Management
University of Oslo(奥斯陆大学)
强化学习方法越来越多地用于根据经验优化对话策略。目前大多数技术是无模型的:它们直接估计各种动作的效用,而没有明确的交互动力学模型。在本文中,我们研究了基于模型的贝叶斯强化学习的替代策略。贝叶斯推断用于保持模型参数的后验分布,反映模型的不确定性。随着收集更多数据并同时用于规划代理的动作,该参数分布逐渐细化。在这个学习框架内,我们进行了实验的过渡模型的两种替代形式化,一个编码与标准的多项式分布,和一个结构与概率规则。我们展示了我们的方法的潜力与实证结果构建从向导的奥兹数据在人机交互场景中的用户模拟器。结果表明,特别是捕获高层次的规则先验领域知识的好处。
2013-04-05 cs.AI
Towards Efficient Dialogue Pre-training with Transferable and Interpretable Latent Structure
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, AAIS, Peking University(北京大学人工智能研究院数据科学中心);Tencent AI Lab(腾讯人工智能实验室);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
随着大量通用领域对话数据的可用性,预先训练的对话生成似乎非常有吸引力,可以将知识从通用领域转移到下游应用程序。在现有的工作中,这种可传递性主要是通过在海量数据上以穷举的方式拟合具有数亿个参数的大型模型来获得的,导致运行效率低下和可解释性差。本文提出了一种新的对话生成模型,具有潜在的结构,可以很容易地从一般领域转移到下游任务,在一个轻量级和透明的方式。在两个基准上的实验验证了该模型的有效性。由于可转移的潜在结构,我们的模型能够在自动和人工评估方面产生比四个强基线更好的对话响应,并且我们的模型具有约22%的参数,与最强基线相比,运行时间加快了5倍。此外,所提出的模型是可以解释的离散潜变量。
2022-10-22 cs.CL
HyPE: Category-Aware Hypergraph Encoding with Persistent Edge Embeddings for Persona-Grounded Dialogue
Sungkyunkwan University(成均馆大学)
提出HyPE框架,通过将人物角色文本解析为四元组并构建超图,利用HyperGCN和持久边嵌入(PEE)编码高阶关系,在PersonaChat上优于句子级池化基线。
2026-06-12 cs.CL
HR-MultiWOZ: A Task Oriented Dialogue (TOD) Dataset for HR LLM Agent
Amazon(亚马逊);University of Milano-Bicocca(米兰-比科卡大学)
针对HR领域LLM智能体缺乏高质量标注对话数据集、现有数据集不匹配员工需求且收集真实对话有隐私风险的问题,提出首个HR领域开源标注对话数据集HR-Multiwoz,含550段对话覆盖10个领域,还给出可迁移的低人力成本数据生成流水线。
2024-02-01 cs.AI cs.CL
Transferable Persona-Grounded Dialogues via Grounded Minimal Edits
Tsinghua University(清华大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院北京分院);NetEase Inc.(网易公司)
接地对话模型生成基于某些概念的响应。受扎根对话数据分布的限制,在此类数据上训练的模型在数据分布和扎根概念类型方面面临可移植性挑战。为了应对这些挑战,我们提出了接地最小的编辑框架,它最小限度地编辑现有的响应接地给定的概念。专注于人物角色,我们提出了接地最小编辑器(GME),它学会了通过解开和重组人物角色相关和人物角色不可知的部分的反应编辑。为了评估基于人物角色的最小编辑,我们提出了PersonaMinEdit数据集,实验结果表明,GME大大优于竞争基线。为了评估可转移性,我们在BlendedSkillTalk的测试集上进行了实验,并表明GME可以编辑对话模型的响应,从而在很大程度上提高其角色一致性,同时保留知识和同理心的使用。
2021-09-16 cs.AI cs.CL cs.LG
Uncertainty Measures in Neural Belief Tracking and the Effects on Dialogue Policy Performance
Heinrich Heine Universität Düsseldorf(海因里希·海涅杜塞尔多夫大学);Yandex Research(Yandex研究院);HSE University(高等经济学院)
识别和解决不确定性的能力对于对话系统的鲁棒性至关重要。事实上,这已经在利用贝叶斯方法进行对话信念跟踪的系统上得到了经验证实。然而,此类系统仅考虑置信度估计,并且难以扩展到更复杂的设置。另一方面,神经对话系统很少考虑不确定性。因此,他们对自己的决定过于自信,不够稳健。此外,跟踪任务的性能通常是孤立评估的,而不考虑其对下游政策优化的影响。我们提出了使用不同的不确定性措施在神经信念跟踪。这些措施对下游任务的政策优化的影响进行评估,通过添加选定的措施的不确定性的特征空间的政策和培训政策,通过与用户模拟器的交互。人类和模拟用户的结果表明,将这些措施导致的下游对话政策的性能和鲁棒性的改善。这突出了开发考虑不确定性的神经对话信念跟踪器的重要性。
2021-09-09 cs.CL
SalesBot 2.0: A Human-Like Intent-Guided Chit-Chat Dataset
National Taiwan University(台湾大学)
针对SalesBot数据集依赖BlenderBot导致长轮对话自然度、一致性不足的问题,研究利用大语言模型常识知识构建修订版数据集SalesBot 2.0,实现闲聊到任务导向对话的平滑过渡,还可生成多意图对话。
2023-08-28 cs.AI cs.CL