SideControl: Controlled Open-domain Dialogue Generation via Additive Side Networks
University of Virginia(弗吉尼亚大学)
基于transformer的预训练语言模型提高了开放域对话系统的性能。先前的工作利用基于transformer的预训练语言模型来以两种一般方法生成具有期望属性的文本:(1)基于梯度的方法:用来自属性模型的梯度更新预训练模型的所有潜在表示;(2)加权解码方法:用属性函数对来自预训练模型的波束候选重新排序。然而,基于梯度的方法导致高计算成本,并且容易在小训练集上过拟合,而加权解码方法固有地受到低方差高偏差预训练模型的约束。在这项工作中,我们提出了一种新的方法来控制基于transformer的预训练语言模型的生成:SideControl框架,它利用一种新的控制属性丢失来合并有用的控制信号,并且在非常有限的训练样本下表现良好。我们在两个基准开放域对话数据集上评估了我们提出的方法,结果表明,SideControl框架具有更好的可控性,更高的生成质量和更好的样本效率比现有的基于梯度和加权解码基线。
2021-09-05 cs.CL
PolicyGuard: A Dialogue-Grounded Sub-Agent Verifier for Policy Adherence in LLM Agents
提出PolicyGuard子代理验证器,通过共享对话上下文、策略推理和可操作反馈,在tau²-BENCH航空数据集上使PASS4提升12个百分点,同时误拦率降低约一半。
2026-11-10 cs.AI cs.CL
From Propositional to Perceptual Asymmetry: Extending Frictive Policy Optimization to Asymmetric Partial Information Dialogue
Brandeis University(布兰迪斯大学)
将摩擦策略优化从共享感知场景扩展到感知不对称场景,通过跨语料库分析和LLM探测验证,发现摩擦函数仅在参与者信息视野内有效,并提出标注改进。
2026-07-01 cs.CL
UP-NRPA: User Portrait based Nested Rollout Policy Adaptation for Planning with Large Language Models in Goal-oriented Dialogue Systems
School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);Anhui Provincial Key Laboratory of Security Artificial Intelligence, Anhui University(安徽大学安徽省安全人工智能重点实验室);Pengcheng Laboratory(鹏城实验室)
提出 UP-NRPA 在线框架,利用大语言模型和用户画像实时自适应调整对话策略,无需离线强化学习,在协作与非协作对话基准中实现 100% 任务成功率,谈判任务销售列表比提升 56.41%。
2026-06-15 cs.AI cs.CL
Planning Like Human: A Dual-process Framework for Dialogue Planning
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学);School of Computer Science, Fudan University(复旦大学计算机科学学院);Peng Cheng Laboratory(鹏城实验室)
本文提出双过程对话规划框架DPDP,结合本能策略模型与蒙特卡洛树搜索机制,并采用离线强化学习加MCTS增强在线学习的两阶段训练,以兼顾对话规划的效率与策略深度。
2024-06-08 cs.CL
Open-Domain Dialogue Generation Based on Pre-trained Language Models
DIRO, Université de Montréal(蒙特利尔大学DIRO)
预训练的语言模型已成功地用于开放域对话的响应生成。本文提出了四种主要框架:(1)分别对源语句和目标语句使用Transformer编码器和解码器的Transformer-ED;(2)对源语句和目标语句使用Transformer解码器的Transformer-Dec;(3)使用Transformer解码器的Transformer-MLM,该解码器在源侧应用双向注意力,在目标侧应用从左到右的注意力,并具有掩蔽的语言模型目标;以及(4)使用自回归目标代替的变换器-AR。在这项研究中,我们在3个数据集上比较了这些框架,我们的比较表明,最好的框架在源端使用双向注意力,并且不分离编码器和解码器。我们还研究了模型的差异,我们的实验证实了模型的性能直接受到潜在差异的影响。然后,我们提出了两种校正方法,以减少差异,都提高了模型的性能。这些结果表明,当我们使用预训练模型时,差异是需要考虑的一个重要因素,减少差异可以提高性能。
2020-10-24 cs.AI cs.CL
Dual-Loop Self-Evolution via Verifiable Emotion Feedback for Multi-Turn Empathetic Dialogue
该研究针对大语言模型共情能力不足问题,提出双循环自演化框架,在SAGE数据集上显著提升Qwen3-8B的共情对话性能,优于对比方法。
2026-08-12 cs.CL
DiPS: Dialogue Policy Selection for High-Stakes Persuasion Agents
University of Southern California(南加州大学)
针对高风险场景中说服策略需个性化的问题,提出DiPS框架,基于Q-learning动态选择说服策略,在火灾疏散模拟和真实人机交互中提升成功率。
2026-07-07 cs.AI cs.CL
Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt Generation for Few-shot Learning
Xi’an Jiaotong University(西安交通大学)
本文提出DP2O方法,通过GPT-4多轮对话生成可读提示、线性复杂度筛选高质量提示,并用策略梯度强化学习框架匹配提示与输入,在少样本任务中以极小参数量超越SOTA方法。
2024-01-16 cs.CL cs.LG
Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks
Georgia Institute of Technology(佐治亚理工学院);Oracle AI;University of Pennsylvania(宾夕法尼亚大学)
本文提出DialTree框架,通过树搜索和强化学习发现多轮攻击策略,提升对抗攻击的成功率
2026-03-09 cs.AI cs.CL cs.LG
DialMAT: Dialogue-Enabled Transformer with Moment-Based Adversarial Training
Keio University(庆应义塾大学)
本文提出DialMAT,通过基于矩的对抗训练和跨模态并行特征提取,在DialFRED任务中显著提升具身指令跟随的成功率,并在CVPR 2023挑战赛中夺冠。
2023-11-12 cs.CL cs.CV cs.RO
Dialogue Transformers
Rasa
我们引入了一个基于Transformer架构的对话策略,其中自我注意力机制在对话回合的序列上操作。最近的工作已经使用分层递归神经网络来编码对话上下文中的多个话语,但我们认为,一个纯粹的自我注意力机制更合适。默认情况下,RNN假设序列中的每个项目都与生成完整序列的编码相关,但单个对话可以由多个重叠的话语片段组成,因为说话者交错多个主题。Transformer挑选哪一个转向以包括在其当前对话状态的编码中,并且自然地适合于选择性地忽略或关注对话历史。我们将Transformer Embedding Dialogue(TED)策略的性能与LSTM和REDP进行了比较,后者是专门为克服RNN的这一限制而设计的。
2020-05-01 cs.CL
A Survey on Recent Advances and Challenges in Reinforcement Learning Methods for Task-Oriented Dialogue Policy Learning
The Chinese University of Hong Kong(香港中文大学)
本文从强化学习视角系统综述任务型对话策略学习,归纳主要问题、解决方案及方法分类,并展望对话管理未来研究方向。
2022-07-11 cs.CL
DORA: Toward Policy Optimization for Task-oriented Dialogue System with Efficient Context
Pohang University of Science and Technology(浦项科技大学)
最近,强化学习(RL)已经通过使用潜在动作来解决监督学习(SL)的缺点,被应用于面向任务的对话系统。在本文中,我们提出了一个多领域的面向任务的对话系统,称为对话系统与优化循环的行动政策使用有效的上下文(DORA),使用SL,随后应用RL优化对话系统使用循环的对话政策。这种对话策略会反复生成显式的系统操作,作为单词级别和高级策略。因此,DORA在SL和RL步骤期间通过使用考虑有效上下文而不是整个对话历史的显式系统动作策略而被明显优化。系统行为既可解释又可控制,而潜在行为则不然。DORA将MultiWOZ 2.0的成功率提高了6.6分,将MultiWOZ 2.1的成功率提高了10.9分。
2021-07-07 cs.CL
Hierarchical Transformer for Task Oriented Dialog Systems
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
由于最近基于RNN和Transformer的模型在问答和摘要等任务中的成功,对话系统的生成模型已经引起了人们的极大兴趣。虽然对话响应生成的任务通常被视为序列到序列(Seq 2Seq)问题,但是过去的研究人员发现使用标准Seq 2Seq模型来训练对话系统具有挑战性。因此,为了帮助模型学习有意义的话语和会话级别的特征,Sordoni et al.(2015 b); Serban et al.(2016)提出了分层RNN架构,后来被其他几个基于RNN的对话系统采用。随着基于transformer的模型最近主导seq 2seq问题,自然要问的问题是层次概念在基于Transformer的对话系统中的适用性。在本文中,我们提出了一个通用的框架分层Transformer编码器,并显示如何一个标准的Transformer可以变形为任何分层编码器,包括HRED和HIBERT的模型,通过使用专门设计的注意掩模和位置编码。我们证明了层次编码有助于实现更好的自然语言的上下文理解的transformer为基础的模型,面向任务的对话系统,通过广泛的实验。
2021-05-09 cs.CL
GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection
Alibaba(阿里巴巴)
预先训练的模型在增强面向任务的对话系统方面已被证明是强大的。然而,目前的预训练方法主要集中在提高对话理解和生成任务,而忽略了开发的对话策略。在本文中,我们提出了GALAXY,一种新的预训练的对话模型,显式地学习对话策略,从有限的标记对话和大规模的未标记的对话语料库,通过半监督学习。具体来说,我们在预训练期间引入了一个对话行为预测任务来进行策略优化,并采用一致性正则化项来在未标记对话框的帮助下改进学习的表示。我们还实现了一个门控机制来衡量合适的未标记的对话框样本。实证结果表明,GALAXY大大提高了面向任务的对话系统的性能,并在基准数据集上取得了新的最先进的结果:In-Car,MultiWOZ2.0和MultiWOZ2.1,分别将其端到端综合得分提高了2.5,5.3和5.5分。我们还表明,GALAXY有一个更强的Few-Shot能力比现有的模型在各种低资源设置。
2022-03-29 cs.CL
Iterative Policy Learning in End-to-End Trainable Task-Oriented Neural Dialog Models
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个深度强化学习(RL)框架,用于端到端面向任务的对话系统中的迭代对话策略优化。使用RL学习对话策略的流行方法包括让对话代理学习用户模拟器。然而,构建一个可靠的用户模拟器并不简单,它通常和构建一个好的对话代理一样困难。我们通过模拟两个代理之间的对话来联合优化对话代理和具有深度RL的用户模拟器来解决这一挑战。我们首先引导一个基本的对话代理和一个基本的用户模拟器直接从对话语料库与监督训练。然后,我们通过让两个代理进行面向任务的对话并使用深度RL迭代优化其策略来进一步改进它们。对话代理和用户模拟器都是用可以端到端训练的神经网络模型设计的。我们的实验结果表明,与监督训练和单智能体RL训练基线模型相比,所提出的方法在任务成功率和总任务奖励方面都有很大的改进。
2017-09-18 cs.CL
TMT: A Transformer-based Modal Translator for Improving Multimodal Sequence Representations in Audio Visual Scene-aware Dialog
Didi Chuxing(滴滴出行)
视听场景感知对话(AVSD)是一个在讨论给定视频时生成响应的任务。先前的最先进模型使用基于Transformer的架构显示了此任务的卓越性能。然而,在学习更好地表示模态方面仍然存在一些限制。受神经机器翻译(NMT)的启发,本文提出了基于转换器的模态翻译器(TMT),通过有监督的方式将源模态序列翻译成相关的目标模态序列,从而学习源模态序列的表示。在多模态Transformer网络(MTN)的基础上,将TMT应用于视频和对话,提出了基于视频的对话系统MTN-TMT。在对话系统技术挑战赛7的AVSD赛道上,MTN-TMT在视频和文本任务以及纯文本任务中的表现优于MTN和其他提交模型。与MTN相比,MTN-TMT在所有指标上都有改善,尤其是在CIDER上的相对改善高达14.1%。索引术语:多模态学习、视听场景感知对话、神经机器翻译、多任务学习
2020-10-21 cs.CL
Multimodal Hierarchical Reinforcement Learning Policy for Task-Oriented Visual Dialog
University of California, Davis(加利福尼亚大学戴维斯分校);Carnegie Mellon University(卡内基梅隆大学)
创建一个能够理解视觉和语言的智能对话系统是人工智能(AI)的最终目标之一~ \cite{winograd1972understanding}。广泛的研究集中在视觉到语言生成,然而,有限的研究已经触及到这两种模式结合在一个目标驱动的对话上下文。我们提出了一个多模态层次强化学习框架,动态集成视觉和语言的面向任务的视觉对话。该框架联合学习多模态对话状态表示和分层对话策略,以提高对话任务的成功率和效率。我们还提出了一种新的技术,状态自适应,在对话状态表示集成上下文感知。我们在一个图像猜测游戏中评估了所提出的框架和状态自适应技术,并取得了可喜的成果。
2018-05-08 cs.CL
Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);TAL AI Lab(好未来人工智能实验室)
大多数现有的面向目标的对话策略学习方法使用强化学习,它关注目标代理策略,并简单地将对方代理策略视为环境的一部分。而在现实世界的场景中,一个相对的代理的行为往往表现出某些模式或隐藏的政策,这可以推断和利用的目标代理,以促进自己的决策。这一策略在人类心理模拟中很常见,即在真正行动之前先想象一个特定的行动和可能的结果。因此,我们提出了一个面向目标的对话中策略学习的相反行为感知框架。我们估计对方代理的政策,从它的行为,并使用此估计,以改善目标代理作为目标政策的一部分。我们在合作和竞争对话任务上评估了我们的模型,显示出比最先进的基线更优越的性能。
2020-04-21 cs.CL
A Task-oriented Dialog Model with Task-progressive and Policy-aware Pre-training
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
针对现有任务导向对话预训练模型在捕捉任务序列性、学习对话策略上的不足,提出带两项策略感知预训练任务的三阶段任务渐进式模型,在少参数少数据的情况下于两个基准上超越此前最优模型GALAXY。
2023-10-01 cs.CL
Bridging Text and Video: A Universal Multimodal Transformer for Video-Audio Scene-Aware Dialog
Tencent Inc(腾讯公司);Chinese Academy of Sciences(中国科学院);Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学)
视听场景感知对话(AVSD)是一项在聊天时生成给定视频的响应的任务,该任务被组织为第八届对话系统技术挑战赛(DSTC 8)的一个轨道。为了解决这个问题,我们提出了一个通用的多模态Transformer,并引入了多任务学习方法来学习不同模态之间的联合表示,以及生成信息丰富和流畅的响应。该方法将自然语言生成预训练模型扩展到多模态对话生成任务。我们的系统在客观和主观评价中都取得了最好的成绩。
2020-02-01 cs.CL
WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue
India Machine Learning(印度机器学习);Amazon(亚马逊)
多回合设置中的智能对话系统不仅应该生成高质量的响应,而且还应该生成可以导致对话的长期成功的响应。虽然目前的方法提高了响应质量,但它们忽略了对话数据中存在的训练信号。我们可以利用这些信号来生成弱监督的训练数据,用于学习对话策略和奖励估计器,并使策略采取行动(生成响应),这可以预见成功(奖励)对话的未来方向。我们模拟一个代理和用户之间的对话(建模类似于代理与监督学习目标)相互作用。代理使用动态阻塞来生成排名不同的响应,并使用探索-利用来在Top-K响应中进行选择。每个模拟的状态-动作对都使用三个质量模块进行评估(作为弱注释):语义相关性,语义一致性和一致性流。两个基准的实证研究表明,我们的模型可以显着优于响应质量,并导致一个成功的对话上的自动评估和人类的判断。
2023-01-11 cs.CL
Topic-Driven and Knowledge-Aware Transformer for Dialogue Emotion Detection
University of Warwick(华威大学);Southeast University(东南大学)
对话中的情感检测具有挑战性,因为它通常需要识别对话背后的主题、相关常识知识以及情感状态之间复杂的过渡模式。在本文中,我们提出了一个主题驱动的知识感知Transformer来处理上述挑战。我们首先设计了一个主题增强的语言模型(LM)与一个额外的层专门用于主题检测。主题增强的LM,然后与常识的语句从一个知识库的基础上的对话上下文信息。最后,一个基于转换器的编码器-解码器架构融合的主题和常识信息,并执行情感标签序列预测。该模型已在四个数据集上进行了实验,在对话情感检测,证明了其优越性经验超过现有的国家的最先进的方法。定量和定性的结果表明,该模型可以发现有助于区分情感类别的主题。
2021-06-02 cs.CL
Augmenting Transformers with KNN-Based Composite Memory for Dialogue
Facebook AI Research(Facebook人工智能研究院);Université de Lorraine(洛林大学);LORIA(洛林计算机科学及其应用研究实验室);CNRS(法国国家科学研究中心);IRIT(图卢兹计算机研究所)
各种机器学习任务可以受益于对不同模态的外部信息(诸如文本和图像)的访问。最近的工作集中在学习架构与大型存储器能够存储这些知识。我们提出了增强生成Transformer神经网络与基于KNN的信息提取(KIF)模块。每个KIF模块学习读取操作以访问固定的外部知识。我们将这些模块应用于生成对话建模,这是一项具有挑战性的任务,必须灵活地检索信息并将其合并以保持对话的主题和流程。我们证明了我们的方法的有效性,通过识别知识渊博,但从事对话从维基百科,图像和人类书面对话语句所需的相关知识,并表明,利用这些检索到的信息提高模型的性能,自动和人工评估。
2020-11-10 cs.CL
Efficient Dialogue State Tracking by Masked Hierarchical Transformer
Hithink RoyalFlush Information Network Co.,Ltd.(同花顺网络信息股份有限公司)
本文描述了我们的方法,DSTC 9轨道2:跨语言多域对话状态跟踪,任务的目标是建立一个跨语言的对话状态跟踪器的训练集在丰富的资源语言和测试集在低资源语言。我们制定了一个方法,分别用于槽操作分类任务和状态跟踪任务的联合学习。实验结果表明,该模型在DSTC Challenge II上取得了良好的性能,在MultiWOZ(en-zh)和CrossWOZ(zh-en)数据集上的联合准确率分别达到62.37%和23.96%。
2021-06-28 cs.CL
What Helps Transformers Recognize Conversational Structure? Importance of Context, Punctuation, and Labels in Dialog Act Recognition
Center of Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence, Johns Hopkins University(约翰斯·霍普金斯大学人类语言技术卓越中心)
对话行为可以被解释为会话的原子单位,比话语更细粒度,具有特定的交际功能。将会话记录结构化为对话行为序列的能力--对话行为识别,包括分段--对于理解对话至关重要。我们将两个预训练的Transformer模型XLNet和Longformer应用于英语中的这项任务,并在Switchboard Dialog Act和Meeting Recorder Dialog Act语料库上取得了很好的结果,对话行为分割出错率(DSER)为8.4%和14.2%。为了了解影响对话行为识别的关键因素,我们对不同条件下训练的模型进行了比较分析。我们发现,包括一个更广泛的会话上下文有助于消除歧义许多对话行为类,特别是那些不常见的训练数据。转录本中标点符号的存在对模型的性能有很大的影响,详细的分析揭示了在没有标点符号的情况下观察到的特定分割模式。最后,我们发现标签集特异性不影响对话行为分割性能。这些发现对口语语言理解应用程序具有重要的实际意义,这些应用程序在很大程度上依赖于高质量的分割。
2021-07-05 cs.CL
Multi-Action Dialog Policy Learning from Logged User Feedback
JIUTIAN Team, China Mobile Research(中国移动研究院)
多动作对话策略是一种在每轮对话中产生多个原子对话动作的策略,它被广泛应用于面向任务的对话系统中,以提供富有表现力和高效的系统响应。现有的策略模型通常模仿来自标记的多动作对话框示例的动作组合。由于数据的限制,它们对看不见的对话流的概括性很差。虽然基于强化学习的方法被提出来将来自真实用户和用户模拟器的服务评级作为外部监督信号,但它们遭受稀疏且不太可信的对话级奖励。为了解决这个问题,我们探索通过针对历史预测接收的显式和隐式回合级别用户反馈来改进多动作对话策略学习(即,记录的用户反馈),这些反馈对于收集是成本有效的并且忠实于真实世界场景。该任务是具有挑战性的,因为记录的用户反馈仅提供限于代理预测的特定历史对话动作的部分标签反馈。为了充分利用这些反馈信息,我们提出BanditMatch,它解决了任务的反馈增强半监督学习的角度与混合目标的半监督学习和强盗学习。BanditMatch集成了伪标签方法,通过构建完整的标签反馈来更好地探索动作空间。大量的实验表明,我们的BanditMatch优于国家的最先进的方法,产生更简洁和翔实的反应。本文的源代码和附录可以从https://github.com/ShuoZhangXJTU/BanditMatch获得。
2023-02-27 cs.CL
Generative Dialog Policy for Task-oriented Dialog Systems
对于能够在诸如订票和餐厅预订的各种活动中帮助用户的面向任务的对话系统的需求日益增加。在面向任务的对话系统中,为了有效地完成对话,对话策略起着关键的作用。现有的面向任务的对话系统通过分类获取对话策略,既可以为一个对话行为分配一个对话行为及其相应的参数,也可以为多个对话行为分配多个对话行为而不分配相应的参数。事实上,一个好的对话政策应该同时构建多种对话行为及其相应的参数。然而,现有的基于分类的方法很难实现这一目标。因此,为了解决上述问题,我们提出了一种新的生成式对话策略学习方法。该方法利用注意力机制寻找给定对话上下文和输入话语的相关片段,然后通过seq2seq方式构造面向任务的对话系统的对话策略。在两个基准数据集上的大量实验表明,该模型的性能显着优于最先进的基线。此外,我们还公开发布了我们的代码。
2019-09-17 cs.AI cs.CL
Retrieve & Memorize: Dialog Policy Learning with Multi-Action Memory
Sun Yat-sen University(中山大学)
对话策略学习是面向任务的对话系统的一个重要子任务,它决定了系统响应生成的内容和任务完成的程度。然而,系统动作在对话数据集中的不平衡分布通常导致难以学习生成期望的动作和响应。在本文中,我们提出了一个检索和记忆的框架,以加强学习系统的行动。特别地,我们首先设计了一个神经上下文感知检索模块,从给定的对话上下文的训练集中检索多个候选系统动作。然后,我们提出了一个记忆增强的多解码器网络来生成的候选动作的条件下的系统动作,这使得网络能够自适应地选择候选动作中的关键信息和忽略噪声。我们在大规模多领域面向任务的对话数据集MultiWOZ 2.0和MultiWOZ 2.1上进行了实验。实验结果表明,我们的方法在上下文响应生成任务中达到了几个国家的最先进的模型之间的竞争性能。
2021-06-27 cs.CL
Guided Dialog Policy Learning: Reward Estimation for Multi-Domain Task-Oriented Dialog
Tsinghua University(清华大学)
对话策略决定了面向任务的对话系统的响应内容和响应方式,对有效的对话起着至关重要的作用。许多研究应用强化学习来学习具有奖励功能的对话策略,这需要精心设计和预先指定的用户目标。随着跨多个领域处理复杂目标的需求不断增长,这种手动设计的奖励功能无法负担处理现实世界任务的复杂性。为此,我们提出了引导对话策略学习,这是一种基于对抗性逆强化学习的新型算法,用于多领域面向任务的对话中的联合奖励估计和策略优化。所提出的方法估计奖励信号,并推断用户的目标,在对话会话。奖励估计器评估状态-动作对,以便它可以在每个对话回合指导对话策略。在多域对话数据集上的大量实验表明,由学习的奖励函数指导的对话策略比最先进的基线实现了显着更高的任务成功率。
2019-08-28 cs.CL cs.LG
Modeling Multi-Action Policy for Task-Oriented Dialogues
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Uber AI(优步人工智能)
在面向任务的对话系统中,对话管理(DM)对与用户的交互质量起着关键作用。在大多数现有的方法中,代理预测每轮只有一个DM政策行动。这大大限制了会话代理的表达能力,并引入了可能挑战用户耐心的不必要的交互。更长的对话也会导致更多错误,系统需要更加强大才能处理它们。在本文中,我们比较了几种模型的性能预测多个行为的任务,为每一个回合。提出了一种新的策略模型的基础上称为门控连续动作槽(gCAS),克服了现有模型的局限性的循环细胞。实验结果表明,gCAS优于其他方法。代码可在https://leishu02.github.io/上获得
2019-08-30 cs.CL
SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团)
最近,预训练方法在面向任务的对话(TOD)系统中取得了显着的成功。然而,大多数现有的TOD预训练模型专注于对话理解或对话生成,但不是两者兼而有之。在本文中,我们提出了SPACE-3,这是一种新的统一的半监督预训练会话模型,它从具有有限注释的大规模对话语料库中学习,可以在广泛的下游对话任务中进行有效的微调。具体而言,SPACE-3由单个Transformer中的四个连续组件组成,以维持TOD系统中的任务流:(i)对话编码模块,用于对对话历史进行编码,(ii)对话理解模块,用于从用户查询或系统响应中提取语义向量,(iii)对话策略模块,用于生成包含响应的高级语义的策略向量,以及(iv)用于产生适当响应的对话生成模块。我们为每个组件设计了专门的预培训目标。具体地说,我们用跨度掩码语言建模来预训练对话编码模块,以学习上下文化的对话信息。为了捕获结构化对话语义,我们通过一种新的树诱导的半监督对比学习目标与额外的对话注释的帮助下,预训练对话理解模块。此外,我们通过最小化其输出策略向量与响应的语义向量之间的L2距离来预训练对话策略模块,以进行策略优化。最后,通过语言建模对对话生成模型进行预训练。结果表明,SPACE-3在八个下游对话基准测试中达到了最先进的性能,包括意图预测、对话状态跟踪和端到端对话建模。我们还表明,SPACE-3具有更强的Few-Shot能力比现有的模型在低资源设置。
2022-09-14 cs.CL
Grounding Dialogue Systems via Knowledge Graph Aware Decoding with Pre-trained Transformers
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
在面向目标和非目标的对话系统中生成基于知识的响应是一个重要的研究挑战。知识图谱(KG)可以被视为现实世界的抽象,其可以潜在地促进对话系统产生基于知识的响应。然而,以端到端的方式将KG集成到对话生成过程中是一项重要的任务。本文提出了一种新的体系结构,通过训练一个BERT模型,学习回答使用KG(实体和关系)的元素在多任务,端到端的设置集成KG到响应生成过程。KG的k-hop子图在使用图拉普拉斯算子的训练和推理期间被并入模型中。实证评估表明,该模型实现了更好的知识覆盖度(通过实体F1得分衡量)相比,其他国家的最先进的模型,目标和非目标导向的对话。
2021-03-30 cs.CL
JoTR: A Joint Transformer and Reinforcement Learning Framework for Dialog Policy Learning
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯)
JoTR提出了一种联合Transformer与强化学习的对话策略学习框架,通过词级动作生成和奖励塑形微调,在基准任务上取得最先进性能。
2023-09-01 cs.CL
Adversarial Learning of Task-Oriented Neural Dialog Models
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了一个对抗性学习方法的奖励估计强化学习(RL)为基础的面向任务的对话模型。当前大多数基于RL的面向任务的对话系统都需要访问来自用户反馈或用户评级的奖励信号。然而,这种用户评级在实践中可能并不总是一致或可用的。此外,使用RL的在线对话策略学习通常需要向用户进行大量查询,从而遭受样本效率问题。为了解决这些挑战,我们提出了一种对抗性学习方法,直接从对话样本中学习对话奖励。这样的奖励进一步用于利用基于策略梯度的RL来优化对话策略。在餐馆搜索领域的评估中,我们表明,与强基线方法相比,所提出的对抗性对话学习方法实现了高级对话成功率。我们进一步讨论了在线对抗对话学习中的协变量偏移问题,并展示了如何通过部分访问用户反馈来解决这个问题。
2018-05-30 cs.CL
Evaluating Pretrained Transformer Models for Entity Linking in Task-Oriented Dialog
MindMeld, Cisco Systems(思科系统 MindMeld)
预训练的Transformer模型(PTM)对于自然语言任务的广泛适用性得到了很好的证明,但是它们理解文本短语的能力却很少被探索。为此,我们从面向任务的对话中的无监督实体链接的角度评估不同的PTM,包括5个特征-句法,语义,简短形式,数字和语音。我们的研究结果表明,与传统技术相比,一些PTM产生低于标准的结果,尽管与其他神经基线相比具有竞争力。我们发现,他们的一些缺点可以通过使用PTMs微调文本相似性的任务,这说明了理解语义和句法对应的能力得到了提高,以及一些改进的短形式,数字和语音的变化,在实体提到。我们进行定性分析,以了解他们预测的细微差别,并讨论进一步改进的范围。代码可以在https://github.com/murali1996/el_tod上找到
2021-12-15 cs.CL
A Survey on Dialog Management: Recent Advances and Challenges
Alibaba Group(阿里巴巴集团);Cornell University(康奈尔大学)
对话管理是面向任务的对话系统的重要组成部分。给定对话历史,DM预测对话状态并决定对话代理应该采取的下一个动作。近年来,对话策略学习被广泛地表述为一个强化学习(RL)问题,并且更多的工作集中在DM的适用性上。在本文中,我们调查了最近的进展和挑战,在三个关键主题的DM:(1)提高模型的可扩展性,以促进对话系统建模在新的情况下,(2)处理数据稀缺问题的对话策略学习,(3)提高训练效率,以实现更好的任务完成性能。我们相信,这一调查可以阐明未来的研究在对话管理。
2021-10-25 cs.CL
Improvement of a dedicated model for open domain persona-aware dialogue generation
本文分析了近年来Transformer架构的一些速度和性能改进方法,主要是其在专用模型训练中的应用。本文所研究的专用模型是指开放领域的人物感知对话生成模型,数据集为多轮简短对话,单个输入序列的总长度不超过105个标记。因此,本文不讨论Transformer体系结构针对长序列处理的体系结构和注意力机制方面的许多改进。实验的源代码已经开放:https://github.com/ghosthamlet/persona
2020-08-27 cs.CL
Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation
The University of Melbourne(墨尔本大学);Twitter Inc.(推特公司)
在面向任务的对话系统中,对话策略优化往往要等到任务完成后才能得到反馈。这不足以训练中间对话回合,因为监督信号(或奖励)仅在对话结束时提供。为了解决这个问题,已经引入了奖励学习来从最优策略的状态-动作对中学习,以提供逐向奖励。这种方法需要人与人对话的完整状态-动作注释(即,专家演示),这是劳动密集型的。为了克服这一局限性,我们提出了一种新的奖励学习方法的半监督策略学习。所提出的方法学习动态模型作为对对话进程进行建模的奖励函数(即,状态-动作序列),或者有或者没有注释。动态模型通过预测对话进度是否与专家演示一致来计算奖励。我们还建议学习动作嵌入,以更好地推广奖励函数。所提出的方法优于竞争策略学习基线MultiWOZ,一个基准多域数据集。
2020-05-09 cs.AI cs.CL
Adaptive Dialog Policy Learning with Hindsight and User Modeling
University of Science and Technology of China(中国科学技术大学);Baidu Inc.(百度公司);SUNY Binghamton(纽约州立大学宾汉姆顿分校)
强化学习方法已经被用于根据基于语言的交互体验来计算对话策略。效率在对话策略学习中特别重要,因为与人交互的成本相当大,并且低质量对话的用户体验非常差。为了提高对话策略学习的效率,我们开发了算法LHUA(后见之明学习,用户建模和适应),第一次,使对话代理自适应地学习后见之明从模拟和真实用户。模拟和事后诸葛亮分别为对话代理提供更多的经验和更多的(积极的)增援。实验结果表明,在成功率和政策质量,LHUA优于文献中的竞争基线,包括其无模拟,无适应,无事后诸葛亮同行。
2020-05-07 cs.AI cs.CL
Anti-Overestimation Dialogue Policy Learning for Task-Completion Dialogue System
KU Leuven(鲁汶大学);Temple University(天普大学)
针对强化学习对话策略中的动作价值高估问题,提出动态部分平均估计器DPAV并集成到深度Q网络,在多领域对话数据集上以更低计算量取得更优或持平效果,且完成了收敛性与偏差界的理论证明。
2024-04-13 cs.AI cs.CL
"Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs
China Mobile Research(中国移动研究院)
多动作对话策略(MADP),它产生多个原子对话动作,已被广泛应用于面向任务的对话系统,以提供富有表现力的和有效的系统响应。现有的MADP模型通常从标记的多动作对话样本中模仿动作组合。由于数据的限制,它们对看不见的对话流的概括性很差。虽然交互式学习和强化学习算法可以应用于合并真实用户和用户模拟器的外部数据源,但它们需要大量的手动工作来构建并且具有不稳定性。为了解决这些问题,我们提出了规划增强对话策略(PEDP),一种新的多任务学习框架,学习单动作对话动态,以增强多动作预测。我们的PEDP方法采用基于模型的规划,通过模拟单动作对话框,在决定当前响应之前构思要表达的内容。在MultiWOZ数据集上的实验结果表明,我们基于完全监督学习的方法实现了90.6%的可靠任务成功率,与最先进的方法相比提高了3%。
2022-04-25 cs.AI cs.CL
Dual Hierarchical Dialogue Policy Learning for Legal Inquisitive Conversational Agents
Georgetown University(乔治城大学);Singapore Management University(新加坡国立管理学院)
本文提出双层级强化学习框架,用于法律场景中主动提取信息的对话代理,通过协调策略管理和细粒度生成,提升法律目标达成能力。
2026-05-15 cs.CL
EmpTransfo: A Multi-head Transformer Architecture for Creating Empathetic Dialog Systems
University of Denver(丹佛大学);Department of Electrical and Computer Engineering, University of Denver(丹佛大学电气与计算机工程系)
理解情感并做出相应的反应是对话系统面临的最大挑战之一。本文介绍了EmpTransfo,一个多头Transformer架构,用于创建一个移情对话系统。EmpTransfo利用最先进的预训练模型(例如,OpenAI-GPT)用于语言生成,尽管可以使用不同大小的模型。我们表明,利用历史的情感和其他元数据可以提高对话系统生成的对话的质量。我们使用具有挑战性的语言语料库的实验结果表明,所提出的方法优于其他模型的Hit@1和PPL(困惑)。
2020-03-05 cs.CL cs.LG
Building Task-Oriented Visual Dialog Systems Through Alternative Optimization Between Dialog Policy and Language Generation
University of California, Davis(加州大学戴维斯分校)
强化学习(Reinforcement learning,RL)是面向任务的可视化对话系统学习最优对话策略的有效方法。一种常见的做法是在神经序列到序列(seq2seq)框架上应用RL,其中动作空间是解码器中的输出词汇表。然而,很难设计一个奖励函数,可以在学习有效的策略和生成自然的对话响应之间实现平衡。本文提出了一种新的框架,交替训练图像猜测的RL策略和监督seq2seq模型,以提高对话生成质量。我们评估我们的框架上的GuessWhich任务和框架实现了国家的最先进的性能,在任务完成和对话质量。
2019-10-28 cs.AI cs.CL cs.LG
Automatic Curriculum Learning With Over-repetition Penalty for Dialogue Policy Learning
School of software engineering, South China University of Technology(华南理工大学软件学院)
基于强化学习的对话策略学习由于成本高,难以应用于真实用户,从头开始训练对话代理。用户模拟器,它选择随机的用户目标的对话代理训练,已被认为是一个负担得起的替代品,真正的用户。然而,这种随机抽样的方法忽略了人类学习的规律,使得学习的对话策略效率低下且不稳定。提出了一种新的基于自动课程学习的深度Q网络(ACL-DQN)框架,该框架用教师策略模型代替传统的随机抽样方法,实现了自动课程学习的对话策略。教师模型安排一个有意义的有序课程,并通过监测对话代理的学习进度和过度重复惩罚来自动调整它,而不需要任何先验知识。对话Agent的学习进度反映了对话Agent的能力与目标采样难度之间的关系,以达到样本效率。过重复惩罚保证了采样的多样性。实验表明,ACL-DQN显着提高了对话任务的有效性和稳定性,具有统计上显着的余量。此外,该框架还可以通过配备不同的课程表来进一步完善,这表明该框架具有很强的通用性。
2020-12-28 cs.AI cs.CL
Meta Dialogue Policy Learning
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);Microsoft Cognitive Services Research(微软认知服务研究院);Microsoft Research(微软研究院)
对话策略决定了代理的下一步动作,因此是对话系统的核心。然而,当迁移到具有少量数据的新域时,策略模型可能由于与新环境的交互不足而无法适应。我们提出了深度可转移Q网络(DTQN),以利用域之间的共享低级信号,如对话行为和插槽。我们将状态和动作表示空间分解为与这些低层组件相对应的特征子空间,以促进跨领域的知识转移。此外,我们将DTQN嵌入到元学习框架中,并引入具有双重重放机制的Meta-DTQN,以实现有效的离线训练和自适应。在实验中,我们的模型在多域对话数据集MultiWOZ 2.0上的成功率和对话效率方面优于基线模型。
2020-06-03 cs.CL cs.LG
Policy-Driven Neural Response Generation for Knowledge-Grounded Dialogue Systems
Amazon Alexa AI(亚马逊 Alexa 人工智能)
开放域对话系统旨在产生相关、信息丰富和吸引人的回应。Seq2seq神经响应生成方法没有明确的机制来控制所生成的响应的内容或风格,并且经常导致无信息的话语。在本文中,我们提出了使用对话策略计划的内容和风格的目标响应的形式的行动计划,其中包括相关的对话上下文,有针对性的对话行为,主题信息等知识句的行动计划内的属性自动注释公开发布的主题聊天数据集。我们的条件神经反应发生器上的行动计划,然后实现为目标的话语在回合和句子水平。我们还研究了不同的对话政策模型,以预测给定对话背景下的行动计划。通过自动化和人工评估,我们测量生成的响应的适当性,并检查生成模型是否确实学会实现给定的行动计划。我们证明,一个基本的对话政策,在句子层面上产生更好的反应,在比较转向水平生成以及基线模型,没有行动计划。此外,基本对话政策还具有可控性的附加效果。
2020-08-24 cs.AI cs.CL
VD-BERT: A Unified Vision and Dialog Transformer with BERT
Salesforce Research(Salesforce研究院);The Chinese University of Hong Kong(香港中文大学)
视觉对话是一个具有挑战性的视觉语言任务,其中对话代理需要通过对图像内容和对话历史的推理来回答一系列问题。先前的工作主要集中在各种注意力机制,以模拟这种复杂的相互作用。相比之下,在这项工作中,我们提出了VD-BERT,一个简单而有效的统一视觉对话Transformer框架,它利用预先训练的BERT语言模型进行视觉对话任务。该模型是统一的,因为(1)它使用单流Transformer编码器捕获图像和多轮对话之间的所有交互,并且(2)它通过相同的架构无缝地支持答案排名和答案生成。更重要的是,我们通过基于视觉的训练来适应BERT,以有效地融合视觉和对话内容。在不需要外部视觉语言数据预训练的情况下,我们的模型产生了最新的技术水平,在视觉对话排行榜上的单模型和集成设置(74.54和75.35 NDCG得分)中均获得了最高位置。我们的代码和预训练模型在https://github.com/salesforce/VD-BERT上发布。
2020-11-02 cs.CL cs.CV
Why Guided Dialog Policy Learning performs well? Understanding the role of adversarial learning and its alternative
AI Shift Inc.(AI Shift公司);CyberAgent Inc.(CyberAgent公司)
本文分析对抗学习在引导式对话策略学习中的作用,提出去除对抗学习但保留其优势的奖励估计与策略学习方法,并在MultiWOZ上评估。
2023-07-13 cs.CL cs.LG
End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient
Amazon(亚马逊)
学习面向目标的对话策略通常利用监督学习算法离线执行,或者利用强化学习(RL)在线执行。此外,随着公司积累了大量客户和训练有素的人类代理之间的对话记录,编码器-解码器方法已经流行起来,因为代理话语可以直接被视为监督,而不需要话语级注释。然而,这样的方法的一个潜在的缺点是,他们近视生成下一个代理话语,而不考虑对话级的考虑。为了解决这个问题,本文描述了一种离线RL方法,用于从未注释的语料库中学习,该方法可以在话语和对话级别上优化面向目标的策略。我们引入了一个新的奖励函数,并使用上政策和关闭政策策略梯度离线学习策略,而不需要在线用户交互或显式的状态空间定义。
2017-12-07 cs.AI cs.CL cs.LG
Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
University of Turin(都灵大学);Nuance Communications Inc.(Nuance通讯公司)
基于transformer的模型在自然语言生成中表现出了很好的模式和结构捕捉能力,并在许多任务中取得了最先进的结果。在本文中,我们提出了一个基于transformer的多轮对话响应生成模型。我们的解决方案是基于一种混合的方法,它增强了基于变换的生成模型与一种新的检索机制,它利用记忆的信息,通过k-最近邻搜索的训练数据。我们的系统在两个由客户/助理对话框制作的数据集上进行评估:由Google发布的Taskmaster-1,拥有高质量,面向目标的会话数据和从真实客户服务呼叫中心收集的专有数据集。两者都能在强基线上获得更好的BLEU分数。
2021-05-19 cs.AI cs.CL
History-Aware Hierarchical Transformer for Multi-session Open-domain Dialogue System
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院);Joint NTU-UBC LILY Research Centre(南洋理工大学-不列颠哥伦比亚大学LILY联合研究中心);Alibaba Group(阿里巴巴集团);Shandong University(山东大学)
随着预先训练的语言模型的发展,当前的开放域对话系统在进行单会话会话方面取得了很大的进步。相比之下,多会话对话(MSC),它由同一用户长期的多个会话组成,研究不足。在本文中,我们提出了历史感知的分层Transformer(HAHT)的多会话开放域对话。HAHT保持历史会话的长期记忆,并利用历史信息来理解当前会话上下文,并生成消息灵通和上下文相关的响应。具体地,HAHT首先将历史会话分层地编码到历史存储器中。然后,HAHT利用历史信息,以促进当前会话上下文的理解,通过编码的历史记忆与当前上下文的注意力为基础的机制。最后,为了明确地利用历史信息,HAHT使用了一个历史感知响应生成器,它可以在通用词汇表和历史感知词汇表之间切换。大规模MSC数据集上的实验结果表明,所提出的HAHT模型始终优于基线模型。人类评估结果支持HAHT比基线模型产生更多的人性化,上下文相关和历史相关的响应。
2023-02-02 cs.CL