"How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations
Amazon Alexa AI（亚马逊Alexa人工智能部门）
由于现有的数据集，对话建模的大多数工作都是在书面对话上进行的。然而，书面对话不足以完全捕获口头对话的性质以及实际口头对话系统中的潜在语音识别错误。本文提出了一种新的面向任务的口语会话基准，旨在研究多领域对话状态跟踪和基于知识的对话建模。我们报告说，现有的最先进的书面对话训练模型在我们的口语数据上表现不佳，正如预期的那样。此外，我们观察到改进的任务性能时，利用n-最好的语音识别假设，如通过结合预测的基础上个别假设。我们的数据集可以对面向任务的对话系统进行基于语音的基准测试。
2021-09-28 cs.CL
Beyond Task-Oriented and Chitchat Dialogues: Proactive and Transition-Aware Conversational Agents
Hanyang University（汉阳大学）；Hyundai Motor Company（现代汽车公司）
针对任务型对话与闲聊融合不足的问题，本研究提出支持双向模式切换的TACT数据集及两个新评估指标，结合DPO训练的模型在相关任务上表现优异，推动了具备主动性与转换感知能力的对话智能体研发。
2025-11-11 cs.AI cs.CL
Target-Guided Open-Domain Conversation Planning
Tohoku University（东北大学）；RIKEN（理化学研究所）
以前的研究解决面向目标的会话任务缺乏一个重要的概念，已深入研究的背景下，面向目标的人工智能代理，即规划。在这项研究中，我们提出了目标引导的开放域会话规划（TGCP）任务，以评估神经会话代理是否具有目标导向的会话规划能力。使用TGCP任务，我们调查现有的检索模型和最近的强生成模型的会话规划能力。实验结果揭示了当前技术面临的挑战。
2022-09-20 cs.CL
Target-oriented Proactive Dialogue Systems with Personalization: Problem Formulation and Dataset Curation
The Hong Kong Polytechnic University（香港理工大学）
本文提出个性化面向目标对话问题，将<对话行为，主题>作为目标，并基于角色扮演方法构建大规模数据集TopDial（约18K轮），实验证明其高质量，为相关研究提供支撑。
2023-10-13 cs.AI cs.CL
Quantized-Dialog Language Model for Goal-Oriented Conversational Systems
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一种新的方法来解决对话学习的背景下，面向目标的会话系统。其关键思想是将对话空间划分为集群，并在集群中创建语言模型，从而允许准确选择对话中的下一个话语。语言模型依赖于与话语聚类相关联的n-gram。这种量化的对话语言模型方法已被应用到最新的对话系统技术挑战（DSTC 6）的端到端的目标导向的轨道。我们的目标是找到正确的系统话语从一个池的候选人，以完成用户和自动餐厅预订系统之间的对话。我们的研究结果表明，本文提出的技术实现了高精度的选择正确的候选话语，并优于其他国家的最先进的方法的基础上神经网络。
2018-12-26 cs.CL
Mind the Goal: Data-Efficient Goal-Oriented Evaluation of Conversational Agents and Chatbots using Teacher Models
针对现有多轮聊天机器人评估未关注用户总体目标的问题，提出结合教师LLM、含GSR指标与RCOF分类的目标导向评估框架，可解释且数据高效，在企业智能体AIDA上验证了其诊断与改进指导价值。
2025-10-04 cs.AI cs.CL
Towards Universal Dialogue Act Tagging for Task-Oriented Dialogues
Amazon（亚马逊）
用于构建面向任务的对话系统的机器学习方法需要带有标签的大型会话数据集来进行训练。我们对从人与人的对话中构建面向任务的对话系统感兴趣，这些对话可能在现有的客户服务中心日志中大量可用，或者可以从人群工作人员那里收集。注释这些数据集可能非常昂贵。最近发布了多个带注释的面向任务的人机对话数据集，但是它们的注释模式在不同的集合中有所不同，即使是对于定义良好的类别，如对话行为（DA）。我们提出了一个通用的DA模式面向任务的对话，并调整现有的注释数据集与我们的模式。我们的目标是训练一个通用DA标记器（U-DAT）的任务导向的对话，并使用它来标记人与人的对话。我们调查了多个数据集，提出了手动和自动化的方法来调整不同的模式，并在人与人对话的目标语料库上呈现结果。在无监督学习实验中，我们在人与人对话中的系统回合上获得了54.1%的F1分数。在半监督设置中，F1分数增加到57.7%，否则需要至少1.7K手动注释转弯。对于新的域，我们展示了进一步的改进，当未标记或标记的目标域数据可用。
2019-07-05 cs.AI cs.CL
A Chit-Chats Enhanced Task-Oriented Dialogue Corpora for Fuse-Motive Conversation Systems
Beijing University of Posts and Telecommunications（北京邮电大学）
构建智能对话系统的目标在很大程度上是在两个动机下分别追求的：面向任务的对话（TOD）系统和用于聊天的开放域系统（CC）。尽管先前的TOD对话系统在测试基准集上工作良好，但是当暴露于实际的自然场景时，它们会导致不期望的失败，其中用户话语可以具有高动机多样性，从而在多轮交互中融合了TOD和CC。由于工业TOD系统应该能够在TOD和CC动机之间与用户对话，因此构建包含TOD或CC的融合动机对话数据集是重要的。大多数先前的工作依赖于人群工作人员来收集和注释大规模数据集，并且仅限于英语语言设置。我们的工作，相反，解决了这个问题，在一个更有效的方式，并发布了一个多轮对话数据集称为CCET（中文聊天增强任务）。同时，我们还提出了一种融合动机对话的形式化方法，以及由CC话语整合的几个TOD会话的评估指标。
2022-05-12 cs.AI cs.CL
What Should I Ask? Using Conversationally Informative Rewards for Goal-Oriented Visual Dialog
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of São Paulo（圣保罗大学）；Stanford University（斯坦福大学）
参与以目标为导向的对话的能力使人类能够获得知识，减少不确定性，并更有效地执行任务。然而，人工智能体在进行目标驱动的对话方面仍然远远落后于人类。在这项工作中，我们专注于目标导向的视觉对话的任务，旨在自动生成一系列的问题，一个单一的目标的图像。这项任务是具有挑战性的，因为这些问题不仅必须与实现目标的策略相一致，而且还要考虑图像中的上下文信息。我们提出了一个端到端的面向目标的视觉对话系统，结合强化学习与正则化信息增益。与以前提出的任务的方法不同，我们的工作是由理性言语行为框架，它模拟了人类探索的过程，以达到一个目标。我们在GuessWhat？！上测试我们模型的两个版本。数据集，在生成问题以在图像中找到未公开对象的任务中获得优于当前最先进模型的显著结果。
2019-07-28 cs.AI cs.CL cs.CV
Can I Be of Further Assistance? Using Unstructured Knowledge Access to Improve Task-oriented Conversational Modeling
Amazon Alexa AI（亚马逊Alexa人工智能部门）
大多数面向任务的对话系统的工作局限于域API的有限覆盖。但是，用户经常会有超出这些API范围的请求。这项工作的重点是通过整合外部的非结构化知识源来响应这些超出API覆盖范围的用户转向。我们的方法工作在一个流水线的方式与知识寻求转向检测，知识选择，响应生成的顺序。我们介绍了新的数据增强方法的前两个步骤，并证明了使用从对话上下文中提取的信息，提高了知识的选择和端到端的性能。通过实验，我们在DSTC 9 Track 1基准数据集上实现了自动和人工评估指标的最新性能，验证了我们贡献的有效性。
2021-06-16 cs.AI cs.CL cs.LG
Contextual Biasing of Language Models for Speech Recognition in Goal-Oriented Conversational Agents
面向目标的会话界面旨在完成特定的任务，通常具有倾向于跨越多个回合的交互，这些交互遵循预定义的结构和目标。然而，自动语音识别（ASR）系统中的传统神经语言模型（NLM）大多是在有限的上下文下逐段训练的。在本文中，我们探索了将上下文纳入基于LSTM的NLM的不同方法，以便对长程依赖关系进行建模并改进语音识别。具体来说，我们使用跨多个回合的上下文结转，并使用词汇上下文线索，例如来自自然语言理解（NLU）模型的系统对话行为和用户提供的聊天机器人结构。我们还提出了一个新的架构，利用上下文嵌入来自BERT在推理时间提供的样本话语。我们的实验表明，一个字的出错率（WER）相对减少7%以上的非上下文话语级NLM rescorers目标为导向的音频数据集。
2021-06-04 cs.CL
RubyStar: A Non-Task-Oriented Mixture Model Dialog System
Carnegie Mellon University（卡内基梅隆大学）
RubyStar是一个对话系统，旨在通过结合不同的响应生成策略来创建“类人”对话。RubyStar通过使用基于规则、基于检索和生成方法的集合，就一般主题进行非任务导向的对话。主题检测、参与监控和上下文跟踪用于管理交互。可预测的对话元素，如机器人的背景故事和简单的问答由单独的模块处理。我们描述了一个评级计划，我们开发的响应生成评估。我们发现，字符级RNN是一种有效的一般响应生成模型，具有适当的参数设置;然而，其他类型的会话主题可能会受益于使用其他模型。
2017-12-16 cs.CL
Preference Tree Optimization: Enhancing Goal-Oriented Dialogue with Look-Ahead Simulations
Reichman University（赖希曼大学）；School of Computer Science（计算机科学学院）；School of Communications（传播学院）
本研究提出偏好树优化（PTO）框架，结合带前瞻的偏好树与直接偏好优化（DPO），在动机访谈领域通过虚拟患者等模拟对话生成偏好数据，训练的对话智能体在关键指标上优于基线。
2026-09-03 cs.AI cs.CL
Controllable and Reliable Knowledge-Intensive Task-Oriented Conversational Agents with Declarative Genie Worksheets
针对大语言模型对话智能体的幻觉、条件逻辑遵循差等问题，提出可编程框架Genie，通过声明式工作表和运行时管控实现可控可靠的对话，在复杂数据集及三项真实任务中性能显著提升。
2025-06-17 cs.AI cs.CL cs.PL
Action-Based Conversations Dataset: A Corpus for Building More In-Depth Task-Oriented Dialogue Systems
ASAPP；Columbia University（哥伦比亚大学）
现有的面向目标的对话数据集主要侧重于确定位置和价值。然而，在现实中的客户支持互动往往涉及代理商以下多步骤的程序来自明确定义的公司政策以及.为了在更现实的环境中研究客户服务对话系统，我们引入了基于会话的对话数据集（ABCD），这是一个完全标记的数据集，包含超过10K的人与人之间的对话，其中包含55个不同的用户意图，这些用户意图需要受策略约束的独特动作序列来实现任务成功。我们提出了两个额外的对话任务，动作状态跟踪和级联对话成功，并建立了一系列基线，涉及大规模的，预先训练的语言模型在这个数据集上。实证结果表明，虽然更复杂的网络优于更简单的模型，但在ABCD上仍存在相当大的差距（50.8%的绝对准确率）。
2021-04-01 cs.CL
Unified Conversational Models with System-Initiated Transitions between Chit-Chat and Task-Oriented Dialogues
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University（乌尔姆大学）；University of Bamberg（班贝格大学）
本文提出两种提示模型（离散与连续），在统一对话模型中主动生成过渡句，实现闲聊与任务导向对话之间由系统发起的模式切换，并支持多领域任务导向场景下的主动领域转换。
2023-07-04 cs.CL
PolyResponse: A Rank-based Approach to Task-Oriented Dialogue with Application in Restaurant Search and Booking
PolyAI Limited（PolyAI有限公司）
我们提出了PolyResponse，一个会话式的搜索引擎，支持面向任务的对话。它是一种基于检索的方法，绕过了传统的面向任务的对话系统的复杂的多组件设计和使用特定于任务的本体形式的显式语义。PolyResponse引擎基于从真实对话中提取的数亿个示例进行训练：它可以学习在不同的对话环境中什么样的响应是合适的。然后，它根据文本和视觉响应与给定上下文的相似性对它们的大索引进行排名，并在多轮对话期间缩小相关实体的列表。我们介绍了一个由PolyResponse引擎提供支持的餐厅搜索和预订系统，目前有8种不同的语言。
2019-09-03 cs.CL
Actionable Conversational Quality Indicators for Improving Task-Oriented Dialog Systems
LivePerson Inc.（LivePerson公司）
本文提出可操作会话质量指标（ACQIs），用于识别和推荐任务型对话系统的改进点，并在商业及公开数据集上验证，预测模型达79%加权F1，可减少81%的改进行动范围。
2021-09-22 cs.AI cs.CL
Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents
Uber AI（优步人工智能实验室）；Carnegie Mellon University（卡内基梅隆大学）
目标导向的会话主体在我们的日常生活中越来越普遍。为了让这些系统吸引用户并实现他们的目标，他们需要展示适当的社交行为，并提供指导用户完成任务的信息回复。本文研究的第一个组成部分是应用统计建模技术来理解用户和客户服务人员之间的对话。分析表明，人类代理使用的社交语言与更大的用户响应和任务完成有关。研究的第二个组成部分是构建一个会话代理模型，能够将社交语言注入代理的响应，同时仍然保留内容。该模型使用序列到序列深度学习架构，并扩展了社交语言理解元素。使用人类判断和自动语言测量的内容保存和社会语言水平方面的评估表明，该模型可以生成响应，使代理以更适合社会的方式解决用户的问题。
2020-12-29 cs.CL cs.HC
Towards Reliable and Empathetic Depression-Diagnosis-Oriented Chats
Shanghai Jiao Tong University（上海交通大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文针对抑郁症诊断对话需兼顾专业性与共情的问题，提出融合任务导向可靠性和共情闲聊的本体定义与生成框架，并在 D$^4$ 上验证其可显著提升任务完成与情感支持生成。
2024-04-07 cs.AI cs.CL
Vibe Check: Understanding the Effects of LLM-Based Conversational Agents' Personality and Alignment on User Perceptions in Goal-Oriented Tasks
Northeastern University（东北大学）
本研究探讨了对话代理性格表达水平和用户与代理性格对齐如何影响用户在目标导向任务中的感知，发现中等表达水平在多个维度上表现最佳，性格对齐进一步提升了结果，尤其在外向性和情绪稳定性和方面影响显著。
2026-04-29 cs.AI cs.CL cs.HC
Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations
Ant Group（蚂蚁集团）
由于口语和书面数据分布的差距，为口语对话构建健壮和通用的对话模型具有挑战性。本文介绍了我们的方法来建立通用模型的知识为基础的面向任务的对话建模口语会话挑战的DSTC-10。为了减少口语和书面文本之间的差异，我们主要采用广泛的数据增强策略的书面数据，包括人工错误注入和往返的文本-语音转换。为了训练口语会话的鲁棒模型，我们改进了预训练的语言模型，并对每个子任务应用集成算法。通常，对于检测任务，我们微调\roberta和ELECTRA，并运行错误修复集成算法。对于选择任务，我们采用了一个两阶段的框架，包括实体跟踪和知识排名，并提出了一个多任务学习方法，学习多层次的语义信息，通过领域分类和实体选择。对于生成任务，我们采用交叉验证数据过程来改进预训练的生成语言模型，然后采用共识解码算法，该算法可以添加任意特征，如相对\rouge度量，并直接将相关特征权重调整到\bleu。我们的方法在客观评估中排名第三，在最终的官方人类评估中排名第二。
2022-03-08 cs.CL
GoChat: Goal-oriented Chatbots with Hierarchical Reinforcement Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；UCAS（中国科学院大学）
一个像人类一样交谈的聊天机器人应该是目标导向的（即，在对话中有目的），这超出了语言生成。然而，现有的对话系统通常严重依赖于繁琐的手工制作的规则或昂贵的标记数据集来实现目标。在本文中，我们提出了面向目标的聊天机器人（GoChat），这是一个端到端训练聊天机器人的框架，可以最大限度地提高离线多轮对话数据集的长期回报。我们的框架利用分层强化学习（HRL），其中高层政策通过确定一些子目标来引导会话朝向最终目标，而低层政策通过生成相应的话语来响应来实现子目标。在我们对真实世界的金融反欺诈对话数据集的实验中，我们的方法在响应生成的质量和完成目标的成功率方面都优于以前的方法。
2020-05-26 cs.AI cs.CL
Dialog Simulation with Realistic Variations for Training Goal-Oriented Conversational Systems
Cranberry-Lemon University（蔓越莓柠檬大学）
面向目标的对话系统使用户能够完成特定的目标，如请求有关电影的信息或预订机票。通常，对话系统管道包含多个ML模型，包括自然语言理解、状态跟踪和动作预测（策略学习）。这些模型通过监督或强化学习方法的组合进行训练，因此需要收集标记的特定领域数据集。然而，收集带有语言和对话流变化的注释数据集是昂贵的，耗时的，并且由于人类的参与而难以扩展。在本文中，我们提出了一种方法，自动创建一个大型语料库的注释对话从几个彻底注释的示例对话和对话模式。我们的方法包括一种新的目标采样技术，用于对看似合理的用户目标进行采样，以及使用用户与系统（Alexa）之间的启发式相互作用的对话模拟技术，其中用户试图实现采样目标。我们通过生成数据和训练三个不同的下游会话ML模型来验证我们的方法。我们达到18岁了？与仅从现有目录中采样自然语言和实体值变化但不生成任何新的对话流变化的基线对话生成方法相比，在保留测试集上的相对准确度提高了50%。我们还定性地确定，所提出的方法是优于基线。此外，还使用这种方法构建了几种不同的对话体验，使客户能够与Alexa进行各种对话。
2020-11-16 cs.AI cs.CL cs.LG
Generating Challenge Datasets for Task-Oriented Conversational Agents through Self-Play
The State University of New York（纽约州立大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
端到端神经方法在会话场景中变得越来越普遍，因为当提供足够量的数据时，它们具有良好的性能。在本文中，我们提出了一种新的方法来解决神经方法在这种情况下的可解释性，通过使用多个任务/意图的对话自我发挥来创建挑战数据集。对话自我发挥允许产生大量的合成数据，通过利用完全控制的生成过程中，我们展示了如何神经方法可以评估看不见的对话模式。我们提出了几个模式外的测试用例，其中每一个都引入了一个自然的和意想不到的用户话语现象。作为概念的证明，我们建立了一个单一的和多个内存网络，并表明这两个架构有不同的性能取决于独特的对话模式。
2019-10-16 cs.CL
HR-MultiWOZ: A Task Oriented Dialogue (TOD) Dataset for HR LLM Agent
Amazon（亚马逊）；University of Milano-Bicocca（米兰-比科卡大学）
针对HR领域LLM智能体缺乏高质量标注对话数据集、现有数据集不匹配员工需求且收集真实对话有隐私风险的问题，提出首个HR领域开源标注对话数据集HR-Multiwoz，含550段对话覆盖10个领域，还给出可迁移的低人力成本数据生成流水线。
2024-02-01 cs.AI cs.CL
A Unified Pre-training Framework for Conversational AI
Baidu Inc.（百度公司）
在这项工作中，我们探讨了PLATO-2在各种对话系统中的应用，包括开放域对话，基于知识的对话和面向任务的对话。PLATO-2最初被设计为一个开放领域的聊天机器人，通过两个阶段的课程学习进行训练。在第一阶段中，学习粗粒度的响应生成模型以适应简化的一对一映射关系。该模型适用于面向任务的会话，给定的语义映射往往是确定性的任务完成。在第二阶段中，另一个细粒度的生成模型和评估模型，进一步学习不同的响应生成和一致性估计，分别。该模型具有良好的一对多映射能力，适用于开放领域会话和基于知识的会话。对于PLATO-2的综合评估，我们参与了DSTC 9的多个任务，包括开放域对话的交互评估（Track 3-task 2），知识基础对话的静态评估（Track 3-task 1）和端到端面向任务的对话（Track 2-task 1）。PLATO-2在所有三项任务中均获得第一名，验证了其作为各种对话系统的统一框架的有效性。
2021-05-27 cs.CL
UniConv: A Unified Conversational Neural Architecture for Multi-domain Task-oriented Dialogues
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
建立一个端到端的会话代理多领域的面向任务的对话一直是一个开放的挑战，主要有两个原因。首先，跟踪多个域的对话状态是不平凡的，因为对话代理必须从所有相关域获得完整的状态，其中一些可能具有域之间的共享槽以及仅针对一个域的唯一槽。其次，对话代理还必须处理跨域的各种类型的信息，包括对话上下文、对话状态和数据库，以生成对用户的自然响应。与现有的通常被设计为单独训练每个模块的方法不同，我们提出了“UniConv”--一种用于多领域面向任务的对话中的端到端会话系统的新型统一神经架构，其被设计为联合训练（i）通过独立地在槽和域级别学习信号来跟踪对话状态的双层状态跟踪器，以及（ii）联合对话行为和响应生成器，其合并来自各种输入组件的信息并且同时对对话行为和目标响应进行建模。我们在MultiWOZ2.1基准测试中进行了对话状态跟踪、上下文到文本和端到端设置方面的全面实验，实现了优于竞争基准的性能。
2020-11-15 cs.CL cs.LG
Unsupervised Flow Discovery from Task-oriented Dialogues
CISUC, Universidade de Coimbra（科英布拉大学系统与计算机工程中心，科英布拉大学）；DEI, FCTUC, Universidade de Coimbra（科英布拉大学工程学院，科英布拉大学）；ISEC, Instituto Politécnico de Coimbra（科英布拉理工学院高等工程学院）
本文提出一种从任务导向对话历史中无监督发现对话流程的方法，通过话语向量聚类构建状态转移图，并在MultiWOZ上验证了其提取有意义流程的潜力。
2024-05-02 cs.AI cs.CL
Deep Conversational Recommender Systems: A New Frontier for Goal-Oriented Dialogue Systems
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）；The University of Sydney（悉尼大学）；The University of New South Wales（新南威尔士大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
近年来，利用自然语言处理技术的推荐系统引起了人们的广泛关注，会话式推荐系统（CRS）就是其中的一个应用。与传统的基于内容的推荐系统和协同过滤方法不同，CRS通过交互式对话来学习和建模用户的偏好。在这项工作中，我们提供了CRS的最新进展，其中深度学习方法被应用于CRS，并产生了丰硕的成果。我们首先分析了深度会话推荐系统（DCRS）开发中的研究问题和主要挑战，然后从最新的研究中提出了该领域的现状，包括最常见的深度学习模型，使DCRS受益。最后，我们讨论了这个充满活力的地区的未来发展方向。
2020-04-28 cs.CL cs.LG stat.ML
SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents
DAMO Academy, Alibaba Group（阿里巴巴集团大模型研究院）；Computer Science and Engineering Division, University of Michigan（密歇根大学计算机科学与工程系）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学光明人工智能学院）
针对现有任务型对话数据集与真实语音场景的差距，提出大规模语音-文本基准SpokenWOZ，包含8领域249小时音频，并设计跨轮槽位与推理槽位检测新挑战，实验表明现有模型在语音对话中仍有大幅提升空间。
2025-06-24 cs.AI cs.CL
Target-constrained Bidirectional Planning for Generation of Target-oriented Proactive Dialogue
The Hong Kong Polytechnic University（香港理工大学）
针对目标导向主动对话的规划难题，提出带双向一致性的目标约束双向规划TRIP方法，用两个Transformer解码器双向生成动作-话题对路径，引导对话生成，在两个数据集上显著优于基线模型。
2024-03-10 cs.AI cs.CL
Task-oriented Dialogue Systems: performance vs. quality-optima, a review
University of the West of England（西英格兰大学）；GE Aviation（通用电气航空）；Universidad Atlántida Argentina（阿根廷大西洋大学）
任务导向的对话系统（TODS）正在继续流行，因为各个行业都在寻找有效利用其能力的方法，从而节省时间和金钱。然而，即使是最先进的TODS也尚未充分发挥其潜力。TODS的主要设计重点通常是完成手头的任务，因此任务解决的度量应该优先考虑。可以忽略可能指向对话的成功或其他的其他会话质量属性。这可能导致人与对话系统之间的交互，这使得用户不满意或沮丧。本文探讨了文献的评价框架的对话系统和会话质量属性的作用，在对话系统，看看如果，如何，以及在哪里使用，并检查它们的相关性与性能的对话系统。
2021-12-21 cs.AI cs.CL
Learning Conversational Systems that Interleave Task and Non-Task Content
Carnegie Mellon University（卡内基梅隆大学）
面向任务的对话系统已经应用于各种任务，例如自动化个人助理、客户服务提供者和教师。当用户有清晰明确的意图，并且与系统的功能保持一致时，这些系统就能很好地工作。然而，如果用户的意图不明确，它们就会失败。为了解决这个缺点，我们提出了一个框架，将非任务内容（即日常社交对话）插入任务对话。当任务内容失败时，系统仍然可以保持用户参与非任务内容。我们使用强化学习算法训练策略，以促进长话轮会话的连贯性和一致性，从而使系统能够在任务和非任务内容之间平滑过渡。为了测试所提出的框架的有效性，我们开发了一个电影推广对话系统。与人类用户的实验表明，一个系统，交错的社会和任务内容实现了更好的任务成功率，也被评为更吸引人相比，一个纯粹的面向任务的系统。
2017-03-01 cs.AI cs.CL cs.HC
Deploying a Retrieval based Response Model for Task Oriented Dialogues
Amazon（亚马逊）
工业环境中面向任务的对话系统需要具有高会话能力，易于适应不断变化的情况并符合业务约束。本文描述了一个3步的过程来开发一个会话模型，满足这些标准，并可以有效地扩展到一个大的响应候选人的排名。首先，我们提供了一个简单的算法来半自动地从历史对话中创建一个高覆盖率的模板集，而无需任何注释。其次，我们提出了一个神经架构，将对话上下文和适用的业务约束编码为配置文件功能，用于对下一轮进行排名。第三，我们描述了一个两阶段的学习策略，自我监督训练，然后通过人在环平台收集的有限数据进行监督微调。最后，我们描述了离线实验，并提出了部署我们的模型与人在循环与现场客户在线交谈的结果。
2022-10-25 cs.CL
TRACER: Early Failure Detection for Task-Oriented Dialogue
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
研究面向任务对话的早期故障检测问题，核心方法是结合信念状态变化的轨迹信号与对话状态文本表示预测对话是否失败，贡献是能在对话结束前检测故障信号，优于基线方法。
2026-07-07 cs.CL
Alexa Conversations: An Extensible Data-driven Approach for Building Task-oriented Dialogue Systems
Amazon Alexa AI（亚马逊Alexa AI）
传统的面向目标的对话系统依赖于各种组件，例如自然语言理解、对话状态跟踪、策略学习和响应生成。训练每个组件都需要注释，这对于每个新领域都很难获得，限制了此类系统的可扩展性。类似地，基于规则的对话系统需要大量的规则编写和维护，并且也不能扩展。另一方面，端到端对话系统不需要特定于模块的注释，但需要大量数据用于训练。为了克服这些问题，在这个演示中，我们提出了Alexa Conversations，这是一种用于构建面向目标的对话系统的新方法，它具有可扩展性，可扩展性和数据效率。该系统的组件以数据驱动的方式进行训练，但我们不是收集注释对话进行训练，而是使用基于开发人员提供的一些种子对话和API和实体规范的新型对话模拟器生成它们。我们的方法提供了开箱即用的支持自然的会话现象，如跨回合的实体共享或用户在会话过程中改变主意，而不需要开发人员提供任何这样的对话流。我们使用一个简单的比萨饼订购任务来验证我们的方法，并展示了它在减少开发人员负担以创建强大体验方面的价值。最后，我们评估我们的系统使用一个典型的电影票预订任务，并表明，对话模拟器是一个重要组成部分的系统，导致超过$50\%$改善回合级动作签名预测精度。
2021-04-19 cs.CL cs.LG
"What do others think?": Task-Oriented Conversational Modeling with Subjective Knowledge
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Amazon, Alexa（亚马逊Alexa）
针对传统任务导向对话系统难以处理主观请求的问题，提出SK-TOD任务并构建首个含人工标注回复的数据集，揭示多观点聚合等新挑战。
2023-10-03 cs.CL
STREAM: A Data-Centric Framework for Mining High-Value Task-Oriented Dialogues from Streaming Media
Harbin Institute of Technology（哈尔滨工业大学）；Byering Technology（伯英技术）
提出STREAM框架，利用流媒体数据合成大规模多领域任务导向对话数据集StreamDial，通过角色构建和对话蓝图结合RAG生成高质量对话，解决数据稀缺问题。
2026-05-24 cs.AI cs.CL
Tartan: A retrieval-based socialbot powered by a dynamic finite-state machine architecture
Carnegie Mellon University（卡内基梅隆大学）
本文描述了为2018年Alexa Prize竞赛构建的Tartan会话代理。Tartan是一个非目标导向的社交机器人，专注于为用户提供一个吸引人的和流畅的休闲对话。Tartan的主要特点包括强调基于灵活的有限状态模型的结构化对话，以及专注于理解和使用对话行为的方法。为了提供引人入胜的对话，Tartan将脚本般的动态响应与基于数据的生成和检索模型相结合。Tartan的独特之处在于我们的对话管理器被建模为动态有限状态机。据我们所知，没有其他会话代理实现遵循这种特定的结构。
2018-12-04 cs.AI cs.CL
EGCR: Explanation Generation for Conversational Recommendation
University of Washington（华盛顿大学）
会话式推荐系统（CRS）作为一种基于会话、面向任务的推荐工具，能够提供用户感兴趣的内容，探索用户的偏好，受到了越来越多的关注。然而，现有的工作在CRS未能明确地显示推理逻辑的用户和整个CRS仍然是一个黑箱。因此，我们提出了一个新的端到端的框架命名为会话推荐（EGCR）的基础上产生的解释会话代理解释，解释他们为什么要采取行动。EGCR结合了用户评论，以增强项目表示，并增加整个对话的信息量。据我们所知，这是第一个在真实世界数据集上进行可解释会话推荐的框架。此外，我们在一个基准会话推荐数据集上评估EGCR，并在推荐准确性和会话质量方面取得了比其他最先进的模型更好的性能。最后，大量的实验表明，生成的解释不仅具有高质量和可解释性，而且使CRS更值得信赖。我们将提供我们的代码，为CRS社区做出贡献
2022-08-18 cs.AI cs.CL
Data-Efficient Goal-Oriented Conversation with Dialogue Knowledge Transfer Networks
Heriot-Watt University（赫瑞-瓦特大学）；Amazon Alexa AI（亚马逊Alexa AI）
面向目标的对话系统现在被广泛采用的行业，它是至关重要的，以保持一个快速的原型周期的新产品和领域。数据驱动的对话系统开发必须适应这一要求-因此，减少训练此类系统所需的数据和注释量是一个中心研究问题。在本文中，我们提出了对话知识转移网络（DiKTNet），一个国家的最先进的方法，以目标为导向的对话生成，只使用几个例子对话（即少样本学习），其中没有一个被注释。我们通过执行两阶段训练来实现这一点。首先，我们在多个领域的目标导向对话的大型来源MetaLWOz语料库上进行无监督对话表示预训练。其次，在传输阶段，我们使用此表示以及其他2个具有不同通用性水平的文本知识源来训练DiKTNet：ELMo编码器和主数据集的源域。我们的主要数据集是斯坦福多领域对话语料库。我们在BLEU和实体F1分数方面评估了我们的模型，并表明我们的方法在一系列基线模型以及之前最先进的对话生成模型ZSDG上有显著且一致的改进。后者的改进--在实体F1中高达10%，BLEU得分平均为3%--仅使用相当于ZSDG域内训练数据10%的数据就实现了。
2019-10-03 cs.CL
Goal-Embedded Dual Hierarchical Model for Task-Oriented Dialogue Generation
Amazon ML（亚马逊机器学习）
分层神经网络通常用于对对话中的固有结构进行建模。对于目标导向的对话，这些模型缺少一个坚持目标的机制，忽视了两个对话者之间的独特的会话模式。在这项工作中，我们提出了目标嵌入式双层次注意编码器-解码器（G-DuHA）能够围绕目标和捕获对话者级别的差异，同时建模面向目标的对话。对话生成，响应生成和人工评价的实验表明，该模型成功地生成更高质量，更多样化和目标为中心的对话。此外，我们应用数据增强通过面向目标的对话生成面向任务的对话系统，取得了更好的性能。
2019-09-19 cs.AI cs.CL
Effects of Naturalistic Variation in Goal-Oriented Dialog
IBM Research（IBM研究公司/IBM研究院（注：IBM Research 通常译为IBM研究部门或IBM研究院，此处按常见译法提取机构））
用于评估端到端神经对话系统性能的现有基准缺乏一个关键组成部分：人类对话中存在的自然变化。大多数数据集都是通过众包构建的，众包工作人员在扮演用户/代理角色时遵循固定的指令模板。这导致了直接的，有点常规的，并且大多数情况下没有麻烦的对话，因为人群工作人员不认为代表真实用户自然发生的全部动作。在这项工作中，我们研究了自然主义的变化对两个面向目标的数据集：bAbI对话任务和斯坦福多域数据集（SMD）的影响。我们还提出了新的和更有效的测试平台，这两个数据集，由用户引入自然的变化。我们观察到，最近最先进的端到端神经方法（如BossNet和GLMP）在两个数据集上的性能显着下降（SMD上的Ent.F1超过60%，bAbI任务的每对话准确率为85%）。
2020-10-05 cs.AI cs.CL
From Simulation to Strategy: Automating Personalized Interaction Planning for Conversational Agents
Department of Computer Science and Information Engineering（计算机科学与信息工程系）；National Taiwan University（台湾大学）
本文提出了一种基于职业信息的轻量级策略，用于优化销售导向对话代理的个性化交互规划，通过调整对话意图提升对话效果。
2025-12-05 cs.CL
External Knowledge Selection with Weighted Negative Sampling in Knowledge-grounded Task-oriented Dialogue Systems
LG AI Research（LG人工智能研究院）
构建一个健壮的基于口语对话的对话系统比书面对话更具挑战性。在这方面，提出了DSTC 10-Track 2-Task 2，其目的是建立一个面向任务的对话（TOD）系统，将非结构化的外部知识的口语会话，扩展DSTC 9-Track 1。本文介绍了我们的系统包含四个先进的方法：数据构建，加权负采样，后训练，风格转移。我们首先自动构建一个大的训练数据，因为DSTC 10-Track 2不发布官方训练集。对于知识选择任务，我们提出了加权负采样的训练模型更细粒度的方式。我们还采用后训练和风格转移的响应生成任务，以生成一个适当的响应与目标响应相似的风格。在实验中，我们考察了加权负采样、后训练和风格迁移的效果。我们的模型在客观评价中排名16支球队中的7支，在人工评价中排名6支。
2022-09-06 cs.CL
Exploring the importance of context and embeddings in neural NER models for task-oriented dialogue systems
Haptik Inc（哈普蒂克公司）
命名实体识别（NER）是一个经典的序列标记任务，是面向任务的对话系统中自然语言理解（NLU）系统的重要组成部分。十多年来，从使用地名词典和领域本体的查找、手工特征的分类器到涉及神经网络架构的端到端系统的不同方法大多在语言独立的非会话设置中进行了评估。在本文中，我们评估了一个修改后的版本的最新状态的最先进的神经架构的对话设置中的消息往往是短和嘈杂的。我们进行了一系列的实验与不同的组合，包括以前的话语在对话中作为额外的功能的来源，并使用单词和字符级的嵌入训练一个更大的外部语料库。所有的方法进行评估的组合数据集形成的两个公共英语面向任务的会话数据集分别属于旅游和餐饮领域。为了进行额外的评估，我们还在将自动翻译和音译（来自翻译）版本添加到仅英语数据集后重复了一些实验。
2018-12-06 cs.CL
Building Goal-Oriented Dialogue Systems with Situated Visual Context
Amazon Alexa AI（亚马逊 Alexa AI）
大多数流行的面向目标的对话代理能够理解会话上下文。然而，随着屏幕虚拟助理的激增，下一代代理也需要理解屏幕上下文，以便提供适当的交互体验，并更好地理解用户的目标。在本文中，我们提出了一种新的多模态会话框架，其中的对话代理的下一个动作和他们的参数是共同条件下的会话和视觉上下文。具体来说，我们提出了一个新的模型，可以在对话中的视觉上下文的原因和填充API参数与视觉实体给定的用户查询。我们的模型可以识别视觉特征，如颜色和形状，以及基于元数据的功能，如价格或星级与视觉实体相关联。为了训练我们的模型，由于缺乏合适的多模态会话数据集，我们还提出了一种新的多模态对话模拟器来生成合成数据，并从MTurk收集现实的用户数据，以提高模型的鲁棒性。所提出的模型达到了合理的85%的模型准确度，没有高推理延迟。我们还展示了所提出的方法在一个原型的家具购物体验的多模态虚拟助理。
2021-11-22 cs.CL cs.CV cs.LG
SalesBot: Transitioning from Chit-Chat to Task-Oriented Dialogues
National Taiwan University（国立台湾大学）；MediaTek Research（联发科研究院）
对话系统通常分为两种类型，开放域和面向任务的。第一个重点是与用户聊天，让他们参与对话，其中选择一个合适的话题，以适应对话的背景是一个成功的对话至关重要。另一个专注于特定的任务，而不是随意的谈话，例如，周五晚上看电影或者放首歌这两个方向由于目的不同而被分开研究。然而，如何从社交聊天顺利过渡到任务导向的对话对于触发商业机会很重要，目前还没有公开数据关注此类场景。因此，本文的重点是调查从开放域社交聊天开始，然后逐渐过渡到面向任务的目的，并发布了一个大规模的数据集，详细的注释，以鼓励这一研究方向。为了实现这一目标，本文提出了一个框架，自动生成许多对话，没有人的参与，任何强大的开放域对话生成模型可以很容易地利用。人工评估表明，我们生成的对话数据具有合理质量的自然流动，表明我们发布的数据具有指导未来研究方向和商业活动的巨大潜力。此外，发布的模型允许研究人员在目标场景中自动生成无限对话，这可以大大有利于半监督和无监督方法。
2022-04-22 cs.AI cs.CL
Rescue Conversations from Dead-ends: Efficient Exploration for Task-oriented Dialogue Policy Optimization
South China University of Technology（华南理工大学）；Utrecht University（乌得勒支大学）；Changsha University of Technology（长沙理工大学）
针对深度强化学习训练对话策略时无效探索多、效率低的问题，本文提出DDR算法，可及时检测初始死局状态并给出拯救动作纠正探索方向，还通过含死局状态的经验做数据增强避免重复犯错，经多领域数据集验证有效且通用。
2023-05-05 cs.CL cs.HC
Intent Induction from Conversations for Task-Oriented Dialogue Track at DSTC 11
AWS AI Labs（AWS人工智能实验室）
本文介绍 DSTC 11 的对话意图归纳赛道，构建真实客服场景基准、两项子任务、三个数据集与基线，并汇总34个团队的提交结果。
2023-04-25 cs.CL
DivTOD: Unleashing the Power of LLMs for Diversifying Task-Oriented Dialogue Representations
Meituan（美团）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出 DivTOD 预训练模型，通过与大语言模型协作迁移多样化知识并去除矛盾领域知识，在多个下游任务型对话任务上超越强基线，有效学习对话的内在多样性。
2024-03-31 cs.CL
Precognition in Task-oriented Dialogue Understanding: Posterior Regularization by Future Context
Ant Group（蚂蚁集团）
面向任务的对话系统是近年来研究的热点。在面向任务的对话系统中，对话理解被广泛用于理解用户的意图、情感和对话状态。大多数以前的作品，这种歧视性的任务只模型当前查询或历史对话。即使在某些工作中，整个对话流被建模，它是不适合现实世界的面向任务的会话，因为未来的上下文是不可见的，在这种情况下。在本文中，我们提出了联合模型的历史和未来的信息，通过后验正则化方法。更具体地说，通过将当前话语和过去的上下文建模为先验，将整个对话流建模为后验，我们优化了这些分布之间的KL距离，以在训练过程中正则化我们的模型。只有历史信息才能用于推理。在两个对话数据集上的实验验证了该方法的有效性，与所有基线模型相比，取得了更好的结果。
2022-03-07 cs.CL
Towards Scalable Multi-domain Conversational Agents: The Schema-Guided Dialogue Dataset
Google Research（谷歌研究院）
Google Assistant、Alexa和Siri等虚拟助理为跨多个域的大量服务和API提供对话界面。这样的系统需要支持不断增加的服务数量，这些服务可能具有重叠的功能。此外，这些服务中的一些服务几乎没有可用的训练数据。现有的面向任务的对话的公共数据集不足以捕捉这些挑战，因为它们覆盖几个领域，并假设每个域的一个静态本体。在这项工作中，我们介绍了模式引导对话（SGD）数据集，包含超过16k的多域会话跨越16个域。我们的数据集在规模上超过了现有的面向任务的对话语料库，同时也突出了与构建大规模虚拟助手相关的挑战。它为许多任务提供了一个具有挑战性的测试平台，包括语言理解、槽填充、对话状态跟踪和响应生成。沿着同样的思路，我们提出了一个模式引导的范式为任务导向的对话，其中预测的意图和插槽，作为输入，使用他们的自然语言描述的动态设置。这允许单个对话系统容易地支持大量服务，并且便于新服务的简单集成，而不需要额外的训练数据。基于所提出的范例，我们发布了一个对话状态跟踪模型，能够zero-shot推广到新的API，同时在常规设置中保持竞争力。
2020-01-29 cs.CL
