Navigating Connected Memories with a Task-oriented Dialog System
Meta Reality Labs（Meta现实实验室）；Meta AI
近年来，由于智能手机和智能眼镜的出现，用户捕获的个人媒体量呈增长趋势，从而产生大量媒体收藏。尽管对话是一个直观的人机界面，目前的努力主要集中在单镜头自然语言为基础的媒体检索，以帮助用户查询他们的媒体和重新生活他们的记忆。这严重限制了搜索功能，因为用户既不能提出后续查询，也不能在没有首先制定单轮查询的情况下获得信息。在这项工作中，我们提出了一个强大的工具，使用户能够搜索他们的媒体收藏，通过多轮，互动对话的连接记忆的对话。为此，我们收集了一个新的面向任务的对话数据集COMET，其中包含$11.5k$用户<->助理对话（共$103k$话语），接地模拟个人记忆图。我们采用了一种资源高效的，两阶段的数据汇集管道，使用：（1）一种新的多模态对话模拟器，生成合成的对话流接地内存图，以及（2）手动释义，以获得自然语言的话语。我们分析COMET，制定四个主要任务来衡量有意义的进展，并采用最先进的语言模型作为强基线，以突出我们的数据集所捕获的多模态挑战。
2022-11-15 cs.CL
Outlier Detection for Improved Data Quality and Diversity in Dialog Systems
Clinc, Inc.（Clinc公司）
在数据库中，离群值要么是错误：数据中的错误会适得其反，要么是独特的：提高模型鲁棒性的信息样本。识别离群值可以通过（1）消除数据集中的噪声和（2）引导收集额外的数据来填补空白，从而产生更好的数据集。然而，检测两种离群值类型的问题在NLP中受到的关注相对较少，特别是对于对话系统。我们介绍了一种简单有效的技术，用于检测错误和独特的样本在语料库中的短文本使用神经句子嵌入结合基于距离的离群值检测。我们还提出了一种新的数据汇集管道建立在我们的检测技术自动和迭代地挖掘独特的数据样本，同时丢弃错误的样本。实验表明，我们的离群值检测技术是有效的发现错误，而我们的数据汇集管道产生高度多样化的语料库，从而产生更强大的意图分类和插槽填充模型。
2019-04-05 cs.CL
A Two-Stage Proactive Dialogue Generator for Efficient Clinical Information Collection Using Large Language Model
Stevens Institute of Technology（史蒂文斯理工学院）；Nokia Bell Labs（诺基亚贝尔实验室）
针对医患信息采集效率低的问题，提出融合两阶段推荐结构、排序标准与交互式患者智能体的大语言模型驱动诊断对话系统，可多轮采集诊断信息，在真实数据集上表现出良好的流畅性、专业性与安全性。
2024-10-02 cs.AI cs.CL
Tell Your Story: Task-Oriented Dialogs for Interactive Content Creation
Meta Reality Labs（Meta现实实验室）；Meta AI
人们拍摄照片和视频来重温和分享个人重要的记忆。最近，媒体蒙太奇（故事）由于其直观和强大的讲故事能力而成为分享这些记忆的流行模式。然而，创建这样的剪辑通常涉及大量耗时且麻烦的手动搜索、点击和选择，从而不利地影响用户体验。为了缓解这一问题，我们提出了一种新颖的互动工具，无缝搜索，编译和编辑剪辑从媒体收藏蒙太奇创建面向任务的对话框。据我们所知，我们的工作是第一个利用多轮对话这样一个具有挑战性的应用，扩展了以前的文献研究简单的媒体检索任务。我们收集了一个新的数据集C3（会话内容创建），包括10k的对话框条件的媒体剪辑模拟从一个大的媒体集合。我们采取模拟和释义的方法来收集这些对话既节省成本又节省时间，同时借鉴自然语言分布。我们对最先进的语言模型的分析和基准测试展示了数据集中存在的多模态挑战。最后，我们提出了一个现实世界的移动演示应用程序，显示了所提出的工作在现实世界中的应用程序的可行性。我们的代码和数据将公开提供。
2022-11-08 cs.CL
Discovering Customer-Service Dialog System with Semi-Supervised Learning and Coarse-to-Fine Intent Detection
Tianjin University（天津大学）；China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司）
任务导向对话（Task-oriented dialogue，TOD）旨在通过多轮对话帮助用户实现特定的目标。最近，基于大型预训练模型已经获得了良好的结果。然而，标签数据的稀缺性阻碍了TOD系统的大规模有效开发。在这项工作中，我们构建了一个基于教师/学生范式的弱监督数据集，该范式利用了大量未标记的对话。此外，我们建立了一个模块化的对话系统和集成的粗到细粒度的用户意图检测分类。实验结果表明，该方法能够以较高的成功率达到对话目标，并产生更连贯的响应。
2022-12-23 cs.CL
Dialogs Re-enacted Across Languages
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出收集跨语言紧密匹配话语对的协议，公开发布相应双语对话语料库，并总结观察，以支持跨语言韵律映射和语音翻译研究。
2023-07-13 cs.CL cs.SD eess.AS
Contextual Data Augmentation for Task-Oriented Dialog Systems
Amazon Alexa（亚马逊Alexa）
本文提出一种基于完整对话上下文的用户话语生成模型，结合新的提示设计和输出重排序，在MultiWoZ和SGD基准上将对话成功率提升高达8%。
2023-10-16 cs.CL
ParlAI: A Dialog Research Software Platform
Facebook AI Research（Facebook人工智能研究（FAIR）团队（注：此处机构名原文为“Facebook AI Research”，中文通常翻译为“Facebook人工智能研究”或保留英文缩写“FAIR”，但根据要求保留英文并给出准确中文，此处按常见译法））
我们介绍ParlAI（发音为“par-lay”），这是一个用Python实现的用于对话研究的开源软件平台，可在http://parl.ai上获得。它的目标是提供一个统一的框架，用于共享、训练和测试对话模型，集成Amazon Mechanical Turk用于数据汇集、人工评估和在线/强化学习;以及一个机器学习模型存储库，用于与其他模型进行比较，并改进现有架构。第一个版本支持超过20个任务，包括流行的数据集，例如SQuAD、bAbI任务、MCTest、WikiQA、QACNN、QADailyMail、CBT、bAbI Dialog、Ubuntu、OpenSubtitles和VQA。集成了几个模型，包括记忆网络，seq 2seq和专注LSTM等神经模型。
2018-03-08 cs.CL
The slurk Interaction Server Framework: Better Data for Better Dialog Models
University of Potsdam（波茨坦大学）
本文介绍了slurk软件，一个轻量级的交互服务器，用于建立对话数据汇集和运行实验。Slurk支持多种设置，包括两个或多个人或人与机器人之间基于文本的语音和视频交互，以及用于呈现共享或私人交互上下文的多模式显示区域。该软件是用Python实现的，带有HTML和JS前端，可以很容易地适应个人需求。它还提供了一个在常见的众包平台上配对参与者的设置，例如Amazon Mechanical Turk和一些常见交互场景的示例机器人脚本。
2022-02-02 cs.CL
Improving Automated Evaluation of Open Domain Dialog via Diverse Reference Augmentation
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
对于给定的开放域对话上下文，多个不同的响应通常是合理的。先前的工作已经表明，具有多个有效的参考响应对于有意义和强大的自动化评估的重要性。在这种情况下，通常的做法是收集更多的人类书面参考资料。然而，这样的收集可能是昂贵的、耗时的并且不容易扩展。相反，我们提出了一种新的技术，用于自动扩展人类生成的参考一组候选参考。我们从知识源中获取合理的引用，并调整它们，使它们在所讨论的对话实例的上下文中更加流畅。更具体地说，我们使用（1）常识知识库，以引出大量的合理的反应，给定的对话历史（2）从对话语料库检索的相关实例，使用类似的过去以及未来的上下文。我们证明，我们的自动扩展的参考集导致DailyDialog数据集的自动化指标与系统输出的人类评级的相关性有很大的改善。
2021-06-05 cs.CL
Adding Chit-Chat to Enhance Task-Oriented Dialogues
Cornell University（康奈尔大学）；Facebook（脸书公司）；Facebook AI Research（脸书人工智能研究院）
现有的对话语料库和模型通常是在两个不相交的动机下设计的：而面向任务的系统专注于实现功能目标（例如，预订酒店），开放域聊天机器人旨在进行社交参与对话。在这项工作中，我们建议通过将Chit-Chat添加到ENhance Task-Oriented对话（ACCENTOR）来集成这两种类型的系统，目标是使虚拟助理对话更具吸引力和互动性。具体来说，我们提出了一种人类<->AI协作数据汇集方法，用于生成多样化的聊天响应，以最小的注释工作来增强面向任务的对话。然后，我们将我们新的基于聊天的注释呈现给来自两个流行的面向任务的数据集（Schema-Guided Dialogue和MultiWOZ 2.1）的23.8K对话，并通过人工评估展示了它们相对于原始对话的优势。最后，我们提出了三种新的模型，用于将闲聊添加到面向任务的对话中，明确训练以预测用户目标并生成上下文相关的闲聊响应。自动和人工评估表明，与最先进的面向任务的基线相比，我们的模型可以在任务和聊天之间进行代码切换，以更吸引人，有趣，知识渊博和人性化，同时保持有竞争力的任务性能。
2021-05-01 cs.CL
Modeling Intent, Dialog Policies and Response Adaptation for Goal-Oriented Interactions
Intel Labs（英特尔研究院）
构建用于面向目标的交互的机器学习驱动的口语对话系统涉及意图和数据汇集的仔细设计以及意图识别模型和对话策略学习算法的开发。模型应该足够健壮，以处理交互流程中的各种用户干扰，并应引导用户返回到参与交互，以成功完成交互。在这项工作中，我们设计了一个目标导向的互动系统，儿童可以从事代理的一系列互动，涉及'满足\&问候'和'西蒙说'的游戏。我们已经探索了各种用于改进意图识别的特征提取器和模型，并研究了利用注意力模型以新颖的方式利用先前的用户和系统交互。我们还研究了用于夹带响应选择的对话自适应方法。我们从有限的训练数据中得到的自举模型比我们在意图识别和对话动作预测方面看到的许多基线方法都要好。
2019-12-20 cs.CL
Variational Learning for Unsupervised Knowledge Grounded Dialogs
IBM Research AI（IBM研究院人工智能部门）
最近的方法知识为基础的对话生成的反应，将信息从外部文本文件。这些方法不需要在训练期间知道确切的文档，并且依赖于使用检索系统从大型索引中获取相关文档。用于生成响应的文档被建模为潜在变量，其先验概率需要估计。诸如RAG和REALM之类的模型将从索引检索的文档上的文档概率边缘化，以定义端到端优化的对数似然损失函数。在本文中，我们开发了一种变分方法，上述技术，其中，我们反而最大化的证据下限（ELBO）。使用三个公开可用的开放式对话数据集的集合，我们演示了具有地面真实响应信息的后验分布如何在训练期间更好地近似目标函数。为了克服与采样在一个大的知识集合的挑战，我们开发了一种有效的方法来近似ELBO。据我们所知，我们是第一个将变分训练应用于开放规模无监督知识基础对话系统的人。
2022-04-28 cs.CL cs.LG
Dialog without Dialog Data: Learning Visual Dialog Agents from VQA Data
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）；Allen Institute for AI（艾伦人工智能研究所）；Facebook AI Research（Facebook 人工智能研究院）；SRI International（斯坦福国际研究院）
我们能否开发出基于视觉的对话代理，可以有效地适应新的任务，而不会忘记如何与人交谈？这样的代理可以利用更多种类的现有数据来概括新的任务，最大限度地减少昂贵的数据汇集和注释。在这项工作中，我们研究了一个设置，我们称之为“没有对话框的对话框”，这需要代理开发视觉接地的对话模型，可以适应新的任务，没有语言水平的监督。通过分解意图和语言，我们的模型在针对新任务进行微调后最大限度地减少了语言漂移。我们提出了定性结果，自动化指标和人类研究，所有这些都表明我们的模型可以适应新的任务并保持语言质量。基线要么在新任务中表现不佳，要么经历语言漂移，变得无法理解。代码已在https://github.com/mcogswell/dialog_without_dialog上提供
2020-07-24 cs.AI cs.CL cs.CV
TexPrax: A Messaging Application for Ethical, Real-time Data Collection and Annotation
Technical University of Darmstadt（达姆施塔特工业大学）
收集和注释面向任务的对话数据是困难的，特别是对于需要专业知识的高度特定的领域。与此同时，工作中越来越多地使用即时通讯等非正式沟通渠道。这导致大量与工作相关的信息通过这些渠道传播，需要员工手动进行后期处理。为了缓解这个问题，我们提出了TexPrax，一个消息传递系统，收集和注释的问题，原因和解决方案，发生在工作相关的聊天。TexPrax使用聊天机器人直接与员工互动，为他们的对话提供轻量级注释，并简化他们的文档工作。为了遵守数据隐私和安全法规，我们使用端到端消息加密，让用户完全控制他们的数据，这与传统的注释工具相比具有各种优势。我们在一项针对德国工厂员工的用户研究中对TexPrax进行了评估，这些员工会就日常工作中出现的问题向同事寻求解决方案。总的来说，我们收集了202个面向任务的德语对话，包含1,027个句子，并有专家级的注释。我们的数据分析还表明，现实世界的对话经常包含代码转换的实例，同一实体的不同缩写，以及NLP系统应该能够处理的方言。
2022-10-20 cs.CL
Multi3WOZ: A Multilingual, Multi-Domain, Multi-Parallel Dataset for Training and Evaluating Culturally Adapted Task-Oriented Dialog Systems
University of Cambridge（剑桥大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对多语言任务型对话数据集稀缺及翻译痕迹等问题，本文提出了多语言、多领域、多平行的Multi3WOZ数据集，通过自底向上的数据收集过程提供4种语言的文化适应对话，并给出了跨任务的基准分数以支持系统训练与评估。
2023-07-26 cs.CL
Towards Universal Dialogue Act Tagging for Task-Oriented Dialogues
Amazon（亚马逊）
用于构建面向任务的对话系统的机器学习方法需要带有标签的大型会话数据集来进行训练。我们对从人与人的对话中构建面向任务的对话系统感兴趣，这些对话可能在现有的客户服务中心日志中大量可用，或者可以从人群工作人员那里收集。注释这些数据集可能非常昂贵。最近发布了多个带注释的面向任务的人机对话数据集，但是它们的注释模式在不同的集合中有所不同，即使是对于定义良好的类别，如对话行为（DA）。我们提出了一个通用的DA模式面向任务的对话，并调整现有的注释数据集与我们的模式。我们的目标是训练一个通用DA标记器（U-DAT）的任务导向的对话，并使用它来标记人与人的对话。我们调查了多个数据集，提出了手动和自动化的方法来调整不同的模式，并在人与人对话的目标语料库上呈现结果。在无监督学习实验中，我们在人与人对话中的系统回合上获得了54.1%的F1分数。在半监督设置中，F1分数增加到57.7%，否则需要至少1.7K手动注释转弯。对于新的域，我们展示了进一步的改进，当未标记或标记的目标域数据可用。
2019-07-05 cs.AI cs.CL
Chat-crowd: A Dialog-based Platform for Visual Layout Composition
University of Virginia（弗吉尼亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们介绍了聊天人群，一个交互式环境，通过对话的互动视觉布局组成。Chat-crowd支持具有两个会话角色的多个代理：扮演设计师角色的代理负责根据具有导演角色的代理发出的指令或命令将对象放置在可编辑画布中。该系统可与众包平台集成，用于同步和异步数据汇集，并配备了对两类代理人业绩的全面质量控制。我们希望，该系统将是有用的，以建立多模态目标为导向的对话任务，需要空间和几何推理。
2019-04-01 cs.CL cs.HC
Transferable Dialogue Systems and User Simulators
University of Cambridge（剑桥大学）；Alibaba Group（阿里巴巴集团）
训练对话系统的困难之一是缺乏训练数据。我们探讨了通过对话系统和用户模拟器之间的交互来创建对话数据的可能性。我们的目标是开发一个建模框架，可以通过两个代理之间的自我发挥，将新的对话场景。在这个框架中，我们首先在源域对话的集合上对两个代理进行预训练，这使得代理能够通过自然语言相互交谈。通过对少量目标域数据的进一步微调，代理继续进行交互，目的是使用具有结构化奖励函数的强化学习来改善其行为。在MultiWOZ数据集上的实验中，研究了两个实际的迁移学习问题：1）领域自适应和2）单域到多域迁移。我们证明了所提出的框架是非常有效的引导性能的两个代理迁移学习。我们还表明，我们的方法导致对话系统性能的改善，在完整的数据集。
2021-07-25 cs.AI cs.CL
Increasing faithfulness in human-human dialog summarization with Spoken Language Understanding tasks
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息科学与系统实验室）；Enedis（恩吉斯公司）；International Laboratory on Learning Systems - ILLS - IRL CNRS（国际学习系统实验室（ILLS - IRL 法国国家科学研究中心））
针对对话摘要模型易产生不一致内容、忠实度不足的问题，本研究将口语理解的语义信息融入面向任务的人与人对话摘要，提出新评估标准与标注数据集，实验验证该方法可提升摘要准确率。
2024-09-16 cs.AI cs.CL
Large Scale Multi-Actor Generative Dialog Modeling
University of California, Irvine（加州大学欧文分校）；NVIDIA（英伟达）
非目标导向的对话代理（即聊天机器人）旨在与用户进行不同的和有吸引力的对话;然而，它们通常在对话中表现出不一致的个性或所有用户的平均个性。本文解决了这些问题，通过控制代理人的角色生成后，通过调节先前的对话的目标演员。通过这样做，我们能够在一个人的讲话中利用更抽象的模式，并在生成的响应中更好地模仿它们。这项工作介绍了生成会话控制模型，一个增强和微调的GPT-2语言模型的条件下，过去的参考对话概率模型多轮对话中的演员的角色。我们引入了一个附带的数据汇集过程，从6个月的Reddit评论中获得1030万次对话。我们证明，将模型大小从117 M扩展到8.3B参数，在1.7M的Reddit对话中，困惑度从23.14提高到13.14。增加模型规模在人类评估中也取得了类似的改善，这些评估衡量了模型样本对现实主义（31%增加到37%），风格匹配（37%到42%），语法和内容质量（29%到42%）以及会话一致性（32%到40%）的偏好。我们发现，有条件地建模过去的对话提高了0.47的自动评估的困惑。通过人体试验，我们确定了条件建模和风格匹配之间的积极趋势，并概述了进一步改善人物角色控制的步骤。
2020-05-13 cs.CL
Efficient Dialog Policy Learning via Positive Memory Retention
Ludwig Maximilian University（路德维希-马克西米利安大学）；Siemens AG（西门子股份公司）
本文研究了利用强化学习训练递归神经网络作为面向目标的对话代理。用策略梯度训练这样的代理通常需要大量的样本。然而，以聊天机器人和人类代理之间对话的形式收集所需数据是耗时且昂贵的。为了缓解这个问题，我们描述了一个有效的策略梯度方法，使用积极的内存保留，这显着提高了采样效率。我们表明，我们的方法是10倍以上的样本效率比策略梯度在广泛的实验上一个新的合成数字猜测游戏。此外，在一个真实世界的视觉对象发现游戏中，所提出的方法是两倍的采样效率的策略梯度，并显示出国家的最先进的性能。
2020-05-24 cs.AI cs.CL cs.LG
Attention-Informed Mixed-Language Training for Zero-shot Cross-lingual Task-oriented Dialogue Systems
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
近年来，数据驱动的面向任务的对话系统在英语中取得了令人满意的效果。然而，由于缺乏高质量的数据，开发支持低资源语言的对话系统仍然是一个长期的挑战。为了避免昂贵和耗时的数据汇集，我们引入了注意通知混合语言训练（MLT），一种新的跨语言面向任务的对话系统的zero-shot适应方法。它利用很少的与任务相关的平行词对来生成用于跨语言学习语际语义的语码转换句子。我们建议根据经过训练的英语任务相关模型的注意力层计算的分数提取源单词，然后使用现有的双语词典生成单词对，而不是手动选择单词对。此外，不同的跨语言嵌入密集的实验证明了我们的方法的有效性。最后，在非常少的单词对的情况下，我们的模型在跨语言对话状态跟踪和自然语言理解方面都实现了显著的zero-shot自适应性能改进（即，意图检测和时隙填充）任务，而当前最先进的方法利用大量的双语数据。
2019-11-21 cs.CL cs.LG
RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems
Microsoft Research（微软研究院）；Iowa State University（爱荷华州立大学）
为了使面向任务的对话系统最大限度地发挥作用，它必须能够以一种方式来处理对话，该方式是（1）对于新的任务域，可以用少量的训练样本来概括，以及（2）对于各种风格、模态或域的用户输入是鲁棒的。为了实现这些目标，我们引入了RADDLE基准测试，这是一个用于评估不同领域模型性能的语料库和工具的集合。通过包含具有有限训练数据的任务，RADDLE旨在支持和鼓励具有较强泛化能力的模型。RADDLE还包括一个诊断清单，便于在语言变化、语音错误、不可见实体和域外话语等方面进行详细的鲁棒性分析。我们评估了最近基于预训练和微调的最先进的系统，发现在异构对话语料库上进行接地预训练比每个域训练单独的模型表现更好。总体而言，现有的模型在鲁棒性评价方面不太令人满意，这表明未来有改进的机会。
2020-12-29 cs.AI cs.CL
Human Evaluation of Conversations is an Open Problem: comparing the sensitivity of various methods for evaluating dialogue agents
Facebook AI Research（Facebook人工智能研究院）；Duke University（杜克大学）
改善对话式人工智能的核心是如何评估对话的开放问题。自动度量的问题是众所周知的（Liu等人，2016，arXiv：1603.08023），人类评估仍然被认为是黄金标准。不幸的是，如何执行人工评估也是一个悬而未决的问题：不同的数据汇集方法具有不同的人工一致性和统计敏感性水平，导致不同的人工注释时间和劳动力成本。在这项工作中，我们比较了五种不同的基于众包的人类评估方法，并发现不同的方法是最好的，这取决于所比较的模型类型，没有明显的赢家。虽然这突出了该领域的开放问题，但我们的分析导致了何时使用哪一个以及未来可能的方向的建议。
2022-01-12 cs.AI cs.CL
Credit C-GPT: A Domain-Specialized Large Language Model for Conversational Understanding in Vietnamese Debt Collection
Credit C-GPT是一种针对越南债务催收场景优化的领域专用大语言模型，通过整合多任务对话智能，提升对话理解、情感识别和意图检测等能力，为企业呼叫中心提供实时帮助和分析解决方案。
2026-01-15 cs.CL
Cross-Lingual Transfer Learning for Multilingual Task Oriented Dialog
Stanford Linguistics（斯坦福语言学系）；Facebook Conversational AI（脸书对话式人工智能部）；Facebook AI Research（脸书人工智能研究院）
许多面向任务的会话AI系统的话语解释管道中的第一步之一是识别用户意图和相应的槽。由于用于该任务的机器学习模型的数据汇集是耗时的，因此期望利用高资源语言中的现有数据来训练低资源语言中的模型。然而，这种模型的开发在很大程度上受到了多语言训练数据缺乏的阻碍。在本文中，我们提出了一个新的数据集的57k注释的话语在英语（43k），西班牙语（8.6k）和泰国（5k）在域天气，警报和提醒。我们使用该数据集来评估三种不同的跨语言迁移方法：（1）翻译训练数据，（2）使用跨语言预训练嵌入，以及（3）使用多语言机器翻译编码器作为上下文单词表示的新方法。我们发现，给定几百个目标语言的训练样本，后两种方法优于翻译训练数据。此外，在非常低的资源设置中，多语言上下文单词表示比使用跨语言静态嵌入提供更好的结果。我们还比较了跨语言的方法，使用单语资源的上下文ELMo表示的形式，并发现，只要少量的目标语言数据，这种方法优于所有的跨语言的方法，这突出了需要更复杂的跨语言的方法。
2019-04-01 cs.CL
Dialog Simulation with Realistic Variations for Training Goal-Oriented Conversational Systems
Cranberry-Lemon University（蔓越莓柠檬大学）
面向目标的对话系统使用户能够完成特定的目标，如请求有关电影的信息或预订机票。通常，对话系统管道包含多个ML模型，包括自然语言理解、状态跟踪和动作预测（策略学习）。这些模型通过监督或强化学习方法的组合进行训练，因此需要收集标记的特定领域数据集。然而，收集带有语言和对话流变化的注释数据集是昂贵的，耗时的，并且由于人类的参与而难以扩展。在本文中，我们提出了一种方法，自动创建一个大型语料库的注释对话从几个彻底注释的示例对话和对话模式。我们的方法包括一种新的目标采样技术，用于对看似合理的用户目标进行采样，以及使用用户与系统（Alexa）之间的启发式相互作用的对话模拟技术，其中用户试图实现采样目标。我们通过生成数据和训练三个不同的下游会话ML模型来验证我们的方法。我们达到18岁了？与仅从现有目录中采样自然语言和实体值变化但不生成任何新的对话流变化的基线对话生成方法相比，在保留测试集上的相对准确度提高了50%。我们还定性地确定，所提出的方法是优于基线。此外，还使用这种方法构建了几种不同的对话体验，使客户能够与Alexa进行各种对话。
2020-11-16 cs.AI cs.CL cs.LG
Bootstrapping LLM-based Task-Oriented Dialogue Agents via Self-Talk
IT University of Copenhagen（哥本哈根信息技术大学）；Pioneer Centre for Artificial Intelligence（先锋人工智能中心）；AWS AI Labs（亚马逊云科技人工智能实验室）
提出基于LLM自言自语的数据生成方法，通过多角色对话产生训练数据并利用自动化指标过滤，有效提升任务型对话智能体在特定工作流中的监督微调效果。
2024-01-10 cs.AI cs.CL
Visual Dialog
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
我们介绍了视觉对话的任务，这需要一个人工智能智能体举行一个有意义的对话与人类在自然，会话语言的视觉内容。具体来说，给定一个图像，一个对话历史，和一个关于图像的问题，代理必须在图像中的基础问题，从历史中推断上下文，并准确地回答问题。Visual Dialog从特定的下游任务中解脱出来，可以作为机器智能的一般测试，同时以视觉为基础，可以客观评估个人的反应和基准进度。我们开发了一种新的两人聊天数据收集协议，以管理一个大规模的可视化对话数据集（VisDial）。VisDial v0.9已经发布，包含1个对话框，10个问答对，来自COCO的约12万张图像，总共约120万个对话框问答对。我们为Visual Dialog引入了一系列神经编码器-解码器模型，其中包括3个编码器-后期融合，分层递归编码器和记忆网络-以及2个解码器（生成和判别），它们的性能优于许多复杂的基线。我们提出了一个检索为基础的评价协议的可视化对话，其中的人工智能智能体被要求排序的一组候选人的答案和评价指标，如人类反应的平均倒数排名。我们通过人类研究量化机器和人类在视觉对话任务上的表现之间的差距。把这一切放在一起，我们展示了第一个“视觉聊天机器人”!我们的数据集，代码，训练模型和可视化聊天机器人可在www.example.com上获得
2017-08-01 cs.AI cs.CL cs.CV
Aerial Vision-and-Dialog Navigation
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出空中视觉与对话导航任务及AVDN数据集，并设计HAA-Transformer模型，通过对话历史和人类注意力预测无人机导航航点。
2023-06-01 cs.AI cs.CL cs.CV
SOCCER: An Information-Sparse Discourse State Tracking Collection in the Sports Commentary Domain
Brown University（布朗大学）
在追求自然语言理解的过程中，人们一直对跟踪整个叙述中的状态变化感兴趣。在建模以事务为中心的对话和过程文本的状态方面已经取得了令人印象深刻的进展。然而，这个问题已经不太深入研究的领域，一般话语的地面真理描述的状态可能是松散的定义和状态变化是不太密集分布在话语。本文提出转向简化的，完全可观察的系统，显示其中一些属性：体育赛事。我们策划了2，263场足球比赛，包括带有时间戳的自然语言评论，以及离散事件，例如球队进球，交换球员或被罚牌。我们提出了一个新的任务制定，在不同的时间戳的游戏评论的段落，系统被要求识别游戏中事件的发生。这个域允许对状态进行丰富的描述，同时避免了许多其他现实世界设置的复杂性。作为性能测量的初始点，我们包括两个基线方法从句子分类的角度与时间依赖和当前国家的最先进的生成模型，分别，并证明，即使是复杂的现有方法的斗争状态跟踪任务时，状态的定义扩大或非事件的喋喋不休变得普遍。
2021-06-03 cs.CL
RSVP: Customer Intent Detection via Agent Response Contrastive and Generative Pre-Training
National Yang Ming Chiao Tung University（国立阳明交通大学）
提出RSVP自监督框架，利用智能体响应通过响应检索和生成两阶段预训练，提升客户意图检测准确率，在两个真实数据集上平均提升4.95%准确率。
2023-10-15 cs.CL
RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue
AILab, MIGe, University of Trieste（的里雅斯特大学）；Computational Statistics and Machine Learning, Istituto Italiano di Tecnologia（意大利理工学院）；DIA, University of Trieste（的里雅斯特大学）
提出RogueAI，一种通过玩家与两个LLM代理的对话游戏来检测授权欺骗的逆向图灵测试，并引入AutoRogueAI扩展。实验发现简单启发式方法准确率75.6%，而人类仅56.6%，表明人类忽略关键信号。
2026-06-12 cs.CL cs.HC
HR-MultiWOZ: A Task Oriented Dialogue (TOD) Dataset for HR LLM Agent
Amazon（亚马逊）；University of Milano-Bicocca（米兰-比科卡大学）
针对HR领域LLM智能体缺乏高质量标注对话数据集、现有数据集不匹配员工需求且收集真实对话有隐私风险的问题，提出首个HR领域开源标注对话数据集HR-Multiwoz，含550段对话覆盖10个领域，还给出可迁移的低人力成本数据生成流水线。
2024-02-01 cs.AI cs.CL
