On the Effectiveness of Integration Methods for Multimodal Dialogue Response Retrieval
Myongji University(明州大学);Kyungpook National University(庆北国立大学);Yonsei University(延世大学);Pohang University of Science and Technology(坡山科学技术大学)
针对多模态对话回复检索任务,该研究将其拆解为三个子任务,提出基于两阶段和端到端的三种融合方法,实验验证端到端方法性能相当,参数共享策略可减参并提升性能。
2025-06-13 cs.CL
Knowledge-Retrieval Task-Oriented Dialog Systems with Semi-Supervision
Tsinghua University(清华大学);China Mobile Research Institute(中国移动研究院);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院)
本文提出一种基于检索的方法增强任务型对话系统的知识选择,并开发基于隐变量模型的半监督学习框架JSA-KRTOD,利用有标签和无标签数据提升真实场景下的对话性能。
2023-05-22 cs.CL
Rethinking Evaluation in Retrieval-Augmented Personalized Dialogue: A Cognitive and Linguistic Perspective
Institute for Creative Technologies, University of Southern California(南加州大学创意技术研究所)
本文从认知与语言学角度重新审视基于检索增强的个性化对话评估,指出传统表面相似度指标无法反映对话质量的深层特征,并通过LAPDOG框架分析,强调需建立更符合人类沟通原理的评估方法。
2026-07-15 cs.CL
Proposal Towards a Personalized Knowledge-powered Self-play Based Ensemble Dialog System
这是2019年亚马逊Alexa竞赛的申请文件。我们给出了我们的会话体验的整体愿景,以及我们希望我们的对话系统在比赛结束时实现的示例会话。我们相信个性化、知识和自我游戏是更好的聊天机器人的重要组成部分。我们详细的系统架构建议和新颖性部分进一步强调了这些。最后,我们描述了我们将如何确保一个引人入胜的经验,这项研究将如何影响该领域,以及相关的工作。
2019-09-11 cs.CL
Multi-Grained Knowledge Retrieval for End-to-End Task-Oriented Dialog
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
针对端到端任务型对话中知识检索与回复生成混合导致大规模知识库下检索性能欠佳的问题,提出解耦两者并引入多粒度知识检索器MAKER,利用实体和属性选择器及蒸馏目标优化检索,在三个基准上验证了有效性。
2023-05-17 cs.CL
Dual-Feedback Knowledge Retrieval for Task-Oriented Dialogue Systems
Sun Yat-sen University(中山大学);Meta AI;Meetyou AI Lab(美图人工智能实验室)
针对任务型对话系统中知识检索与响应生成耦合导致的可扩展性挑战,提出检索器-生成器架构,并引入双反馈机制利用生成器输出的正负反馈作为伪标签训练检索器,在三个基准数据集上取得优越性能。
2023-10-23 cs.CL
Stylistic Retrieval-based Dialogue System with Unparallel Training Data
Meituan Group(美团);Tencent AI Lab(腾讯人工智能实验室);Gaoling School of Artificial Intelliegent, Renmin University of China(中国人民大学高瓴人工智能学院);College of William & Mary(威廉与玛丽学院);Universite De Montreal(蒙特利尔大学)
对话系统在对话过程中表达一致语言风格的能力对其可用性和用户满意度有直接的积极影响。虽然先前的研究已经证明,风格转移是可行的大量的并行数据,它往往是不可能的,收集不同的风格这样的数据。在本文中,而不是手动构建具有一定风格的对话数据,我们提出了一个灵活的框架,适应通用检索为基础的对话系统模仿语言风格的指定人物没有任何并行数据。我们的方法是基于自动生成的风格化的数据,通过学习行话的使用,然后重写通用的会话,以风格化的一个结合行话。在实验中,我们实现了五种不同语言风格的对话系统,结果表明,我们的框架显着优于基线的反应的相关性和风格程度的平均得分,和内容多样性。在一个商业聊天机器人上进行的A/B测试表明,用户对我们的系统更加满意。本研究证明了通过简单的数据增强来构建风格化对话系统的可行性。
2021-09-12 cs.CL
Pan More Gold from the Sand: Refining Open-domain Dialogue Training with Noisy Self-Retrieval Generation
Wuhan University(武汉大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);Huawei Technologies Ltd.(华为技术有限公司)
真实的人类对话数据是复杂的、异构的、有噪声的,从这些数据中构建开放域的对话系统仍然是一项具有挑战性的任务。事实上,这些对话数据仍然包含着丰富的信息和知识,但尚未得到充分的发掘。在本文中,我们展示了现有的开放域对话生成方法,该方法使用自回归或编码-解码语言模型来记忆上下文响应配对数据,但未充分利用训练数据。不同于目前的方法,使用外部知识,我们探索了检索生成训练框架,可以利用异构和嘈杂的训练数据考虑他们作为“证据”。特别是,我们使用BERTScore进行检索,这提供了更好的证据和生成质量。在公开数据集上的实验表明,我们的方法可以帮助模型生成更好的响应,即使这样的训练数据通常被认为是低质量的数据。这样的性能增益与通过扩大训练集而改进的性能增益相当,甚至更好。我们还发现,模型的性能与检索到的证据的相关性呈正相关。此外,我们的方法表现良好的zero-shot实验,这表明我们的方法可以更强大的现实世界的数据。
2022-09-15 cs.CL
Deploying a Retrieval based Response Model for Task Oriented Dialogues
Amazon(亚马逊)
工业环境中面向任务的对话系统需要具有高会话能力,易于适应不断变化的情况并符合业务约束。本文描述了一个3步的过程来开发一个会话模型,满足这些标准,并可以有效地扩展到一个大的响应候选人的排名。首先,我们提供了一个简单的算法来半自动地从历史对话中创建一个高覆盖率的模板集,而无需任何注释。其次,我们提出了一个神经架构,将对话上下文和适用的业务约束编码为配置文件功能,用于对下一轮进行排名。第三,我们描述了一个两阶段的学习策略,自我监督训练,然后通过人在环平台收集的有限数据进行监督微调。最后,我们描述了离线实验,并提出了部署我们的模型与人在循环与现场客户在线交谈的结果。
2022-10-25 cs.CL
Conversational Word Embedding for Retrieval-Based Dialog System
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
人类对话包含许多类型的信息,例如,知识、常识和语言习惯。在本文中,我们提出了一个会话词嵌入方法PR嵌入,它利用会话对$ \left\langle{post, reply} \right\rangle$学习词嵌入。与以往的工作不同,PR嵌入使用两个不同的语义空间的向量来表示帖子和回复中的单词。为了更好地捕捉词对之间的信息,我们首先引入统计机器翻译中的词对齐模型,生成跨句窗口,然后在词级和句级上对嵌入进行训练。我们评估的方法对单轮和多轮响应选择任务检索为基础的对话系统。实验结果表明,PR-嵌入可以提高选择响应的质量。PR-嵌入源代码可在https://github.com/wtma/PR-Embedding上获得
2020-04-28 cs.CL
Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning
Microsoft Corporation(微软公司);Peking University(北京大学)
建立基于检索的对话系统,可以从预先建立的索引中选择合适的反应,已经越来越受到研究者的关注。对于这项任务,采用预先训练的语言模型(如BERT)已经在许多基准测试中取得了显着进展。存在两种常见的方法,包括交叉编码器,其对输入执行完全关注,以及双编码器,其分别对上下文和响应进行编码。前者在精度上有相当大的提高,但在实际中往往不适用于大规模检索,因为在测试时需要对每个样本给予充分的关注。后者对数十亿个索引是有效的,但性能不佳。在这项工作中,我们建议结合这两个世界的最好的建立一个检索系统。具体来说,我们采用快速双编码器来取代传统的基于特征的预检索模型(如BM 25),并设置响应重排序模型作为一个更复杂的架构(如交叉编码器)。为了进一步提高我们的框架的有效性,我们训练的预检索模型和重新排序模型在同一时间通过相互学习,这使得两个模型在整个训练过程中相互学习。我们在两个基准测试上进行了实验,评估结果证明了我们提出的框架的效率和有效性。
2021-10-01 cs.CL
Learning a Matching Model with Co-teaching for Multi-turn Response Selection in Retrieval-based Dialogue Systems
Peking University(北京大学);Microsoft Corporation(微软公司)
我们研究了基于检索的对话系统中响应选择匹配模型的学习。这个问题与设计模型的架构同样重要,但在现有文献中较少探讨。为了从噪声训练数据中学习鲁棒匹配模型,我们提出了一个通用的协同教学框架,其中包括三个具体的教学策略,包括损失函数教学和数据课程教学。在该框架下,我们同时学习两个具有独立训练集的匹配模型。在每次迭代中,一个模型将从其训练集学习到的知识转移到另一个模型,同时从另一个模型接收关于如何克服训练中的噪声的指导。两种模式既当老师又当学生,相互学习,共同提高。两个公开数据集上的评估结果表明,所提出的学习方法可以普遍和显着提高现有的匹配模型的性能。
2019-06-11 cs.CL
Proactive Retrieval-based Chatbots based on Relevant Knowledge and Goals
Université de Montréal(蒙特利尔大学);Renmin University of China(中国人民大学);Huawei Poisson Lab.(华为泊松实验室)
主动对话系统具有主动引导对话的能力。与一般的聊天机器人只对用户做出反应不同,主动对话系统可以用于实现一些目标,例如,向用户推荐一些项目。背景知识对于对话的顺利和自然过渡至关重要。在本文中,我们提出了一个新的多任务学习框架检索为基础的知识为基础的主动对话。为了确定要使用的相关知识,我们将知识预测作为一项补充任务,并使用明确的信号来监督其学习。根据预测的知识、要实现的目标和上下文选择最终的响应。实验结果表明,知识预测和目标选择的显式建模可以大大提高最终的响应选择。我们的代码可在https://github.com/DaoD/KPN/上获得。
2021-07-18 cs.CL
Knowing What You Know: Calibrating Dialogue Belief State Distributions via Ensembles
Heinrich Heine University Düsseldorf(海因里希·海涅大学)
准确跟踪对话过程中发生的事情的能力对于对话系统的性能至关重要。当前最先进的多域对话状态跟踪器在当前的go-to基准上实现了超过55%的准确性,这意味着几乎在每一个第二对话回合中,它们都对不正确的对话状态充满信心。另一方面,信念追踪器在可能的对话状态上保持分布。然而,与对话状态跟踪器相比,它们缺乏性能,并且不产生良好校准的分布。在这项工作中,我们提出了国家的最先进的性能校准多域对话信念跟踪器使用校准的合奏模型。我们由此产生的对话信念跟踪器也优于以前的对话信念跟踪模型的准确性。
2020-11-05 cs.AI cs.CL
Fast and Light-Weight Answer Text Retrieval in Dialogue Systems
IBM Research AI(IBM研究院人工智能部门);IBM Watson(IBM沃森)
对话系统可以受益于能够搜索整个文本语料库以找到与用户请求相关的信息,特别是当遇到没有手动策划的响应可用的请求时。神经稠密检索或重新排序的最新技术涉及具有数亿参数的深度学习模型。然而,让这样的模型在工业规模上运行是困难和昂贵的,特别是对于通常需要支持大量单独定制的对话系统的云服务,每个对话系统都有自己的文本语料库。我们报告了我们的工作,使先进的神经稠密检索系统有效地运行在规模相对便宜的硬件。我们与领先的替代工业解决方案进行比较,并表明我们可以提供有效,快速和具有成本效益的解决方案。
2022-05-31 cs.CL cs.IR
Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出利用最大边缘似然训练感知型检索器并结合元知识指导生成器,以解决T5和ChatGPT等模型在任务型对话中难以区分检索记录的问题,有效提升了生成响应质量。
2023-10-20 cs.CL
Entity-Consistent End-to-end Task-Oriented Dialogue System with KB Retriever
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
在面向任务的端到端对话系统中,知识库的查询一直是一个难题。先前的序列到序列(Seq 2Seq)对话生成工作将KB查询视为对整个KB的关注,而不能保证生成的实体彼此一致。在本文中,我们提出了一种新的框架,查询知识库中的两个步骤,以提高生成的实体的一致性。在第一步中,灵感的观察,一个响应通常可以支持一个单一的KB行,我们引入了一个KB检索组件,显式返回最相关的KB行给定的对话历史。检索结果进一步用于Seq 2Seq响应生成模型中过滤无关实体,提高输出实体之间的一致性。在第二步中,我们进一步执行注意力机制来处理最相关的KB列。提出了两种方法,使训练的可行性,没有标记的检索数据,其中包括远程监督和Gumbel-Softmax技术。两个公开的面向任务的对话数据集上的实验表明,我们的模型的有效性优于基线系统,并产生实体一致的反应。
2019-09-18 cs.CL
An Ensemble Dialogue System for Facts-Based Sentence Generation
Nagoya Institute of Technology(名古屋工业大学)
本研究旨在通过条件化语境和从信息网站中提取的外部事实来生成基于真实世界事实的反应。我们的系统是一个集成系统,结合了三个模块:基于生成的模块,基于检索的模块,和重排序模块。因此,该系统可以从各种角度返回多样化和有意义的响应。实验和评估是用对话系统技术挑战7(DSTC 7-Task 2)中的句子生成任务进行的。因此,所提出的系统表现明显优于单一模块,并在DSTC 7-Task 2中工作良好,特别是在客观评价方面。
2019-02-05 cs.AI cs.CL
Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);Alibaba Group(阿里巴巴集团)
多文档接地对话系统(DGDS)属于一类会话代理,通过从文档集合中找到支持知识来回答用户的请求。大多数以前的研究旨在改善知识检索模型或提出更有效的方法,将外部知识的参数生成模型。然而,这些方法集中于从单粒度语言单元(例如,文档中的段落、句子或跨度)中检索知识,这不足以有效地和高效地捕获长文档中的精确知识。本文提出了Re3G,其目的是优化粗粒度的知识检索和细粒度的知识提取在一个统一的框架。具体来说,前者有效地找到检索和重新排序过程中的相关段落,而后者有效地提取这些段落中的更细粒度跨度,以纳入参数答案生成模型(BART,T5)。在DialDoc共享任务上的实验证明了该方法的有效性。
2023-02-23 cs.CL
EDA: Enriching Emotional Dialogue Acts using an Ensemble of Neural Annotators
University of Hamburg(汉堡大学)
情感和对话行为的识别丰富了会话分析,有助于构建自然的对话系统。情感解读使我们理解情感,而对话行为则反映话语的意图和施为功能。然而,大多数文本和多模态会话情感语料库只包含情感标签,而不包含对话行为。为了解决这个问题,我们建议使用一个在对话行为语料库上训练的各种递归神经模型的池,有上下文和没有上下文。这些神经模型用对话行为标签标注情感语料库,并且集成标注器提取最终的对话行为标签。我们标注了两个可访问的多模态情感语料库:IEMOCAP和MELD。我们分析了情感和对话行为标签的共现,发现了特定的关系。例如,接受/同意对话行为经常伴随着喜悦的情绪、悲伤的道歉和喜悦的感谢发生。我们将情感对话行为(EDA)语料库公开提供给研究界进行进一步的研究和分析。
2020-03-16 cs.AI cs.CL cs.RO
A Response Retrieval Approach for Dialogue Using a Multi-Attentive Transformer
LINKS Foundation(LINKS基金会);Politecnico di Torino(都灵理工大学)
本文介绍了我们的工作,第九版的对话系统技术挑战(DSTC 9)。我们的解决方案解决了第四个问题:模拟交互式多模态对话。该任务包括提供一种算法,能够模拟一个购物助理,支持用户与他/她的请求。我们解决的响应检索的任务,这是检索最合适的代理响应从响应候选池的任务。我们的方法利用神经架构的基础上Transformer与多注意力结构,条件的代理对用户的请求和用户所指的产品的响应。SIMMC时尚数据集上的最后实验表明,我们的方法实现了第二个最好的分数,所有的检索指标由组织者定义。源代码可在https://github.com/D2KLab/dstc9-SIMMC上获得。
2020-12-15 cs.AI cs.CL
UniRQR: A Unified Model for Retrieval Decision, Query, and Response Generation in Internet-Based Knowledge Dialogue Systems
Northwestern Polytechnical University(西北工业大学);Xidian University(西安电子科技大学)
本文提出统一模型UniRQR,通过提示与多任务学习同时完成检索决策、查询生成和响应生成,减少多模型部署成本,并在Wizint和Dusinc数据集上取得优于基线且可比肩SOTA专用模型的效果。
2024-01-11 cs.AI cs.CL cs.IR
Dial-MAE: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对对话响应选择中密集编码器缺乏专用后训练方法导致上下文与响应表示难以对齐的问题,提出 Dial-MAE,采用非对称编码器-解码器架构压缩对话语义,在两个基准上达到 SOTA。
2024-03-27 cs.AI cs.CL
Enhancing Performance on Seen and Unseen Dialogue Scenarios using Retrieval-Augmented End-to-End Task-Oriented System
Meta AI Research (FAIR)(Meta人工智能研究院(基础人工智能研究实验室));Salesforce AI(Salesforce人工智能研究院);Columbia University(哥伦比亚大学)
本文提出带简单缓存的检索增强端到端TOD框架,通过微调检索模块并让生成模型依据对话历史与缓存信息,提升对已有和未见场景的适应性,非空联合目标准确率较基线提高6.7%。
2023-08-16 cs.AI cs.CL
Efficient Uncertainty Estimation with Gaussian Process for Reliable Dialog Response Retrieval
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
深度神经网络在基于检索的对话系统中取得了卓越的性能,但它们被证明是校准不良的。虽然像Monte Carlo Dropout和Entrance这样的基本校准方法可以很好地校准,但这些方法在训练或推理阶段非常耗时。为了应对这些挑战,我们提出了一种用于基于BERT的对话式搜索的高效不确定性校准框架GPF-BERT,该框架在BERT架构之上采用高斯过程层和焦点损失来实现高质量的神经排序器。大量的实验验证了该方法的有效性。与基本标定方法相比,GPF-BERT在三个域内数据集和分布移位任务中实现了最低的经验标定误差(ECE),而在大多数情况下产生了最高的$R_{10}@1$和MAP性能。在时间消耗方面,我们的GPF-BERT具有8 $\times$的加速比。
2023-03-15 cs.AI cs.CL
Learning to Memorize in Neural Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology(香港科技大学)
在这篇论文中,我们利用神经复制机制和记忆增强的神经网络(MANNs)来解决神经任务导向对话学习的挑战。我们通过在多域对话状态跟踪、基于检索的对话系统和基于生成的对话系统中实现良好的性能来展示我们的策略的有效性。我们首先提出了一个可转移的对话状态生成器(TRADE),利用其复制机制,摆脱对话本体和领域之间的知识共享。我们还评估看不见的域对话状态跟踪,并表明,贸易使zero-shot对话状态跟踪,可以适应新的Few-Shot域,而不会忘记以前的域。第二,我们利用人工神经网络来改善基于检索的对话学习。他们能够捕捉对话顺序的依赖关系,并记住长期的信息。我们还提出了一个记录的delexicalization复制策略,以取代真正的实体值与有序的实体类型。我们的模型被证明超过其他检索基线,特别是当对话有大量的回合。最后,我们用两个模型来处理基于生成的对话学习,即内存到序列(Mem2Seq)和全局到局部内存指针网络(GLMP)。Mem2Seq是第一个将多跳内存注意力与复制机制相结合的模型。GLMP进一步引入了响应草图和双指针复制的概念。我们表明,GLMP实现了最先进的性能对人类的评价。
2019-05-19 cs.AI cs.CL
A retrieval-based dialogue system utilizing utterance and context embeddings
Maastricht University(马斯特里赫特大学)
为文本对话、话语和单词找到语义丰富且计算机可理解的表示对于对话系统(或会话代理)至关重要,因为它们的性能主要取决于对会话上下文的理解。最近的研究旨在为单词找到分布式向量表示(嵌入),使得语义相似的单词在向量空间内相对接近。将文本的“含义”编码为矢量是当前的趋势,文本可以从单词、短语和文档到实际的人与人之间的对话。在最近的研究方法中,响应已经利用解码器架构生成,给出当前会话的矢量表示。在本文中,利用嵌入的答案检索进行了探索,通过使用局部敏感哈希森林(LSH森林),一个近似最近邻(ANN)模型,找到相似的对话语料库和排名可能的候选人。著名的Ubuntu语料库(英语)和客户服务聊天数据集(荷兰语)上的实验结果表明,结合候选人选择方法,检索为基础的方法优于生成的,并揭示了有前途的未来研究方向对这样一个系统的可用性。
2017-10-20 cs.AI cs.CL cs.IR
Entriever: Energy-based Retriever for Knowledge-Grounded Dialog Systems
SPMI Lab, EE Department, Tsinghua University(清华大学电子工程系SPMI实验室);China Mobile Research Institute(中国移动研究院)
本文提出基于能量的检索器 Entriever,通过整体建模候选知识片段解决条件独立假设问题,在知识检索和对话系统端到端性能上均显著优于基线。
2025-05-31 cs.CL
Weakly-Supervised Neural Response Selection from an Ensemble of Task-Specialised Dialogue Agents
Alt Inc.(奥尔特公司);University of Liverpool(利物浦大学)
包含不同类型的代理与人类对话的对话引擎很受欢迎。然而,对话是动态的,在这个意义上,所选择的响应将改变会话的飞行,影响会话中的后续话语,这使得响应选择一个具有挑战性的问题。我们建模的问题,选择最佳的反应,从一组由一组异构的对话代理所产生的反应,考虑到会话的历史,并提出了一个\emph{Neural Response Selection}方法。所提出的方法被训练来预测一个连贯的一组反应在一个单一的对话,考虑自己的预测通过课程训练机制。我们的实验结果表明,该方法可以准确地选择最合适的反应,从而显着提高用户体验的对话系统。
2020-05-06 cs.AI cs.CL cs.LG
Context-Aware Dialog Re-Ranking for Task-Oriented Dialog Systems
Sony Corporation(索尼公司);Carnegie Mellon University(卡内基梅隆大学)
对话响应排名用于通过考虑响应候选与对话历史的关系来对响应候选进行排名。虽然研究者已经提出了这个概念的开放域对话,很少有人关注面向任务的对话。此外,没有以前的研究分析是否响应排序可以提高现有的对话系统在真实的人机对话与语音识别错误的性能。在本文中,我们提出了一个上下文感知的对话响应重新排序系统。我们的系统通过两个步骤对响应进行重新排序:(1)计算每个候选响应和当前对话上下文的匹配分数;(2)将匹配分数和来自现有对话系统的候选响应的概率分布相结合,以进行响应重新排序。通过使用基于神经词嵌入的模型和手工或基于逻辑回归的集成模型,我们已经改进了最近提出的端到端面向任务的对话系统在具有语音识别错误的真实对话上的性能。
2018-11-28 cs.CL
Knowledge-incorporating ESIM models for Response Selection in Retrieval-based Dialog Systems
IBM Research(IBM研究院)
面向目标的对话系统可以端到端地训练,而无需手动编码特定于域的特征,在客户支持用例中显示出巨大的前景,例如航班预订、酒店预订、技术支持、学生咨询等。这些对话系统必须学会与外部域知识交互以实现期望的目标,例如向学生推荐课程,本文提出了扩展的增强型顺序推理模型(ESIM)模型:a)K-ESIM(Knowledge-ESIM),它结合了外部领域知识; b)T-ESIM(Targeted-ESIM),它利用来自相似会话的信息来提高预测精度。我们提出的模型和基线ESIM模型在最新的对话系统技术挑战赛(DSTC 7)的句子选择轨道中的Ubuntu和Advising数据集上进行了评估,其目标是从一组候选人中找到正确的下一个话语。我们的初步研究结果表明,结合外部知识来源和利用信息,从类似的对话导致性能的改善,预测下一个话语。
2019-07-11 cs.AI cs.CL cs.IR
Data-Driven Dialogue Systems for Social Agents
为了建立对话系统来解决举行社交对话的雄心勃勃的任务,我们认为,我们需要一个数据驱动的方法,包括洞察人类会话聊天,并结合不同的自然语言处理模块。我们的策略是分析和索引大型语料库的社交媒体数据,包括Twitter的对话,在线辩论,朋友之间的对话,和博客文章,然后将此数据检索与模块,执行任务,如情感和风格分析,主题建模和总结。我们的目标是个人助理,可以学习更细致入微的人类语言,并从面向任务的代理成长为更有个性的社交机器人。
2017-09-10 cs.CL
DialogConv: A Lightweight Fully Convolutional Network for Multi-view Response Selection
Northeastern University(东北大学);Singapore Management University(新加坡管理大学)
当前端到端的基于检索的对话系统主要基于具有注意力机制的递归神经网络或Transformers。虽然已经取得了可喜的成果,这些模型往往受到缓慢的推理或大量的参数。在本文中,我们提出了一种新的轻量级全卷积架构,称为DialogConv,用于响应选择。DialogConv专门构建在卷积之上,以提取上下文和响应的匹配特征。对话在3D视图中建模,其中DialogConv对嵌入视图、单词视图和话语视图执行卷积操作,以从多个上下文视图中捕获更丰富的语义信息。在四个基准数据集上,与最先进的基线相比,DialogConv的大小平均约为8.5倍,CPU和GPU设备的速度分别为79.39倍和10.64倍。同时,DialogConv实现了响应选择的竞争有效性。
2022-10-25 cs.CL
Unstructured Text Enhanced Open-domain Dialogue System: A Systematic Survey
Harbin Institute of Technology(哈尔滨工业大学);Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心)
本文系统性综述了以非结构化文本作为外部知识源的开放域对话系统(UTEDS),定义了相关概念,总结了数据集与模型,将其分为检索与生成模型并剖析组件,探讨了评估方法与未来趋势。
2024-11-14 cs.CL
Partner Matters! An Empirical Study on Fusing Personas for Personalized Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China(中国科学技术大学);Queen’s University(女王大学);iFLYTEK Research(讯飞研究院)
角色可以作为先验知识来维护对话系统的一致性。以往的研究大多采用对话中的自我角色,其反应是从一组候选人中选择或直接产生的,但很少有人注意到伙伴在对话中的作用。本文试图深入探讨利用人物角色描述自己或合作伙伴的发言人的响应选择任务中检索为基础的聊天机器人的影响。设计了四种人物角色融合策略,假设人物角色以不同的方式与上下文或响应进行交互。这些策略被实现为三个典型的响应选择模型,分别基于分层递归编码器(HRE),交互式匹配网络(IMN)和双向编码器表示从Transformers(BERT)。Persona-Chat数据集上的实证研究表明,在以前的研究中被忽略的合作伙伴人物角色可以提高基于IMN和BERT的模型中响应选择的准确性。此外,我们基于BERT的模型实现了上下文响应感知的人物角色融合策略,在原始人物角色上的命中率大于2.7%,在修改后的人物角色上的命中率大于4.6%,在Persona-Chat数据集上实现了新的最先进的性能。
2021-05-21 cs.CL
Training Neural Response Selection for Task-Oriented Dialogue Systems
PolyAI Limited(PolyAI有限公司)
尽管它们在聊天机器人文献中很受欢迎,但基于检索的模型对面向任务的对话系统的影响不大,其应用的主要障碍是大多数面向任务的对话任务的低数据机制。受语言建模中预训练最近成功的启发,我们提出了一种有效的方法,用于在面向任务的对话中部署响应选择。为了训练面向任务的对话任务的响应选择模型,我们提出了一种新的方法:1)在大型通用领域对话语料库上预训练响应选择模型;然后2)针对目标对话领域微调预训练模型,仅依赖于小的领域内数据集来捕获给定对话领域的细微差别。我们的评估六个不同的应用领域,从电子商务到银行,证明了所提出的培训方法的有效性。
2019-06-07 cs.CL
Athena: Constructing Dialogues Dynamically with Discourse Constraints
University of California, Santa Cruz(加州大学圣克鲁兹分校)
这份报告介绍了雅典娜,一个对话系统的口头交谈的热门话题和时事。我们开发了一个灵活的主题不可知的对话管理方法,动态配置对话的基础上,实体和主题的一致性的一般原则。Athena的对话管理器使用基于契约的方法,其中话语约束被分派到响应生成器的集群。这使得Athena能够从动态源获得响应,例如知识图谱遍历和基于特征的即时响应检索方法。在描述了对话系统架构之后,我们对Athena在2019年Alexa Prize竞赛期间参与的对话进行了分析。最后,我们对几个用户进行了研究,以更好地了解个人用户的特点如何影响系统的评级报告。
2020-11-21 cs.CL
When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue
College of Engineering and Computer Science, University of Central Florida(中佛罗里达大学工程与计算机科学学院);Department of Marketing, University of Central Florida(中佛罗里达大学市场营销系)
针对任务导向对话中后端数据库失败导致LLM产生不安全响应的问题,提出基于提示的轻量级恢复策略,无需重训练即可将幻觉率降低42-50%。
2026-07-01 cs.CL
EnsembleGAN: Adversarial Learning for Retrieval-Generation Ensemble Model on Short-Text Conversation
Turing Robot(图灵机器人);Peking University(北京大学)
生成定性响应一直是人机对话系统的挑战。现有的对话系统一般来自基于检索或基于生成的方法,这两个都有自己的优点和cons.Despite自然的想法集成模型的两个,现有的集成方法只集中在利用一种方法来提高另一个,但是我们认为,他们可以进一步相互增强与适当的培训策略。在本文中,我们提出了ensembleGAN,一个对抗性学习框架,用于增强开放域会话场景中的检索生成集成模型。它由一个类似语言模型的生成器、一个排名生成器和一个排名生成器组成。为了生成近似地面真实的响应并从排序器获得高排名分数,这两个生成器分别学习生成改进的高度相关响应和竞争性未观察到的候选项,而区分性排序器则被训练用于从对抗性响应中识别真实响应,从而具有两个生成器对应物的优点。在大量短文本会话数据上的实验结果证明了该方法的有效性。
2020-04-30 cs.CL cs.IR
Retrieval-Augmented Neural Response Generation Using Logical Reasoning and Relevance Scoring
Norwegian Computing Center(挪威计算中心);University of Bamberg(班贝格大学)
本文提出一种结合检索增强语言模型与逻辑推理的知识基础响应生成方法,通过概率逻辑编程丰富知识图谱并利用神经模型评分筛选关键元素,有效提升了任务导向对话系统响应的事实性与流畅性。
2023-10-20 cs.AI cs.CL
Polite Dialogue Generation Without Parallel Data
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
文体对话响应生成,在基于个性的会话代理中具有有价值的应用,是一项具有挑战性的任务,因为响应需要流畅,上下文相关,以及语言准确。此外,常规到风格对的并行数据集通常不可用。我们提出了三个弱监督模型,可以在没有并行数据的情况下生成不同的礼貌(或粗鲁)对话响应。我们的后期融合模型(Fusion)将编码器-注意力-解码器对话模型的解码器与在独立礼貌话语上训练的语言模型合并。我们的标签微调(LFT)模型在训练期间为每个源序列预先添加一个礼貌评分缩放标签(由我们最先进的礼貌分类器预测),并且在测试时能够通过简单地缩放标签嵌入相应的分数来生成礼貌,中立和粗鲁的响应。我们的强化学习模型(Polite-RL)通过分配与采样响应的礼貌分类器得分成比例的奖励来鼓励礼貌生成。我们还提出了两个检索为基础的礼貌对话模型基线。人类评价验证,虽然融合和基于检索的模型实现礼貌与较差的上下文相关性,LFT和礼貌RL模型可以产生显着更礼貌的反应,而不牺牲对话质量。
2018-05-08 cs.AI cs.CL cs.LG
Learning to Detect Relevant Contexts and Knowledge for Response Selection in Retrieval-based Dialogue Systems
Computer Center, Peking University(北京大学计算机中心);Department of Computer Science and Technology, Peking University(北京大学计算机科学与技术系);Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所)
针对检索式对话中无关上下文与知识干扰匹配的问题,提出RSM-DCK模型,通过词级/话语级预选择、候选交互及融合后选择识别相关内容,并在两个基准上验证性能提升。
2025-09-26 cs.CL cs.IR cs.LG
Generating Signed Language Instructions in Large-Scale Dialogue Systems
Khoury College of Computer Science, Northeastern University(东北大学Khoury计算机科学学院);Gallaudet University(加劳德特大学)
本文首次在全球多模态对话AI平台上实现融合美国手语指令的目标导向系统,通过大语言模型驱动的手语翻译和基于令牌的视频检索生成手语教学内容,并验证了其与非手语版本相当的用户评分及优异的检索与生成质量。
2024-10-17 cs.AI cs.CL cs.CY
Dialog Policy Learning for Joint Clarification and Active Learning Queries
University of Texas at Austin(德克萨斯大学奥斯汀分校)
智能系统需要能够从错误中恢复过来,解决不确定性,并适应训练过程中看不到的新概念。对话交互可以通过使用用于校正和解决不确定性的澄清以及用于学习在操作期间遇到的新概念的主动学习查询来实现这一点。先前关于对话系统的工作集中于专门学习如何执行澄清/信息寻求,或者集中于执行主动学习。在这项工作中,我们训练一个层次的对话策略,共同执行澄清和主动学习的背景下,基于交互式语言的图像检索任务的动机,由网上购物应用程序,并证明,共同学习对话策略澄清和主动学习是更有效的比使用静态对话策略的一个或两个这些功能。
2020-12-14 cs.CL cs.CV cs.LG
"None of the Above":Measure Uncertainty in Dialog Response Retrieval
Carnegie Mellon University(卡内基梅隆大学)
本文讨论了发现端到端对话任务中不确定性的重要性,并介绍了我们在Ubuntu Dialog语料库上进行不确定性分类的实验结果。我们表明,而不是重新训练模型,为这个特定的目的,原始的检索模型的最佳预测的基本信心,可以捕捉到微不足道的额外计算。
2020-05-15 cs.CL
RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems
Peking University(北京大学)
在过去的几年里,开放域人机对话已经引起了越来越多的关注。然而,目前还没有一个标准的开放域对话系统的自动评估指标,研究人员通常诉诸于人类的模型评估,这是时间和劳动密集型的注释。在本文中,我们提出了橡胶,一个参考的度量和未参考的度量混合评估例程,它评估的答复,同时考虑到地面实况答复和查询(以前的用户发出的话语)。我们的指标是可学习的,但它的训练不需要人类满意度的标签。因此,RUBER是灵活的,可扩展到不同的数据集和语言。检索和生成对话系统的实验表明,橡胶具有较高的相关性与人类的注释。
2017-07-16 cs.CL cs.HC cs.IR
Reason first, then respond: Modular Generation for Knowledge-infused Dialogue
ETH Zürich(苏黎世联邦理工学院);Facebook AI Research(Facebook人工智能研究院)
大语言模型可以产生流畅的对话,但经常会产生事实不准确的幻觉。虽然检索增强模型有助于缓解这个问题,但它们仍然面临着同时推理以提供正确知识和生成对话的困难挑战。在这项工作中,我们提出了一个模块化的模型,知识响应(K2R),将知识转化为会话代理,它将这个问题分解为两个更容易的步骤。K2R首先生成一个知识序列,给定一个对话上下文,作为一个中间步骤。在这个“推理步骤”之后,模型然后处理自己生成的知识序列以及对话上下文,以产生最终的响应。在详细的实验中,我们发现,这样的模型幻觉较少知识为基础的对话任务,并在可解释性和模块化方面的优势。特别是,它可以用来融合QA和对话系统在一起,使对话代理,以提供知识渊博的答案,或QA模型,以提供会话响应中的zero-shot设置。
2021-11-09 cs.AI cs.CL cs.LG
RAD-Bench: Evaluating Large Language Models Capabilities in Retrieval Augmented Dialogues
National Taiwan University(台湾大学);MediaTek Research(联发科研究院)
针对现有基准缺乏多轮检索增强对话评估的空白,提出RAD-Bench基准,评估大模型的检索综合与推理能力,实验发现多轮约束增加时模型性能会下降。
2025-02-21 cs.CL
Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation
Heriot-Watt University(赫瑞瓦特大学);Microsoft Research(微软研究院)
领域自适应是近年来对话系统研究中的一个关键问题。深度学习虽然是建模此类系统的首选技术,但在给定大量训练数据的情况下效果最佳。然而,在现实世界的场景中,这样的资源并不适用于每个新领域,因此使用一些对话示例进行训练的能力可以被认为是必不可少的。在大数据源上进行预训练并适应目标数据已经成为深度学习框架内解决Few-Shot问题的标准方法。在本文中,我们提出了获奖作品在快速领域自适应任务的DSTC 8,混合生成检索模型的基础上GPT-2微调到多域MetaLWOz数据集。我们的模型在响应生成方面具有强大和多样性,使用检索逻辑作为后备,在人类评估中是MetaLWOz上的SoTA(比第二名系统提高了>4%),并在适应看不见的MultiWOZ数据集方面获得了有竞争力的泛化性能。
2020-03-06 cs.CL
Prototype-to-Style: Dialogue Generation with Style-Aware Editing on Retrieval Memory
University of Cambridge(剑桥大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
对话系统在对话过程中表达预定语言风格的能力对其可用性和用户满意度有直接的积极影响。我们引入了一个新的原型到风格(PS)的框架,以应对文体对话生成的挑战。该框架使用的信息检索(IR)系统,并从检索到的响应提取响应原型。然后,文体响应生成器将原型和期望的语言风格作为模型输入,以获得高质量的文体响应。为了有效地训练所提出的模型,我们提出了一个新的风格意识的学习目标,以及去噪学习策略。在两种语言的三个基准数据集上的测试结果表明,所提出的方法在域内和跨域评估中都明显优于现有的基线
2020-04-05 cs.CL
Retrieve and Refine: Improved Sequence Generation Models For Dialogue
Facebook AI Research(脸书人工智能研究院)
众所周知,用于对话的序列生成模型有几个问题:它们倾向于生成简短、通用的句子,这些句子没有信息,也没有吸引力。另一方面,检索模型可以显示有趣的响应,但仅限于给定的检索集,导致错误的回复,无法调整到特定的上下文。在这项工作中,我们开发了一个模型,结合这两种方法,以避免它们的缺陷:首先检索响应,然后完善它-最后的序列生成器处理检索作为额外的上下文。在最近的CONVAI 2挑战任务中,我们展示了我们的方法在人类评估中产生优于标准检索和生成模型的响应。
2018-09-06 cs.CL
Efficient Retrieval Augmented Generation from Unstructured Knowledge for Task-Oriented Dialog
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek 公司)
本文总结了我们在第九届对话系统技术挑战赛(DSTC 9)的第一个轨道上的工作,“超越域API:面向任务的会话建模与非结构化知识访问”。该任务的目标是在面向任务的对话框中生成对用户回合的响应,该对话框需要来自非结构化文档的知识。该任务分为三个子任务:检测,选择和生成。为了计算效率,我们制定的分层分类步骤的选择问题。我们用这种模式取得了最好的结果。或者,我们采用连体序列嵌入模型,称为密集的知识检索,检索相关的文件。与第一个模型相比,该方法以R@1的5-6%的退化为代价,进一步将计算时间减少了100倍以上。然后,对于这两种方法,我们使用检索增强生成来生成基于多个选定的片段的响应,我们展示了如何使用该方法来微调训练的嵌入。
2021-02-09 cs.CL
Skeleton-to-Response: Dialogue Generation Guided by Retrieval Memory
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
对于对话响应生成,传统的生成模型仅从输入查询生成响应。这种模型依赖于不充分的信息来生成特定的响应,因为某个查询可以以多种方式回答。因此,这些模型往往输出通用和沉闷的反应,阻碍了信息话语的生成。近年来,研究人员试图通过利用信息检索技术来填补信息空白。当生成对当前查询的响应时,从整个训练数据检索的类似对话被认为是附加的知识源。虽然这可能会收集大量信息,但生成模型可能会不堪重负,导致不理想的性能。在本文中,我们提出了一个新的框架,利用检索结果,通过一个campion-then-response范式。首先,通过修改检索到的响应来生成骨架。然后,一种新的生成模型使用生成的骨架和原始查询的响应生成。实验结果表明,我们的方法显着提高的多样性和信息量的生成响应。
2020-02-28 cs.CL
Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries
KAIST(韩国科学技术院);Apple(苹果公司);University of Cambridge(剑桥大学)
本文提出用LLM生成对话摘要作为检索键与查询,并蒸馏轻量编码器避免摘要推理成本,从而在无标注少样本DST中提升会话检索效果。
2024-04-02 cs.CL