Deep Retrieval-Based Dialogue Systems: A Short Review
LS2N(LS2N实验室);CNRS(法国国家科学研究中心);Université de Nantes(南特大学)
构建自然地与人类交谈的对话系统是一个有吸引力的和活跃的研究领域。每天都在设计多个系统,并提供多个数据集。出于这个原因,这是很难保持最新的最先进的。在这项工作中,我们提出了最新的和最相关的检索为基础的对话系统和可用的数据集用于建立和评估它们。我们讨论他们的局限性,并为未来的工作提供见解和指导方针。
2019-07-30 cs.CL
Learning to Memorize in Neural Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology(香港科技大学)
在这篇论文中,我们利用神经复制机制和记忆增强的神经网络(MANNs)来解决神经任务导向对话学习的挑战。我们通过在多域对话状态跟踪、基于检索的对话系统和基于生成的对话系统中实现良好的性能来展示我们的策略的有效性。我们首先提出了一个可转移的对话状态生成器(TRADE),利用其复制机制,摆脱对话本体和领域之间的知识共享。我们还评估看不见的域对话状态跟踪,并表明,贸易使zero-shot对话状态跟踪,可以适应新的Few-Shot域,而不会忘记以前的域。第二,我们利用人工神经网络来改善基于检索的对话学习。他们能够捕捉对话顺序的依赖关系,并记住长期的信息。我们还提出了一个记录的delexicalization复制策略,以取代真正的实体值与有序的实体类型。我们的模型被证明超过其他检索基线,特别是当对话有大量的回合。最后,我们用两个模型来处理基于生成的对话学习,即内存到序列(Mem2Seq)和全局到局部内存指针网络(GLMP)。Mem2Seq是第一个将多跳内存注意力与复制机制相结合的模型。GLMP进一步引入了响应草图和双指针复制的概念。我们表明,GLMP实现了最先进的性能对人类的评价。
2019-05-19 cs.AI cs.CL
UniRQR: A Unified Model for Retrieval Decision, Query, and Response Generation in Internet-Based Knowledge Dialogue Systems
Northwestern Polytechnical University(西北工业大学);Xidian University(西安电子科技大学)
本文提出统一模型UniRQR,通过提示与多任务学习同时完成检索决策、查询生成和响应生成,减少多模型部署成本,并在Wizint和Dusinc数据集上取得优于基线且可比肩SOTA专用模型的效果。
2024-01-11 cs.AI cs.CL cs.IR
Strategy of the Negative Sampling for Training Retrieval-Based Dialogue Systems
ITMO University(ITMO大学);Speech Technology Center(语音技术中心);STC-innovations Ltd.(STC创新有限公司)
本文介绍了客户支持服务自动化对话系统质量改进的新方法。本文中产生的分析证明了基于检索的对话系统的质量对否定响应的选择的依赖性。该方法根据响应在训练集中的分布来选择负样本。在该实现中,从原始响应分布和从负响应的“人工”分布(诸如均匀分布或通过原始分布的变换获得的分布)中随机选择负样本。本文中所报告的实施系统所获得的结果证实了在使用来自变换分布的否定响应的情况下自动对话系统质量的显著改善。
2018-11-24 cs.CL
Self-attention Comparison Module for Boosting Performance on Retrieval-based Open-Domain Dialog Systems
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
由于预先训练好的语言模型的广泛应用,基于检索的开放领域对话系统近年来受到了研究者的广泛关注。以往的工作大多只根据查询与每个候选响应之间的匹配程度来选择合适的响应。虽然已经取得了良好的性能,这些最近的工作忽略了候选响应之间的比较,这可以提供丰富的信息,以选择最合适的反应。直觉上,当模型可以访问所有候选响应之间的比较信息时,可以做出更好的决策。为了利用候选响应之间的比较信息,在本文中,我们提出了一种新的和插件的自注意力比较模块检索为基础的开放域对话系统,称为SCM。大量的实验结果表明,我们提出的自我注意力比较模块有效地提高了现有的基于检索的开放域对话系统的性能。此外,我们已经公开了我们的源代码,以供未来研究。
2020-12-21 cs.CL
A retrieval-based dialogue system utilizing utterance and context embeddings
Maastricht University(马斯特里赫特大学)
为文本对话、话语和单词找到语义丰富且计算机可理解的表示对于对话系统(或会话代理)至关重要,因为它们的性能主要取决于对会话上下文的理解。最近的研究旨在为单词找到分布式向量表示(嵌入),使得语义相似的单词在向量空间内相对接近。将文本的“含义”编码为矢量是当前的趋势,文本可以从单词、短语和文档到实际的人与人之间的对话。在最近的研究方法中,响应已经利用解码器架构生成,给出当前会话的矢量表示。在本文中,利用嵌入的答案检索进行了探索,通过使用局部敏感哈希森林(LSH森林),一个近似最近邻(ANN)模型,找到相似的对话语料库和排名可能的候选人。著名的Ubuntu语料库(英语)和客户服务聊天数据集(荷兰语)上的实验结果表明,结合候选人选择方法,检索为基础的方法优于生成的,并揭示了有前途的未来研究方向对这样一个系统的可用性。
2017-10-20 cs.AI cs.CL cs.IR
On the Effectiveness of Integration Methods for Multimodal Dialogue Response Retrieval
Myongji University(明州大学);Kyungpook National University(庆北国立大学);Yonsei University(延世大学);Pohang University of Science and Technology(坡山科学技术大学)
针对多模态对话回复检索任务,该研究将其拆解为三个子任务,提出基于两阶段和端到端的三种融合方法,实验验证端到端方法性能相当,参数共享策略可减参并提升性能。
2025-06-13 cs.CL
Knowledge-Retrieval Task-Oriented Dialog Systems with Semi-Supervision
Tsinghua University(清华大学);China Mobile Research Institute(中国移动研究院);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院)
本文提出一种基于检索的方法增强任务型对话系统的知识选择,并开发基于隐变量模型的半监督学习框架JSA-KRTOD,利用有标签和无标签数据提升真实场景下的对话性能。
2023-05-22 cs.CL
Two are Better than One: An Ensemble of Retrieval- and Generation-Based Dialog Systems
Peking University(北京大学)
开放域人机对话是自然语言处理领域的一个研究热点。与基于规则或模板的特定领域对话系统相反,开放领域对话通常需要数据驱动的方法,这些方法可以大致分为两类:基于检索的系统和基于生成的系统。检索系统在大型数据库中搜索用户发出的话语(称为查询),并返回与查询最匹配的回复。生成方法,通常基于递归神经网络(RNN),可以合成新的回复,但它们存在生成简短,无意义的话语的问题。在本文中,我们提出了一种新的合奏检索为基础的和生成为基础的对话系统在开放领域。在我们的方法中,除了原始查询之外,检索到的候选项还被馈送到基于RNN的回复生成器,以便神经模型能够了解更多信息。然后,将生成的回复作为新的候选者反馈以进行后重新排序。实验结果表明,这样的集成优于它的每一个单独的部分,由一个大的利润。
2016-10-23 cs.CL
Rethinking Evaluation in Retrieval-Augmented Personalized Dialogue: A Cognitive and Linguistic Perspective
Institute for Creative Technologies, University of Southern California(南加州大学创意技术研究所)
本文从认知与语言学角度重新审视基于检索增强的个性化对话评估,指出传统表面相似度指标无法反映对话质量的深层特征,并通过LAPDOG框架分析,强调需建立更符合人类沟通原理的评估方法。
2026-07-15 cs.CL
Knowledge-incorporating ESIM models for Response Selection in Retrieval-based Dialog Systems
IBM Research(IBM研究院)
面向目标的对话系统可以端到端地训练,而无需手动编码特定于域的特征,在客户支持用例中显示出巨大的前景,例如航班预订、酒店预订、技术支持、学生咨询等。这些对话系统必须学会与外部域知识交互以实现期望的目标,例如向学生推荐课程,本文提出了扩展的增强型顺序推理模型(ESIM)模型:a)K-ESIM(Knowledge-ESIM),它结合了外部领域知识; b)T-ESIM(Targeted-ESIM),它利用来自相似会话的信息来提高预测精度。我们提出的模型和基线ESIM模型在最新的对话系统技术挑战赛(DSTC 7)的句子选择轨道中的Ubuntu和Advising数据集上进行了评估,其目标是从一组候选人中找到正确的下一个话语。我们的初步研究结果表明,结合外部知识来源和利用信息,从类似的对话导致性能的改善,预测下一个话语。
2019-07-11 cs.AI cs.CL cs.IR
Multi-Grained Knowledge Retrieval for End-to-End Task-Oriented Dialog
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
针对端到端任务型对话中知识检索与回复生成混合导致大规模知识库下检索性能欠佳的问题,提出解耦两者并引入多粒度知识检索器MAKER,利用实体和属性选择器及蒸馏目标优化检索,在三个基准上验证了有效性。
2023-05-17 cs.CL
Asking the Right Question at the Right Time: Human and Model Uncertainty Guidance to Ask Clarification Questions
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
本研究探讨对话系统中模型不确定性与人类澄清行为的关系,提出基于模型不确定性估计生成澄清问题的方法,显著提升任务成功率,强调系统自我评估不确定性的重要性。
2024-02-09 cs.AI cs.CL
Dual-Feedback Knowledge Retrieval for Task-Oriented Dialogue Systems
Sun Yat-sen University(中山大学);Meta AI;Meetyou AI Lab(美图人工智能实验室)
针对任务型对话系统中知识检索与响应生成耦合导致的可扩展性挑战,提出检索器-生成器架构,并引入双反馈机制利用生成器输出的正负反馈作为伪标签训练检索器,在三个基准数据集上取得优越性能。
2023-10-23 cs.CL
Stylistic Retrieval-based Dialogue System with Unparallel Training Data
Meituan Group(美团);Tencent AI Lab(腾讯人工智能实验室);Gaoling School of Artificial Intelliegent, Renmin University of China(中国人民大学高瓴人工智能学院);College of William & Mary(威廉与玛丽学院);Universite De Montreal(蒙特利尔大学)
对话系统在对话过程中表达一致语言风格的能力对其可用性和用户满意度有直接的积极影响。虽然先前的研究已经证明,风格转移是可行的大量的并行数据,它往往是不可能的,收集不同的风格这样的数据。在本文中,而不是手动构建具有一定风格的对话数据,我们提出了一个灵活的框架,适应通用检索为基础的对话系统模仿语言风格的指定人物没有任何并行数据。我们的方法是基于自动生成的风格化的数据,通过学习行话的使用,然后重写通用的会话,以风格化的一个结合行话。在实验中,我们实现了五种不同语言风格的对话系统,结果表明,我们的框架显着优于基线的反应的相关性和风格程度的平均得分,和内容多样性。在一个商业聊天机器人上进行的A/B测试表明,用户对我们的系统更加满意。本研究证明了通过简单的数据增强来构建风格化对话系统的可行性。
2021-09-12 cs.CL
Fast and Light-Weight Answer Text Retrieval in Dialogue Systems
IBM Research AI(IBM研究院人工智能部门);IBM Watson(IBM沃森)
对话系统可以受益于能够搜索整个文本语料库以找到与用户请求相关的信息,特别是当遇到没有手动策划的响应可用的请求时。神经稠密检索或重新排序的最新技术涉及具有数亿参数的深度学习模型。然而,让这样的模型在工业规模上运行是困难和昂贵的,特别是对于通常需要支持大量单独定制的对话系统的云服务,每个对话系统都有自己的文本语料库。我们报告了我们的工作,使先进的神经稠密检索系统有效地运行在规模相对便宜的硬件。我们与领先的替代工业解决方案进行比较,并表明我们可以提供有效,快速和具有成本效益的解决方案。
2022-05-31 cs.CL cs.IR
Pan More Gold from the Sand: Refining Open-domain Dialogue Training with Noisy Self-Retrieval Generation
Wuhan University(武汉大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);Huawei Technologies Ltd.(华为技术有限公司)
真实的人类对话数据是复杂的、异构的、有噪声的,从这些数据中构建开放域的对话系统仍然是一项具有挑战性的任务。事实上,这些对话数据仍然包含着丰富的信息和知识,但尚未得到充分的发掘。在本文中,我们展示了现有的开放域对话生成方法,该方法使用自回归或编码-解码语言模型来记忆上下文响应配对数据,但未充分利用训练数据。不同于目前的方法,使用外部知识,我们探索了检索生成训练框架,可以利用异构和嘈杂的训练数据考虑他们作为“证据”。特别是,我们使用BERTScore进行检索,这提供了更好的证据和生成质量。在公开数据集上的实验表明,我们的方法可以帮助模型生成更好的响应,即使这样的训练数据通常被认为是低质量的数据。这样的性能增益与通过扩大训练集而改进的性能增益相当,甚至更好。我们还发现,模型的性能与检索到的证据的相关性呈正相关。此外,我们的方法表现良好的zero-shot实验,这表明我们的方法可以更强大的现实世界的数据。
2022-09-15 cs.CL
Evaluating Predictive Uncertainty under Distributional Shift on Dialogue Dataset
KAIST(韩国科学技术院)
在开放域对话中,预测不确定性主要在域转移设置中进行评估,以应对分布外的输入。然而,在现实世界的对话中,分配转移输入可能比分配外输入更广泛。为了评估这一点,我们首先提出了两种方法,未知词(UW)和上下文不足(IC),通过对话数据集的腐败实现逐渐的分布变化。然后,我们调查的准确性和校准的分布变化的影响。我们的实验表明,现有的不确定性估计方法的性能不断下降,加强移位。结果表明,所提出的方法可能是有用的,用于评估校准的对话系统下的分布转移。
2021-09-01 cs.CL
Deploying a Retrieval based Response Model for Task Oriented Dialogues
Amazon(亚马逊)
工业环境中面向任务的对话系统需要具有高会话能力,易于适应不断变化的情况并符合业务约束。本文描述了一个3步的过程来开发一个会话模型,满足这些标准,并可以有效地扩展到一个大的响应候选人的排名。首先,我们提供了一个简单的算法来半自动地从历史对话中创建一个高覆盖率的模板集,而无需任何注释。其次,我们提出了一个神经架构,将对话上下文和适用的业务约束编码为配置文件功能,用于对下一轮进行排名。第三,我们描述了一个两阶段的学习策略,自我监督训练,然后通过人在环平台收集的有限数据进行监督微调。最后,我们描述了离线实验,并提出了部署我们的模型与人在循环与现场客户在线交谈的结果。
2022-10-25 cs.CL
Conversational Word Embedding for Retrieval-Based Dialog System
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
人类对话包含许多类型的信息,例如,知识、常识和语言习惯。在本文中,我们提出了一个会话词嵌入方法PR嵌入,它利用会话对$ \left\langle{post, reply} \right\rangle$学习词嵌入。与以往的工作不同,PR嵌入使用两个不同的语义空间的向量来表示帖子和回复中的单词。为了更好地捕捉词对之间的信息,我们首先引入统计机器翻译中的词对齐模型,生成跨句窗口,然后在词级和句级上对嵌入进行训练。我们评估的方法对单轮和多轮响应选择任务检索为基础的对话系统。实验结果表明,PR-嵌入可以提高选择响应的质量。PR-嵌入源代码可在https://github.com/wtma/PR-Embedding上获得
2020-04-28 cs.CL
Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning
Microsoft Corporation(微软公司);Peking University(北京大学)
建立基于检索的对话系统,可以从预先建立的索引中选择合适的反应,已经越来越受到研究者的关注。对于这项任务,采用预先训练的语言模型(如BERT)已经在许多基准测试中取得了显着进展。存在两种常见的方法,包括交叉编码器,其对输入执行完全关注,以及双编码器,其分别对上下文和响应进行编码。前者在精度上有相当大的提高,但在实际中往往不适用于大规模检索,因为在测试时需要对每个样本给予充分的关注。后者对数十亿个索引是有效的,但性能不佳。在这项工作中,我们建议结合这两个世界的最好的建立一个检索系统。具体来说,我们采用快速双编码器来取代传统的基于特征的预检索模型(如BM 25),并设置响应重排序模型作为一个更复杂的架构(如交叉编码器)。为了进一步提高我们的框架的有效性,我们训练的预检索模型和重新排序模型在同一时间通过相互学习,这使得两个模型在整个训练过程中相互学习。我们在两个基准测试上进行了实验,评估结果证明了我们提出的框架的效率和有效性。
2021-10-01 cs.CL
Uncertainty Measures in Neural Belief Tracking and the Effects on Dialogue Policy Performance
Heinrich Heine Universität Düsseldorf(海因里希·海涅杜塞尔多夫大学);Yandex Research(Yandex研究院);HSE University(高等经济学院)
识别和解决不确定性的能力对于对话系统的鲁棒性至关重要。事实上,这已经在利用贝叶斯方法进行对话信念跟踪的系统上得到了经验证实。然而,此类系统仅考虑置信度估计,并且难以扩展到更复杂的设置。另一方面,神经对话系统很少考虑不确定性。因此,他们对自己的决定过于自信,不够稳健。此外,跟踪任务的性能通常是孤立评估的,而不考虑其对下游政策优化的影响。我们提出了使用不同的不确定性措施在神经信念跟踪。这些措施对下游任务的政策优化的影响进行评估,通过添加选定的措施的不确定性的特征空间的政策和培训政策,通过与用户模拟器的交互。人类和模拟用户的结果表明,将这些措施导致的下游对话政策的性能和鲁棒性的改善。这突出了开发考虑不确定性的神经对话信念跟踪器的重要性。
2021-09-09 cs.CL
Learning a Matching Model with Co-teaching for Multi-turn Response Selection in Retrieval-based Dialogue Systems
Peking University(北京大学);Microsoft Corporation(微软公司)
我们研究了基于检索的对话系统中响应选择匹配模型的学习。这个问题与设计模型的架构同样重要,但在现有文献中较少探讨。为了从噪声训练数据中学习鲁棒匹配模型,我们提出了一个通用的协同教学框架,其中包括三个具体的教学策略,包括损失函数教学和数据课程教学。在该框架下,我们同时学习两个具有独立训练集的匹配模型。在每次迭代中,一个模型将从其训练集学习到的知识转移到另一个模型,同时从另一个模型接收关于如何克服训练中的噪声的指导。两种模式既当老师又当学生,相互学习,共同提高。两个公开数据集上的评估结果表明,所提出的学习方法可以普遍和显着提高现有的匹配模型的性能。
2019-06-11 cs.CL
Retrieval-Augmented Neural Response Generation Using Logical Reasoning and Relevance Scoring
Norwegian Computing Center(挪威计算中心);University of Bamberg(班贝格大学)
本文提出一种结合检索增强语言模型与逻辑推理的知识基础响应生成方法,通过概率逻辑编程丰富知识图谱并利用神经模型评分筛选关键元素,有效提升了任务导向对话系统响应的事实性与流畅性。
2023-10-20 cs.AI cs.CL
Proactive Retrieval-based Chatbots based on Relevant Knowledge and Goals
Université de Montréal(蒙特利尔大学);Renmin University of China(中国人民大学);Huawei Poisson Lab.(华为泊松实验室)
主动对话系统具有主动引导对话的能力。与一般的聊天机器人只对用户做出反应不同,主动对话系统可以用于实现一些目标,例如,向用户推荐一些项目。背景知识对于对话的顺利和自然过渡至关重要。在本文中,我们提出了一个新的多任务学习框架检索为基础的知识为基础的主动对话。为了确定要使用的相关知识,我们将知识预测作为一项补充任务,并使用明确的信号来监督其学习。根据预测的知识、要实现的目标和上下文选择最终的响应。实验结果表明,知识预测和目标选择的显式建模可以大大提高最终的响应选择。我们的代码可在https://github.com/DaoD/KPN/上获得。
2021-07-18 cs.CL
An Ensemble Dialogue System for Facts-Based Sentence Generation
Nagoya Institute of Technology(名古屋工业大学)
本研究旨在通过条件化语境和从信息网站中提取的外部事实来生成基于真实世界事实的反应。我们的系统是一个集成系统,结合了三个模块:基于生成的模块,基于检索的模块,和重排序模块。因此,该系统可以从各种角度返回多样化和有意义的响应。实验和评估是用对话系统技术挑战7(DSTC 7-Task 2)中的句子生成任务进行的。因此,所提出的系统表现明显优于单一模块,并在DSTC 7-Task 2中工作良好,特别是在客观评价方面。
2019-02-05 cs.AI cs.CL
Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出利用最大边缘似然训练感知型检索器并结合元知识指导生成器,以解决T5和ChatGPT等模型在任务型对话中难以区分检索记录的问题,有效提升了生成响应质量。
2023-10-20 cs.CL
Entity-Consistent End-to-end Task-Oriented Dialogue System with KB Retriever
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
在面向任务的端到端对话系统中,知识库的查询一直是一个难题。先前的序列到序列(Seq 2Seq)对话生成工作将KB查询视为对整个KB的关注,而不能保证生成的实体彼此一致。在本文中,我们提出了一种新的框架,查询知识库中的两个步骤,以提高生成的实体的一致性。在第一步中,灵感的观察,一个响应通常可以支持一个单一的KB行,我们引入了一个KB检索组件,显式返回最相关的KB行给定的对话历史。检索结果进一步用于Seq 2Seq响应生成模型中过滤无关实体,提高输出实体之间的一致性。在第二步中,我们进一步执行注意力机制来处理最相关的KB列。提出了两种方法,使训练的可行性,没有标记的检索数据,其中包括远程监督和Gumbel-Softmax技术。两个公开的面向任务的对话数据集上的实验表明,我们的模型的有效性优于基线系统,并产生实体一致的反应。
2019-09-18 cs.CL
Polite Dialogue Generation Without Parallel Data
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
文体对话响应生成,在基于个性的会话代理中具有有价值的应用,是一项具有挑战性的任务,因为响应需要流畅,上下文相关,以及语言准确。此外,常规到风格对的并行数据集通常不可用。我们提出了三个弱监督模型,可以在没有并行数据的情况下生成不同的礼貌(或粗鲁)对话响应。我们的后期融合模型(Fusion)将编码器-注意力-解码器对话模型的解码器与在独立礼貌话语上训练的语言模型合并。我们的标签微调(LFT)模型在训练期间为每个源序列预先添加一个礼貌评分缩放标签(由我们最先进的礼貌分类器预测),并且在测试时能够通过简单地缩放标签嵌入相应的分数来生成礼貌,中立和粗鲁的响应。我们的强化学习模型(Polite-RL)通过分配与采样响应的礼貌分类器得分成比例的奖励来鼓励礼貌生成。我们还提出了两个检索为基础的礼貌对话模型基线。人类评价验证,虽然融合和基于检索的模型实现礼貌与较差的上下文相关性,LFT和礼貌RL模型可以产生显着更礼貌的反应,而不牺牲对话质量。
2018-05-08 cs.AI cs.CL cs.LG
Efficient Out-of-Scope Detection in Dialogue Systems via Uncertainty-Driven LLM Routing
Telepathy Labs GmbH(Telepathy Labs)
本文提出一种将不确定性估计与微调大语言模型相结合的模块化框架,先对域内意图分类器输出进行不确定性估计,再对高不确定性实例触发LLM做最终决策,在真实部署的对话系统OOS检测基准上取得最先进结果并兼顾计算效率。
2025-07-02 cs.CL
Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);Alibaba Group(阿里巴巴集团)
多文档接地对话系统(DGDS)属于一类会话代理,通过从文档集合中找到支持知识来回答用户的请求。大多数以前的研究旨在改善知识检索模型或提出更有效的方法,将外部知识的参数生成模型。然而,这些方法集中于从单粒度语言单元(例如,文档中的段落、句子或跨度)中检索知识,这不足以有效地和高效地捕获长文档中的精确知识。本文提出了Re3G,其目的是优化粗粒度的知识检索和细粒度的知识提取在一个统一的框架。具体来说,前者有效地找到检索和重新排序过程中的相关段落,而后者有效地提取这些段落中的更细粒度跨度,以纳入参数答案生成模型(BART,T5)。在DialDoc共享任务上的实验证明了该方法的有效性。
2023-02-23 cs.CL
Generating Signed Language Instructions in Large-Scale Dialogue Systems
Khoury College of Computer Science, Northeastern University(东北大学Khoury计算机科学学院);Gallaudet University(加劳德特大学)
本文首次在全球多模态对话AI平台上实现融合美国手语指令的目标导向系统,通过大语言模型驱动的手语翻译和基于令牌的视频检索生成手语教学内容,并验证了其与非手语版本相当的用户评分及优异的检索与生成质量。
2024-10-17 cs.AI cs.CL cs.CY
Entriever: Energy-based Retriever for Knowledge-Grounded Dialog Systems
SPMI Lab, EE Department, Tsinghua University(清华大学电子工程系SPMI实验室);China Mobile Research Institute(中国移动研究院)
本文提出基于能量的检索器 Entriever,通过整体建模候选知识片段解决条件独立假设问题,在知识检索和对话系统端到端性能上均显著优于基线。
2025-05-31 cs.CL
Probabilistic framework for solving Visual Dialog
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
在本文中,我们提出了一个概率框架,解决任务的“可视对话框”。解决这个问题需要推理和理解的视觉形态,语言形态和常识知识来回答。已经提出了各种架构来通过组合视觉和语言表示的多模态深度学习技术的变体来解决这个任务。然而,我们认为,理解和分析不确定性的来源对于解决这一任务至关重要。我们的方法允许估计不确定性,也有助于产生不同的答案。所提出的方法是通过一个概率表示模块,为我们提供了图像,问题和会话历史的表示,一个模块,确保候选答案的不同的潜在表示得到给定的概率表示和不确定性表示模块,选择适当的答案,最大限度地减少不确定性。我们通过详细的消融分析、与最先进技术的比较以及有助于理解该方法的不确定性的可视化来彻底评估该模型。使用所提出的概率框架,我们从而获得一个改进的视觉对话系统,也更易于解释。
2019-10-17 cs.CL cs.CV cs.LG
Reason first, then respond: Modular Generation for Knowledge-infused Dialogue
ETH Zürich(苏黎世联邦理工学院);Facebook AI Research(Facebook人工智能研究院)
大语言模型可以产生流畅的对话,但经常会产生事实不准确的幻觉。虽然检索增强模型有助于缓解这个问题,但它们仍然面临着同时推理以提供正确知识和生成对话的困难挑战。在这项工作中,我们提出了一个模块化的模型,知识响应(K2R),将知识转化为会话代理,它将这个问题分解为两个更容易的步骤。K2R首先生成一个知识序列,给定一个对话上下文,作为一个中间步骤。在这个“推理步骤”之后,模型然后处理自己生成的知识序列以及对话上下文,以产生最终的响应。在详细的实验中,我们发现,这样的模型幻觉较少知识为基础的对话任务,并在可解释性和模块化方面的优势。特别是,它可以用来融合QA和对话系统在一起,使对话代理,以提供知识渊博的答案,或QA模型,以提供会话响应中的zero-shot设置。
2021-11-09 cs.AI cs.CL cs.LG
DialogConv: A Lightweight Fully Convolutional Network for Multi-view Response Selection
Northeastern University(东北大学);Singapore Management University(新加坡管理大学)
当前端到端的基于检索的对话系统主要基于具有注意力机制的递归神经网络或Transformers。虽然已经取得了可喜的成果,这些模型往往受到缓慢的推理或大量的参数。在本文中,我们提出了一种新的轻量级全卷积架构,称为DialogConv,用于响应选择。DialogConv专门构建在卷积之上,以提取上下文和响应的匹配特征。对话在3D视图中建模,其中DialogConv对嵌入视图、单词视图和话语视图执行卷积操作,以从多个上下文视图中捕获更丰富的语义信息。在四个基准数据集上,与最先进的基线相比,DialogConv的大小平均约为8.5倍,CPU和GPU设备的速度分别为79.39倍和10.64倍。同时,DialogConv实现了响应选择的竞争有效性。
2022-10-25 cs.CL
Dialog Policy Learning for Joint Clarification and Active Learning Queries
University of Texas at Austin(德克萨斯大学奥斯汀分校)
智能系统需要能够从错误中恢复过来,解决不确定性,并适应训练过程中看不到的新概念。对话交互可以通过使用用于校正和解决不确定性的澄清以及用于学习在操作期间遇到的新概念的主动学习查询来实现这一点。先前关于对话系统的工作集中于专门学习如何执行澄清/信息寻求,或者集中于执行主动学习。在这项工作中,我们训练一个层次的对话策略,共同执行澄清和主动学习的背景下,基于交互式语言的图像检索任务的动机,由网上购物应用程序,并证明,共同学习对话策略澄清和主动学习是更有效的比使用静态对话策略的一个或两个这些功能。
2020-12-14 cs.CL cs.CV cs.LG
Unstructured Text Enhanced Open-domain Dialogue System: A Systematic Survey
Harbin Institute of Technology(哈尔滨工业大学);Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心)
本文系统性综述了以非结构化文本作为外部知识源的开放域对话系统(UTEDS),定义了相关概念,总结了数据集与模型,将其分为检索与生成模型并剖析组件,探讨了评估方法与未来趋势。
2024-11-14 cs.CL
Partner Matters! An Empirical Study on Fusing Personas for Personalized Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China(中国科学技术大学);Queen’s University(女王大学);iFLYTEK Research(讯飞研究院)
角色可以作为先验知识来维护对话系统的一致性。以往的研究大多采用对话中的自我角色,其反应是从一组候选人中选择或直接产生的,但很少有人注意到伙伴在对话中的作用。本文试图深入探讨利用人物角色描述自己或合作伙伴的发言人的响应选择任务中检索为基础的聊天机器人的影响。设计了四种人物角色融合策略,假设人物角色以不同的方式与上下文或响应进行交互。这些策略被实现为三个典型的响应选择模型,分别基于分层递归编码器(HRE),交互式匹配网络(IMN)和双向编码器表示从Transformers(BERT)。Persona-Chat数据集上的实证研究表明,在以前的研究中被忽略的合作伙伴人物角色可以提高基于IMN和BERT的模型中响应选择的准确性。此外,我们基于BERT的模型实现了上下文响应感知的人物角色融合策略,在原始人物角色上的命中率大于2.7%,在修改后的人物角色上的命中率大于4.6%,在Persona-Chat数据集上实现了新的最先进的性能。
2021-05-21 cs.CL
Training Neural Response Selection for Task-Oriented Dialogue Systems
PolyAI Limited(PolyAI有限公司)
尽管它们在聊天机器人文献中很受欢迎,但基于检索的模型对面向任务的对话系统的影响不大,其应用的主要障碍是大多数面向任务的对话任务的低数据机制。受语言建模中预训练最近成功的启发,我们提出了一种有效的方法,用于在面向任务的对话中部署响应选择。为了训练面向任务的对话任务的响应选择模型,我们提出了一种新的方法:1)在大型通用领域对话语料库上预训练响应选择模型;然后2)针对目标对话领域微调预训练模型,仅依赖于小的领域内数据集来捕获给定对话领域的细微差别。我们的评估六个不同的应用领域,从电子商务到银行,证明了所提出的培训方法的有效性。
2019-06-07 cs.CL
Athena: Constructing Dialogues Dynamically with Discourse Constraints
University of California, Santa Cruz(加州大学圣克鲁兹分校)
这份报告介绍了雅典娜,一个对话系统的口头交谈的热门话题和时事。我们开发了一个灵活的主题不可知的对话管理方法,动态配置对话的基础上,实体和主题的一致性的一般原则。Athena的对话管理器使用基于契约的方法,其中话语约束被分派到响应生成器的集群。这使得Athena能够从动态源获得响应,例如知识图谱遍历和基于特征的即时响应检索方法。在描述了对话系统架构之后,我们对Athena在2019年Alexa Prize竞赛期间参与的对话进行了分析。最后,我们对几个用户进行了研究,以更好地了解个人用户的特点如何影响系统的评级报告。
2020-11-21 cs.CL
When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue
College of Engineering and Computer Science, University of Central Florida(中佛罗里达大学工程与计算机科学学院);Department of Marketing, University of Central Florida(中佛罗里达大学市场营销系)
针对任务导向对话中后端数据库失败导致LLM产生不安全响应的问题,提出基于提示的轻量级恢复策略,无需重训练即可将幻觉率降低42-50%。
2026-07-01 cs.CL
RubyStar: A Non-Task-Oriented Mixture Model Dialog System
Carnegie Mellon University(卡内基梅隆大学)
RubyStar是一个对话系统,旨在通过结合不同的响应生成策略来创建“类人”对话。RubyStar通过使用基于规则、基于检索和生成方法的集合,就一般主题进行非任务导向的对话。主题检测、参与监控和上下文跟踪用于管理交互。可预测的对话元素,如机器人的背景故事和简单的问答由单独的模块处理。我们描述了一个评级计划,我们开发的响应生成评估。我们发现,字符级RNN是一种有效的一般响应生成模型,具有适当的参数设置;然而,其他类型的会话主题可能会受益于使用其他模型。
2017-12-16 cs.CL
Learning to Detect Relevant Contexts and Knowledge for Response Selection in Retrieval-based Dialogue Systems
Computer Center, Peking University(北京大学计算机中心);Department of Computer Science and Technology, Peking University(北京大学计算机科学与技术系);Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所)
针对检索式对话中无关上下文与知识干扰匹配的问题,提出RSM-DCK模型,通过词级/话语级预选择、候选交互及融合后选择识别相关内容,并在两个基准上验证性能提升。
2025-09-26 cs.CL cs.IR cs.LG
Retrieve & Memorize: Dialog Policy Learning with Multi-Action Memory
Sun Yat-sen University(中山大学)
对话策略学习是面向任务的对话系统的一个重要子任务,它决定了系统响应生成的内容和任务完成的程度。然而,系统动作在对话数据集中的不平衡分布通常导致难以学习生成期望的动作和响应。在本文中,我们提出了一个检索和记忆的框架,以加强学习系统的行动。特别地,我们首先设计了一个神经上下文感知检索模块,从给定的对话上下文的训练集中检索多个候选系统动作。然后,我们提出了一个记忆增强的多解码器网络来生成的候选动作的条件下的系统动作,这使得网络能够自适应地选择候选动作中的关键信息和忽略噪声。我们在大规模多领域面向任务的对话数据集MultiWOZ 2.0和MultiWOZ 2.1上进行了实验。实验结果表明,我们的方法在上下文响应生成任务中达到了几个国家的最先进的模型之间的竞争性能。
2021-06-27 cs.CL
Generative Subgraph Retrieval for Knowledge Graph-Grounded Dialog Generation
Korea University(高丽大学);Amazon AGI(亚马逊AGI)
针对知识图谱支撑的对话生成中外部编码器无法利用预训练语言模型知识及单向量抽象导致信息瓶颈的问题,提出DialogGSR方法,通过在语言模型上直接生成子图词元序列并结合结构感知线性化与图约束解码进行检索,在多个数据集上达到最先进性能。
2024-10-12 cs.AI cs.CL
EnsembleGAN: Adversarial Learning for Retrieval-Generation Ensemble Model on Short-Text Conversation
Turing Robot(图灵机器人);Peking University(北京大学)
生成定性响应一直是人机对话系统的挑战。现有的对话系统一般来自基于检索或基于生成的方法,这两个都有自己的优点和cons.Despite自然的想法集成模型的两个,现有的集成方法只集中在利用一种方法来提高另一个,但是我们认为,他们可以进一步相互增强与适当的培训策略。在本文中,我们提出了ensembleGAN,一个对抗性学习框架,用于增强开放域会话场景中的检索生成集成模型。它由一个类似语言模型的生成器、一个排名生成器和一个排名生成器组成。为了生成近似地面真实的响应并从排序器获得高排名分数,这两个生成器分别学习生成改进的高度相关响应和竞争性未观察到的候选项,而区分性排序器则被训练用于从对抗性响应中识别真实响应,从而具有两个生成器对应物的优点。在大量短文本会话数据上的实验结果证明了该方法的有效性。
2020-04-30 cs.CL cs.IR
RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems
Peking University(北京大学)
在过去的几年里,开放域人机对话已经引起了越来越多的关注。然而,目前还没有一个标准的开放域对话系统的自动评估指标,研究人员通常诉诸于人类的模型评估,这是时间和劳动密集型的注释。在本文中,我们提出了橡胶,一个参考的度量和未参考的度量混合评估例程,它评估的答复,同时考虑到地面实况答复和查询(以前的用户发出的话语)。我们的指标是可学习的,但它的训练不需要人类满意度的标签。因此,RUBER是灵活的,可扩展到不同的数据集和语言。检索和生成对话系统的实验表明,橡胶具有较高的相关性与人类的注释。
2017-07-16 cs.CL cs.HC cs.IR
Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
为了丰富和丰富所产生的对话反应,近年来对基于知识的对话进行了调查。现有的方法通过在大型语料库中检索相关句子并使用明确的额外信息来增强对话来解决知识基础挑战。尽管他们的成功,然而,现有的作品有缺陷的推理效率。本文提出了KnowExpert,一个框架,绕过显式检索过程,并注入知识到预先训练的语言模型与轻量级适配器,并适应知识为基础的对话任务。据我们所知,这是第一次尝试在开放域聊天场景下,在这项任务中不进行检索来应对这一挑战。实验结果表明,Knowexpert执行与一些基于检索的基线,同时是时间效率的推理,证明了我们提出的方法的有效性。
2022-04-25 cs.AI cs.CL
On the Calibration and Uncertainty with Pólya-Gamma Augmentation for Dialog Retrieval Models
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
深度神经检索模型已经充分证明了它们的能力,但估计它们预测的可靠性仍然具有挑战性。大多数对话响应检索模型输出一个关于它与给定问题的相关程度的响应的单个分数。然而,深度神经网络的不良校准导致单个分数的各种不确定性,使得不可靠的预测总是误导用户决策。为了研究这些问题,我们提出了一个有效的校准和不确定性估计框架PG-DRR的对话响应检索模型,它增加了一个高斯过程层的确定性深神经网络和恢复共轭易处理的后验推理Pólya-Gamma增强。最后,PG-DRR在保持$R_{10}@1$和MAP性能的同时,在域内数据集和分布移位任务中实现了最低的经验校准误差(ECE)。
2023-03-15 cs.AI cs.CL
The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG)
Tsinghua University(清华大学);China Mobile Research Institute(中国移动研究院)
第二届FutureDial-RAG挑战赛在SLT 2024举办,基于含近3000段标注对话的MobileCS2数据集设置知识检索与响应生成两赛道,构建基线并设计指标,结果显示任务极具挑战性,推动RAG在真实对话系统的研究。
2024-09-15 cs.AI cs.CL
Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
University of Turin(都灵大学);Nuance Communications Inc.(Nuance通讯公司)
基于transformer的模型在自然语言生成中表现出了很好的模式和结构捕捉能力,并在许多任务中取得了最先进的结果。在本文中,我们提出了一个基于transformer的多轮对话响应生成模型。我们的解决方案是基于一种混合的方法,它增强了基于变换的生成模型与一种新的检索机制,它利用记忆的信息,通过k-最近邻搜索的训练数据。我们的系统在两个由客户/助理对话框制作的数据集上进行评估:由Google发布的Taskmaster-1,拥有高质量,面向目标的会话数据和从真实客户服务呼叫中心收集的专有数据集。两者都能在强基线上获得更好的BLEU分数。
2021-05-19 cs.AI cs.CL
RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized Dialogue Response Generation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对聊天机器人一致人设构建难题,提出名为RECAP的检索增强个性化对话回复生成方法,通过分层Transformer检索器和上下文感知前缀编码器实现信息融合,在英文Reddit对话数据集上表现优于现有最优基线。
2023-06-12 cs.AI cs.CL
"None of the Above":Measure Uncertainty in Dialog Response Retrieval
Carnegie Mellon University(卡内基梅隆大学)
本文讨论了发现端到端对话任务中不确定性的重要性,并介绍了我们在Ubuntu Dialog语料库上进行不确定性分类的实验结果。我们表明,而不是重新训练模型,为这个特定的目的,原始的检索模型的最佳预测的基本信心,可以捕捉到微不足道的额外计算。
2020-05-15 cs.CL