Prototype-to-Style: Dialogue Generation with Style-Aware Editing on Retrieval Memory
University of Cambridge(剑桥大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
对话系统在对话过程中表达预定语言风格的能力对其可用性和用户满意度有直接的积极影响。我们引入了一个新的原型到风格(PS)的框架,以应对文体对话生成的挑战。该框架使用的信息检索(IR)系统,并从检索到的响应提取响应原型。然后,文体响应生成器将原型和期望的语言风格作为模型输入,以获得高质量的文体响应。为了有效地训练所提出的模型,我们提出了一个新的风格意识的学习目标,以及去噪学习策略。在两种语言的三个基准数据集上的测试结果表明,所提出的方法在域内和跨域评估中都明显优于现有的基线
2020-04-05 cs.CL
Retrieve and Refine: Improved Sequence Generation Models For Dialogue
Facebook AI Research(脸书人工智能研究院)
众所周知,用于对话的序列生成模型有几个问题:它们倾向于生成简短、通用的句子,这些句子没有信息,也没有吸引力。另一方面,检索模型可以显示有趣的响应,但仅限于给定的检索集,导致错误的回复,无法调整到特定的上下文。在这项工作中,我们开发了一个模型,结合这两种方法,以避免它们的缺陷:首先检索响应,然后完善它-最后的序列生成器处理检索作为额外的上下文。在最近的CONVAI 2挑战任务中,我们展示了我们的方法在人类评估中产生优于标准检索和生成模型的响应。
2018-09-06 cs.CL
Efficient Retrieval Augmented Generation from Unstructured Knowledge for Task-Oriented Dialog
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek 公司)
本文总结了我们在第九届对话系统技术挑战赛(DSTC 9)的第一个轨道上的工作,“超越域API:面向任务的会话建模与非结构化知识访问”。该任务的目标是在面向任务的对话框中生成对用户回合的响应,该对话框需要来自非结构化文档的知识。该任务分为三个子任务:检测,选择和生成。为了计算效率,我们制定的分层分类步骤的选择问题。我们用这种模式取得了最好的结果。或者,我们采用连体序列嵌入模型,称为密集的知识检索,检索相关的文件。与第一个模型相比,该方法以R@1的5-6%的退化为代价,进一步将计算时间减少了100倍以上。然后,对于这两种方法,我们使用检索增强生成来生成基于多个选定的片段的响应,我们展示了如何使用该方法来微调训练的嵌入。
2021-02-09 cs.CL
Skeleton-to-Response: Dialogue Generation Guided by Retrieval Memory
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
对于对话响应生成,传统的生成模型仅从输入查询生成响应。这种模型依赖于不充分的信息来生成特定的响应,因为某个查询可以以多种方式回答。因此,这些模型往往输出通用和沉闷的反应,阻碍了信息话语的生成。近年来,研究人员试图通过利用信息检索技术来填补信息空白。当生成对当前查询的响应时,从整个训练数据检索的类似对话被认为是附加的知识源。虽然这可能会收集大量信息,但生成模型可能会不堪重负,导致不理想的性能。在本文中,我们提出了一个新的框架,利用检索结果,通过一个campion-then-response范式。首先,通过修改检索到的响应来生成骨架。然后,一种新的生成模型使用生成的骨架和原始查询的响应生成。实验结果表明,我们的方法显着提高的多样性和信息量的生成响应。
2020-02-28 cs.CL
Multi-Grained Knowledge Retrieval for End-to-End Task-Oriented Dialog
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
针对端到端任务型对话中知识检索与回复生成混合导致大规模知识库下检索性能欠佳的问题,提出解耦两者并引入多粒度知识检索器MAKER,利用实体和属性选择器及蒸馏目标优化检索,在三个基准上验证了有效性。
2023-05-17 cs.CL
Dual-Feedback Knowledge Retrieval for Task-Oriented Dialogue Systems
Sun Yat-sen University(中山大学);Meta AI;Meetyou AI Lab(美图人工智能实验室)
针对任务型对话系统中知识检索与响应生成耦合导致的可扩展性挑战,提出检索器-生成器架构,并引入双反馈机制利用生成器输出的正负反馈作为伪标签训练检索器,在三个基准数据集上取得优越性能。
2023-10-23 cs.CL
Deploying a Retrieval based Response Model for Task Oriented Dialogues
Amazon(亚马逊)
工业环境中面向任务的对话系统需要具有高会话能力,易于适应不断变化的情况并符合业务约束。本文描述了一个3步的过程来开发一个会话模型,满足这些标准,并可以有效地扩展到一个大的响应候选人的排名。首先,我们提供了一个简单的算法来半自动地从历史对话中创建一个高覆盖率的模板集,而无需任何注释。其次,我们提出了一个神经架构,将对话上下文和适用的业务约束编码为配置文件功能,用于对下一轮进行排名。第三,我们描述了一个两阶段的学习策略,自我监督训练,然后通过人在环平台收集的有限数据进行监督微调。最后,我们描述了离线实验,并提出了部署我们的模型与人在循环与现场客户在线交谈的结果。
2022-10-25 cs.CL
Generative Subgraph Retrieval for Knowledge Graph-Grounded Dialog Generation
Korea University(高丽大学);Amazon AGI(亚马逊AGI)
针对知识图谱支撑的对话生成中外部编码器无法利用预训练语言模型知识及单向量抽象导致信息瓶颈的问题,提出DialogGSR方法,通过在语言模型上直接生成子图词元序列并结合结构感知线性化与图约束解码进行检索,在多个数据集上达到最先进性能。
2024-10-12 cs.AI cs.CL
Conversational Word Embedding for Retrieval-Based Dialog System
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
人类对话包含许多类型的信息,例如,知识、常识和语言习惯。在本文中,我们提出了一个会话词嵌入方法PR嵌入,它利用会话对$ \left\langle{post, reply} \right\rangle$学习词嵌入。与以往的工作不同,PR嵌入使用两个不同的语义空间的向量来表示帖子和回复中的单词。为了更好地捕捉词对之间的信息,我们首先引入统计机器翻译中的词对齐模型,生成跨句窗口,然后在词级和句级上对嵌入进行训练。我们评估的方法对单轮和多轮响应选择任务检索为基础的对话系统。实验结果表明,PR-嵌入可以提高选择响应的质量。PR-嵌入源代码可在https://github.com/wtma/PR-Embedding上获得
2020-04-28 cs.CL
Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Corporation(微软公司);Center for Data Science, Peking University(北京大学数据科学研究中心)
建立一个智能的对话系统,能够根据多轮上下文选择适当的响应是一个很大的挑战性任务。现有的研究集中在构建一个上下文响应匹配模型与各种神经架构或PLM和典型的学习与一个单一的响应预测任务。这些方法忽略了对话数据中包含的许多潜在的训练信号,这些信号可能有利于上下文理解并产生更好的响应预测特征。此外,通过传统方式监督的现有对话系统中检索的响应仍然面临一些关键挑战,包括不连贯和不一致。为了解决这些问题,在本文中,我们提出了学习的上下文响应匹配模型与辅助自我监督任务设计的对话数据的基础上预先训练的语言模型。具体而言,我们引入了四个自我监督的任务,包括下一个会话预测,话语恢复,不连贯检测和一致性判别,并联合训练基于PLM的响应选择模型与这些辅助任务在多任务的方式。通过这种方式,辅助任务可以指导匹配模型的学习,以达到更好的局部最优,并选择更合适的响应。两个基准测试的实验结果表明,所提出的辅助自监督任务带来了显着的改善多轮响应选择检索为基础的对话,我们的模型在两个数据集上取得了新的国家的最先进的结果。
2020-09-14 cs.CL
Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning
Microsoft Corporation(微软公司);Peking University(北京大学)
建立基于检索的对话系统,可以从预先建立的索引中选择合适的反应,已经越来越受到研究者的关注。对于这项任务,采用预先训练的语言模型(如BERT)已经在许多基准测试中取得了显着进展。存在两种常见的方法,包括交叉编码器,其对输入执行完全关注,以及双编码器,其分别对上下文和响应进行编码。前者在精度上有相当大的提高,但在实际中往往不适用于大规模检索,因为在测试时需要对每个样本给予充分的关注。后者对数十亿个索引是有效的,但性能不佳。在这项工作中,我们建议结合这两个世界的最好的建立一个检索系统。具体来说,我们采用快速双编码器来取代传统的基于特征的预检索模型(如BM 25),并设置响应重排序模型作为一个更复杂的架构(如交叉编码器)。为了进一步提高我们的框架的有效性,我们训练的预检索模型和重新排序模型在同一时间通过相互学习,这使得两个模型在整个训练过程中相互学习。我们在两个基准测试上进行了实验,评估结果证明了我们提出的框架的效率和有效性。
2021-10-01 cs.CL
Learning a Matching Model with Co-teaching for Multi-turn Response Selection in Retrieval-based Dialogue Systems
Peking University(北京大学);Microsoft Corporation(微软公司)
我们研究了基于检索的对话系统中响应选择匹配模型的学习。这个问题与设计模型的架构同样重要,但在现有文献中较少探讨。为了从噪声训练数据中学习鲁棒匹配模型,我们提出了一个通用的协同教学框架,其中包括三个具体的教学策略,包括损失函数教学和数据课程教学。在该框架下,我们同时学习两个具有独立训练集的匹配模型。在每次迭代中,一个模型将从其训练集学习到的知识转移到另一个模型,同时从另一个模型接收关于如何克服训练中的噪声的指导。两种模式既当老师又当学生,相互学习,共同提高。两个公开数据集上的评估结果表明,所提出的学习方法可以普遍和显着提高现有的匹配模型的性能。
2019-06-11 cs.CL
Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots
Wangxuan Institute of Computer Technology(王选计算机技术研究所);Center for Data Science(数据科学中心);Academy for Advanced Interdisciplinary Studies(前沿交叉学科研究院);Peking University(北京大学);Soochow University(苏州大学);Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学)
现有的多轮语境-反应匹配方法主要集中在获得多层次、多维度的表征以及语境话语与反应之间更好的交互。然而,在真实对话场景中,响应候选是否合适不仅取决于给定的对话上下文,还取决于其他背景,例如,措辞习惯、用户特定的对话历史内容。为了填补这些最新的方法和现实世界的应用之间的差距,我们将用户特定的对话历史的响应选择,并提出了一个个性化的混合匹配网络(PHMN)。我们的贡献是两方面的:1)我们的模型从用户特定的对话历史中提取个性化的措辞行为作为额外的匹配信息; 2)我们对上下文-响应话语进行混合表示学习,并显式地引入定制的注意力机制来从上下文-响应交互中提取重要信息,以提高匹配的准确性。我们在两个具有用户标识的大型数据集上评估我们的模型,即,个性化Ubuntu对话语料库(P-Ubuntu)和个性化微博数据集(P-Weibo)。实验结果证实,我们的方法显着优于几个强大的模型相结合的个性化注意,措辞行为,和混合表示学习。
2021-03-17 cs.CL
Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
为了丰富和丰富所产生的对话反应,近年来对基于知识的对话进行了调查。现有的方法通过在大型语料库中检索相关句子并使用明确的额外信息来增强对话来解决知识基础挑战。尽管他们的成功,然而,现有的作品有缺陷的推理效率。本文提出了KnowExpert,一个框架,绕过显式检索过程,并注入知识到预先训练的语言模型与轻量级适配器,并适应知识为基础的对话任务。据我们所知,这是第一次尝试在开放域聊天场景下,在这项任务中不进行检索来应对这一挑战。实验结果表明,Knowexpert执行与一些基于检索的基线,同时是时间效率的推理,证明了我们提出的方法的有效性。
2022-04-25 cs.AI cs.CL
On the Calibration and Uncertainty with Pólya-Gamma Augmentation for Dialog Retrieval Models
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
深度神经检索模型已经充分证明了它们的能力,但估计它们预测的可靠性仍然具有挑战性。大多数对话响应检索模型输出一个关于它与给定问题的相关程度的响应的单个分数。然而,深度神经网络的不良校准导致单个分数的各种不确定性,使得不可靠的预测总是误导用户决策。为了研究这些问题,我们提出了一个有效的校准和不确定性估计框架PG-DRR的对话响应检索模型,它增加了一个高斯过程层的确定性深神经网络和恢复共轭易处理的后验推理Pólya-Gamma增强。最后,PG-DRR在保持$R_{10}@1$和MAP性能的同时,在域内数据集和分布移位任务中实现了最低的经验校准误差(ECE)。
2023-03-15 cs.AI cs.CL
DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever
University of Science and Technology of China(中国科学技术大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出参数高效的提示调优方法 DialCLIP,通过多模态上下文提示生成器、领域提示及多专家设计,在仅调优 0.04% 参数下于两个基准数据集上取得最先进的多模态对话检索性能。
2024-01-03 cs.CL
The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG)
Tsinghua University(清华大学);China Mobile Research Institute(中国移动研究院)
第二届FutureDial-RAG挑战赛在SLT 2024举办,基于含近3000段标注对话的MobileCS2数据集设置知识检索与响应生成两赛道,构建基线并设计指标,结果显示任务极具挑战性,推动RAG在真实对话系统的研究。
2024-09-15 cs.AI cs.CL
Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
University of Turin(都灵大学);Nuance Communications Inc.(Nuance通讯公司)
基于transformer的模型在自然语言生成中表现出了很好的模式和结构捕捉能力,并在许多任务中取得了最先进的结果。在本文中,我们提出了一个基于transformer的多轮对话响应生成模型。我们的解决方案是基于一种混合的方法,它增强了基于变换的生成模型与一种新的检索机制,它利用记忆的信息,通过k-最近邻搜索的训练数据。我们的系统在两个由客户/助理对话框制作的数据集上进行评估:由Google发布的Taskmaster-1,拥有高质量,面向目标的会话数据和从真实客户服务呼叫中心收集的专有数据集。两者都能在强基线上获得更好的BLEU分数。
2021-05-19 cs.AI cs.CL
Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出利用最大边缘似然训练感知型检索器并结合元知识指导生成器,以解决T5和ChatGPT等模型在任务型对话中难以区分检索记录的问题,有效提升了生成响应质量。
2023-10-20 cs.CL
Entity-Consistent End-to-end Task-Oriented Dialogue System with KB Retriever
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
在面向任务的端到端对话系统中,知识库的查询一直是一个难题。先前的序列到序列(Seq 2Seq)对话生成工作将KB查询视为对整个KB的关注,而不能保证生成的实体彼此一致。在本文中,我们提出了一种新的框架,查询知识库中的两个步骤,以提高生成的实体的一致性。在第一步中,灵感的观察,一个响应通常可以支持一个单一的KB行,我们引入了一个KB检索组件,显式返回最相关的KB行给定的对话历史。检索结果进一步用于Seq 2Seq响应生成模型中过滤无关实体,提高输出实体之间的一致性。在第二步中,我们进一步执行注意力机制来处理最相关的KB列。提出了两种方法,使训练的可行性,没有标记的检索数据,其中包括远程监督和Gumbel-Softmax技术。两个公开的面向任务的对话数据集上的实验表明,我们的模型的有效性优于基线系统,并产生实体一致的反应。
2019-09-18 cs.CL
Sparse and Dense Approaches for the Full-rank Retrieval of Responses for Dialogues
Delft University of Technology(代尔夫特理工大学)
对给定对话上下文的响应进行排名是一种流行的基准,其中设置是在有限的一组$n$响应上对地面实况响应进行重新排名,其中$n$通常为10。这种设置在会话响应排序中的优势导致了对构建神经重排序器的大量关注,而第一阶段的检索步骤被忽视了。由于正确答案在$n$响应的候选列表中总是可用的,所以该人工评估设置假定存在第一阶段检索步骤,该第一阶段检索步骤总是能够将正确响应排在其顶部$n$列表中。在本文中,我们专注于更现实的任务,满秩检索的反应,其中$n$可以高达数百万的反应。我们调查了稀疏检索的对话上下文和响应扩展技术,以及zero-shot和微调的稠密检索方法。我们的研究结果的基础上,三个不同的信息寻求对话数据集显示,一个学习的反应扩展技术是一个坚实的基线稀疏检索。我们发现整体上表现最好的方法是带有中间训练的稠密检索,即在学习句子表示的语言模型预训练之后的一个步骤,然后对目标会话数据进行微调。我们还研究了有趣的现象,更难的负采样技术导致更糟糕的结果微调稠密检索模型。代码和数据集可在https://github.com/Guzpenha/transformer_rankers/tree/full_rank_retrieval_dialogues上获得。
2022-04-22 cs.CL cs.IR cs.LG
RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized Dialogue Response Generation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对聊天机器人一致人设构建难题,提出名为RECAP的检索增强个性化对话回复生成方法,通过分层Transformer检索器和上下文感知前缀编码器实现信息融合,在英文Reddit对话数据集上表现优于现有最优基线。
2023-06-12 cs.AI cs.CL
Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions
Department of Informatics, Athens University of Economics and Business(雅典经济与商业大学信息学院);Omilia - Conversational Intelligence(Omilia-对话智能);Archimedes, Athena Research Center(雅典研究中心Archimedes);NCSR Demokritos(德摩斯蒂斯国家研究中心)
针对开放检索式对话问答数据集获取困难的问题,提出基于组织纯文本文档生成合成带标注对话的流程,训练问题重写器去语境化用户问题,结合LLM构建OR-CONVQA系统。
2026-08-07 cs.CL
Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);Alibaba Group(阿里巴巴集团)
多文档接地对话系统(DGDS)属于一类会话代理,通过从文档集合中找到支持知识来回答用户的请求。大多数以前的研究旨在改善知识检索模型或提出更有效的方法,将外部知识的参数生成模型。然而,这些方法集中于从单粒度语言单元(例如,文档中的段落、句子或跨度)中检索知识,这不足以有效地和高效地捕获长文档中的精确知识。本文提出了Re3G,其目的是优化粗粒度的知识检索和细粒度的知识提取在一个统一的框架。具体来说,前者有效地找到检索和重新排序过程中的相关段落,而后者有效地提取这些段落中的更细粒度跨度,以纳入参数答案生成模型(BART,T5)。在DialDoc共享任务上的实验证明了该方法的有效性。
2023-02-23 cs.CL
A Response Retrieval Approach for Dialogue Using a Multi-Attentive Transformer
LINKS Foundation(LINKS基金会);Politecnico di Torino(都灵理工大学)
本文介绍了我们的工作,第九版的对话系统技术挑战(DSTC 9)。我们的解决方案解决了第四个问题:模拟交互式多模态对话。该任务包括提供一种算法,能够模拟一个购物助理,支持用户与他/她的请求。我们解决的响应检索的任务,这是检索最合适的代理响应从响应候选池的任务。我们的方法利用神经架构的基础上Transformer与多注意力结构,条件的代理对用户的请求和用户所指的产品的响应。SIMMC时尚数据集上的最后实验表明,我们的方法实现了第二个最好的分数,所有的检索指标由组织者定义。源代码可在https://github.com/D2KLab/dstc9-SIMMC上获得。
2020-12-15 cs.AI cs.CL
UniRQR: A Unified Model for Retrieval Decision, Query, and Response Generation in Internet-Based Knowledge Dialogue Systems
Northwestern Polytechnical University(西北工业大学);Xidian University(西安电子科技大学)
本文提出统一模型UniRQR,通过提示与多任务学习同时完成检索决策、查询生成和响应生成,减少多模型部署成本,并在Wizint和Dusinc数据集上取得优于基线且可比肩SOTA专用模型的效果。
2024-01-11 cs.AI cs.CL cs.IR
Unstructured Knowledge Access in Task-oriented Dialog Modeling using Language Inference, Knowledge Retrieval and Knowledge-Integrative Response Generation
The Chinese University of Hong Kong(香港中文大学);Centre for Perceptual and Interactive Intelligence(感知与交互智能中心)
具有丰富的外部知识的对话系统可以处理支持数据库/API范围之外的用户查询。在本文中,我们遵循DSTC 9轨道1中提供的基线,并提出了三个子系统,KDEAK,KnowleDgEFactor和Ens-GPT,形成了一个面向任务的对话系统能够访问非结构化知识的管道。具体来说,KDEAK通过使用来自对话框、数据库和FAQ的知识将问题公式化为自然语言推理来执行知识搜索转向检测。KnowleDgEFactor通过制定一个分解的知识/文档检索问题,三个模块执行域,实体和知识水平分析来完成知识选择任务。Ens-GPT首先处理多个知识片段,然后通过集成算法来生成响应,该集成算法决定响应是否应该单独从GPT 2-XL模型中导出,或者与顶级知识片段组合重新生成。实验结果表明,所提出的管道系统优于基线,并产生高质量的响应,实现至少58.77%的BLEU-4分数的提高。
2021-01-15 cs.AI cs.CL
Dial-MAE: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对对话响应选择中密集编码器缺乏专用后训练方法导致上下文与响应表示难以对齐的问题,提出 Dial-MAE,采用非对称编码器-解码器架构压缩对话语义,在两个基准上达到 SOTA。
2024-03-27 cs.AI cs.CL
Exploring Dense Retrieval for Dialogue Response Selection
Beijing Institute of Technology(北京理工大学);The Chinese University of Hong Kong(香港中文大学);University of Cambridge(剑桥大学)
深度学习的最新进展不断提高了对话响应选择的准确性。特别地,利用复杂的神经网络架构来捕获对话上下文和响应候选者之间的丰富交互。虽然这些模型非常有效,但也带来了计算成本的急剧增加。因此,这种模型在实践中只能用作重新排序模块。在这项研究中,我们提出了一个解决方案,直接选择适当的反应,从一个大的语料库,甚至是非平行的语料库,只有不成对的句子,使用稠密检索模型。为了突破稠密检索的限制,我们在稠密检索模型上设计了一个交互层,并应用了一组定制的学习策略。我们的模型在传统的重新排名评估设置上显示出优于强基线的优势,这是显着的,因为它的效率。为了验证我们的方法在现实场景中的有效性,我们还进行了全面评估,目标是从可能包含数百万候选人的完整候选人池中选择适当的响应,并通过人工注释对其进行公平评估。我们提出的模型明显优于集成了快速召回和表达性重新排名模块的管道基线。人工评价结果表明,扩大候选池与非平行语料库进一步提高响应质量。
2022-04-25 cs.AI cs.CL
Efficient Uncertainty Estimation with Gaussian Process for Reliable Dialog Response Retrieval
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
深度神经网络在基于检索的对话系统中取得了卓越的性能,但它们被证明是校准不良的。虽然像Monte Carlo Dropout和Entrance这样的基本校准方法可以很好地校准,但这些方法在训练或推理阶段非常耗时。为了应对这些挑战,我们提出了一种用于基于BERT的对话式搜索的高效不确定性校准框架GPF-BERT,该框架在BERT架构之上采用高斯过程层和焦点损失来实现高质量的神经排序器。大量的实验验证了该方法的有效性。与基本标定方法相比,GPF-BERT在三个域内数据集和分布移位任务中实现了最低的经验标定误差(ECE),而在大多数情况下产生了最高的$R_{10}@1$和MAP性能。在时间消耗方面,我们的GPF-BERT具有8 $\times$的加速比。
2023-03-15 cs.AI cs.CL
Mix-and-Match: Scalable Dialog Response Retrieval using Gaussian Mixture Embeddings
IBM Research(IBM研究院)
基于嵌入的对话响应检索方法将上下文响应对嵌入为嵌入空间中的点。这些方法是可扩展的,但无法解释上下文响应对之间存在的复杂的多对多关系。另一方面,有一些方法通过多层神经网络联合提供上下文-响应对。这些方法可以模拟上下文-响应对之间的复杂关系,但当响应集适度大(>100)时无法扩展。在本文中,我们通过提出一个可扩展的模型,可以学习上下文响应对之间的复杂关系,结合了这两个世界的最佳。具体而言,该模型将上下文以及响应映射到嵌入空间上的概率分布。我们通过优化由训练数据中的上下文响应对引起的分布之间的Kullback-Leibler散度来训练模型。我们表明,所得到的模型实现了更好的性能相比,其他基于嵌入的方法公开可用的会话数据。
2022-04-06 cs.AI cs.CL
Improving Retrieval Modeling Using Cross Convolution Networks And Multi Frequency Word Embedding
Department of Computer Science, CUNY Graduate Center, USA(纽约市立大学研究生中心计算机科学系,美国);Department of Mathematics and Computer Science, York College (CUNY), USA(纽约市立大学约克学院数学与计算机科学系,美国);Department of Electrical Engineering, Columbia University, USA(哥伦比亚大学电气工程系,美国);OATH Inc, USA(OATH公司,美国)
为了构建一个令人满意的聊天机器人,能够管理以目标为导向的多轮对话,人类对话的准确建模至关重要。在本文中,我们集中在多轮人机对话与给定的背景下的响应选择的任务。以前的方法在捕获出现在上下文或正确响应中的罕见关键字的信息方面表现出弱点,并且与长输入序列作斗争。我们提出了交叉卷积网络(CCN)和多频词嵌入来解决这两个问题。我们使用Ubuntu Dialogue数据集训练了几个模型,该数据集是最大的免费提供的基于多回合的对话语料库。我们进一步通过对多个模型的预测进行平均来建立一个系综模型。我们在这个数据集上实现了一个新的最先进的技术,与以前的最佳结果相比有了相当大的改进。
2018-02-16 cs.CL
Retrieval Augmented End-to-End Spoken Dialog Models
Google(谷歌公司)
本文提出检索增强的SLM(ReSLM),通过语音检索器获取音频中的文本实体并输入模型,提升语音对话状态跟踪性能,在DSTC-11上联合目标准确率达38.6%。
2024-02-02 cs.AI cs.CL cs.SD
Knowledge-incorporating ESIM models for Response Selection in Retrieval-based Dialog Systems
IBM Research(IBM研究院)
面向目标的对话系统可以端到端地训练,而无需手动编码特定于域的特征,在客户支持用例中显示出巨大的前景,例如航班预订、酒店预订、技术支持、学生咨询等。这些对话系统必须学会与外部域知识交互以实现期望的目标,例如向学生推荐课程,本文提出了扩展的增强型顺序推理模型(ESIM)模型:a)K-ESIM(Knowledge-ESIM),它结合了外部领域知识; b)T-ESIM(Targeted-ESIM),它利用来自相似会话的信息来提高预测精度。我们提出的模型和基线ESIM模型在最新的对话系统技术挑战赛(DSTC 7)的句子选择轨道中的Ubuntu和Advising数据集上进行了评估,其目标是从一组候选人中找到正确的下一个话语。我们的初步研究结果表明,结合外部知识来源和利用信息,从类似的对话导致性能的改善,预测下一个话语。
2019-07-11 cs.AI cs.CL cs.IR
Conversation AI Dialog for Medicare powered by Finetuning and Retrieval Augmented Generation
University of Florida(佛罗里达大学);National Institute of Technology Calicut(卡利卡特国家理工学院);SRM, Chennai(SRM大学(金奈));University of Cincinnati(辛辛那提大学);Dartmouth College(达特茅斯学院);Arizona State University(亚利桑那州立大学)
本研究比较了LoRA微调与RAG框架在医患对话中的表现,评估Llama-2、GPT和LSTM模型的语言质量、事实准确性及安全性,并探索领域知识整合对LLM性能的提升作用。
2025-02-04 cs.AI cs.CL
DialogConv: A Lightweight Fully Convolutional Network for Multi-view Response Selection
Northeastern University(东北大学);Singapore Management University(新加坡管理大学)
当前端到端的基于检索的对话系统主要基于具有注意力机制的递归神经网络或Transformers。虽然已经取得了可喜的成果,这些模型往往受到缓慢的推理或大量的参数。在本文中,我们提出了一种新的轻量级全卷积架构,称为DialogConv,用于响应选择。DialogConv专门构建在卷积之上,以提取上下文和响应的匹配特征。对话在3D视图中建模,其中DialogConv对嵌入视图、单词视图和话语视图执行卷积操作,以从多个上下文视图中捕获更丰富的语义信息。在四个基准数据集上,与最先进的基线相比,DialogConv的大小平均约为8.5倍,CPU和GPU设备的速度分别为79.39倍和10.64倍。同时,DialogConv实现了响应选择的竞争有效性。
2022-10-25 cs.CL
UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems
The Chinese University of Hong Kong(香港中文大学);The University of Edinburgh(爱丁堡大学)
针对个性化对话系统的多源信息整合问题,提出UniMS-RAG系统,将知识源选择、检索和响应生成统一到序列范式,利用特殊标记交互多源并评估相关性,结合自优化机制,在DuLeMon和KBP数据集上取得SOTA性能。
2024-11-26 cs.AI cs.CL
Partner Matters! An Empirical Study on Fusing Personas for Personalized Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China(中国科学技术大学);Queen’s University(女王大学);iFLYTEK Research(讯飞研究院)
角色可以作为先验知识来维护对话系统的一致性。以往的研究大多采用对话中的自我角色,其反应是从一组候选人中选择或直接产生的,但很少有人注意到伙伴在对话中的作用。本文试图深入探讨利用人物角色描述自己或合作伙伴的发言人的响应选择任务中检索为基础的聊天机器人的影响。设计了四种人物角色融合策略,假设人物角色以不同的方式与上下文或响应进行交互。这些策略被实现为三个典型的响应选择模型,分别基于分层递归编码器(HRE),交互式匹配网络(IMN)和双向编码器表示从Transformers(BERT)。Persona-Chat数据集上的实证研究表明,在以前的研究中被忽略的合作伙伴人物角色可以提高基于IMN和BERT的模型中响应选择的准确性。此外,我们基于BERT的模型实现了上下文响应感知的人物角色融合策略,在原始人物角色上的命中率大于2.7%,在修改后的人物角色上的命中率大于4.6%,在Persona-Chat数据集上实现了新的最先进的性能。
2021-05-21 cs.CL
Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots
National Engineering Laboratory for Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学语音及语言信息处理国家工程实验室);State Key Laboratory of Cognitive Intelligence, iFLYTEK Research(科大讯飞研究院认知智能国家重点实验室)
在本文中,我们研究了在基于检索的聊天机器人中使用预训练的语言模型进行多轮响应选择的问题。提出了一种新的说话人感知BERT(SA-BERT)模型,该模型能够感知说话人变化信息,这是多话轮对话的一个重要的内在属性。此外,一个说话人感知的解纠缠策略,提出了解决纠缠的对话。该策略根据说话人的信息选择少量最重要的话语作为过滤后的语境。最后,执行领域自适应以将领域内知识结合到预先训练的语言模型中。在5个公共数据集上的实验表明,该模型在所有指标上都优于现有模型,并在多回合响应选择方面取得了新的最新性能。
2020-07-30 cs.CL
RubyStar: A Non-Task-Oriented Mixture Model Dialog System
Carnegie Mellon University(卡内基梅隆大学)
RubyStar是一个对话系统,旨在通过结合不同的响应生成策略来创建“类人”对话。RubyStar通过使用基于规则、基于检索和生成方法的集合,就一般主题进行非任务导向的对话。主题检测、参与监控和上下文跟踪用于管理交互。可预测的对话元素,如机器人的背景故事和简单的问答由单独的模块处理。我们描述了一个评级计划,我们开发的响应生成评估。我们发现,字符级RNN是一种有效的一般响应生成模型,具有适当的参数设置;然而,其他类型的会话主题可能会受益于使用其他模型。
2017-12-16 cs.CL
Retrieve & Memorize: Dialog Policy Learning with Multi-Action Memory
Sun Yat-sen University(中山大学)
对话策略学习是面向任务的对话系统的一个重要子任务,它决定了系统响应生成的内容和任务完成的程度。然而,系统动作在对话数据集中的不平衡分布通常导致难以学习生成期望的动作和响应。在本文中,我们提出了一个检索和记忆的框架,以加强学习系统的行动。特别地,我们首先设计了一个神经上下文感知检索模块,从给定的对话上下文的训练集中检索多个候选系统动作。然后,我们提出了一个记忆增强的多解码器网络来生成的候选动作的条件下的系统动作,这使得网络能够自适应地选择候选动作中的关键信息和忽略噪声。我们在大规模多领域面向任务的对话数据集MultiWOZ 2.0和MultiWOZ 2.1上进行了实验。实验结果表明,我们的方法在上下文响应生成任务中达到了几个国家的最先进的模型之间的竞争性能。
2021-06-27 cs.CL
A Multi-view Discourse Framework for Integrating Semantic and Syntactic Features in Dialog Agents
针对现有多轮对话模型忽略话语交互或同等对待所有话语的问题,本文提出语篇感知框架,通过MCCA和CCA两步法整合语义与句法特征,在Ubuntu语料库上提升响应选择效果。
2025-04-12 cs.CL
Retrieval-Augmented Neural Response Generation Using Logical Reasoning and Relevance Scoring
Norwegian Computing Center(挪威计算中心);University of Bamberg(班贝格大学)
本文提出一种结合检索增强语言模型与逻辑推理的知识基础响应生成方法,通过概率逻辑编程丰富知识图谱并利用神经模型评分筛选关键元素,有效提升了任务导向对话系统响应的事实性与流畅性。
2023-10-20 cs.AI cs.CL
Task-Oriented Dialog Systems that Consider Multiple Appropriate Responses under the Same Context
Tsinghua University(清华大学);University of California, Davis(加州大学戴维斯分校)
对话具有内在的一对多属性,这意味着多个响应可以适用于同一对话上下文。在面向任务的对话框中,此属性会导致任务完成的有效对话框策略不同。然而,现有的面向任务的对话框生成方法都没有考虑到这个属性。我们提出了一个多动作数据增强(MADA)框架,利用一对多的属性,以产生不同的适当的对话响应。具体来说,我们首先使用对话框状态来总结对话框历史,然后发现每个对话框状态到其不同有效系统操作的所有可能映射。在对话系统训练期间,我们使当前对话状态能够映射到在先前过程中发现的所有有效系统操作,以创建额外的状态-操作对。通过合并这些额外的对,对话策略学习平衡的动作分布,这进一步指导对话模型生成不同的响应。实验结果表明,该框架不断提高对话策略的多样性,提高响应的多样性和适当性。我们的模型在MultiWOZ上获得了最先进的结果。
2019-12-02 cs.AI cs.CL
Learning to Detect Relevant Contexts and Knowledge for Response Selection in Retrieval-based Dialogue Systems
Computer Center, Peking University(北京大学计算机中心);Department of Computer Science and Technology, Peking University(北京大学计算机科学与技术系);Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所)
针对检索式对话中无关上下文与知识干扰匹配的问题,提出RSM-DCK模型,通过词级/话语级预选择、候选交互及融合后选择识别相关内容,并在两个基准上验证性能提升。
2025-09-26 cs.CL cs.IR cs.LG
EnsembleGAN: Adversarial Learning for Retrieval-Generation Ensemble Model on Short-Text Conversation
Turing Robot(图灵机器人);Peking University(北京大学)
生成定性响应一直是人机对话系统的挑战。现有的对话系统一般来自基于检索或基于生成的方法,这两个都有自己的优点和cons.Despite自然的想法集成模型的两个,现有的集成方法只集中在利用一种方法来提高另一个,但是我们认为,他们可以进一步相互增强与适当的培训策略。在本文中,我们提出了ensembleGAN,一个对抗性学习框架,用于增强开放域会话场景中的检索生成集成模型。它由一个类似语言模型的生成器、一个排名生成器和一个排名生成器组成。为了生成近似地面真实的响应并从排序器获得高排名分数,这两个生成器分别学习生成改进的高度相关响应和竞争性未观察到的候选项,而区分性排序器则被训练用于从对抗性响应中识别真实响应,从而具有两个生成器对应物的优点。在大量短文本会话数据上的实验结果证明了该方法的有效性。
2020-04-30 cs.CL cs.IR
Dialog Policy Learning for Joint Clarification and Active Learning Queries
University of Texas at Austin(德克萨斯大学奥斯汀分校)
智能系统需要能够从错误中恢复过来,解决不确定性,并适应训练过程中看不到的新概念。对话交互可以通过使用用于校正和解决不确定性的澄清以及用于学习在操作期间遇到的新概念的主动学习查询来实现这一点。先前关于对话系统的工作集中于专门学习如何执行澄清/信息寻求,或者集中于执行主动学习。在这项工作中,我们训练一个层次的对话策略,共同执行澄清和主动学习的背景下,基于交互式语言的图像检索任务的动机,由网上购物应用程序,并证明,共同学习对话策略澄清和主动学习是更有效的比使用静态对话策略的一个或两个这些功能。
2020-12-14 cs.CL cs.CV cs.LG
DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style Word Generator
Seoul National University(首尔大学);Adobe Research(奥多比研究院)
视听场景感知对话(AVSD)是一个任务,生成一个给定的场景,视频,音频和对话中的前几轮的历史问题的响应。用于此任务的现有系统采用具有编码器-解码器框架的基于Transformers或递归神经网络的架构。尽管这些技术在这项任务上表现出了卓越的性能,但它们有很大的局限性:模型很容易过度拟合,只记住语法模式;模型遵循数据集中词汇的先验分布。为了缓解这些问题,我们提出了一个多模态语义Transformer网络。它采用了基于transformer的架构,带有基于注意力的单词嵌入层,通过查询词嵌入来生成单词。通过这种设计,我们的模型在生成阶段继续考虑单词的含义。实证结果表明,我们提出的模型优于大多数以前的作品的AVSD任务的优越性。
2020-04-01 cs.CL cs.LG
Augmenting End-to-End Dialog Systems with Commonsense Knowledge
Beijing Institute of Technology(北京理工大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
构建能够与人类自然对话的对话智能体是人工智能的一个具有挑战性且有趣的问题。在开放域人机对话中,对话代理人被期望以有趣和引人入胜的方式对人类的反应做出响应,常识知识必须有效地集成到模型中。在本文中,我们调查的影响,提供常识知识的概念涵盖的对话。我们的模型代表了第一次尝试将一个大的常识知识库集成到端到端的会话模型。在基于检索的场景中,我们提出了Tri-LSTM模型,以联合考虑消息和常识来选择适当的响应。我们的实验表明,知识增强模型优于他们的知识自由同行在自动评估。
2018-02-12 cs.AI cs.CL
Detecting and Classifying Malevolent Dialogue Responses: Taxonomy, Data and Methodology
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(阿霍德·德尔海兹)
对话界面作为一种将人们与信息联系起来的方式越来越受欢迎。基于语料库的会话界面能够比基于模板或基于检索的代理生成更多样化和自然的响应。随着基于语料库的会话代理的生成能力的增加,需要对内容和对话行为方面不适当的恶意响应进行分类和过滤。以往关于识别和分类不当内容的研究大多集中在某一类恶意或单个句子上,而不是整个对话。在本文中,我们定义了恶意对话响应检测和分类(MDRDC)的任务。我们做三个贡献,以推进这项任务的研究。首先,我们提出了一个分层恶意对话分类(HMDT)。其次,我们创建了一个标记的多轮对话数据集,并制定了MDRDC任务作为一个分层分类任务在这个分类。第三,我们应用最先进的文本分类方法的MDRDC任务和广泛的实验报告,旨在评估这些方法的性能。
2020-08-21 cs.CL cs.IR
Knowledge-based end-to-end memory networks
IBM Research(IBM研究(机构))
端到端对话系统已经变得非常流行,因为它们有希望直接从人到人的对话交互中学习。检索和生成方法已在该领域进行了探索,但结果好坏参半。到目前为止还缺少的一个关键因素是纳入关于手头任务的先验知识。这种知识可能以结构化或非结构化信息的形式存在。作为朝着这个方向迈出的第一步,我们提出了一种新的方法,知识为基础的端到端的内存网络(KB-memN 2N),它允许特殊处理命名实体的目标为导向的对话任务。我们提出了两个数据集,DSTC 6挑战数据集和对话bAbI任务的结果。
2018-04-23 cs.AI cs.CL
A Bi-Encoder LSTM Model For Learning Unstructured Dialogs
University of Denver(丹佛大学)
本文提出一种双编码LSTM模型,用于学习无结构对话并提升响应选择任务的准确率。
2021-04-25 cs.AI cs.CL cs.IR