Recent Trends in Personalized Dialogue Generation: A Review of Datasets, Methodologies, and Evaluations
University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP)
本文系统综述了个性化对话生成的近期研究,涵盖22个数据集、2021-2023年间17项顶级会议论文及LLMs进展,总结了方法论、评估指标与未来挑战。
2024-05-28 cs.AI cs.CL
Persona-Aware Alignment Framework for Personalized Dialogue Generation
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
针对现有个性化对话生成方法易忽略给定角色、生成通用回复的问题,提出角色感知对齐框架PAL,通过两阶段训练搭配对应推理策略提升回复角色相关性,实验证明其性能优于现有最优方法和大语言模型。
2025-11-13 cs.AI cs.CL
RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized Dialogue Response Generation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对聊天机器人一致人设构建难题,提出名为RECAP的检索增强个性化对话回复生成方法,通过分层Transformer检索器和上下文感知前缀编码器实现信息融合,在英文Reddit对话数据集上表现优于现有最优基线。
2023-06-12 cs.AI cs.CL
Less is More: Learning to Refine Dialogue History for Personalized Dialogue Generation
Renmin University of China(中国人民大学);University of Montreal(蒙特利尔大学)
个性化对话系统探索生成与用户的个性一致的响应的问题,这在近年来引起了很多关注。现有的个性化对话系统已经尝试从对话历史中提取用户简档以指导个性化响应生成。由于对话历史通常是长的和嘈杂的,大多数现有的方法截断对话历史来建模用户的个性。这样的方法可以生成一些个性化的响应,但是浪费了大部分对话历史,导致个性化响应生成的次优性能。在这项工作中,我们提出了细化用户的对话历史在大规模上,在此基础上,我们可以处理更多的对话历史,并获得更丰富和准确的人物信息。具体来说,我们设计了一个MSP模型,它包括三个个人信息提炼器和一个个性化的响应生成器。有了这些多层次的精炼器,我们可以从对话历史中稀疏地提取最有价值的信息(令牌),并利用其他类似用户的数据来增强个性化。在两个真实数据集上的实验结果表明,我们的模型在生成更多信息和个性化的响应方面具有优越性。
2022-04-18 cs.CL
PersonaPKT: Building Personalized Dialogue Agents via Parameter-efficient Knowledge Transfer
University of Colorado Boulder(科罗拉多大学博尔德分校);Amazon Alexa(亚马逊Alexa)
针对个性化对话智能体依赖明确人设描述的隐私与可用性瓶颈,提出轻量迁移方法PersonaPKT,用连续向量表示人设,仅新增不足0.1%参数即可从少量对话学习隐含人设特征,兼顾人设一致性、回复质量与隐私保护。
2023-06-13 cs.AI cs.CL
A Personalized Utterance Style (PUS) based Dialogue Strategy for Efficient Service Requirement Elicitation
Harbin Institute of Technology(哈尔滨工业大学)
随着互联网上服务的蓬勃发展,服务提供商要想准确地向客户提供服务,必须全面、准确、高效地捕捉用户需求。这被称为“服务需求获取(SRE获取)”任务。考虑到客户的数量是巨大的,这是一个低效的方式,服务提供商与每个用户进行面对面的对话。因此,借助虚拟智能助手来获取用户需求已成为一种主流方式。由于用户需求通常由不同层次的细节组成,并且需要通过来自多个域的服务来满足,因此SRE有巨大的潜在需求空间来探索以引出完整的需求。由于传统的静态槽对话系统不能直接应用于SRE任务,因此在如此巨大的潜在需求空间中,如何设计有效的对话策略引导用户表达完整、准确的需求是一个挑战。基于用户倾向于以顺序方式主观地表达需求的现象,提出了个性化话语风格(PUS)模块来感知个性化的需求表达习惯,并将PUS应用于对话策略,以有效地完成SRE任务。具体而言,对话策略选择合适的响应动作来动态更新对话状态。在对话历史中提取PUS的辅助下,系统可以缩小潜在需求空间的搜索范围。实验结果表明,基于PUS的对话策略能够以较少的对话轮数引出更准确的用户需求。
2023-01-07 cs.AI cs.CL
Generating Personalized Dialogue via Multi-Task Meta-Learning
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research A*STAR(新加坡科技研究局资讯通信研究院)
个性化对话生成的传统方法通常需要大的语料库以及预定义的人物信息。然而,在现实世界的设置中,既没有一个大的语料库的训练数据,也没有人物信息是现成的。为了解决这些实际限制,我们提出了一种新的多任务元学习方法,该方法涉及训练模型以适应新的人物角色,而不依赖于大型语料库或任何预定义的人物角色信息。相反,该模型的任务是仅基于对话上下文生成个性化的响应。与以前的工作不同,我们的方法只在训练过程中通过引入辅助人物角色重建任务来利用所提供的人物角色信息。在本文中,我们介绍了两个框架,采用所提出的多任务元学习方法:多任务元学习(MTML)框架,和交替多任务元学习(AMTML)框架。实验结果表明,利用MTML和AMTML的结果与更大的人物角色一致性的对话响应。
2021-08-07 cs.AI cs.CL
Pchatbot: A Large-Scale Dataset for Personalized Chatbot
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);Université de Montréal(蒙特利尔大学)
自然语言对话系统近年来受到广泛关注。由于许多对话模型是数据驱动的,因此高质量的数据集对这些系统至关重要。本文介绍了Pchatbot,这是一个大规模的对话数据集,包含两个子集,分别来自微博和司法论坛。为了使原始数据集适应对话系统,我们通过匿名化、去重、分割和过滤等过程精心规范化原始数据集。Pchatbot的规模明显大于现有的中国数据集,这可能有利于数据驱动模型。此外,目前个性化聊天机器人的对话数据集通常包含多个人物角色语句或属性。与现有的数据集不同,Pchatbot为帖子和响应提供匿名用户ID和时间戳。这使得能够开发直接从用户的对话历史中学习隐式用户个性的个性化对话模型。我们的初步实验研究基准几个国家的最先进的对话模型,为未来的工作提供比较。该数据集可以在Github上公开访问。
2021-05-31 cs.AI cs.CL
Federated Natural Language Generation for Personalized Dialogue System
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Tencent(腾讯);Carnegie Mellon University(卡内基梅隆大学)
神经会话模型长期以来一直存在不一致和缺乏连贯个性的问题。为了解决这个问题,基于人物的模型捕捉个人特征已经提出,但他们仍然面临着模型适应性和数据隐私的困境。为了打破这一困境,我们提出了一种新的联邦自然语言生成(FedNLG)框架,学习个性化的表示,从各种数据集上的分布式设备,从而实现个性化的对话系统有效和安全。FedNLG首先在大型对话语料库上预训练标准神经会话模型的参数,然后以联邦方式在特定数据集上微调模型参数和人物角色嵌入。该模型可以同时学习本地客户端的角色嵌入和通过联邦聚合学习共享的模型参数,达到准确性和隐私性的平衡。通过大量的实验,我们通过在Cornell Movie-Dialogs语料库上对模型进行预训练和在两个电视剧数据集上对模型进行微调来证明我们的模型的有效性。
2021-10-13 cs.AI cs.CL
BoB: BERT Over BERT for Training Persona-based Dialogue Models from Limited Personalized Data
Harbin Institute of Technology(哈尔滨工业大学)
保持一致的人物角色对对话代理至关重要。虽然已经取得了巨大的进步,但有限规模的注释人物密集数据仍然是训练健壮和一致的基于人物的对话模型的障碍。在这项工作中,我们展示了如何解决的挑战,通过解开基于人物的对话生成到两个子任务与一个新的BERT-在-BERT(BOB)模型。具体来说,该模型由一个基于BERT的编码器和两个基于BERT的解码器组成,其中一个解码器用于响应生成,另一个用于一致性理解。特别地,为了从大规模非对话推理数据中学习一致性理解能力,我们以非似然方式训练第二解码器。在不同的有限数据设置下,自动和人工评估表明,该模型在响应质量和人物角色一致性方面优于强基线。
2021-06-14 cs.AI cs.CL
Personalizing a Dialogue System with Transfer Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
训练个性化的面向任务的对话系统是困难的,因为从每个个体收集的数据通常是不足的。在小数据集上训练的个性化对话系统可能会过度适应,难以适应不同的用户需求。解决该问题的一种方法是将多个用户的数据的集合视为源域,将单个用户的数据视为目标域,并且执行从源域到目标域的迁移学习。基于这一思想,我们提出了“PETAL”(Personalized Task-oriented diALogue),一个基于POMDP的迁移学习框架来学习个性化的对话系统。该系统首先从源域学习共同的对话知识,然后将这些知识适应目标用户。该框架考虑了源用户和目标用户之间的差异,避免了负迁移问题。个性化POMDP中的策略可以学习为不同的用户适当地选择不同的动作。在真实咖啡购物数据和仿真数据上的实验结果表明,该个性化对话系统能够针对不同用户选择不同的最优动作,从而有效地提高了个性化设置下的对话质量。
2017-05-26 cs.AI cs.CL cs.LG
SEADialogues: A Multilingual Culturally Grounded Multi-turn Dialogue Dataset on Southeast Asian Languages
MBZUAI;Mekari;Universitas Indonesia(印度尼西亚大学);Detik Network(Detik网络);AI Singapore(新加坡AI);Chulalongkorn University(朱拉隆功大学);Capital One
针对现有闲聊数据集忽略文化细微差异的问题,研究推出SEADialogues,一个涵盖东南亚六国八种低资源语言、包含角色属性与文化话题的多轮对话数据集,以推动文化感知且以人为本的大型语言模型研究。
2025-08-09 cs.AI cs.CL
Task2Dial: A Novel Task and Dataset for Commonsense enhanced Task-based Dialogue Grounded in Documents
Edinburgh Napier University(爱丁堡龙比亚大学)
本文提出了一种新的任务,常识增强的任务为基础的基于文档的对话,并描述了Task 2Dial数据集,一个新的数据集的基于文档的任务为基础的对话,其中信息给予者(IG)提供指令(通过咨询文件)的信息追随者(IF),使后者能够成功地完成任务。在这种独特的环境中,综合框架可以提出澄清问题,这些问题可能不以基本文件为依据,需要常识来回答。Task 2Dial数据集提出了新的挑战:(1)它的人类参考文本比其他基于文档的对话数据集显示出更多的词汇丰富性和变化;(2)从这个集合中生成需要释义,因为指导性响应可能已经从基础文档中修改;(3)需要常识知识,因为问题可能不一定是基于文档的;(4)生成需要基于上下文的规划,因为需要按顺序提供任务步骤。Task 2Dial数据集包含的对话的平均回合数为$18.15$,每回合19.79个令牌,而现有数据集分别为12.94和12。因此,从这个数据集中学习可以保证更自然,更多样,更少模板式的系统话语。
2022-04-03 cs.AI cs.CL
WHAT, WHEN, and HOW to Ground: Designing User Persona-Aware Conversational Agents for Engaging Dialogue
SK Telecom(SK电讯);University of Southern California(南加州大学)
本文针对个性化开放域对话中的 WWH 问题,提出加权数据集混合、负向画像信息增强和响应类型标签等方法,在保持对话流畅性的同时提升 grounded 响应的可控性与可解释性。
2023-07-03 cs.AI cs.CL
UniGDD: A Unified Generative Framework for Goal-Oriented Document-Grounded Dialogue
The Chinese University of Hong Kong(香港中文大学)
面向目标的基于文档的对话旨在基于对话上下文和支持文档来响应用户查询。现有的研究通过将其分解为两个子任务来解决这个问题:知识识别和响应生成。然而,这样的流水线方法将不可避免地遭受错误传播问题。本文提出了统一这两个子任务,通过顺序生成接地知识和响应。我们进一步开发了一个多任务连接的学习策略,以模拟不同任务的特性和连接,并引入线性温度调度,以减少不相关的文档信息的负面影响。实验结果证明了我们的框架的有效性。
2022-04-16 cs.AI cs.CL
Learning Retrieval Augmentation for Personalized Dialogue Generation
University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学);ByteDance AI Lab(字节跳动AI实验室)
针对人物画像信息不足导致个性化对话生成困难的问题,提出LAPDOG模型,通过联合训练故事检索器与对话生成器,利用外部故事文档增强人物画像,在CONVAI2数据集上显著优于基线。
2024-06-27 cs.AI cs.CL cs.LG
A Three-Stage Learning Framework for Low-Resource Knowledge-Grounded Dialogue Generation
Northeastern University(东北大学)
通过引入外部背景知识,神经会话模型在生成流畅的、信息丰富的应答方面显示出巨大的潜力。然而,构建这种基于知识的对话是费力的,并且现有模型在转移到具有有限训练样本的新领域时通常表现不佳。因此,在低资源环境下建立一个以知识为基础的对话系统仍然是一个至关重要的问题。在本文中,我们提出了一种新的三阶段学习框架的基础上弱监督学习,受益于大规模的无基础的对话和非结构化的知识库。为了更好地配合这个框架,我们设计了一个变种的Transformer与解耦的解码器,有利于解开学习的响应生成和知识纳入。两个基准测试的结果表明,我们的方法可以优于其他国家的最先进的方法与更少的训练数据,即使在零资源的情况下,我们的方法仍然表现良好。
2021-09-09 cs.AI cs.CL
Symbolic Planning and Code Generation for Grounded Dialogue
Cornell Tech(康奈尔科技学院);Cornell University(康奈尔大学);Columbia University(哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出将LLM与符号规划器和接地代码执行相结合的模块化对话系统,在OneCommon任务上将成功率从56%提升至69%。
2023-10-26 cs.AI cs.CL
Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
为了丰富和丰富所产生的对话反应,近年来对基于知识的对话进行了调查。现有的方法通过在大型语料库中检索相关句子并使用明确的额外信息来增强对话来解决知识基础挑战。尽管他们的成功,然而,现有的作品有缺陷的推理效率。本文提出了KnowExpert,一个框架,绕过显式检索过程,并注入知识到预先训练的语言模型与轻量级适配器,并适应知识为基础的对话任务。据我们所知,这是第一次尝试在开放域聊天场景下,在这项任务中不进行检索来应对这一挑战。实验结果表明,Knowexpert执行与一些基于检索的基线,同时是时间效率的推理,证明了我们提出的方法的有效性。
2022-04-25 cs.AI cs.CL
Transferable Persona-Grounded Dialogues via Grounded Minimal Edits
Tsinghua University(清华大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院北京分院);NetEase Inc.(网易公司)
接地对话模型生成基于某些概念的响应。受扎根对话数据分布的限制,在此类数据上训练的模型在数据分布和扎根概念类型方面面临可移植性挑战。为了应对这些挑战,我们提出了接地最小的编辑框架,它最小限度地编辑现有的响应接地给定的概念。专注于人物角色,我们提出了接地最小编辑器(GME),它学会了通过解开和重组人物角色相关和人物角色不可知的部分的反应编辑。为了评估基于人物角色的最小编辑,我们提出了PersonaMinEdit数据集,实验结果表明,GME大大优于竞争基线。为了评估可转移性,我们在BlendedSkillTalk的测试集上进行了实验,并表明GME可以编辑对话模型的响应,从而在很大程度上提高其角色一致性,同时保留知识和同理心的使用。
2021-09-16 cs.AI cs.CL cs.LG
Exploring Persona Sentiment Sensitivity in Personalized Dialogue Generation
Department of Artificial Intelligence, Chung-Ang University(人工智能系, Chung-Ang 大学)
本文通过大规模实验揭示用户人物角色情感极性对LLM个性化对话质量的影响,并提出结合轮次生成、画像排序和情感感知提示的对话生成方法,以提升个性化对话系统的稳健性与细腻度。
2025-06-01 cs.CL
From Persona to Person: Enhancing the Naturalness with Multiple Discourse Relations Graph Learning in Personalized Dialogue Generation
Department of Computer Science(计算机科学系);Information Engineering, National Cheng Kung University, Taiwan(信息工程系,国立云林科技大学,台湾);Department of Computer Science, National Tsing Hua University, Taiwan(计算机科学系,国立清华大学,台湾)
针对个性化对话生成中回复需兼顾连贯性与人设一致性的挑战,提出MUDI方法,借助大语言模型构建对话图、用DialogueGAT捕捉话语关系,并通过连贯感知注意力提升生成质量,使回复更自然类人。
2025-06-13 cs.CL
RT-KGD: Relation Transition Aware Knowledge-Grounded Dialogue Generation
Soochow University(苏州大学);IFLYTEK Research(讯飞研究院);Fudan University(复旦大学)
将对话系统与外部知识结合起来是提高答复质量的一个有希望的方法。现有的大多数作品都采用知识图谱(KG)作为外部资源,关注对话最后一句话中实体对上下文理解和响应生成的贡献。然而,知识隐含在多轮背景下,在幼儿园的关系之间的过渡性的相关性是未充分探讨。为此,我们提出了一个关系迁移感知的知识为基础的对话生成模型(RT-KGD)。具体而言,受人类会话的潜在逻辑的启发,我们的模型集成了对话级关系转换与回合级实体语义信息。通过这种方式,知识之间的相互作用被认为产生了丰富的线索,用于预测适当的知识并产生连贯的反应。自动评估和手动评估的实验结果表明,我们的模型优于国家的最先进的基线。
2022-07-17 cs.AI cs.CL
A Linguistic Analysis of Visually Grounded Dialogues Based on Spatial Expressions
The University of Tokyo(东京大学);Japan National Institute of Informatics(日本国家信息学研究所);NII(信息学研究所(NII))
最近的模型在视觉接地对话中取得了可喜的成果。然而,现有的数据集往往包含不受欢迎的偏见,缺乏复杂的语言分析,这使得人们很难理解当前的模型如何识别其精确的语言结构。为了解决这个问题,我们做了两个设计选择:首先,我们专注于OneCommon语料库\citep{udagawa2019natural,udagawa2020annotated},一个简单但具有挑战性的共同基础数据集,包含最小的设计偏差。其次,我们基于\textit{spatial expressions}分析了它们的语言结构,并为600个对话提供了全面可靠的注释。我们发现,我们的注释捕捉到重要的语言结构,包括谓词论元结构,修改和省略。在我们的实验中,我们通过参考分辨率来评估模型对这些结构的理解。我们证明了我们的注释可以揭示基线模型在基本细节水平上的优点和缺点。总的来说,我们提出了一个新的框架和资源调查细粒度的语言理解在视觉接地对话。
2020-10-07 cs.AI cs.CL
Evaluating Large Language Models for Document-grounded Response Generation in Information-Seeking Dialogues
Toshiba Europe Limited(东芝欧洲有限公司)
本文评估ChatGPT等大型语言模型在信息寻求对话中基于文档生成响应的能力,通过Chat-Completion和LlamaIndex两种方法在MultiDoc2Dial语料库上进行人工评估,发现ChatGPT变体虽更易产生幻觉但评分仍高于共享任务获胜系统和人类响应。
2023-09-21 cs.AI cs.CL
Enhancing Personalized Dialogue Generation with Contrastive Latent Variables: Combining Sparse and Dense Persona
Tianjin University(天津大学);Northeastern University at Qinhuangdao(东北大学秦皇岛分校);China Mobile Communication Group Tianjin Co., Ltd.(中国移动通信集团天津有限公司)
针对个性化对话中稀疏画像信息不足、稠密画像含噪及历史查询质量差的问题,提出基于对比潜变量的模型CLV,将稠密画像聚类为稀疏类别并结合历史查询生成回复,有效提升了中英文数据集上的个性化效果。
2023-05-19 cs.CL
Target-oriented Proactive Dialogue Systems with Personalization: Problem Formulation and Dataset Curation
The Hong Kong Polytechnic University(香港理工大学)
本文提出个性化面向目标对话问题,将<对话行为,主题>作为目标,并基于角色扮演方法构建大规模数据集TopDial(约18K轮),实验证明其高质量,为相关研究提供支撑。
2023-10-13 cs.AI cs.CL
Building a Personalized Dialogue System with Prompt-Tuning
Waseda University(早稻田大学);LINE Corporation(LINE公司)
没有一致响应的对话系统是不吸引人的。在这项研究中,我们建立了一个对话系统,可以响应基于给定的字符设置(人物)带来的一致性。针对语言模型规模迅速扩大的趋势,提出了一种对预先训练好的大规模语言模型进行提示微调的方法,该方法具有较低的学习成本。英语和日语的自动和手动评估的结果表明,有可能使用比微调更少的计算资源来构建具有更自然和个性化响应的对话系统。
2022-06-11 cs.CL
MIRACLE: Towards Personalized Dialogue Generation with Latent-Space Multiple Personal Attribute Control
Huazhong University of Science and Technology(华中科技大学);Ping An Property & Casualty Insurance Company of China, Ltd.(中国平安财产保险股份有限公司);Beijing Institute of Technology(北京理工大学);Brilliance Technology Co. Ltd.(华晨科技股份有限公司)
本文提出MIRACLE方法,通过在潜在空间基于能量的模型中解耦并控制多个人属性,结合条件变分自编码器和定制能量函数与ODE采样,实现高质量且可控的个性化对话生成。
2023-10-22 cs.AI cs.CL
A Stack-Propagation Framework for Low-Resource Personalized Dialogue Generation
Harbin Institute of Technology(哈尔滨工业大学)
针对个性化对话数据稀缺问题,本文提出堆叠一个 Transformer 编码器与两个解码器的栈传播框架,以一致性理解正则化回复生成,在低资源设置下提升回复质量与角色一致性。
2024-10-26 cs.AI cs.CL
Towards Robust Personalized Dialogue Generation via Order-Insensitive Representation Regularization
The Chinese University of Hong Kong(香港中文大学);MoE Key Laboratory of High Confidence Software Technologies(教育部高可信软件技术重点实验室)
针对个性化对话中人设句子输入顺序导致的模型性能波动问题,提出与模型无关的ORIG框架学习鲁棒表示,有效提升了GPT2和BART生成回复的一致性。
2023-05-22 cs.AI cs.CL
Enhancing Personalized Multi-Turn Dialogue with Curiosity Reward
Google DeepMind(谷歌DeepMind);University of Washington(华盛顿大学);Google Research(谷歌研究);University of California, Berkeley(伯克利加州大学)
针对现有多轮对话个性化依赖用户历史、传统RLHF共情适配不足的问题,提出融入好奇心内在奖励的多轮RLHF方法,可主动推断用户特征,在推荐与教育场景提升个性化效果与泛化能力。
2025-10-02 cs.AI cs.CL
A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data
Tsinghua University(清华大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院-北京(SRC-B));NetEase Inc.(网易公司)
赋予对话系统人物角色对于提供更人性化的对话至关重要。然而,这个问题还远没有得到很好的探讨,由于在自然语言中体现个性的困难和大多数对话语料库中观察到的人物角色稀疏问题。本文提出了一种基于预训练的个性化对话模型,可以使用人物稀疏对话数据生成连贯的响应。在该方法中,使用预先训练的语言模型来初始化编码器和解码器,并且设计个人属性嵌入以通过将说话者的人物角色与对话历史一起编码来建模更丰富的对话上下文。此外,将目标人物在解码过程中,并平衡其贡献,注意路由结构被设计在解码器中合并的功能提取的目标人物和对话上下文使用动态预测的权重。我们的模型可以在训练过程中以统一的方式利用人物角色稀疏对话,并且还可以控制在推理过程中展示的人物角色相关特征的数量。自动和手动评估表明,所提出的模型优于国家的最先进的方法,用于生成更连贯和人物角色一致的响应与人物角色稀疏的数据。
2019-11-12 cs.AI cs.CL cs.LG
UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems
The Chinese University of Hong Kong(香港中文大学);The University of Edinburgh(爱丁堡大学)
针对个性化对话系统的多源信息整合问题,提出UniMS-RAG系统,将知识源选择、检索和响应生成统一到序列范式,利用特殊标记交互多源并评估相关性,结合自优化机制,在DuLeMon和KBP数据集上取得SOTA性能。
2024-11-26 cs.AI cs.CL
A Cooperative Memory Network for Personalized Task-oriented Dialogue Systems with Incomplete User Profiles
University of Amsterdam(阿姆斯特丹大学);Shandong University(山东大学);Ahold Delhaize(皇家阿霍德德尔海兹集团)
人们对开发个性化的面向任务的对话系统(TDS)越来越感兴趣。以前关于个性化TDS的工作通常假设完整的用户简档可用于大多数甚至所有用户。这是不现实的,因为(1)由于隐私问题,不是每个人都愿意暴露他们的简档;以及(2)丰富的用户简档可能涉及大量属性(例如,性别、年龄、品味。. .).在本文中,我们研究个性化TDS,而不假设用户简档是完整的。我们提出了一个合作记忆网络(CoMemNN),有一个新的机制,逐步丰富的用户简档的对话进展,同时提高响应选择的基础上丰富的配置文件。CoMemNN由两个核心模块组成:用户简档丰富(UPE)和对话响应选择(DRS)。前者利用邻居用户的协作信息和当前会话信息丰富不完整的用户简档。后者使用丰富的简档来更新当前用户查询,以便编码更有用的信息,基于该信息选择对用户请求的个性化响应。我们进行了广泛的实验,个性化的bAbI对话基准数据集。我们发现,CoMemNN是能够有效地丰富用户简档,这导致在响应选择精度方面的3.06%的改进相比,国家的最先进的方法。我们还测试了CoMemNN的鲁棒性对用户简档的不完整性随机丢弃属性值从用户简档。即使在丢弃50%的属性值时,CoMemNN也能够在不丢弃用户简档的情况下匹配最佳性能基线的性能,这显示了CoMemNN的鲁棒性。
2021-02-16 cs.AI cs.CL cs.IR
Improving Contextual Coherence in Variational Personalized and Empathetic Dialogue Agents
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
近年来,潜变量模型,如条件变分自动编码器(CVAE),已被应用于个性化和移情对话生成。以前的工作主要集中在产生不同的对话反应,表现出人物角色的一致性和同情心。然而,当涉及到生成的响应的上下文一致性时,仍有改进的余地。因此,为了提高上下文的连贯性,我们提出了一个新的不确定性感知CVAE(UA-CVAE)框架。UA-CVAE框架涉及在响应生成过程中近似和合并任意不确定性。我们应用我们的框架,个性化和移情对话生成。实证结果表明,我们的框架显着提高了生成的响应的上下文一致性。此外,我们介绍了一种新的自动度量测量上下文连贯性,这被发现与人类的判断呈正相关。
2022-02-12 cs.CL
Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots
Wangxuan Institute of Computer Technology(王选计算机技术研究所);Center for Data Science(数据科学中心);Academy for Advanced Interdisciplinary Studies(前沿交叉学科研究院);Peking University(北京大学);Soochow University(苏州大学);Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学)
现有的多轮语境-反应匹配方法主要集中在获得多层次、多维度的表征以及语境话语与反应之间更好的交互。然而,在真实对话场景中,响应候选是否合适不仅取决于给定的对话上下文,还取决于其他背景,例如,措辞习惯、用户特定的对话历史内容。为了填补这些最新的方法和现实世界的应用之间的差距,我们将用户特定的对话历史的响应选择,并提出了一个个性化的混合匹配网络(PHMN)。我们的贡献是两方面的:1)我们的模型从用户特定的对话历史中提取个性化的措辞行为作为额外的匹配信息; 2)我们对上下文-响应话语进行混合表示学习,并显式地引入定制的注意力机制来从上下文-响应交互中提取重要信息,以提高匹配的准确性。我们在两个具有用户标识的大型数据集上评估我们的模型,即,个性化Ubuntu对话语料库(P-Ubuntu)和个性化微博数据集(P-Weibo)。实验结果证实,我们的方法显着优于几个强大的模型相结合的个性化注意,措辞行为,和混合表示学习。
2021-03-17 cs.CL
CloneBot: Personalized Dialogue-Response Predictions
Stanford University(斯坦福大学)
我们的项目任务是创建一个模型,给定说话者ID,聊天历史和话语查询,可以预测对话中的响应话语。该模型是个性化的每个扬声器。这个任务可以成为构建语音机器人的有用工具,这些机器人可以在实时对话中以类似人类的方式说话。此外,我们成功地使用密集向量编码聚类来检索相关的历史对话上下文,这是一种有用的策略,可以克服基于神经模型的输入限制,当预测需要从对话历史中获得长期参考时。在本文中,我们已经实现了一个国家的最先进的模型,使用预训练和微调技术建立在Transformer架构和多头注意力块的开关板语料库。我们还展示了如何有效的向量聚类算法可以用于实时话语预测,不需要训练,因此工作在离线和加密的消息历史。
2021-03-31 cs.AI cs.CL cs.LG
Large Language Models as Source Planner for Personalized Knowledge-grounded Dialogue
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);National University of Singapore(新加坡国立大学)
提出 SAFARI 框架,利用大型语言模型规划多个知识源以生成个性化知识 grounded 对话,并构建首个考虑人格与隐式知识依赖的 KBP 数据集,实验证明其有效性。
2023-10-13 cs.AI cs.CL
Policy-Driven Neural Response Generation for Knowledge-Grounded Dialogue Systems
Amazon Alexa AI(亚马逊 Alexa 人工智能)
开放域对话系统旨在产生相关、信息丰富和吸引人的回应。Seq2seq神经响应生成方法没有明确的机制来控制所生成的响应的内容或风格,并且经常导致无信息的话语。在本文中,我们提出了使用对话策略计划的内容和风格的目标响应的形式的行动计划,其中包括相关的对话上下文,有针对性的对话行为,主题信息等知识句的行动计划内的属性自动注释公开发布的主题聊天数据集。我们的条件神经反应发生器上的行动计划,然后实现为目标的话语在回合和句子水平。我们还研究了不同的对话政策模型,以预测给定对话背景下的行动计划。通过自动化和人工评估,我们测量生成的响应的适当性,并检查生成模型是否确实学会实现给定的行动计划。我们证明,一个基本的对话政策,在句子层面上产生更好的反应,在比较转向水平生成以及基线模型,没有行动计划。此外,基本对话政策还具有可控性的附加效果。
2020-08-24 cs.AI cs.CL
Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask
本文提出一种视角主义标注方案,用于分析MapTask中对话参与者对参照表达的 grounded 解释差异,揭示理解如何演变并修复,评估LLM对视角依赖性 grounding 的建模能力。
2026-03-16 cs.AI cs.CL
Persuasion for Good: Towards a Personalized Persuasive Dialogue System for Social Good
Zhejiang University(浙江大学);University of California, Davis(加州大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学)
开发智能说服性对话代理来改变人们的意见和行为,以造福社会,是推进自动对话系统道德发展的前沿。要做到这一点,第一步是要理解人类说服对话中所采用的策略披露和呼吁的复杂组织。我们设计了一个在线说服任务,要求一名参与者说服另一名参与者向特定的慈善机构捐款。我们收集了一个包含1,017个对话的大型数据集,并从一个子集中注释了新兴的说服策略。在此基础上,我们构建了一个包含上下文信息和会话级别特征的基线分类器,用于预测语料库中使用的10种说服策略。此外,为了理解个性化的说服过程,我们分析了个人的人口统计学和心理背景,包括个性,道德,价值体系和他们的捐赠意愿之间的关系。然后,我们分析了哪些类型的说服策略导致更大的捐赠金额取决于个人的个人背景。这项工作奠定了基础,开发一个个性化的说服性对话系统。
2020-01-13 cs.AI cs.CL cs.CY
GLM-Dialog: Noise-tolerant Pre-training for Knowledge-grounded Dialogue Generation
Renmin University of China(中国人民大学);Tsinghua University(清华大学)
我们提出了GLM-Dialog,一个大规模的语言模型(LLM)与10 B参数能够知识为基础的对话中使用的搜索引擎访问互联网知识。GLM-Dialog提供了一系列适用的技术,用于利用各种外部知识,包括有用的和嘈杂的知识,从而能够使用有限的适当数据集创建强大的以知识为基础的对话LLM。为了更公平地评估GLM-Dialog,我们还提出了一种新的评估方法,允许人类同时与多个部署的机器人进行对话,并隐式地比较它们的性能,而不是使用多维指标进行显式评级。从自动到人类的角度进行综合评估,展示了GLM-Dialog与现有开源中文对话模型相比的优势。我们发布了模型检查点和源代码,并将其部署为微信应用程序与用户进行交互。我们在线提供评估平台,以促进开源模型和可靠对话评估系统的开发。另外还发布了易于使用的工具包,包括短文本实体链接、查询生成和有用的知识分类,以支持各种应用程序。所有的源代码都可以在Github上找到。
2023-02-28 cs.AI cs.CL
doc2dial: A Goal-Oriented Document-Grounded Dialogue Dataset
IBM Research AI(IBM研究AI)
我们介绍doc2dial,一个新的基于相关文档的面向目标的对话数据集。受作者如何撰写文档以指导最终用户的启发,我们首先构建了基于内容元素的对话流,这些内容元素对应于跨文本部分的高层关系以及部分内话语单元之间的低层关系。然后,我们将这些对话流呈现给人群贡献者,以创建会话语句。该数据集包括大约4800个带注释的对话,平均14个回合,来自四个领域的480多个文档。与之前基于文档的对话数据集相比,该数据集涵盖了信息寻求对话中的各种对话场景。为了评估数据集的多功能性,我们引入了多个对话建模任务,并提出了基线方法。
2020-11-18 cs.CL
Hello Again! LLM-powered Personalized Agent for Long-term Dialogue
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学)
针对现有对话系统忽视长期陪伴与个性化交互需求的问题,本文提出模型无关的长期对话智能体(LD-Agent)框架,通过事件感知、人物角色提取及响应生成模块实现长期对话能力,经多基准验证其有效性、通用性与跨域能力。
2025-02-13 cs.AI cs.CL
MultiDoc2Dial: Modeling Dialogues Grounded in Multiple Documents
IBM Research AI(IBM研究院AI)
我们提出了MultiDoc2Dial,一个新的任务和数据集,以多个文档为基础,对面向目标的对话进行建模。大多数以前的作品将基于文档的对话建模视为基于单个给定文档或段落的机器阅读理解任务。在这项工作中,我们的目标是解决更现实的情况下,以目标为导向的信息寻求对话涉及多个主题,因此是基于不同的文件。为了促进这样的任务,我们引入了一个新的数据集,其中包含基于来自四个不同领域的多个文档的对话。我们还探索了数据集中基于对话框和基于文档的上下文的建模。我们提出了强有力的基线方法和各种实验结果,旨在支持进一步的研究工作,这样一个任务。
2021-09-26 cs.CL
Training Millions of Personalized Dialogue Agents
Facebook(脸书)
当前的对话系统对于用户来说不是很吸引人,特别是当在不依赖于主动重新参与脚本策略的情况下进行端到端培训时。Zhang et al.(2018)表明,当将端到端对话模型的参与度调节为文本角色时,会增加模型的参与度,为模型提供一些个性化的背景故事。然而,Zhang et al.(2018)中使用的数据集是合成的,大小有限,因为它包含大约1k个不同的人物角色。在本文中,我们介绍了一个新的数据集,提供500万个人物角色和7亿个基于人物角色的对话。我们的实验表明,在这种规模下,使用人物角色进行训练仍然可以提高端到端系统的性能。此外,我们还通过对Zhang et al.(2018)的数据微调我们的模型并实现最先进的结果,证明了其他任务也受益于我们数据集的广泛覆盖。
2018-09-06 cs.CL
Personalizing Dialogue Agents via Meta-Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
现有的个性化对话模型使用人类设计的人物描述来提高对话的一致性。从现有的对话中收集这些描述是昂贵的,需要手工制作的功能设计。在本文中,我们提出扩展模型不可知元学习(MAML)(Finn等人,2017年)到个性化的对话学习,而不使用任何人物角色描述。我们的模型通过仅利用从同一用户收集的几个对话样本来学习快速适应新的人物角色,这与根据人物角色描述来调节响应有根本的不同。Persona-chat数据集的经验结果(Zhang et al.,2018)表明,我们的解决方案使用自动评估指标,在人工评估的流畅性和一致性方面优于非元学习基线。
2019-05-24 cs.AI cs.CL
Commonsense and Named Entity Aware Knowledge Grounded Dialogue Generation
Indian Institute of Technology Patna(印度理工学院巴特那分校);National Institute of Technology Karnataka, Surathkal(卡纳塔克国家理工学院苏拉特卡尔校区)
将对话建立在外部知识的基础上,并在对话历史语境中解释语言模式,如省略、回指和共指,对于对话的理解和生成至关重要。在本文中,我们提出了一种新的开放域对话生成模型,有效地利用了大规模的常识和命名实体的知识,除了非结构化的主题特定的知识与每个话语。我们增强了常识知识命名实体感知结构使用共同引用。我们提出的模型利用多跳注意层来保留对话历史和相关知识中最准确和关键的部分。此外,我们采用了一个常识和命名实体增强注意力模块,它从各种来源提取的三元组开始,并逐渐找到相关的支持集的三元组使用多跳注意与查询向量从交互式对话知识模块。在两个基准数据集上的实证结果表明,我们的模型在自动评估指标和人类判断方面都显着优于最先进的方法。我们的代码可在\href{https://github.com/deekshaVarshney/CNTF}{https://github.com/deekshaVarshney/CNTF} ; \href{https://www.iitp.ac.in/~ai-nlp-ml/resources/codes/CNTF.zip}{https://www.iitp.ac.in/-ai-nlp-ml/resources/ codes/CNTF.zip}上公开获得。
2022-05-27 cs.AI cs.CL
Dual Task Framework for Improving Persona-grounded Dialogue Dataset
Yonsei University(延世大学);Seoul National University(首尔大学)
本文介绍了一种简单而有效的以数据为中心的方法,用于改进基于角色的对话代理。以前以模型为中心的方法无疑依赖于原始的众包基准数据集,如Persona-Chat。相比之下,我们的目标是在基准测试中修复注释工件,这适用于任何对话模型。具体来说,我们增加相关的人物角色,以改善对话数据集/代理,利用原始对偶结构的两个任务,预测对话响应和人物角色的基础上彼此。Persona-Chat上的实验表明,我们的方法在准确性方面比预训练的LM高出11.7个点。
2022-02-16 cs.AI cs.CL cs.LG
In Prospect and Retrospect: Reflective Memory Management for Long-term Personalized Dialogue Agents
Arizona State University(亚利桑那州立大学);Google Cloud AI Research(谷歌云AI研究院);Google Cloud AI(谷歌云AI);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对长期个性化对话中的记忆粒度僵化与检索固定问题,提出 RMM,通过多粒度前瞻记忆构建和基于引用证据的在线 RL 回顾式检索优化,在 LongMemEval 等基准上显著提升性能。
2025-07-28 cs.AI cs.CL
Zero-Resource Knowledge-Grounded Dialogue Generation
Peking University(北京大学);Microsoft STCA(微软亚洲研究院搜索技术中心);Meituan(美团)
虽然神经会话模型已经显示出通过引入外部知识来生成信息丰富和引人入胜的响应的巨大潜力,但学习这样的模型通常需要难以获得的基于知识的对话。为了克服数据的挑战,并降低成本,建立一个知识为基础的对话系统,我们探讨了零资源设置下的问题,假设没有上下文知识响应三元组需要培训。为此,我们建议表示的知识,桥梁的上下文和响应和方式,知识表示为潜变量,并设计一种变分的方法,可以有效地估计一个生成模型从对话语料库和知识语料库是相互独立的。基于知识的对话生成的三个基准的评估结果表明,我们的模型可以实现与依赖于知识的对话进行训练的最先进的方法相当的性能,并在不同的主题和不同的数据集上表现出良好的泛化能力。
2021-05-14 cs.CL
DG2: Data Augmentation Through Document Grounded Dialogue Generation
Columbia University(哥伦比亚大学);ASAPP(ASAPP公司);IBM Research AI(IBM人工智能研究院)
收集用于训练对话系统的数据可能是极其昂贵的,这是由于人类参与者的参与以及对大量注释的需要。特别是在基于文档的对话系统中,人类专家需要仔细阅读非结构化文档来回答用户的问题。因此,现有的基于文档的对话数据集规模相对较小,阻碍了对话系统的有效训练。在本文中,我们提出了一个自动数据增强技术的基础上,通过生成对话模型的文件。对话模型由用户机器人和代理机器人组成,它们可以在给定输入文档的情况下合成各种对话,然后用于训练下游模型。当补充原始数据集时,我们的方法比传统的数据增强方法有了显著的改进。我们还在低资源环境中实现了出色的性能。
2021-12-15 cs.CL
A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation
Institute of Education(教育学院);BNRist;KIRC, Institute for Artificial Intelligence(KIRC人工智能研究所);Tsinghua University(清华大学);Renmin University(人民大学)
本文用反事实推理分析知识 grounded 对话中知识噪声导致幻觉的因果机制,并提出利用对话—知识交互的轻量缓解方法,在不影响对话性能且适配多模型的前提下减少幻觉。
2024-04-04 cs.AI cs.CL