Multi-level Memory for Task Oriented Dialogs
Indian Institute of Technology, Madras(马德拉斯印度理工学院);IBM Research AI(IBM研究院人工智能部门)
最近的端到端的面向任务的对话系统使用存储器架构,将外部知识在他们的对话。目前的工作简化假设的知识库的结构,如使用三元组来表示知识,并结合对话的话语(上下文)以及知识库(KB)的结果作为同一内存的一部分。这会导致内存大小的爆炸,并使对内存的推理变得更加困难。此外,这样的存储器设计迫使数据的分层属性适合于存储器的三重结构。这要求内存读取器推断跨以其他方式连接的属性的关系。在本文中,我们放松了现有的架构和单独的内存用于建模对话框上下文和KB结果的假设。而不是使用三元组来存储KB的结果,我们引入了一种新的多级存储器架构,每个查询和相应的结果的细胞。多级内存首先处理查询,然后是结果,最后是结果中的每个键值对。我们进行了详细的实验,三个公开的面向任务的对话数据集,我们发现,我们的方法最终优于当前国家的最先进的模型。我们报告了实体F1和BLEU分数增加15-25%。
2019-05-12 cs.CL
Fractional Decay KV-Cache: Ownership-Aware Memory Management for Improved Inference Relevancy in Dialog Systems
NetApp Inc(NetApp公司)
提出FD-KVC算法,通过双通道评分机制实现对话系统KV缓存的所有权感知内存管理,在多轮对话场景中多项指标优于H2O,适配新话题更快且话题多样性更高。
2026-08-20 cs.AI cs.CL
Evaluating Long-Horizon Memory for Multi-Party Collaborative Dialogues
本文提出EverMemBench,首个评估多方协作对话长周期记忆的基准,揭示当前系统在多跳推理、时间推理和记忆意识方面的局限性。
2026-03-11 cs.AI cs.CL
G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents
Sungkyunkwan University(成均馆大学)
提出G-Long框架,利用微调小语言模型进行结构化三元组提取和关联检索,并引入注意力感知重要性评分机制,在降低计算开销的同时,在响应生成和记忆检索上达到最优性能。
2026-06-12 cs.AI cs.CL
MOOM: Maintenance, Organization and Optimization of Memory in Ultra-Long Role-Playing Dialogues
Beijing University of Posts and Telecommunications(北京邮电大学);SenseTime(商汤科技);Beijing Key Laboratory of Network System and Network Culture(北京网络系统与网络文化重点实验室)
针对超长角色扮演对话中记忆不受控增长的问题,提出双分支记忆插件MOOM,通过建模情节与角色并引入遗忘机制优化记忆管理,并构建ZH-4O数据集验证其优于现有方法。
2025-09-17 cs.CL
Retrieve & Memorize: Dialog Policy Learning with Multi-Action Memory
Sun Yat-sen University(中山大学)
对话策略学习是面向任务的对话系统的一个重要子任务,它决定了系统响应生成的内容和任务完成的程度。然而,系统动作在对话数据集中的不平衡分布通常导致难以学习生成期望的动作和响应。在本文中,我们提出了一个检索和记忆的框架,以加强学习系统的行动。特别地,我们首先设计了一个神经上下文感知检索模块,从给定的对话上下文的训练集中检索多个候选系统动作。然后,我们提出了一个记忆增强的多解码器网络来生成的候选动作的条件下的系统动作,这使得网络能够自适应地选择候选动作中的关键信息和忽略噪声。我们在大规模多领域面向任务的对话数据集MultiWOZ 2.0和MultiWOZ 2.1上进行了实验。实验结果表明,我们的方法在上下文响应生成任务中达到了几个国家的最先进的模型之间的竞争性能。
2021-06-27 cs.CL
Long Time No See! Open-Domain Conversation with Long-Term Persona Memory
Baidu Inc.(百度公司);Beijing University of Posts and Telecommunications(北京邮电大学);Columbia University(哥伦比亚大学)
大多数开放域对话模型在长期的人机对话中表现不佳。可能的原因是他们缺乏理解和记忆长期对话历史信息的能力。为了解决这个问题,我们提出了一个新的长期记忆会话(LeMon)任务,并建立了一个新的会话数据集DuLeMon和一个基于长期记忆(LTM)机制的会话生成框架(PLATO-LTM)。这种LTM机制使我们的系统能够准确地提取和不断更新长期的人物记忆,而不需要多会话对话数据集进行模型训练。据我们所知,这是首次尝试对包括用户和机器人在内的双方的角色信息进行实时动态管理。DuLeMon上的结果表明,PLATO-LTM在长期对话一致性方面可以显著优于基线,从而获得更好的对话一致性。
2022-03-14 cs.CL
Efficient Dialog Policy Learning via Positive Memory Retention
Ludwig Maximilian University(路德维希-马克西米利安大学);Siemens AG(西门子股份公司)
本文研究了利用强化学习训练递归神经网络作为面向目标的对话代理。用策略梯度训练这样的代理通常需要大量的样本。然而,以聊天机器人和人类代理之间对话的形式收集所需数据是耗时且昂贵的。为了缓解这个问题,我们描述了一个有效的策略梯度方法,使用积极的内存保留,这显着提高了采样效率。我们表明,我们的方法是10倍以上的样本效率比策略梯度在广泛的实验上一个新的合成数字猜测游戏。此外,在一个真实世界的视觉对象发现游戏中,所提出的方法是两倍的采样效率的策略梯度,并显示出国家的最先进的性能。
2020-05-24 cs.AI cs.CL cs.LG
Bi-directional memory-based dialog translation: The KEMDT approach
采用基于记忆的翻译技术,设计并实现了一个朝英双向对话翻译系统。系统KEMDT(Korean/English Memory based Dialog Translation system)可以使用统一的记忆网络和扩展的标记传递算法进行韩英、英韩翻译。通过将概念序列元素分为四种不同的类型,并对基于标记传递的翻译算法进行扩展,解决了韩语中的语序变化和频繁漏词问题。与以往的基于记忆的翻译系统不同,KEMDT系统开发了双语记忆网络和统一的双向标记传递翻译算法。为了有效的语言特定的处理,我们分离的形态处理器的内存为基础的翻译。KEMDT技术为最近基于实例的机器翻译范例提供了一个层次化的存储网络和一个有效的基于标记的控制。
1995-02-23 cmp-lg cs.CL
An Empirical Study on Context Length for Open-Domain Dialog Generation
本文通过从粗到细的三个实验,实证研究了开放域对话生成中上下文长度对Transformer模型训练与性能的影响,发现这一常被忽视的设置值得重视。
2024-08-31 cs.AI cs.CL cs.LG
Are Neural Open-Domain Dialog Systems Robust to Speech Recognition Errors in the Dialog History? An Empirical Study
Amazon Alexa AI(亚马逊Alexa人工智能部门)
大型端到端神经开放域聊天机器人正变得越来越受欢迎。然而,关于构建这种聊天机器人的研究通常假设用户输入是在本质上编写的,并且不清楚这些聊天机器人是否会与自动语音识别(ASR)模型无缝集成以服务于语音模态。我们的目标是通过实证研究对话历史中各种类型的合成和实际ASR假设对TransferTransfo的影响来关注这个重要问题,TransferTransfo是NeurIPS ConvAI2挑战赛中最先进的基于生成预训练Transformer(GPT)的神经开放域对话系统。我们观察到,在书面数据上训练的TransferTransfo对在推理时间期间引入对话历史的假设非常敏感。作为基线缓解策略,我们在训练过程中将合成ASR假设引入对话历史,并观察到边际改进,这表明需要进一步研究技术,使端到端开放域聊天机器人具有完全的语音鲁棒性。据我们所知,这是第一项研究,以评估合成和实际的ASR假设的影响,一个国家的最先进的神经开放域对话系统,我们希望它促进语音鲁棒性作为评价标准,在开放域对话。
2020-08-18 cs.AI cs.CL cs.LG
Interpersonal Memory Matters: A New Task for Proactive Dialogue Utilizing Conversational History
School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);Platform and Content Group, Tencent(腾讯平台与内容事业群)
本文提出记忆感知主动对话任务MapDia,构建首个中文数据集ChMapData,并设计基于RAG的三模块联合框架,以在恰当时机引导对话转向相关历史主题。
2025-03-07 cs.CL
StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Kunming University of Science and Technology(昆明理工大学)
针对大语言模型处理长对话的效率与一致性难题,提出基于对话注意力汇聚点的StreamingDialogue方法,通过压缩长对话历史实现长时学习,搭配两种学习策略降低信息损失,在对话任务中性能更优且大幅提升速度、降低内存占用。
2024-11-04 cs.AI cs.CL
Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
Mila(米拉);Université de Montréal(蒙特利尔大学);Google Research, Brain Team(谷歌研究大脑团队);Element AI, Montréal(蒙特利尔Element AI)
神经生成模型在构建会话代理时变得越来越受欢迎。它们提供了灵活性,可以很容易地适应新的领域,并需要最少的领域工程。对这些系统的一个常见批评是,它们很少有效地理解或使用可用的对话历史。在本文中,我们采取实证的方法来了解这些模型如何使用现有的对话历史,通过研究模型的敏感性,人为引入的不自然的变化或扰动,在测试时,他们的上下文。我们在4个多轮对话数据集上实验了10种不同类型的扰动,发现常用的神经对话架构,如循环和基于transformer的seq2seq模型,很少对大多数扰动敏感,如丢失或重新排序话语,洗牌单词等。
2019-07-25 cs.AI cs.CL cs.LG
MemoryBank: Enhancing Large Language Models with Long-Term Memory
Sun Yat-Sen University(中山大学);Harbin Institute of Technology(哈尔滨工业大学);KTH Royal Institute of Technology(KTH皇家理工学院)
针对大型语言模型缺乏长期记忆机制的问题,提出MemoryBank,通过基于Ebbinghaus遗忘曲线的记忆更新机制实现记忆的调用、遗忘与强化,并兼容多种模型,在长期AI伴侣场景中展现出优异的共情与陪伴能力。
2023-05-21 cs.AI cs.CL
RealMem: Benchmarking LLMs in Real-World Memory-Driven Interaction
Xidian University(西安电子科技大学);Zhejiang University(浙江大学);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学);Sun Yat-sen University(中山大学);University of the Chinese Academy of Sciences(中国科学院大学)
RealMem是一个基于真实项目场景的基准,评估大语言模型在长期项目导向交互中的记忆管理能力。
2026-01-11 cs.AI cs.CL
FTA-Mem: Fact-Time-Affect Anchored Memory for Low-Density Long-Term Dialogue
本文提出FTA-Mem结构化记忆框架,通过BWS形成情境片段并构建FTA单元,在ES-MemEval等数据集上提升了低密度长期对话的记忆问答性能,实现了证据保留与构建成本的有效权衡。
2026-10-08 cs.CL
HingeMem: Boundary Guided Long-Term Memory with Query Adaptive Retrieval for Scalable Dialogues
College of Design and Innovation, Tongji University(同济大学设计创意学院);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海自主智能无人系统科学中心)
HingeMem通过边界引导的长期记忆和查询自适应检索,提升对话系统在多轮交互中的记忆效率与适应性,实验表明在不同规模的LLM上实现20%的性能提升并降低计算成本。
2026-04-08 cs.AI cs.CL
Augmenting Transformers with KNN-Based Composite Memory for Dialogue
Facebook AI Research(Facebook人工智能研究院);Université de Lorraine(洛林大学);LORIA(洛林计算机科学及其应用研究实验室);CNRS(法国国家科学研究中心);IRIT(图卢兹计算机研究所)
各种机器学习任务可以受益于对不同模态的外部信息(诸如文本和图像)的访问。最近的工作集中在学习架构与大型存储器能够存储这些知识。我们提出了增强生成Transformer神经网络与基于KNN的信息提取(KIF)模块。每个KIF模块学习读取操作以访问固定的外部知识。我们将这些模块应用于生成对话建模,这是一项具有挑战性的任务,必须灵活地检索信息并将其合并以保持对话的主题和流程。我们证明了我们的方法的有效性,通过识别知识渊博,但从事对话从维基百科,图像和人类书面对话语句所需的相关知识,并表明,利用这些检索到的信息提高模型的性能,自动和人工评估。
2020-11-10 cs.CL
SHARE: Shared Memory-Aware Open-Domain Long-Term Dialogue Dataset Constructed from Movie Script
Sogang University(ソンガン大学);Korea University(韩国大学)
本文构建电影剧本来源的共享记忆长期对话数据集 SHARE,并提出 EPISODE 框架,实验验证共享记忆可提升对话吸引力与持续性。
2025-07-23 cs.CL
Vision-Dialog Navigation by Exploring Cross-modal Memory
University of Chinese Academy of Sciences(中国科学院大学);Monash University(莫纳什大学);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
视觉对话导航是视觉语言学科的一个新的圣杯任务,其目标是学习一个具有与自然语言不断对话以寻求帮助并根据人类反应进行导航的能力的智能体。除了视觉语言导航所面临的共同挑战外,视觉对话导航还需要处理好对话历史中一系列关于时间语境的问题的语言意图,以及对话和视觉场景的共同推理。在本文中,我们提出了跨模态记忆网络(CMN)的记忆和理解丰富的信息相关的历史导航行动。我们的CMN由两个记忆模块组成,语言记忆模块(L-RNN)和视觉记忆模块(V-RNN)。具体而言,L-SVM通过采用多头注意力机制来学习当前语言交互与对话历史之间的潜在关系。V-mem学会将当前视觉视图与有关之前导航操作的跨模态记忆相关联。跨通道记忆通过视觉-语言注意和语言-视觉注意产生。受益于L-RNN和V-RNN的协作学习,我们的CMN能够探索关于当前步骤的历史导航动作的决策的记忆。在CVDN数据集上的实验表明,我们的CMN在可见和不可见环境中的性能都明显优于以前的最先进模型。
2020-03-15 cs.CL cs.CV
Dialog state tracking, a machine reading approach using Memory Network
Xerox Research Centre Europe(欧洲施乐研究院);The University of Melbourne(墨尔本大学)
在端到端对话系统中,对话状态跟踪的目的是根据由语音识别和自然语言理解模块产生的噪声观测序列来准确地估计当前对话状态的紧凑表示。本文介绍了一种新的方法,对话状态跟踪的基础上,机器阅读的一般范式,并提出解决它使用端到端的内存网络,MemN 2N,内存增强的神经网络架构。我们在第二个对话状态跟踪挑战(DSTC-2)数据集上评估了所提出的方法。语料库已被转换的场合,以帧的隐藏状态变量推理作为一个问答任务的基础上从对话中提取的一系列话语。我们表明,建议的跟踪器给出了令人鼓舞的结果。然后,我们建议扩展DSTC-2数据集与特定的推理能力的要求,如计数,列表维护,是非问答和不确定的知识管理。最后,我们提出了令人鼓舞的结果,使用我们提出的基于MemN 2N的跟踪模型。
2017-03-02 cs.CL cs.NE stat.ML
Does Dialog Length matter for Next Response Selection task? An Empirical Study
IBM Research(IBM研究院)
在过去的几年里,BERT的发布,一个基于多语言Transformer的模型,已经在NLP社区掀起了风暴。基于BERT的模型已经在各种NLP任务上取得了最先进的结果,包括对话任务。BERT的局限性之一是缺乏处理长文本序列的能力。默认情况下,BERT的最大单词标记序列长度为512。最近,有新的兴趣,以解决BERT的限制,以处理长文本序列,增加了新的自我注意力为基础的架构。然而,很少或没有研究这种限制对对话任务的影响。对话任务本质上不同于其他NLP任务,因为:a)来自多个说话者的多个话语的存在,这些话语可能在不同的回合中相互链接,b)对话的长度更长。在这项工作中,我们经验性地评估了对话长度对BERT模型在四个公开可用的和一个内部多轮对话数据集上的下一个响应选择对话任务的性能的影响。我们观察到长对话框对性能的影响很小,甚至最简单的截断输入的方法也能很好地工作。
2021-01-24 cs.CL
Utterance-level Dialogue Understanding: An Empirical Study
University of Michigan(密歇根大学);Singapore University of Technology and Design(新加坡科技设计大学)
最近在Web和其他地方大量的会话数据需要有效的NLP系统来进行对话理解。完整的话语级理解通常需要上下文理解,由附近的话语定义。近年来,已经提出了许多方法用于各种话语级对话理解任务。这些方法中的大多数都考虑了有效理解的背景。在本文中,我们使用最先进的对话理解方法作为基线,探索并量化上下文在对话不同方面(即情感、意图和对话行为识别)中的作用。具体来说,我们采用各种扰动来扭曲给定话语的上下文,并研究其对不同任务和基线的影响。这使我们能够深入了解对话不同方面的基本语境控制因素。这些见解可以激发更有效的对话理解模型,并为未来的文本生成方法提供支持。与这项工作有关的实现可在https://github.com/declare-lab/dialogue-understanding上获得。
2020-10-22 cs.CL
An Empirical Study of Topic Transition in Dialogue
ADAPT Centre(ADAPT中心);Trinity College Dublin(都柏林圣三一学院);University College Dublin(都柏林大学学院)
主题之间的转换是人与人对话的自然组成部分。虽然话题转换在对话中的研究已经有几十年的历史了,但只有少数基于语料库的研究被用来研究话题转换的微妙之处。因此,本研究注释215会话从交换机语料库,并调查如何变量,如长度,主题转换的数量,主题转换共享的参与者和轮/主题。本文对交换机语料库中的话题转换进行了实证研究,并对话题转换进行了建模,在域内测试集上的准确率为83%,在10个域外测试集上的准确率为82%。据设想,这项工作将有助于在开放领域的对话系统中模仿人类的主题转换。
2022-07-19 cs.CL
Prototype-to-Style: Dialogue Generation with Style-Aware Editing on Retrieval Memory
University of Cambridge(剑桥大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
对话系统在对话过程中表达预定语言风格的能力对其可用性和用户满意度有直接的积极影响。我们引入了一个新的原型到风格(PS)的框架,以应对文体对话生成的挑战。该框架使用的信息检索(IR)系统,并从检索到的响应提取响应原型。然后,文体响应生成器将原型和期望的语言风格作为模型输入,以获得高质量的文体响应。为了有效地训练所提出的模型,我们提出了一个新的风格意识的学习目标,以及去噪学习策略。在两种语言的三个基准数据集上的测试结果表明,所提出的方法在域内和跨域评估中都明显优于现有的基线
2020-04-05 cs.CL
Memory-Augmented Recurrent Networks for Dialogue Coherence
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
最近的对话方法通过读取对话历史中的每个单词并将累积的对话信息聚合到单个状态中来操作。这个固定大小的向量是不可扩展的,并且必须随着时间的推移保持一致的格式。其他最近的方法利用注意力机制来从过去的会话话语中提取有用的信息,但是这引入了增加的计算复杂性。在这项工作中,我们探索使用神经图灵机(NTM),以提供一个更持久和灵活的存储机制,以保持对话的连贯性。具体来说,我们介绍了两个独立的对话架构的基础上,这个NTM设计。第一种设计的特点是一个序列到序列的架构,有两个独立的NTM模块,一个用于对话中的每个参与者。第二存储器架构结合了单个NTM模块,其存储两个扬声器的并行上下文信息。该第二设计还用神经语言模型替换序列到序列架构,以允许NTM的更长上下文和对对话历史的更好理解。我们报告了这两种模型的困惑性能,并将其与现有的基线进行比较。
2019-10-16 cs.CL cs.LG stat.ML
Hello Again! LLM-powered Personalized Agent for Long-term Dialogue
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学)
针对现有对话系统忽视长期陪伴与个性化交互需求的问题,本文提出模型无关的长期对话智能体(LD-Agent)框架,通过事件感知、人物角色提取及响应生成模块实现长期对话能力,经多基准验证其有效性、通用性与跨域能力。
2025-02-13 cs.AI cs.CL
AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents
Tsinghua University(清华大学);WeChat Vision, Tencent Inc.(腾讯微信视觉实验室)
AdaMem通过自适应用户导向记忆框架提升长时对话代理的长时推理与用户建模能力,采用统一框架整合工作记忆、事件记忆、人格记忆和图记忆,实现高效信息组织与推理。
2026-04-29 cs.CL
CueMem: Cue-Guided Context Reconstruction for Long-Term Conversational Memory
Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对长期对话中完整历史成本高、压缩记忆丢失证据的问题,提出CueMem框架,将记忆作为线索并重建上下文,在LoCoMo和LongMemEval上优于基线,且降低延迟。
2026-09-14 cs.CL
Mem-PAL: Towards Memory-based Personalized Dialogue Assistants for Long-term User-Agent Interaction
Mem-PAL提出H$^2$Memory框架,通过合成数据和实验验证,提升长期用户-代理交互的个性化能力。
2025-11-26 cs.CL
SGMem: Sentence Graph Memory for Long-Term Conversational Agents
Huawei Technologies Co., Ltd(华为技术有限公司)
SGMem通过句子图记忆在分块单元内建模对话关联,结合原始对话与生成记忆,提升长期对话问答的准确率,在LongMemEval和LoCoMo上优于强基线。
2025-09-25 cs.CL cs.IR
Enhancing Long-Term Memory using Hierarchical Aggregate Tree for Retrieval Augmented Generation
Amrita School of Artificial Intelligence(阿姆利塔人工智能学院);Amrita Vishwa Vidyapeetham(阿姆利塔维什瓦维迪亚皮塔姆大学)
针对 LLM 长对话上下文受限问题,提出 HAT 层次聚合树记忆结构,将上下文选择建模为最优树遍历并递归聚合相关信息,实验表明其提升多轮对话连贯性与摘要质量且避免参数指数增长。
2024-06-10 cs.AI cs.CL
An empirical assessment of deep learning approaches to task-oriented dialog management
深度学习在与会话界面相关的领域(如语音识别)提供了非常积极的结果,但其对对话管理的潜在好处尚未得到充分研究。在本文中,我们使用来自不同应用领域的三个对话语料库对深度学习对话管理的不同配置进行了评估,这些对话语料库的大小、维度和可能的系统响应各不相同。我们的研究结果使我们能够确定可能对准确性产生影响的几个方面,包括用于特征提取的方法,输入表示,上下文考虑和所采用的深层神经网络的超参数。
2021-08-07 cs.CL cs.HC cs.LG
Knowledge Grounded Conversational Symptom Detection with Graph Memory Networks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能)
在这项工作中,我们提出了一种新的目标导向的对话任务,自动症状检测。我们构建了一个系统,可以通过对话与患者互动,自动检测和收集临床症状,这可以节省医生询问患者的时间。给定由患者提供的一组显式症状以发起用于诊断的对话,系统被训练为通过询问问题来收集隐式症状,以便收集更多信息以进行准确的诊断。在获得患者对每个问题的回答后,系统还将决定当前信息是否足以让人类医生做出诊断。为了实现这一目标,我们提出了两个神经模型和一个多步推理任务的训练管道。我们还构建了一个知识图谱作为额外的输入,以进一步提高模型性能。实验表明,我们的模型显著优于基线4%,平均发现67%的隐性症状,问题数量有限。
2021-01-24 cs.AI cs.CL
From Retrieval to Reconstruction: Constructing Evolvable Cognitive Memory for Long-Term Dialogue
Tsinghua University(清华大学);Shenzhen International Graduate School(深圳国际研究生院)
本研究针对长期对话智能体的记忆问题,提出基于PEC²F图模式的CogMem认知记忆架构,结合图操作符重构查询相关上下文,在LoCoMo和LongMemEval数据集上的多跳等任务中表现优异。
2026-10-09 cs.CL
Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory
Center for Applied Statistics, Renmin University of China(中国人民大学应用统计中心);School of Statistics, Renmin University of China(中国人民大学统计学院);Microsoft(微软公司)
针对现有大语言模型记忆基准中对话缺乏长期语义一致性、人物静态化以及忽视异构数据流的问题,提出RHELM基准,通过用户画像和LOOP模块生成具有动态时间演化和长期连贯性的现实对话,并整合异构外部源,评估模型在多源聚合和现实上下文推理方面的能力。
2026-06-01 cs.CL cs.IR
Evaluating Very Long-Term Conversational Memory of LLM Agents
University of North Carolina Chapel Hill(北卡罗来纳大学教堂山分校);University of Southern California(南加利福尼亚大学);Snap Inc(Snap公司)
本文针对超长期对话记忆评估的空白,提出机器-人工流水线生成高质量超长期对话并构建LoCoMo数据集,通过问答、事件摘要和多模态生成基准揭示现有LLMs与人类在长程记忆上的显著差距。
2024-02-27 cs.AI cs.CL cs.LG
Graph vs. Sequence: An Empirical Study on Knowledge Forms for Knowledge-Grounded Dialogue
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology(东南信息技术研究院)
该研究针对知识驱动对话任务,通过全面实验对比知识图谱与知识文本两种知识形式,厘清知识选择、模型与知识的相互作用及少样本性能等问题,为后续研究方向和标准提供参考建议。
2023-12-13 cs.CL
Inside Out: Evolving User-Centric Core Memory Trees for Long-Term Personalized Dialogue Systems
School of Information, Renmin University of China(中国人民大学信息学院);MemTensor (Shanghai) Technology Co., Ltd.(MemTensor(上海)科技有限公司);Institute for Advanced Algorithms Research, Shanghai(上海先进算法研究所);China Telecom Research Institute(中国电信研究院);Beijing University of Aeronautics and Astronautics(北京航空航天大学);Nankai University(南开大学)
Inside Out通过演化用户导向的核心内存树,提升长期个性化对话系统的内存压缩与身份一致性,采用轻量级MemListener实现动态更新与高效响应生成。
2026-01-25 cs.CL
Is Translation Helpful? An Empirical Analysis of Cross-Lingual Transfer in Low-Resource Dialog Generation
Donghua University(东华大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本研究通过模拟低资源场景发现,直接使用原始英文对话数据比使用其机器翻译版本更能提升中文对话生成的自然度、相关性和跨领域迁移性,建议未来研究关注利用原始英文数据进行跨语言迁移。
2023-05-21 cs.CL
AgenticAI-DialogGen: Topic-Guided Conversation Generation for Fine-Tuning and Evaluating Short- and Long-Term Memories of LLMs
School of Computing, Macquarie University(麦考瑞大学计算机学院)
本文提出AgenticAI-DialogGen框架,通过生成基于角色和主题的对话来微调和评估LLM的短期和长期记忆,引入了TopicGuidedChat数据集以提升对话质量和模型性能。
2026-04-14 cs.CL cs.IR
CoreMem: Riemannian Retrieval and Fisher-Guided Distillation for Long-Term Memory in Dialogue Agents
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);Shandong Analysis and Test Center, Qilu University of Technology(齐鲁工业大学山东省分析测试中心);State Key Laboratory for Quality Ensurance and Sustainable Use of Dao-di Herbs(道地药材品质保障与可持续利用国家重点实验室)
提出CoreMem架构,用黎曼检索替代余弦相似度解决高维检索枢纽问题,通过Fisher引导离散令牌蒸馏实现原则性压缩,在8GB显存边缘设备上实现长期记忆对话代理。
2026-06-18 cs.CL
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
Zhejiang University(浙江大学)
针对多方对话中消息归因与状态重建瓶颈,提出双轨记忆框架 SpeakerMem-R1,结合逐字与结构化记忆及人物/群体视图,在多个基准上取得最优结果。
2026-09-24 cs.AI cs.CL cs.IR
Which Kind Is Better in Open-domain Multi-turn Dialog,Hierarchical or Non-hierarchical Models? An Empirical Study
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
目前,开放域生成式对话系统已经引起了学术界和工业界的广泛关注。尽管单轮对话生成取得了成功,但多轮对话生成仍然是一个很大的挑战。到目前为止,开放域多轮对话生成的模型主要有两种:层次模型和非层次模型。近年来,有研究表明,在实验条件下,分层模型优于非分层模型;同时,也有研究表明,分层模型优于非分层模型。由于缺乏充分的比较,目前还不清楚哪种模型在开放域多轮对话生成中更好。因此,在本文中,我们将在相同的实验设置下系统地测量几乎所有具有代表性的分层和非分层模型,以检查哪种模型更好。通过大量的实验,我们得到了以下三个重要结论:(1)除了HRAN模型外,几乎所有的层次模型在开域多轮对话生成方面都不如非层次模型。通过进一步分析,HRAN的优异性能主要取决于其词级注意力机制;(2)将词级注意力机制融入到其他层次模型中,这些模型的性能也会得到很大的提高。改进后的层次模型甚至显著优于非层次模型;(3)词级注意力机制之所以对层次模型如此强大,是因为它可以更有效地利用上下文信息,尤其是细粒度信息。此外,我们已经实现了所有的模型,并已经发布了代码。
2020-08-07 cs.CL cs.LG stat.ML
Speaker-Sensitive Dual Memory Networks for Multi-Turn Slot Tagging
Amazon Alexa Brain(亚马逊Alexa Brain);Microsoft Research(微软研究院)
在多轮对话中,自然语言理解模型由于对上下文信息视而不见而可能引入明显的错误。为了整合对话历史,我们提出了一个具有说话者敏感双记忆网络的神经架构,该网络根据说话者的不同对话语进行不同的编码。这解决了系统可用信息的不同程度-系统只知道用户话语的表面形式,而它具有系统输出的确切语义。我们对商业个人助理Microsoft Cortana的真实用户数据进行了实验。结果表明,使用上下文信息的最先进的槽标记模型的性能显着提高。
2017-11-29 cs.CL
Uncovering the Potential of ChatGPT for Discourse Analysis in Dialogue: An Empirical Study
CUHKSZ(香港中文大学(深圳))
本文通过设计提示模板并在六个数据集上实验,系统评估 ChatGPT 在对话主题分割与语篇解析中的能力,揭示其领域差异及对层级修辞结构的线性化局限。
2024-03-05 cs.CL
Gated End-to-End Memory Networks
The University of Melbourne(墨尔本大学);Xerox Research Centre Europe(施乐欧洲研究中心)
使用可微分推理模型的机器阅读最近取得了显著的进展。在这种情况下,端到端可训练记忆网络MemN 2N在基于简单自然语言的推理任务(如事实推理和基本演绎)上表现出了良好的性能。然而,其他任务,即多事实问题回答,位置推理或对话相关的任务,仍然具有挑战性,特别是由于组成这一系列模型的存储器和控制器模块之间的更复杂的交互的必要性。本文从计算机视觉领域中的连接捷径原理出发,提出了一种新的端到端内存访问调节机制。具体地说,我们开发了一个门控端到端可训练记忆网络架构GMemN 2N。从机器学习的角度来看,这种新的能力是以端到端的方式学习的,而不需要使用任何额外的监督信号,就我们所知,这是同类中的第一个。我们的实验表明,在20 bAbI数据集的最具挑战性的任务显着改善,而不使用任何领域的知识。然后,我们展示了对对话bAbI任务的改进,包括真正的基于人类-机器人转换的对话状态跟踪挑战(DSTC-2)数据集。在这两个数据集上,我们的模型设定了最新的技术水平。
2016-11-17 cs.CL stat.ML
User Memory Reasoning for Conversational Recommendation
WICT, Peking University(北京大学无线通信与信号处理研究中心);Institute for Data Science, Tsinghua University(清华大学数据科学研究院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Facebook Assistant(脸书助手事业部)
我们研究了一个会话式推荐模型,该模型通过结构化和累积的用户记忆知识图谱动态管理用户过去(离线)的偏好和当前(在线)的请求,以实现自然的交互和准确的推荐。在这项研究中,我们创建了一个新的记忆图(MG)<-->对话推荐并行语料库,称为MGConvRex,具有7 K+人与人之间的角色扮演对话,基于从真实用户场景中引导的大规模用户记忆。MGConvRex在用户记忆中捕获人类级别的推理,并具有用于zero-shot(冷启动)推理的不相交的用户训练/测试集。我们提出了一个简单而可扩展的配方,用于构建和更新MG,和一个推理模型,预测最佳的对话策略和推荐项目在无约束的图空间。我们提出的模型的预测继承了图结构,提供了一种自然的方式来解释模型的建议。离线指标和在线模拟进行实验,显示竞争力的结果。
2020-05-30 cs.CL