When Cosine Similarity Fails to Reflect Linearly Accessible Structure in Dialogue Models
本研究揭示在对话模型中,余弦相似度可能低估线性可访问的个性结构,通过监督子空间可弥补差距,但部分模型违反不变性标准。
2026-09-22 cs.CL
DASH: Dialogue-Aware Similarity and Handshake Recognition for Topic Segmentation in Public-Channel Conversations
DASH-DTS通过对话感知相似性与握手识别技术,提升公共频道对话中主题分割的准确性和鲁棒性,并发布首个海上VHF通信数据集推动相关研究。
2025-12-17 cs.CL cs.IR
MALA: Cross-Domain Dialogue Generation with Action Learning
The University of Melbourne(墨尔本大学);Twitter Inc.(推特公司)
面向任务的对话反应生成包括两个基本部分:对话规划和表面实现。然而,这两个组成部分在其目标上有差异,即,完成任务和语言质量。为了处理这种差异,已经引入了条件反应生成,其中生成过程被分解为动作决策和语言生成通过显式动作表征。为了获得动作表征,最近的研究学习潜在的动作在无监督的方式的基础上的话语词汇相似性。这种行动学习方法容易出现语言表面的混乱,从而影响任务的完成和语言质量。为了解决这个问题,我们提出了多阶段自适应潜在动作学习(MALA),通过区分话语对对话进程的影响来学习语义潜在动作。我们使用话语引起的对话状态的转换建模话语效果,并开发了一个语义相似性测量,估计话语是否有类似的效果。为了在没有对话状态的域上学习语义动作,MsALA逐步扩展跨域的语义相似性度量,即,从调整共享操作到学习特定领域的操作。使用多域数据集SMD和MultiWOZ的实验表明,我们提出的模型在任务完成和语言质量方面都比基线模型取得了一致的改进。
2020-10-13 cs.AI cs.CL cs.LG
Memory-Based Learning: Using Similarity for Smoothing
本文分析了基于记忆的学习中相似性的使用和统计语言建模中的后退平滑概念之间的关系。我们发现,这两种方法是密切相关的,我们认为,在基于记忆的范例中的特征加权方法可以提供的优势,自动指定一个合适的特定领域的层次结构之间的最具体和最一般的条件信息,而不需要大量的参数。我们报告了这种方法的两个应用:PP附着和POS标记。我们的方法在这两个领域都达到了最先进的性能,并且可以轻松地整合不同的信息源,例如丰富的词汇表示。
1997-05-12 cmp-lg cs.CL
When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation
本文研究了在临床对话评估中,LLM作为评判者与传统自动相似性度量之间的分歧,通过LoRA技术对Llama-2-7B进行领域适应,并发现自动化指标可能无法完全反映临床实用性。
2026-03-31 cs.AI cs.CL
Synthesizing Adversarial Negative Responses for Robust Response Ranking and Evaluation
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
开放域神经对话模型在响应排序和评估任务中取得了很高的性能。这些任务被公式化为在对话上下文中给出的响应的二进制分类,并且模型通常学习基于上下文响应内容相似性进行预测。然而,过度依赖内容相似性使得模型对不一致、不正确的时间表达和对响应适当性和一致性重要的其他因素的存在不太敏感。我们提出了自动创建对抗性负面训练数据的方法,以帮助排名和评估模型学习内容相似性之外的特征。我们提出了掩码和填充和关键词引导的方法,产生负面的例子,训练更强大的对话系统。这些生成的对抗性响应与上下文具有很高的内容相似性,但要么不连贯,不恰当,要么不流畅。我们的方法是完全数据驱动的,可以很容易地纳入现有的模型和数据集。在多个数据集上进行的分类、排名和评估任务的实验表明,我们的方法在为训练对话系统提供信息丰富的负面示例方面优于强基线。
2021-06-10 cs.CL
Enhancing End-to-End Multi-Task Dialogue Systems: A Study on Intrinsic Motivation Reinforcement Learning Algorithms for Improved Training and Adaptability
BITS Pilani WILP(比尔拉技术与科学学院皮拉尼工作整合学习项目);Fisher Investments(费雪投资)
本研究针对端到端多任务对话系统奖励贫乏的问题,引入随机网络蒸馏和好奇心驱动的内在动机强化学习算法,在MultiWOZ数据集上使平均成功率达73%,显著优于PPO基线并提升了跨领域适应性。
2024-03-25 cs.AI cs.CL
Rethinking Evaluation in Retrieval-Augmented Personalized Dialogue: A Cognitive and Linguistic Perspective
Institute for Creative Technologies, University of Southern California(南加州大学创意技术研究所)
本文从认知与语言学角度重新审视基于检索增强的个性化对话评估,指出传统表面相似度指标无法反映对话质量的深层特征,并通过LAPDOG框架分析,强调需建立更符合人类沟通原理的评估方法。
2026-07-15 cs.CL
How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation
Independent Researcher(独立研究者)
系统评估五种轻量级、CPU可运行的幻觉检测方法在HaluEval基准上的表现,发现性能高度依赖任务,在摘要任务上接近随机,为资源受限场景提供方法选择指导。
2026-10-05 cs.AI cs.CL
Synthetic Patient-Physician Dialogue Generation from Clinical Notes Using LLM
针对医疗对话系统训练数据受隐私限制难以获取的问题,提出SynDial方法,通过带反馈循环的大语言模型零样本迭代从临床病历生成合成医患对话,在事实性上优于基线且多样性与GPT-4相当。
2024-08-12 cs.AI cs.CL cs.LG
A Neural Network-Based Linguistic Similarity Measure for Entrainment in Conversations
University of Pittsburgh(匹兹堡大学);Microsoft Corporation, Redmond(微软公司)
语言夹带是指人们在交谈中相互模仿的现象。量化夹带的核心工具是会话伙伴之间的语言相似性度量。目前的相似性度量大多基于词袋法,这种方法依赖于语言标记,忽略了语言的整体结构和对话语境。为了解决这个问题,我们建议使用一个神经网络模型来执行夹带的相似性度量。我们的模型是上下文感知的,它进一步利用一个新的组件来学习跨对话的共享高级语言特征。我们首先研究我们的新组件的有效性。然后,我们使用该模型进行基于语料库的夹带分析中的相似性度量。我们观察到这两个评价任务的可喜成果。
2021-09-04 cs.CL cs.LG
Improving Context Modelling in Multimodal Dialogue Generation
Heriot-Watt University(赫瑞-瓦特大学);Adeptmind Inc.(Adeptmind公司)
在这项工作中,我们调查的任务,文本响应生成在多模态任务导向的对话系统。我们的工作是基于最近发布的多模态对话(MMD)数据集(Saha等人,2017年,在时尚领域。我们引入了一个多模态扩展的分层递归编码器-解码器(HRED)模型,并表明这种扩展优于强基线基于文本的相似性度量。我们还展示了当前的视觉和语言模型的缺点,通过对我们的系统的输出进行错误分析。
2018-10-20 cs.CL
Constructing Multi-Modal Dialogue Dataset by Replacing Text with Semantically Relevant Images
KAIST(韩国科学技术院)
在多模态对话系统中,重要的是允许使用图像作为多轮对话的一部分。训练这样的对话系统通常需要由涉及图像的多轮对话组成的大规模数据集,但是这样的数据集很少存在。作为回应,本文提出了一个45k多模态对话数据集,以最少的人为干预创建。我们创建这样一个数据集的方法包括(1)准备和预处理文本对话数据集,(2)通过使用文本到图像替换技术创建图像混合对话,以及(3)采用基于上下文相似性的过滤步骤来确保数据集的上下文一致性。为了评估我们的数据集的有效性,我们设计了一个简单的检索模型的对话句子预测任务。对这些任务的自动度量和人类评估结果表明,我们的数据集可以有效地用作多模态对话系统的训练数据,这些系统需要以上下文感知的方式理解图像和文本。我们的数据集和生成代码可以在https://github.com/shh1574/multi-modal-dialogue-dataset上找到。
2021-07-19 cs.CL
Persona Extraction Through Semantic Similarity for Emotional Support Conversation Generation
KAIST(韩国科学技术院)
针对对话前难获取用户人设的问题,提出PESS框架,通过语义相似度设计的完整性与一致性损失从对话中推断人设,可有效提升情感支持对话回复的生成质量。
2024-03-07 cs.CL
Response Enhanced Semi-supervised Dialogue Query Generation
Xiamen University(厦门大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tencent AI Lab(腾讯AI Lab)
本文提出半监督框架SemiDQG,利用未标注对话和响应增强查询生成器(RA)提供伪查询与奖励信号,通过相似度筛选和REINFORCE算法训练查询生成器,在跨域和低资源场景下显著超越ChatGPT等基线。
2024-02-16 cs.AI cs.CL
Natural Language Understanding for Argumentative Dialogue Systems in the Opinion Building Domain
Southeast University(东南大学);Ulm University(乌尔姆大学);Mercedes-Benz Research & Development(梅赛德斯-奔驰研发中心)
本文介绍了一个自然语言理解(NLU)框架,在信息寻求和意见建设领域的辩论对话系统。该框架包括两个子模型,即意图分类器和论点相似度。意图分类器模型将BiLSTM与注意力机制堆叠在预训练的BERT模型之上,并微调模型以识别用户意图,而论点相似性模型使用BERT + BiLSTM来识别用户在他或她的自然语言话语中引用的系统论点。我们的模型是在一个争论性的对话系统,从事用户通知他/她自己的一个有争议的话题,通过探索赞成和反对的论点,并建立他/她对这个话题的意见。为了评估所提出的方法,我们收集用户话语的互动与各自的系统标签的意图和参考参数在一个广泛的在线研究。数据汇集包括多个主题和两种不同的用户类型(来自英国的英语母语者和来自中国的非英语母语者)。此外,我们分别在公开的Banking77和STS基准数据集上评估了所提出的意图分类器和参数相似性模型。评估表明,在几个数据集的基线方法,以及对新的主题和不同的语言能力,以及用户的文化背景所提出的方法的鲁棒性所使用的技术的明显优势。此外,结果表明,我们的意图分类器模型在Few-Shot设置中优于DIET、DistillBERT和BERT微调模型(即,每个意图具有10、20或30个标记的示例)和完整的数据设置。
2022-02-19 cs.CL cs.LG
Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation
KAIST(韩国科学技术院);AITRICS
针对知识接地对话生成中知识利用不可靠的问题,本文提出SURGE框架,通过子图检索、词嵌入扰动和对比学习,使生成回复与知识图谱事实保持一致,并在两个数据集上验证了其生成高质量知识忠实对话的有效性。
2023-05-30 cs.AI cs.CL cs.LG
MOSS-TTSD: Text to Spoken Dialogue Generation
OpenMOSS Team(OpenMOSS团队)
MOSS-TTSD 提出了一种多语言多轮对话生成模型,通过长上下文建模实现稳定、多角色的语音对话生成,支持零样本语音克隆和多种长形式场景。
2026-03-20 cs.AI cs.CL cs.SD
Which Factors Predict the Chat Experience of a Natural Language Generation Dialogue Service?
National Taiwan Normal University(国立台湾师范大学)
本文提出并验证了一个预测自然语言生成对话系统聊天体验的概念模型,发现用户好感度及对话连贯性、情感和相似性是正向预测因素,并可用于自适应系统优化提示。
2023-05-28 cs.CL cs.HC
Pneg: Prompt-based Negative Response Generation for Dialogue Response Selection Task
Scatter Lab(斯卡特实验室);KAIST(韩国科学技术院)
在基于检索的对话系统中,响应选择模型充当排序器以在多个候选者中选择最合适的响应。然而,这样的选择模型往往依赖于上下文响应内容相似性,这使得模型容易受到语义相似但与对话上下文无关的对抗性响应的影响。最近的研究表明,利用这些对抗性反应作为负训练样本对于提高选择模型的辨别力是有用的。然而,收集人类书写的对抗性响应是昂贵的,并且现有的合成方法通常具有有限的可扩展性。为了克服这些局限性,本文提出了一种简单而有效的方法,利用大规模的语言模型生成对抗性的负面反应。对话选择任务的实验结果表明,我们的方法优于其他方法合成对抗性的负面反应。这些结果表明,我们的方法可以有效地替代人类注释器生成对抗性响应。我们的数据集和生成代码可以在https://github.com/leenw23/generating-negatives-by-gpt3上找到。
2022-10-31 cs.CL
A practical approach to dialogue response generation in closed domains
Amazon Inc.(亚马逊公司)
我们描述了一个原型对话响应生成模型的客户服务领域在亚马逊。该模型以弱监督方式进行训练,使用双编码器网络(一种类似于暹罗的神经网络架构)来测量客户问题和代理答案之间的相似性。答案模板是从过去的代理答案派生的嵌入中提取的,没有逐圈注释。通过从最终模板集中选择最佳模板来生成对客户查询的响应。我们表明,在一个封闭的域,如客户服务,所选的模板覆盖$>$ 70\%的过去的客户查询。此外,模型选择的模板的相关性明显高于标准tf-idf基线选择的模板。
2017-03-28 cs.CL cs.NE
Generating Repetitions with Appropriate Repeated Words
Tokyo Institute of Technology(东京工业大学)
重复是在对话中重复前一个说话者的话语的反应。语言学研究表明,重复是交际中建立信任的重要手段。在这项工作中,我们专注于重复生成。据我们所知,这是第一个解决重复生成的神经方法。我们提出了加权标签平滑,一种平滑方法,用于明确学习哪些单词在微调过程中重复,以及一种重复评分方法,可以在解码过程中输出更合适的重复。我们进行了自动和人工评估,包括将这些方法应用于预训练的语言模型T5以生成重复。实验结果表明,我们的方法优于基线在这两个评估。
2022-07-03 cs.CL
A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss
McGill University(麦吉尔大学);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));University of Montréal(蒙特利尔大学);École Polytechnique de Montréal(蒙特利尔工程学院)
在对话任务中为下一个话语生成训练的神经模型学习模仿训练集中的n-gram序列,训练目标是负对数似然(NLL)或交叉熵。这种常用的训练目标并不促进对上下文产生替代响应。但是,最小化替代训练目标的影响还没有得到很好的研究,该目标可以促进模型生成替代响应并对其进行语义相似性评分。我们假设一个语言生成模型可以通过在训练过程中学习生成替代文本并将语义损失最小化作为辅助目标来提高其多样性。我们探讨这个想法在两个不同大小的数据集上的任务,下一个话语生成目标导向的对话。我们做了两个观察:(1)最小化语义目标改善了较小数据集(Frames)中响应的多样性,但与最小化较大数据集(MultiWoZ)中的NLL一样好(2)大语言模型嵌入作为语义损失目标比作为令牌嵌入的初始化更有用。
2021-06-20 cs.CL
Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation
Constructor University(Constructor大学);HSE University(俄罗斯莫斯科高等经济学院)
本文提出Smoothie,通过基于语义相似性的逐步平滑令牌嵌入,结合连续潜在空间和分类单纯空间的优势,提升文本生成质量。
2026-05-15 cs.CL
Score Before You Speak: Improving Persona Consistency in Dialogue Generation using Response Quality Scores
School of Computer Science, University of Leeds(计算机科学学院,利兹大学);Leeds Institute of Medical Education, School of Medicine, University of Leeds(利兹医学教育研究所,医学院,利兹大学)
针对大型语言模型对话中人设一致性难的问题,提出SBS框架,在训练阶段统一回复与质量分数的学习,并在推理时利用该知识,实验证明其有效提升了百万至十亿参数模型的人设一致性。
2025-08-09 cs.CL
Meta-Context Transformers for Domain-Specific Response Generation
IIT Kharagpur(印度理工学院克勒格布尔分校);IBM Research India(IBM印度研究院);IBM India Research Lab(IBM印度研究实验室)
尽管近年来神经对话模型取得了巨大的成功,但它缺乏相关性,多样性,有时在生成的响应中缺乏一致性。最近,基于transformer的模型(如GPT-2)通过语言建模捕获远程结构,彻底改变了对话生成的前景。虽然这些模型表现出良好的语言连贯性,但它们在用于特定领域的响应生成时往往缺乏相关性和术语。在本文中,我们提出了DSRNet(域特定响应网络),一个基于转换器的模型,通过加强特定领域的属性的对话响应生成。特别是,我们从上下文中提取元属性,并将其与上下文话语相结合,以更好地关注特定领域的关键词和相关性。我们研究使用DSRNet在多回合多对话者环境中的特定领域的响应生成。在我们的实验中,我们在Ubuntu对话数据集上评估了DSRNet,这些数据集主要由用于IT领域问题解决的各种技术领域相关对话组成,并且还在CamRest676数据集上评估了DSRNet,其中包含餐厅领域对话。训练与最大似然目标,我们的模型显示出显着的改进,超过国家的最先进的多轮对话系统支持更好的BLEU和语义相似性(BertScore)分数。此外,我们还观察到,我们的模型产生的反应进行更高的相关性,由于存在特定领域的关键属性,表现出更好的重叠与上下文的属性。我们的分析表明,性能的提高主要是由于注入的关键词随着对话,从而导致更好地关注领域相关的条款。其他贡献因素包括对话上下文与特定领域的元属性和主题的联合建模。
2020-10-12 cs.CL
Adaptive Bridge between Training and Inference for Dialogue
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of AI Industry Research, Tsinghua University(清华大学智能产业研究院)
虽然暴露偏差在一些自然语言处理任务中得到了广泛的研究,但在对话反应生成中,即典型的一对多生成场景中,暴露偏差面临着独特的挑战。在真实的人类对话中,对同一语境有许多恰当的回应,不仅表达方式不同,而且话题也不同。因此,由于各种地面真实反应和生成的合成反应之间的差距要大得多,暴露偏差在对话生成任务中更具挑战性。更重要的是,由于MLE鼓励模型只学习不同地面事实响应中的常用词,而忽略有趣和具体的部分,暴露偏差可能进一步导致常见响应生成问题,例如“我不知道”和“哈哈?“在本文中,我们提出了一种新的自适应切换机制,该机制学习在地面实况学习和生成学习之间自动转换单词级匹配得分,例如余弦相似性。在中文STC数据集和英文Reddit数据集上的实验结果表明,与现有的曝光偏差方法相比,该自适应方法在基于度量的评价和人工评价方面都取得了显著的改善。对NMT任务的进一步分析也表明,我们的模型可以实现显着的改善。
2021-10-22 cs.CL cs.HC
ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching
Xiaomi Corp.(小米公司)
本文提出ZipVoice-Dialog模型,通过流匹配和课程学习策略提升语音对话生成的推理速度和准确性,同时发布OpenDialog数据集以促进研究发展。
2026-04-14 cs.CL eess.AS
ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
在多话轮对话生成中,回应通常只与少数几个上下文相关。因此,理想的模型应该能够检测这些相关的上下文,并相应地产生合适的响应。然而,广泛使用的分层递归编码器解码器模型只是不加区别地对待所有的上下文,这可能会损害后续的响应生成过程。一些研究者尝试使用余弦相似度或传统的注意力机制来寻找相关语境,但这些方法要么存在关联假设不足,要么存在位置偏差问题。在本文中,我们提出了一个新的模型,名为ReCoSa,来解决这个问题。首先,进行词级LSTM编码器以获得每个上下文的初始表示。然后,自我注意力机制被用来更新上下文和掩蔽响应表示。最后,计算每个上下文和响应表示之间的注意力权重,并将其用于进一步的解码过程。在中文客户服务数据集和英文Ubuntu对话数据集上的实验结果表明,ReCoSa在基于度量的评估和人工评估方面都显着优于基线模型。对注意力的进一步分析表明,ReCoSa检测到的相关上下文与人类的理解高度一致,验证了ReCoSa的正确性和可解释性。
2019-07-09 cs.CL cs.LG
Speaker Sensitive Response Evaluation Model
KAIST(韩国科学技术院)
开放域对话响应生成的自动评估是非常具有挑战性的,因为对于给定的上下文有许多适当的响应。现有的评估模型只是将生成的响应与地面实况响应进行比较,并且如果它们偏离地面实况,则将许多适当的响应评定为不适当的。解决这个问题的一种方法是考虑所生成的响应与会话上下文的相似性。本文提出了一个基于该思想的自动评价模型,并从一个未标注的会话语料库中学习模型参数。我们的方法认为,在定义不同层次的类似的情况下,扬声器。我们使用一个Twitter的会话语料库,其中包含许多扬声器和对话来测试我们的评估模型。实验表明,我们的模型优于其他现有的评价指标,与人类注释分数的高度相关性。我们还表明,我们在Twitter上训练的模型可以应用于电影对话,而无需任何额外的训练。我们提供了我们的代码和学习的参数,以便它们可以用于对话响应生成模型的自动评估。
2020-06-12 cs.CL
Context-Emotion Aware Therapeutic Dialogue Generation: A Multi-component Reinforcement Learning Approach to Language Models for Mental Health Support
University College London(伦敦大学学院)
本文提出一种多组件强化学习方法,通过改进GPT-2的治疗对话生成能力,提升情绪准确性和上下文相关性,以支持心理健康领域的发展。
2026-02-16 cs.CL
REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation
Tencent AI Lab(腾讯AI实验室);Peng Cheng Laboratory(鹏城实验室)
缺乏可靠的自动评估指标是开发开放域对话系统的主要障碍。已经提出了各种基于参考的度量来计算预测的响应和一小组参考之间的分数。然而,这些指标与人类判断的相关性并不令人满意。对于基于参考的度量,其可靠性主要取决于两个因素:其测量预测响应和参考响应之间的相似性的能力,以及给定参考集的可靠性。然而,关于后者的讨论很少。我们的工作试图填补这一空缺。我们首先澄清一个假设,基于引用的指标,如果更多的高质量的参考被添加到参考集,度量的可靠性将增加。接下来,我们提出了REAM $\sharp$:一个增强的方法,以参考为基础的评估开放域对话系统。设计了一个预测模型来估计给定参考集的可靠性。我们展示了它的预测结果如何有助于增加参考集,从而提高度量的可靠性。实验验证了我们的预测模型的有效性和基于参考的指标的可靠性提高与增强的参考集。
2022-03-16 cs.CL