Unsupervised Evaluation of Interactive Dialog with DialoGPT
Dialog Research Center, Language Technologies Institute（语言技术研究所对话研究中心）；Carnegie Mellon University（卡内基梅隆大学）
定义有意义和可解释的自动评估指标对于开放域对话研究是非常重要的。标准的语言生成度量已被证明对对话无效。本文介绍了FED度量（对话的细粒度评估），这是一种使用DialoGPT的自动评估度量，无需任何微调或监督。它还介绍了FED数据集，该数据集是通过注释一组具有18个细粒度对话质量的人-系统和人-人对话而构建的。FED度量（1）不依赖于地面实况响应，（2）不需要训练数据，以及（3）在回合和整个对话级别上测量细粒度对话质量。FED在这两个水平上都与人类判断达到中度到高度相关。
2020-06-23 cs.AI cs.CL cs.HC
Unsupervised Learning of Interpretable Dialog Models
IBM Research AI（IBM研究院人工智能部门）
最近，已经提出了几种基于深度学习的模型用于对话的端到端学习。虽然这些模型可以从数据中训练而不需要任何额外的注释，但很难解释它们。另一方面，存在传统的基于状态的对话系统，其中对话的状态是离散的，因此易于解释。然而，这些状态需要手工制作并在数据中注释。为了实现两全其美，我们提出了潜在状态跟踪网络（Latent State Tracking Network，LSTN），使用它我们以无监督的方式学习可解释的模型。该模型定义了一个离散的潜在变量在每一轮的对话，可以采取一组有限的值。由于这些离散变量不存在于训练数据中，我们使用EM算法以无监督的方式训练我们的模型。在实验中，我们表明，与端到端的方法相比，Lebron可以帮助实现对话模型的可解释性，而不会降低性能。
2018-11-02 cs.AI cs.CL
Unsupervised Dialog Structure Learning
University of California, Davis（加州大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
从一组面向任务的对话中学习共享对话结构是计算语言学的一个重要挑战。对话结构的学习可以揭示如何分析人类对话，更重要的是有助于对话系统的设计和评估。我们提出了一种改进的VRNN模型与离散的潜在向量提取对话结构。与现有的基于HMM的模型不同，我们的模型是基于变分自动编码器（VAE）。这种模式能够捕捉到更多的动态对话超越了语言的表面形式。我们发现，定性地，我们的方法提取有意义的对话结构，定量地，优于以前的模型预测看不见的数据的能力。我们进一步评估模型的有效性，在下游的任务，对话系统建设任务。实验表明，通过将学习到的对话结构集成到奖励函数设计中，该模型在强化学习设置中收敛得更快，并且得到更好的结果。
2019-06-25 cs.AI cs.CL
Learning to Reason and Use Tools through Unsupervised Fine-Tuning in Task-Oriented Dialog Systems
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU HiTZ中心 - Ixa）
本研究针对任务导向对话系统的动态信息检索缺陷，提出适配ReAct框架的无监督微调方法，使LLMs可访问外部知识，其微调后的8B模型性能超越70B上下文系统，在SIMMC数据集上表现优异。
2026-09-01 cs.CL
Relevance of Unsupervised Metrics in Task-Oriented Dialogue for Evaluating Natural Language Generation
Microsoft Maluuba（微软 Maluuba）
诸如BLEU的自动化度量在机器翻译文献中被广泛使用。它们最近也被对话界用于评估对话回应的生成。然而，以前的工作中的对话响应生成表明，这些指标不密切相关的非面向任务的对话设置与人类的判断。任务导向型对话的回答表达的领域较窄，多样性较低。因此，有理由认为，这些自动化的指标将与人类的判断在面向任务的设置，其中生成任务包括翻译成一个句子的对话行为。我们进行了实证研究，以证实是否是这样。我们的研究结果表明，这些自动化的指标有更强的相关性与人类的判断，在面向任务的设置相比，在非面向任务的设置。我们还观察到，这些指标与提供多个地面真实参考句子的数据集的相关性更好。此外，我们表明，一些目前可用的语料库面向任务的语言生成可以解决简单的模型和倡导更具挑战性的数据集。
2017-06-29 cs.CL
Unsupervised Learning of KB Queries in Task-Oriented Dialogs
IBM Research（IBM研究院）；IIT Delhi（印度理工学院德里分校）；LimeChat
面向任务的对话（task oriented dialog，TOD）系统通常需要制定与用户意图相对应的知识库（knowledge base，KB）查询，并使用查询结果来生成系统响应。现有的方法需要对话数据集来显式地注释这些KB查询--这些注释可能很耗时，而且成本很高。作为回应，我们定义了新的问题，预测的KB查询和训练的对话代理，没有明确的KB查询注释。对于查询预测，我们提出了一个强化学习（RL）基线，它奖励那些查询的生成，其KB结果覆盖了后续对话中提到的实体。进一步的分析表明，在知识库中的查询属性之间的相关性可以显着混淆内存增强策略优化（MAPO），现有的最先进的RL代理。为了解决这个问题，我们通过简单但重要的修改来改进MAPO基线，以适合我们的任务。为了训练完整的TOD系统，我们提出了一种流水线方法：它独立地预测何时进行KB查询（查询位置预测器），然后在预测的位置预测KB查询（查询预测器），并在后续对话中使用预测查询的结果（下一个响应预测器）。总的来说，我们的工作提出了我们的新问题的第一个解决方案，我们的分析突出了在没有查询注释的情况下训练TOD系统的研究挑战。
2021-06-03 cs.CL cs.LG stat.ML
An Unsupervised Dialogue Topic Segmentation Model Based on Utterance Rewriting
Beijing Information Science & Technology University（北京信息科技大学）
针对多轮对话中共指、省略影响无监督主题分割效果的问题，提出结合话语改写技术的UR-DTS模型，通过改写恢复共指与省略内容，在DialSeg711、Doc2Dial数据集上实现性能提升，达到无监督SOTA水平。
2024-09-12 cs.AI cs.CL
Achieving Conversational Goals with Unsupervised Post-hoc Knowledge Injection
UC San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
当前神经对话模型的局限性在于，它们往往在生成的响应中缺乏特异性和信息性，这主要是由于依赖于覆盖有限种类的场景并传达有限知识的训练数据。缓解此问题的一种方法是在解码时从外部源提取相关知识并将其并入对话响应中。在本文中，我们提出了一种事后知识注入技术，我们首先检索一组不同的相关知识片段的条件下，从现有的对话模型的对话历史和初始响应。我们构建多个候选响应，使用基于梯度的解码方法将每个检索到的片段单独注入初始响应，然后使用无监督排名步骤选择最终响应。我们在目标导向和知识为基础的对话设置的实验表明，人类注释者判断所提出的方法的输出更吸引人，信息量更大，从以前的对话系统的响应相比。我们进一步表明，知识增强促进成功实现会话目标，在这两个实验设置。
2022-03-22 cs.CL
RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems
Peking University（北京大学）
在过去的几年里，开放域人机对话已经引起了越来越多的关注。然而，目前还没有一个标准的开放域对话系统的自动评估指标，研究人员通常诉诸于人类的模型评估，这是时间和劳动密集型的注释。在本文中，我们提出了橡胶，一个参考的度量和未参考的度量混合评估例程，它评估的答复，同时考虑到地面实况答复和查询（以前的用户发出的话语）。我们的指标是可学习的，但它的训练不需要人类满意度的标签。因此，RUBER是灵活的，可扩展到不同的数据集和语言。检索和生成对话系统的实验表明，橡胶具有较高的相关性与人类的注释。
2017-07-16 cs.CL cs.HC cs.IR
Intent Recognition and Unsupervised Slot Identification for Low Resourced Spoken Dialog Systems
Carnegie Mellon University（卡内基梅隆大学）
意图识别和槽识别是口语语言理解（SLU）系统的重要组成部分。在本文中，我们提出了一种新的方法对这些任务的背景下，低资源和非书面语言。我们提出了一个基于声学的SLU系统，它使用通用的电话识别系统将语音转换为音标。我们建立了一个无词的自然语言理解模块，它可以从这些音标中进行意图识别和槽识别。我们提出的SLU系统执行资源丰富的情况下，具有竞争力，并显着优于现有的方法，可用数据量减少。我们观察到泰米尔语的意图分类改善了10%以上，僧伽罗语的意图分类改善了5%以上。我们还提出了一种新的方法对无监督槽识别使用归一化的注意力分数。该方法可用于无监督的时隙标记、数据增强以及仅用一个语音记录以一次性方式为新时隙生成数据
2021-09-28 cs.CL
Likelihood Ratios and Generative Classifiers for Unsupervised Out-of-Domain Detection In Task Oriented Dialog
Carnegie Mellon University（卡内基梅隆大学）；Facebook Conversational AI（Facebook 对话人工智能部门）
最近，由于模型在现实世界中的部署越来越多，在测试时直接识别域外（OOD）输入示例的任务重新引起了人们的兴趣。在这项工作中，我们专注于OOD检测自然语言句子输入到基于任务的对话系统。我们的发现有三个方面：首先，我们策划并发布ROSTD（面向任务的对话框中的真实域外句子）-这是一个包含4K OOD示例的数据集，用于公开提供的数据集（Schuster et al. 2019）。与现有的通过保留类的子集来合成OOD示例的设置相反，我们的示例是由注释者使用先验指令来创作的，这些先验指令相对于现有数据集中的句子是域外的。第二，我们探讨似然比为基础的方法作为一种替代目前流行的范式。具体来说，我们重新制定和应用这些方法的自然语言输入。我们发现它们在所有数据集上都与后者相匹配或优于后者，并且在非人工OOD基准测试（如我们的数据集）上有较大的改进。我们的消融验证，特别是使用似然比，而不是普通的可能性是必要的区分OOD和域内数据。第三，我们提出学习生成分类器并计算用于OOD检测的边缘似然（比率）。这允许我们使用原则可能性，同时利用训练时间标签。我们发现，这种方法优于简单的似然（比）为基础的和其他先前的方法。迄今为止，我们是第一个调查使用生成分类器的OOD检测在测试时。
2019-12-30 cs.AI cs.CL
Pretraining Methods for Dialog Context Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
本文研究了各种无监督的预训练目标学习对话上下文表示。提出了两种新的预训练对话上下文编码器的方法，总共有四种方法进行了检查。使用MultiWoz数据集在一组下游对话任务上对每个预训练目标进行微调和评估，并观察到强大的性能改进。进一步的评估表明，我们的预训练目标不仅带来了更好的性能，而且还带来了更好的收敛性，模型的数据需求更少，并且具有更好的领域泛化能力。
2019-06-04 cs.AI cs.CL
Summarizing Decisions in Spoken Meetings
Cornell University（康奈尔大学）
本文解决了口头会议中的决策摘要问题：我们的目标是为每个会议决策生成一个简明的{ \it决策摘要}。我们探索和比较令牌级和对话行为级的自动摘要方法使用无监督和监督学习框架。在监督摘要设置，并给出真正的聚类决策相关的话语，我们发现，令牌级的摘要，采用话语上下文可以接近直接从对话行为的决策摘要的上限。在无监督的摘要设置中，我们发现基于决策相关话语的无监督分区的摘要执行基于使用监督技术生成的分区的摘要（使用基于LDA的主题模型的0.22 ROUGE-F1与使用SVM的0.23）。
2016-06-25 cs.CL
Discovering Dialog Structure Graph for Open-Domain Dialog Generation
Harbin Institute of Technology（哈尔滨工业大学）；Baidu, Inc.（百度公司）
从人-人对话中学习可解释的对话结构产生对对话结构的基本见解，并且还提供背景知识以促进对话生成。在本文中，我们进行无监督的发现对话结构的聊天语料库，然后利用它来促进下游系统中的对话生成。为此，我们提出了一个离散变分自动编码器与图神经网络（DVAE-GNN），发现一个统一的人类可读的对话结构。该结构是一个两层有向图，包含会话级语义在上层顶点，话语级语义在下层顶点，和这些语义顶点之间的边缘。特别是，我们将GNN集成到DVAE中，以微调话语级语义，从而更有效地识别会话级语义顶点。此外，为了减轻发现大量话语级语义的困难，我们设计了一种耦合机制，将每个话语级语义顶点与一个不同的短语绑定，以提供先验语义。在两个基准语料库上的实验结果证实了DVAE-GNN能够发现有意义的对话结构，并且使用对话结构图作为背景知识可以促进基于图的会话系统进行连贯的多轮对话生成。
2020-12-31 cs.AI cs.CL
Unsupervised Natural Language Generation with Denoising Autoencoders
Google AI（谷歌人工智能）
从结构化数据生成文本对于诸如问答和对话系统的各种任务是重要的。我们表明，在至少一个领域，没有任何监督，只基于未标记的文本，我们能够建立一个自然语言生成（NLG）系统具有更高的性能比监督的方法。在我们的方法中，我们将结构化数据解释为所需输出的损坏表示，并使用去噪自动编码器来重建句子。我们展示了如何将噪声引入不包含结构化数据的训练样本中，并且当给定结构化数据时，所得到的去噪自动编码器可以泛化以生成正确的句子。
2018-08-24 cs.CL
Towards Unsupervised Language Understanding and Generation by Joint Dual Learning
National Taiwan University（台湾大学）
在模块化对话系统中，自然语言理解（NLU）和自然语言生成（NLG）是两个关键的组成部分，其中自然语言理解是从给定的文本中提取语义，自然语言生成是根据输入的语义表示构造相应的自然语言句子。然而，理解与生成的二重性却鲜有人探讨。先前的工作是第一次尝试，利用NLU和NLG之间的二元性，通过双监督学习框架来提高性能。然而，以前的工作仍然学习这两个组件在监督的方式，相反，本文介绍了一个通用的学习框架，有效地利用这种双重性，提供了灵活性，将监督和无监督学习算法训练语言理解和生成模型的联合方式。基准实验表明，该方法能够提高NLU和NLG的性能。
2020-04-30 cs.CL
DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出无监督指标DecompEval，通过指令式PLM问答并将文本质量问题分解为句子级子问题，以提升NLG评估的泛化性与可解释性。
2023-07-13 cs.AI cs.CL
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Pattern Recognition Center, WeChat AI（微信AI模式识别中心）
本文提出InFO-RAG无监督信息精炼训练方法，将LLM视为RAG中的信息精炼器，以低成本提升其整合并优化不同质量检索文本的能力；11个数据集零样本实验显示其平均提升LLaMA2性能9.39%。
2024-06-12 cs.AI cs.CL cs.IR
BARTScore: Evaluating Generated Text as Text Generation
Carnegie Mellon University（卡内基梅隆大学）
各种各样的NLP应用，如机器翻译、摘要和对话，都涉及文本生成。这些应用程序面临的一个主要挑战是如何评估这些生成的文本是否真正流畅，准确或有效。在这项工作中，我们将生成文本的评估概念化为文本生成问题，使用预先训练的序列到序列模型进行建模。一般的想法是，当生成的文本更好时，被训练用于将生成的文本转换为参考输出或源文本的模型将获得更高的分数。我们使用BART（一种基于编码器-解码器的预训练模型）实现了这一想法，并提出了一种具有许多变体的度量BARTScore，这些变体可以以无监督的方式灵活地应用于从不同角度（例如信息量，流畅性或真实性）评估文本。BARTScore概念简单，经验有效。它可以在22个测试设置中的16个中超越现有的最高评分指标，涵盖16个数据集的评估（例如，机器翻译，文本摘要）和7个不同的视角（例如，信息性、真实性）。计算BARTScore的代码可以在https：//github.com/neulab/BARTScore上找到，我们还在ExplainaBoard平台上的http://explainaboard.nlpedia.ai/leaderboard/task-meval/上发布了一个交互式的元评估排行榜，它允许我们交互式地了解每个指标的优势，劣势和互补性。
2021-10-27 cs.CL
