Improving Dialogue State Tracking by Joint Slot Modeling
Carnegie Mellon University（卡内基梅隆大学）
对话状态跟踪模型在面向任务的对话系统中起着重要的作用。然而，它们中的大多数在给定输入的情况下有条件地独立地对插槽类型进行建模。我们发现它可能会导致模型被共享相同数据类型的槽类型所混淆。为了缓解这个问题，我们提出了TripPy-MRF和TripPy-LSTM，它们联合对插槽进行建模。我们的研究结果表明，它们能够减轻上述混淆，并将数据集MultiWoZ 2.1的最先进水平从58.7提升到61.3。我们的实现可以在https://github.com/CTinRay/Trippy-Joint上获得。
2021-11-14 cs.CL cs.LG
CausalScore: An Automatic Reference-Free Metric for Assessing Response Relevance in Open-Domain Dialogue Systems
Monash University（莫纳什大学）
提出无参考自动评估指标CausalScore，通过测量对话历史与响应间的因果强度评估相关性，实验证明其与人类判断的一致性显著优于现有最先进指标，并构建了含人工标注因果关系的数据集CGDIALOG+。
2024-06-25 cs.CL
Planning with Diffusion Models for Target-Oriented Dialogue Systems
Department of Computer Science and Engineering, The Ohio State University, USA（计算机科学与工程系，俄亥俄州立大学）；Department of Biomedical Informatics, The Ohio State University, USA（生物医学信息学系，俄亥俄州立大学）；Translational Data Analytics Institute, The Ohio State University, USA（转化数据分析研究所，俄亥俄州立大学）
提出基于扩散模型的非顺序对话规划框架DiffTOD，通过轨迹生成和条件引导机制优化目标导向对话中的行动策略，有效解决传统顺序规划的复合误差和短视问题。
2025-08-10 cs.CL
DiSCoL: Toward Engaging Dialogue Systems through Conversational Line Guided Response Generation
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；Columbia University（哥伦比亚大学）；University of California Los Angeles（加州大学洛杉矶分校）
与用户进行有吸引力和信息量的对话是开放域对话系统的最终目标。基于transformer的语言模型及其在对话系统中的应用的最新进展已经成功地产生了流畅的和类似人类的响应。然而，他们仍然缺乏对生成过程的控制，以生成内容丰富的响应并实现引人入胜的对话。为了实现这一目标，我们提出了\textbf{DiSCoL}（\textbf{Di}通过\textbf{Co}功能性\textbf{L}行引导反应生成的\textbf{S}系统）。DiSCoL是一个开放领域的对话系统，利用会话线（简称\textbf{convlines}）作为可控和信息内容规划元素，以指导生成模型产生引人入胜和信息丰富的响应。DiSCoL管道中的两个主要模块是条件生成器，用于1）预测对话上下文的相关和信息性convlines，以及2）根据预测的convlines生成高质量的响应。用户还可以将返回的convlines更改为\textit{control}，使对话的方向朝向他们更感兴趣的主题。通过自动和人工评估，我们证明了convlines在产生引人入胜的对话中的效率。
2021-02-03 cs.CL
Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems
Sonos Inc.（Sonos公司）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）
面向任务的对话系统的训练数据的稀缺性是一个众所周知的问题，通常通过昂贵且耗时的手动数据注释来解决。另一种解决方案是依靠自动文本生成，虽然不如人工监督准确，但具有便宜和快速的优势。我们的贡献是双重的。首先，我们展示了如何使用条件变分自编码器优化训练和控制意图特定的句子的生成。然后，我们引入了一个新的协议，称为查询传输，允许利用一个大型的未标记的数据集，可能包含不相关的查询，提取相关信息。与两个不同的基线比较表明，这种方法，在适当的制度，不断提高所生成的查询的多样性，而不影响其质量。我们还证明了我们的生成方法作为语言建模任务的数据增强技术的有效性。
2020-11-03 cs.AI cs.CL cs.LG
Diverse and Faithful Knowledge-Grounded Dialogue Generation via Sequential Posterior Inference
The Hong Kong University of Science and Technology（香港科技大学）；Salesforce Research（Salesforce研究院）
本文提出序列后验推理（SPI）框架，通过直接从后验分布近似采样联合优化知识选择与回复生成，无需推理网络或简单后验假设，并在两个对话数据集上取得优于强基线的自动与人工评估结果。
2023-08-05 cs.CL
System-Initiated Transitions from Chit-Chat to Task-Oriented Dialogues with Transition Info Extractor and Transition Sentence Generator
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University（乌尔姆大学）；University of Bamberg（班贝格大学）
本文提出转换信息提取器TIE和转换语句生成器TSG，使统一对话模型能在闲聊中自动识别任务意图并主动生成转换语句，实现从闲聊到任务导向对话的连贯切换。
2023-08-06 cs.CL
A Stack-Propagation Framework for Low-Resource Personalized Dialogue Generation
Harbin Institute of Technology（哈尔滨工业大学）
针对个性化对话数据稀缺问题，本文提出堆叠一个 Transformer 编码器与两个解码器的栈传播框架，以一致性理解正则化回复生成，在低资源设置下提升回复质量与角色一致性。
2024-10-26 cs.AI cs.CL
Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue
The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；The Chinese University of Hong Kong（香港中文大学）
终身学习（LL）对于高级任务导向对话（ToD）系统至关重要。为了解决LL的灾难性遗忘问题，生成重放方法被广泛采用，以巩固过去的知识与生成的伪样本。然而，大多数现有的生成重放方法仅使用单个特定于任务的令牌来控制其模型。由于所涉及的信息不足，该方案通常不足以约束生成模型。在本文中，我们提出了一种新的方法，即时条件VAE终身学习（PCLL），以提高生成重放纳入任务的统计。PCLL使用条件变分自编码器捕获特定于任务的分布，条件是自然语言提示以指导伪样本生成。此外，它利用蒸馏过程通过减轻伪样本中的噪声来进一步巩固过去的知识。在ToD系统的自然语言理解任务上的实验表明，PCLL在构建LL模型方面明显优于竞争基线。
2022-11-24 cs.AI cs.CL cs.LG
Causal Discovery and Counterfactual Reasoning to Optimize Persuasive Dialogue Policies
KDDI Research, Inc.（KDDI研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对现有说服性对话系统难适配动态用户状态的问题，提出结合因果发现、反事实推理与强化学习的方法，在PersuasionForGood数据集上实现了说服效果的提升。
2025-03-19 cs.AI cs.CL cs.HC
Generating Relevant and Coherent Dialogue Responses using Self-separated Conditional Variational AutoEncoders
Beijing Institute of Technology（北京理工大学）；The University of Auckland（奥克兰大学）
条件变分自编码器（CVAE）通过使用采样的潜变量丰富上下文向量，有效地增加了开放式对话生成任务中响应的多样性和信息量。然而，由于人类对话中固有的一对多和多对一现象，采样的潜变量可能无法正确反映上下文的语义，导致生成不相关和不连贯的响应。为了解决这个问题，我们提出了自分离条件变分自编码器（简称SepaCVAE），它引入组信息来正则化潜变量，通过提高响应的相关性和一致性，同时保持其多样性和信息性来增强CVAE。SepaCVAE主动将输入数据分组，然后扩大不同组中数据对之间的绝对差异，同时缩小同一组中数据对之间的相对距离。自动评估和详细分析的实证结果表明，SepaCVAE可以显着提高在完善的开放域对话数据集的响应。
2021-06-07 cs.CL
MIRACLE: Towards Personalized Dialogue Generation with Latent-Space Multiple Personal Attribute Control
Huazhong University of Science and Technology（华中科技大学）；Ping An Property & Casualty Insurance Company of China, Ltd.（中国平安财产保险股份有限公司）；Beijing Institute of Technology（北京理工大学）；Brilliance Technology Co. Ltd.（华晨科技股份有限公司）
本文提出MIRACLE方法，通过在潜在空间基于能量的模型中解耦并控制多个人属性，结合条件变分自编码器和定制能量函数与ODE采样，实现高质量且可控的个性化对话生成。
2023-10-22 cs.AI cs.CL
Data Augmentation for Improving Tail-traffic Robustness in Skill-routing for Dialogue Systems
Georgia Institute of Technology（佐治亚理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
针对技能路由的长尾异构数据问题，提出用条件编码器-解码器生成框架增强训练数据，实验证明可显著改善低流量意图的路由鲁棒性。
2023-06-07 cs.CL
TOD-ProcBench: Benchmarking Complex Instruction-Following in Task-Oriented Dialogues
Amazon（亚马逊）
TOD-ProcBench提出了一种评估LLM在任务导向对话中遵循复杂指令能力的基准测试，包含三个任务以全面评估模型的理解和生成能力。
2025-11-20 cs.CL
C-PMI: Conditional Pointwise Mutual Information for Turn-level Dialogue Evaluation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出C-PMI方法，利用条件点互信息衡量轮次级交互，在FED数据集上显著提升与人工评估的相关性，平均Spearman相关性相对提高62.6%。
2023-09-01 cs.CL
Improving Conditional Sequence Generative Adversarial Networks by Stepwise Evaluation
Department of Electrical Engineering, National Taiwan University（台湾大学电机工程学系）
序列生成对抗网络（SeqGAN）已被用于改进条件序列生成任务，例如，闲聊对话生成。为了稳定SeqGAN的训练，使用蒙特卡罗树搜索（MCTS）或每生成步骤的奖励（REGS）来评估生成的子序列的优良性。MCTS是计算密集型的，但是REGS的性能比MCTS差。在本文中，我们提出了逐步GAN（StepGAN），其中修改的卷积自动分配分数量化每个子序列在每个生成步骤的善良。StepGAN的计算成本明显低于MCTS。我们证明StepGAN在合成实验和聊天对话生成方面都优于以前的基于GAN的方法。
2019-02-11 cs.CL stat.ML
An Adversarial Approach to High-Quality, Sentiment-Controlled Neural Dialogue Generation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了一种神经对话响应生成的方法，它不仅允许根据对话历史生成语义合理的响应，而且还可以通过情感标签明确控制响应的情感。我们提出的模型是基于有条件对抗学习的范式;情感控制对话生成器的训练由对抗性学习辅助，该学习评估从对话历史和给定情感标签生成的响应的流畅性和可行性。由于我们的框架的灵活性，生成器可以是标准的序列到序列（SEQ 2 SEQ）模型或更复杂的一个，如条件变分自编码器为基础的SEQ 2 SEQ模型。使用自动和人类评价的实验结果都表明，我们提出的框架是能够生成语义合理和情感控制的对话响应。
2019-01-22 cs.CL
Group-wise Contrastive Learning for Neural Dialogue Generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经对话响应生成得到了广泛的应用。最大似然估计（MLE）目标被广泛采用在现有的对话模型学习。然而，使用MLE目标函数训练的模型在开放域会话设置时受到低多样性问题的困扰。受人类不仅从积极信号中学习，而且还从纠正不良行为中受益的观察的启发，在这项工作中，我们将对比学习引入对话生成，其中模型明确感知精心选择的积极和消极话语之间的差异。具体来说，我们采用预训练的基线模型作为参考。在对比学习期间，目标对话模型被训练为与参考模型相比，对于肯定样本给出更高的条件概率，并且对于那些否定样本给出更低的条件概率。为了管理人类对话中普遍存在的多映射关系，我们用分组双采样来增强对比对话学习。大量的实验结果表明，所提出的组明智的对比学习框架是适合于训练范围广泛的神经对话生成模型具有非常有利的性能超过基线训练方法。
2020-10-13 cs.AI cs.CL
Personalized Large Language Model Assistant with Evolving Conditional Memory
The Hong Kong Polytechnic University（香港理工大学）；INF Technology (Shanghai) co., Ltd.（INF科技（上海）有限公司）；Institute of Artificial Intelligence, Soochow University, China（苏州大学人工智能研究院）
本文提出一个即插即用的框架，通过演化条件记忆机制保存用户历史对话知识，实现个性化大语言模型助手，并构建首个评估基准验证了其有效性。
2024-10-13 cs.AI cs.CL
Multi-turn Dialogue Response Generation in an Adversarial Learning Framework
Capital One Conversation Research（第一资本对话研究部）
我们提出了一种对抗性学习方法来生成多回合对话响应。我们提出的框架hredGAN基于条件生成对抗网络（GANs）。GAN的生成器是一个改进的分层递归编码器-解码器网络（HRED），而RNN是一个与生成器共享上下文和词嵌入的词级双向RNN。在推理过程中，以对话历史为条件的噪声样本用于扰动生成器的潜在空间以生成几种可能的响应。最后一个答案是最好的一个排名的。hredGAN显示出比现有方法更好的性能：（1）它比仅使用对数似然标准训练的网络更好地泛化，（2）即使在有限的训练数据下，它也能生成更长、更丰富、更多样化的响应，具有高的话语和主题相关性。这种改进在Movie三元组和Ubuntu对话数据集上使用自动和人工评估进行了演示。
2019-06-26 cs.AI cs.CL cs.LG
Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation via Hybrid Latent Variables
Beijing Institute of Technology（北京理工大学）；Huawei Technologies Ltd.（华为技术有限公司）
条件变分模型，使用连续或离散的潜变量，是强大的开放域对话响应生成。然而，以前的工作表明，连续的潜变量往往会减少生成的响应的一致性。在本文中，我们还发现，离散的潜变量很难捕捉到更多样化的表达。为了解决这些问题，我们结合了连续和离散潜变量的优点，提出了一种混合潜变量（HLV）方法。具体而言，HLV通过离散潜变量约束响应的全局语义，并使用连续潜变量丰富响应。因此，我们在保持相关性和一致性的同时，使所产生的反应多样化。此外，我们提出了条件混合变分Transformer（CHVT）的建设和利用HLV与Transformers的对话生成。通过细粒度的符号级语义信息和加性高斯混合，我们构建了连续变量的分布，促使生成多样化的表达式。同时，通过自分离训练对离散潜变量进行优化，以保持关联性和连贯性。在两个对话生成数据集（DailyDialog和Opensubtitles）上的实验结果表明，CHVT优于传统的基于transformer的变分机制.多样性、相关性和一致性指标。此外，我们还展示了应用HLV微调两个预训练对话模型（PLATO和BART-base）的好处。
2022-12-02 cs.AI cs.CL
Speaker-change Aware CRF for Dialogue Act Classification
École Polytechnique（巴黎综合理工学院）；Linagora（利纳戈拉公司）；AUEB（雅典经济与商业大学）
本文针对对话行为分类中忽略说话人序列的问题，提出一种感知说话人变化的CRF层修改方法，在SwDA语料库上取得显著提升并能端到端学习复杂转移模式。
2023-06-24 cs.CL cs.LG
LSTM-based Mixture-of-Experts for Knowledge-Aware Dialogues
University of Amsterdam（阿姆斯特丹大学）；Xerox Research Centre Europe（施乐欧洲研究中心）
我们介绍了一种基于LSTM的方法，动态集成多个单词预测专家，以获得一个条件语言模型，它可以同时在几个子任务。我们说明了这种一般的方法与对话的应用程序，我们集成了神经聊天模型，善于对话方面，与神经问答模型，善于从知识库检索精确的信息，并显示集成如何结合的优势，独立的组件。我们希望这篇有重点的文章能引起人们对在NLP中使用这种专家组合的好处的关注。
2016-05-05 cs.AI cs.CL
Improving Contextual Coherence in Variational Personalized and Empathetic Dialogue Agents
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
近年来，潜变量模型，如条件变分自动编码器（CVAE），已被应用于个性化和移情对话生成。以前的工作主要集中在产生不同的对话反应，表现出人物角色的一致性和同情心。然而，当涉及到生成的响应的上下文一致性时，仍有改进的余地。因此，为了提高上下文的连贯性，我们提出了一个新的不确定性感知CVAE（UA-CVAE）框架。UA-CVAE框架涉及在响应生成过程中近似和合并任意不确定性。我们应用我们的框架，个性化和移情对话生成。实证结果表明，我们的框架显着提高了生成的响应的上下文一致性。此外，我们介绍了一种新的自动度量测量上下文连贯性，这被发现与人类的判断呈正相关。
2022-02-12 cs.CL
Open Domain Dialogue Generation with Latent Images
Beihang University（北京航空航天大学）；Meituan（美团）；Microsoft（微软）；China Resources Group（华润集团）
我们考虑将开放域对话与图像结合起来。现有的工作假设图像和文本上下文都是可用的，但图像为基础的对话本质上比文本对话更难获得。因此，我们建议学习一个响应生成模型与图像为基础的对话和文本对话，假设在对话时的视觉场景信息可以由图像表示，并试图通过文本到图像生成技术来恢复文本对话的潜像。两种类型的对话的可能性，然后制定的响应生成器和图像重建器，学习条件变分自动编码框架内。本文对基于图像的会话和基于文本的会话进行了实证研究。在第一种情况下，图像为基础的对话，特别是在低资源的设置，可以有效地增强文本对话与潜像;而在第二种情况下，潜像可以丰富的内容的反应，并在同一时间保持他们相关的上下文。
2021-06-01 cs.AI cs.CL cs.CV
Variational Cross-domain Natural Language Generation for Spoken Dialogue Systems
University of Cambridge（剑桥大学）
跨领域自然语言生成是口语对话建模中的一个难点。给定对话管理器提供的语义表示，语言生成器应该生成传达所需信息的句子。传统的基于模板的生成器可以生成具有所有必要信息的句子，但这些句子的多样性不够。使用基于RNN的模型，生成的句子的多样性可能很高，但是在这个过程中会丢失一些信息。在这项工作中，我们改进了基于RNN的生成器，在生成过程中使用条件变分自编码器架构考虑潜在的信息在句子级别。我们证明了我们的模型优于原来的基于RNN的生成器，同时产生高度多样化的句子。此外，当训练数据有限时，我们的模型表现得更好。
2018-12-20 cs.AI cs.CL
Controllable Mixed-Initiative Dialogue Generation through Prompting
Columbia University（哥伦比亚大学）
针对混合主动对话中可控生成受限于标注成本的问题，提出用提示大型语言模型替代微调，形式化提示构建，在PersuasionForGood和情感支持对话任务上经人类评估和自动指标优于微调及真实响应。
2023-05-06 cs.AI cs.CL cs.HC
CARE: Causality Reasoning for Empathetic Responses by Conditional Graph Generation
Hong Kong Polytechnic University（香港理工大学）
针对共情回复生成中因果关系建模不全且独立推理的问题，本文提出CARE框架，利用CVGAE基于情感、历史和未来对话联合生成因果图，并通过多源注意力注入解码器，实验达到最先进性能。
2024-04-08 cs.CL
Progressive Open-Domain Response Generation with Multiple Controllable Attributes
Ping An Life Insurance Company of China（中国平安人寿保险股份有限公司）；Carnegie Mellon University（卡内基梅隆大学）
期望包括更多的可控属性以增强开放域对话系统中生成的响应的多样性。然而，现有的方法可以生成仅具有一个可控属性的响应，或者缺乏灵活的方式来生成具有多个可控属性的响应。在本文中，我们提出了一个渐进训练的分层编码器-解码器（PHED）来解决这个任务。更具体地说，PHED在Transformer上部署了条件变分自编码器（CVAE），以在一个阶段包括属性的一个方面。CVAE的一个重要特征是将每个阶段的潜变量分为两类：一个是捕捉公共语义特征的全局变量，另一个是吸收该阶段属性信息的特定变量。然后，PHED将CVAE潜在变量与Transformer编码器耦合，并通过最小化新导出的ELBO和受控损耗来进行训练，以产生下一级的输入并根据需要产生响应。最后，我们进行了广泛的评估，以表明PHED显着优于最先进的神经生成模型，并产生更多样化的反应，正如预期的那样。
2021-06-07 cs.CL cs.LG
Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery
Faculty of Information Technology（信息技术学院）；Monash University（莫纳什大学）
在本文中，我们进行了第一次研究虚假相关的开放域响应生成模型的基础上，语料库CGDIALOG策划在我们的工作。目前的模型确实存在虚假的相关性，并且有产生不相关和通用响应的趋势。受因果发现算法的启发，我们提出了一种新的模型不可知的方法，使用条件独立分类器的响应生成模型的训练和推理。该分类器是由一个约束的自我训练方法，创造约束，以克服数据稀缺。基于人工和自动评估的实验结果表明，我们的方法显着优于竞争基线的相关性，信息量和流畅性。
2023-03-02 cs.AI cs.CL
Controllable Neural Dialogue Summarization with Personal Named Entity Planning
Institute for Infocomm Research, A*STAR, Singapore（资讯通信研究院（A*STAR），新加坡）
在本文中，我们提出了一个可控的神经生成框架，可以灵活地指导个人命名实体规划的对话摘要。条件序列的调制，以决定什么类型的信息或什么角度时，形成摘要，以解决欠约束的问题，摘要任务。该框架支持两种类型的用例：（1）综合视角，这是一种没有指定用户偏好的通用案例，考虑来自所有对话者和所有提到的人的摘要点;（2）焦点视角，基于用户指定的个人命名实体定位摘要，该实体可以是对话者之一或对话中提到的人之一。在训练过程中，我们利用个人命名实体和共指信息的发生规划，以提高时间的一致性，并尽量减少神经生成中的幻觉。实验结果表明，我们提出的框架生成流畅的和事实上一致的摘要下各种规划控制使用客观指标和人类的评价。
2021-09-27 cs.CL
CIDER: Commonsense Inference for Dialogue Explanation and Reasoning
University of Michigan（密歇根大学）；Singapore University of Technology and Design（新加坡科技设计大学）
理解和解释人类语言的常识推理是自然语言处理的一个基本研究问题。解释人类对话是一个巨大的挑战，因为它需要上下文理解，规划，推理和推理的几个方面，包括因果，时间和常识推理。在这项工作中，我们介绍了CIDER -一个手动策划的数据集，包含二元对话解释的形式，使用上下文常识推断推断的隐式和显式知识三元组。从对话中提取如此丰富的解释有助于改进几个下游应用程序。注释的三元组通过存在的常识知识的类型（例如，因果的、条件的、时间的）。我们设置了三个不同的任务条件的注释数据集：对话级自然语言推理，跨度提取，多选择跨度选择。基于变压器的模型获得的基线结果表明，任务是困难的，为有前途的未来研究铺平了道路。数据集和基线实现可在https://cider-task.github.io/cider/上公开获得。
2021-06-30 cs.AI cs.CL cs.LG
Bilateral Personalized Dialogue Generation with Contrastive Learning
针对人机对话中忽视用户人格的问题，提出双边个性化对话生成方法，融合用户与机器人人格，采用条件互信息最大化与对比学习选回复，实验验证其更个性化且一致。
2021-09-21 cs.AI cs.CL
Persuasive Dialogue Understanding: the Baselines and Negative Results
Singapore University of Technology and Design（新加坡科技设计大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
说服的目的是通过一系列包含说服者策略的有说服力的信息来形成一个人的观点和行动。由于其在说服性对话系统中的潜在应用，说服性策略识别的研究近年来受到了广泛的关注。现有的对话系统中的用户意图识别方法采用递归神经网络（RNN）或卷积神经网络（CNN）对会话历史中的上下文进行建模，忽略了策略历史和说话人内部关系。在本文中，我们证明了基于转换器的方法加上条件随机场（CRF）的说服性策略识别任务的局限性。在这个模型中，我们利用说话人之间和说话人内部的上下文语义特征，以及标签依赖性来提高识别率。尽管进行了广泛的超参数优化，但该架构未能优于基线方法。我们观察到两个负面结果。首先，CRF不能捕获说服性标签依赖性，可能是因为说服性对话中的策略不像命名实体识别（NER）或词性（POS）标记中的情况那样遵循任何严格的语法或规则。其次，从头开始训练的Transformer编码器在说服性对话中捕获顺序信息的能力不如长短期记忆（LSTM）。我们将此归因于香草Transformer编码器没有有效地考虑序列元素的相对位置信息的原因。
2020-11-22 cs.CL cs.LG
Context-aware Neural Machine Translation for English-Japanese Business Scene Dialogues
University of Potsdam（波茨坦大学）；Carnegie Mellon University（卡内基梅隆大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
本文探讨上下文感知如何提升英日商务对话的神经机器翻译性能，通过微调mBART模型并引入编码说话人轮次和场景类型的上下文标记，结合CXMI分析，证实增加上下文信息显著提升了翻译质量。
2023-11-20 cs.CL
Structure-Conditional Minimum Bayes Risk Decoding
University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）；UCL（伦敦大学学院）
针对开放任务中MBR解码忽视潜在结构的问题，提出三种轻量效用函数改进以增强结构敏感性，在AlpacaEval和MT-Bench上胜率提升达13.7个百分点。
2025-10-23 cs.CL
DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Encoder
Hong Kong University of Science and Technology（香港科技大学）；Clova AI Research, NAVER（NAVER Clova AI研究）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者）
变分自编码器~（VAE）在数据驱动的对话建模中显示出了希望。然而，大多数VAE会话模型将潜在变量上的近似后验分布与简单先验（诸如标准正态分布）相匹配，从而将所生成的响应限制为相对简单的（例如，单峰）范围。在本文中，我们提出了DialogWAE，一个专门为对话建模而设计的条件Wasserstein自动编码器~（WAE）。与在潜在变量上施加简单分布的VAE不同，DialogWAE通过在潜在变量空间内训练GAN来对数据的分布进行建模。具体来说，我们的模型样本从先验和后验分布的潜在变量通过转换上下文相关的随机噪声使用神经网络，并最大限度地减少两个分布之间的Wasserstein距离。我们进一步开发了高斯混合先验网络来丰富潜在空间。在两个流行数据集上的实验表明，DialogWAE在生成更连贯、信息量更大和更多样化的响应方面优于最先进的方法。
2019-02-26 cs.AI cs.CL cs.LG
Conditional set generation using Seq2seq models
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；EPFL（洛桑联邦理工学院）
条件集合生成学习从输入的令牌序列到集合的映射。一些NLP任务，如实体类型和对话情感标记，是集合生成的实例。Seq 2Seq模型是集合生成的流行选择，它将集合视为序列，并且没有充分利用其关键属性，即顺序不变性和基数。我们提出了一种新的算法，有效地采样信息订单的组合空间的标签订单。我们通过预先设置集合大小并利用Seq 2Seq模型使用的自回归因子分解来联合建模集合基数和输出。我们的方法是一种独立于模型的数据增强方法，该方法赋予任何Seq 2Seq模型以顺序不变性和基数的信号。在这个增强的数据上训练Seq 2Seq模型（没有任何额外的注释），在不同模型的四个基准数据集上获得了20%的平均相对改进：BART，T5和GPT-3。使用SETAUG的代码可从https://setgen.structgen.com获得。
2022-10-24 cs.AI cs.CL
Injecting knowledge into language generation: a case study in auto-charting after-visit care instructions from medical dialogue
Elemental Cognition（Elemental Cognition公司）；New York University（纽约大学）；AuxHealth（AuxHealth公司）；Curai Health（Curai Health公司）
本文面向医疗对话自动生成就诊后护理说明，提出利用“利用率”识别并提升关键稀有 token 概率的知识注入方法，从而改善生成结果的事实性与连贯性。
2023-06-06 cs.CL
Style Control for Schema-Guided Natural Language Generation
Amazon Alexa AI（亚马逊Alexa AI）；University of California, Berkeley（加利福尼亚大学伯克利分校）
面向任务的对话系统的自然语言生成（NLG）侧重于准确、流畅和连贯地传达特定内容。虽然这些属性对于成功的对话至关重要，但同时实现特定的文体目标也是可取的，例如响应长度，观点，连贯性，情感，正式性和同理心。在这项工作中，我们专注于风格控制和评估模式引导的NLG，实现语义和风格控制的联合目标。我们详细实验了各种用于大型预训练语言模型的控制生成方法：具体来说，条件训练，指导微调和指导解码。我们讨论了它们的优点和局限性，并使用广泛的自动和人工评估指标对其进行评估。我们的研究结果表明，虽然高的风格准确性和语义正确性更容易实现更多的词汇定义的风格与条件训练，风格控制也可以实现更语义复杂的风格，使用基于鉴别器的指导解码方法。研究结果还表明，更具可扩展性（超参数调整较少）以及解开内容生成和风格变化的方法在实现语义正确性和风格准确性方面更有效。
2021-09-24 cs.CL
What makes a good conversation? How controllable attributes affect human judgments
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）
一场好的谈话需要平衡--在简单和细节之间;在保持主题和改变主题之间;在提出问题和回答问题之间。虽然对话代理通常通过人类对整体质量的判断进行评估，但质量与这些个体因素之间的关系研究较少。在这项工作中，我们研究了两种可控的神经文本生成方法，条件训练和加权解码，以控制四个重要属性的闲聊对话：重复，特异性，响应相关性和提问。我们进行了大规模的人类评估，以衡量这些控制参数对PersonaChat任务上的多轮交互式对话的影响。我们提供了一个详细的分析，他们的关系，高层次的对话方面，并表明，通过控制这些变量的组合，我们的模型获得了明显的改善，在人类的质量判断。
2019-04-10 cs.CL
BanglaNLG and BanglaT5: Benchmarks and Resources for Evaluating Low-Resource Natural Language Generation in Bangla
Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学（BUET））；University of California Los Angeles（加州大学洛杉矶分校）
这项工作提出了BanglaNLG，一个全面的基准评估自然语言生成（NLG）模型在孟加拉国，一个广泛使用但资源不足的语言。我们在BanglaNLG基准下汇总了六个具有挑战性的条件文本生成任务，并在此过程中引入了一个新的对话生成数据集。此外，使用27.5 GB的孟加拉语数据的干净语料库，我们预训练BanglaT5，这是孟加拉语的序列到序列Transformer语言模型。BanglaT5在所有这些任务中都实现了最先进的性能，超过了几个多语言模型，绝对增益高达9%，相对增益高达32%。我们将在https://github.com/csebuetnlp/BanglaNLG上公开发布新的对话数据集和BanglaT5模型，希望能推动未来对Bangla NLG的研究。
2023-02-12 cs.CL
Automatic Conditional Generation of Personalized Social Media Short Texts
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Key Laboratory of Network System and Network Culture（网络系统与网络文化北京市重点实验室）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
由于深度神经网络的快速发展，文本自动生成受到了广泛关注。基于统计语言模型的文本生成系统一般不会考虑拟人化特征，从而导致生成的文本类似于机器生成的文本。为了填补这一空白，我们提出了一个有条件的语言生成模型与大五人格（BFP）的特征向量作为输入上下文，写类似人类的短文本。短文本生成器由一层长短记忆网络（LSTM）组成，其中BFP特征向量被连接为每个单元格的输入的一部分。为了实现有监督的训练生成模型，采用基于文本分类模型的卷积神经网络（CNN）对BFP标注的中文微博语料进行训练。通过BFP语言学计算模型的验证，我们生成的中文短文本具有区分性的个性风格，并且具有正确的句法和流畅的语义以及适当的表情符号。该模型将自然语言生成与心理语言学相结合，可广泛应用于机器翻译、图像字幕、对话生成等个性化文本生成。
2019-06-15 cs.AI cs.CL cs.SI
Detecting Emotional Dynamic Trajectories: An Evaluation Framework for Emotional Support in Language Models
针对现有LLMs情绪支持评估依赖静态对话的局限，提出基于轨迹的评估框架，构建含328个情绪语境和1152个干扰事件的基准，引入三个轨迹指标，揭示模型情绪支持能力差异并为开发提供见解。
2025-11-12 cs.CL
Variational Transformers for Diverse Response Generation
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
尽管Transformers在许多序列建模任务中有很大的前景（例如，机器翻译），它们的确定性本质阻碍了它们推广到诸如对话响应生成之类的高熵任务。以前的工作提出了捕捉对话响应的变化与递归神经网络（RNN）为基础的条件变分自编码器（CVAE）。然而，RNN的自回归计算限制了训练效率。因此，我们提出了变分Transformer（VT），变分自关注前馈序列模型。VT通过将随机潜变量纳入Transformers中，将Transformer的并行性和全局感受野与CVAE的变分性质相结合。我们探索两种类型的VT：1）建模的话语级的多样性与全球的潜变量;和2）增强的Transformer解码器与一系列细粒度的潜变量。然后，在三个会话数据集上对所提出的模型进行自动度量和人工评估。实验结果表明，我们的模型提高了标准Transformers和其他基线的多样性，语义相关性和人类的判断。
2020-03-28 cs.CL
DiffuSIA: A Spiral Interaction Architecture for Encoder-Decoder Text Diffusion
National Engineering Research Center of Speech and Language Information Processing（国家语音及语言信息处理工程技术研究中心）；University of Science and Technology of China（中国科学技术大学）
针对编码器-解码器文本扩散中条件编码缺乏目标文本理解的问题，提出螺旋交互架构DiffuSIA，通过编码器与解码器间的螺旋式信息流实现深度融合，在四个文本生成任务上取得竞争性能。
2023-05-19 cs.AI cs.CL
Incorporating Causal Analysis into Diversified and Logical Response Generation
Alibaba Group（阿里巴巴集团）；Huazhong University of Science and Technology（华中科技大学）；Ant Group（蚂蚁集团）
虽然条件变分自编码器（CVAE）模型可以比传统的Seq 2Seq模型生成更多样化的响应，但是响应通常与输入的单词相关性低或者与问题不合逻辑。本文通过因果分析来研究其背后的原因，并提出了寻找调解人和减轻对话中混杂偏见的方法。具体来说，我们建议预测的介质，以保持相关的信息和自回归纳入生成过程中的介质。此外，一个动态的主题图引导的条件变分自编码器（TGG-CVAE）模型被用来补充的语义空间，减少混淆的偏见的反应。大量的实验表明，该模型能够生成相关的和信息丰富的响应，并优于国家的最先进的自动度量和人类的评价。
2022-10-11 cs.AI cs.CL
ASR error management for improving spoken language understanding
Le Mans University（勒芒大学）；University of Avignon（阿维尼翁大学）；McGill University（麦吉尔大学）
本文讨论的问题，自动语音识别（ASR）的错误检测和使用，以提高口语语言理解（SLU）系统。在这项研究中，SLU任务包括自动提取，从ASR transmittance，语义概念和概念/值对，例如旅游信息系统。提出了一种方法，用于丰富的语义标签与错误的特定标签的集合，并通过使用最近提出的神经方法的基础上词嵌入来计算良好校准的ASR置信度的措施。实验结果表明，它是可能的，以减少显着的概念/值出错率与最先进的系统的状态，优于以前公布的结果性能相同的实验数据。它还表明，结合SLU方法的基础上的条件随机场与神经编码器/解码器的注意力为基础的架构，它可以有效地识别信心岛和不确定的语义输出段，用于决定适当的错误处理行动的对话管理器策略。
2017-05-26 cs.AI cs.CL cs.NE
Neural Conversation Models and How to Rein Them in: A Survey of Failures and Fixes
University of Potsdam（波茨坦大学）
本文从格赖斯合作准则出发，系统梳理神经对话模型在流畅性、信息量、一致性、连贯性和社会规范方面的失败与修复方法，并提出未来研究方向。
2023-08-11 cs.AI cs.CL cs.LG
