Two-stage Incomplete Utterance Rewriting on Editing Operation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对现有不完整话语改写研究忽略对话共指与省略现象的问题，提出两阶段编辑操作框架TEO及对抗扰动策略，在三个数据集上性能显著优于当前最优模型。
2025-03-20 cs.AI cs.CL
Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue
Carnegie Mellon University（卡内基梅隆大学）；ANT GROUP（蚂蚁集团）
上下文建模在构建多轮对话系统中起着重要的作用。为了充分利用语境信息，系统可以使用不完全话语重写（IUR）方法，通过将当前话语和语境信息合并成一个自包含的话语，将多轮对话简化为单轮对话。然而，以前的方法忽略了原始查询和重写查询之间的意图一致性。可以进一步改进对原始查询中的省略或共指位置的检测。在本文中，我们引入了对比学习和多任务学习来联合建模的问题。我们的方法受益于精心设计的自我监督的目标，作为辅助任务，以捕捉语义在文本级和令牌级。实验表明，我们提出的模型在几个公共数据集上达到了最先进的性能。
2022-03-22 cs.CL cs.LG
Incomplete Utterance Rewriting as Sequential Greedy Tagging
SF Technology Co., Ltd.（顺丰科技有限公司）
针对不完整话语重写中上下文信息提取困难的问题，提出融合说话人感知嵌入的序列贪心标注模型，在九项恢复指标上取得最优结果，并提升推理速度。
2023-07-08 cs.CL cs.LG
Incomplete Utterance Rewriting as Semantic Segmentation
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院）；Microsoft Research（微软研究院）
近年来，不完整话语的改写问题引起了人们的广泛关注。以前的工作通常将其塑造为一个机器翻译任务，并采用基于序列到序列的体系结构与复制机制。在本文中，我们提出了一种新的和广泛的方法，制定它作为一个语义分割任务。而不是从零开始生成，这样的配方介绍了编辑操作和形状的问题作为一个字级编辑矩阵的预测。受益于能够捕获本地和全球信息，我们的方法在几个公共数据集上实现了最先进的性能。此外，我们的方法比标准方法的推理速度快四倍。
2020-09-28 cs.CL cs.LG
Beyond Supervised Clarification: Input Rewriting with LLMs for Dialogue Discourse Parsing
研究在无监督条件下利用LLM零样本或基于解析器反馈重写输入以提升对话篇章解析性能，发现重写常引入回归，提出选择性干预问题并识别可重写性预测为关键缺失能力。
2026-07-03 cs.CL
In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting
针对ICL中示例选择未利用LLM反馈的问题，提出基于强化学习的RLS框架，通过LM选择器和LLM生成器优化示例选择，显著提升了少样本设置下的性能。
2024-08-23 cs.CL
Speaker-Sensitive Dual Memory Networks for Multi-Turn Slot Tagging
Amazon Alexa Brain（亚马逊Alexa Brain）；Microsoft Research（微软研究院）
在多轮对话中，自然语言理解模型由于对上下文信息视而不见而可能引入明显的错误。为了整合对话历史，我们提出了一个具有说话者敏感双记忆网络的神经架构，该网络根据说话者的不同对话语进行不同的编码。这解决了系统可用信息的不同程度-系统只知道用户话语的表面形式，而它具有系统输出的确切语义。我们对商业个人助理Microsoft Cortana的真实用户数据进行了实验。结果表明，使用上下文信息的最先进的槽标记模型的性能显着提高。
2017-11-29 cs.CL
Improving Multi-turn Dialogue Modelling with Utterance ReWriter
Tencent Inc（腾讯公司）；MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔大学信息学院）；Institute of Software, University of Chinese Academy of Science（中国科学院大学软件研究所）；Alibaba Group（阿里巴巴集团）；IBM Research（IBM研究院）
最近的研究在单轮对话建模方面取得了令人印象深刻的进展。然而，在多转弯设置中，当前的模型仍然远远不能令人满意。一个主要的挑战是我们日常对话中经常发生的共指和信息遗漏，这使得机器很难理解真正的意图。在本文中，我们建议重写人类的话语作为一个预处理，以帮助多轮dialgoue建模。首先重写每个话语以恢复所有共指和省略的信息。然后基于重写的话语执行接下来的处理步骤。为了正确训练话语重写器，我们收集了一个新的数据集与人类注释，并介绍了一个基于转换器的话语重写架构使用指针网络。我们表明，所提出的架构实现了非常好的性能上的话语重写任务。经过训练的话语重写器可以很容易地集成到在线聊天机器人中，并在不同的领域带来普遍的改进。
2019-06-14 cs.AI cs.CL
When differential privacy meets NLP: The devil is in the detail
Technical University of Darmstadt（达姆施塔特工业大学）
差分隐私提供了一个正式的方法来保护个人隐私。差分隐私在各种场景中的应用，例如保护用户的原始话语，必须满足某些数学性质。我们的贡献是对ADePT的正式分析，ADePT是一种用于文本重写的差分私有自动编码器（Krishna等人，2021）。ADePT在下游任务上取得了令人鼓舞的成果，同时提供了严格的隐私保证。我们的证据表明，ADePT是没有差异的私人，从而使实验结果未经证实。我们还量化了其私有机制中的错误的影响，表明在非常小的编码器维度的乐观情况下，真实的灵敏度至少高出6倍，并且未私有化的话语量可以轻松达到整个数据集的100%。我们的意图既不是批评作者，也不是批评同行评审过程，而是指出，如果NLP中的差分隐私应用依赖于正式的保证，这些应该被全面概述并进行详细审查。
2021-09-07 cs.CL cs.CR
Who speaks like a style of Vitamin: Towards Syntax-Aware DialogueSummarization using Multi-task Learning
Korea University（高丽大学）；VAIV Corp（VAIV公司）；New York University（纽约大学）
针对对话信息分散且语体非正式的问题，本文提出融合 POS tagging 的句法感知多任务学习模型，用于区分说话者风格并提升生成式对话摘要性能。
2021-11-04 cs.CL
Compositional Generalization via Semantic Tagging
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
尽管神经序列到序列模型已经成功地应用于语义解析，但是它们在合成泛化方面失败，即，它们不能系统地归纳出可见成分的不可见成分。出于传统的语义解析，组合性是明确占符号语法，我们提出了一个新的解码框架，保留了表达性和一般性的序列到序列模型，同时具有词典风格的路线和解开信息处理。具体来说，我们分解解码成两个阶段，其中输入的话语是第一次标记的语义符号表示的含义的个别单词，然后序列到序列模型被用来预测最终的意义表示条件的话语和预测的标签序列。在三个语义解析数据集上的实验结果表明，该方法一致地提高了跨模型架构、域和语义形式主义的组合泛化能力。
2021-09-09 cs.CL
Rewriting Conversational Utterances with Instructed Large Language Models
University of Pisa（比萨大学）；ISTI-CNR（ISTI-CNR研究院）
本文研究了使用指令微调大型语言模型在对话环境中重写用户问题以提升对话搜索有效性，在TREC CAST数据集上的实验表明该方法在多项检索指标上较最先进技术取得显著提升。
2024-10-10 cs.AI cs.CL cs.HC
An Unsupervised Dialogue Topic Segmentation Model Based on Utterance Rewriting
Beijing Information Science & Technology University（北京信息科技大学）
针对多轮对话中共指、省略影响无监督主题分割效果的问题，提出结合话语改写技术的UR-DTS模型，通过改写恢复共指与省略内容，在DialSeg711、Doc2Dial数据集上实现性能提升，达到无监督SOTA水平。
2024-09-12 cs.AI cs.CL
Unsupervised Context Rewriting for Open Domain Conversation
Microsoft（微软）；Microsoft Research（微软研究院）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
上下文建模在开放域会话中具有举足轻重的作用。现有的作品要么使用探试法或联合学习上下文建模和响应生成的编码器-解码器框架。本文提出了一种显式语境重写方法，该方法考虑语境历史重写最后一个话语。我们利用伪并行数据，并阐述了一个上下文重写网络，这是建立在CopyNet与强化学习方法。重写的话语有利于候选检索，可解释的上下文建模，以及使单话轮框架能够应用于多话轮场景。实证结果表明，我们的模型在重写质量，多轮响应生成和端到端检索聊天机器人方面优于基线。
2019-10-30 cs.AI cs.CL cs.LG
LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging
Amazon（亚马逊）
我们提出了LINGUIST，一种用于生成意图分类和插槽标记（IC+ST）的注释数据的方法，通过微调AlexaTM 5B，一个50亿参数的多语言序列到序列（seq2seq）模型，在灵活的指令提示符上。在SNIPS数据集的10次新意图设置中，LINGUIST大大超过了最先进的方法（反向翻译和示例外推），显示出目标意图的绝对改善，IC回忆为+1.9分，ST F1分数为+2.5分。在mATIS++数据集的zero-shot跨语言设置中，LINGUIST在6种语言的ST F1评分上的表现超过了具有插槽对齐的机器翻译的强基线，绝对值为+4.14分，同时匹配IC的性能。最后，我们验证了我们的结果在内部大规模的多语言数据集的会话代理IC+ST，并显示出显着的改善基线，使用回译，释义和插槽目录回复。据我们所知，我们是第一个演示大规模seq2seq模型的指令微调，以控制多语言意图和插槽标记数据生成的输出。
2022-09-20 cs.AI cs.CL cs.LG
Discourse Coherence and Response-Guided Context Rewriting for Multi-Party Dialogue Generation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
本文提出DRCR框架，通过对话上下文重写提升多方对话生成效果，利用对话连贯性和响应质量构建偏好数据，并采用动态自进化学习方法增强重写与响应能力。
2026-04-13 cs.CL
RSMLP: A light Sampled MLP Structure for Incomplete Utterance Rewrite
Hunan University（湖南大学）；College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）；Greater Bay Area Institute for Innovation, Hunan University（湖南大学粤港澳大湾区创新研究院）
针对不完整话语改写任务，提出轻量级 RSMLP 方法，通过基于 MLP 的架构与下采样策略提取话语间语义并完成编辑恢复，在公开数据集和实际应用中取得有竞争力的性能。
2025-02-18 cs.AI cs.CL
KG-ECO: Knowledge Graph Enhanced Entity Correction for Query Rewriting
Amazon（亚马逊）
查询重写（QR）在大规模对话系统中起着减少摩擦的关键作用。当存在实体错误时，它对对话系统产生令人满意的响应提出了额外的挑战。在这项工作中，我们提出了KG-ECO：知识图谱增强实体COrrection查询重写，一个实体纠正系统与腐败的实体跨度检测和实体检索/重新排名功能。为了提高模型的性能，我们结合了知识图谱（KG）来提供实体结构信息（由图神经网络编码的相邻实体）和文本信息（由RoBERTa编码的KG实体描述）。实验结果表明，我们的方法在两个基线上产生了明显的性能增益：话语水平QR和实体校正，而不利用KG信息。所提出的系统是特别有效的少样本学习的情况下，目标实体很少看到在训练中或有一个KG关系的目标实体和其他上下文实体的查询。
2023-02-22 cs.CL cs.LG
Modeling Long Context for Task-Oriented Dialogue State Generation
Soochow University（苏州大学）
基于最近提出的可转移的对话状态生成器（TRADE），预测对话状态，从话语连接的对话上下文，我们提出了一个多任务学习模型，一个简单而有效的话语标记技术和双向语言模型作为辅助任务的面向任务的对话状态生成。通过使模型能够学习更好地表示长对话上下文，我们的方法试图解决当输入对话上下文序列较长时基线性能显着下降的问题。在我们的实验中，我们提出的模型比基线实现了7.03%的相对改进，在MultiWOZ 2.0数据集上建立了52.04%的新的最先进的联合目标准确度。
2020-04-29 cs.CL
Dialogue Act Tagging with Transformation-Based Learning
对于识别对话行为的任务，我们正在应用基于转换的学习（TBL）机器学习算法。为了避免稀疏数据的问题，我们提取的话语，如说话人的方向，标点符号，和一个新的功能，称为对话行为线索，我们发现这是更有效的比提示短语和词n-gram在实践中动机良好的功能的值。我们提出的策略，通过最小化训练语料库中的对话行为的分布的熵，过滤掉不相关的对话行为线索，并聚类语义相关的话，自动构建一组对话行为线索。此外，为了解决TBL的局限性，我们引入了Monte Carlo策略来有效地训练和委员会方法来计算置信度。这些想法结合在我们的工作实现中，它可以像任何其他报告的对话行为标记任务系统一样准确地标记保留的数据。
1998-06-08 cmp-lg cs.CL
User-Initiated Repetition-Based Recovery in Multi-Utterance Dialogue Systems
Apple（苹果公司）
识别错误在人类交流中很常见。类似的错误经常导致对话系统或虚拟助理中的不希望的行为。在人类交流中，我们可以通过重复错误识别的单词或短语来恢复它们;然而在人机交流中，这种恢复机制不可用。在本文中，我们试图弥合这一差距，并提出了一个系统，允许用户纠正语音识别错误的虚拟助手通过重复误解的话。当用户重复短语的一部分时，系统重写原始查询以包含更正。这种重写允许虚拟助理成功地理解原始查询。我们提出了一个端到端的两步注意指针网络，可以通过将错误理解的话语与纠正后续合并在一起来生成重写的查询。我们评估的数据收集这项任务的模型，并比较所提出的模型，以基于规则的基线和标准指针网络。我们表明，重写原始查询是一种有效的方法来处理基于重复的恢复，该模型优于基于规则的基线，减少字出错率19%，相对于2%的误报率注释数据。
2021-08-02 cs.CL cs.SD eess.AS
Towards Open Intent Discovery for Conversational Text
Ohio State University（俄亥俄州立大学）；Adobe Research（奥多比研究院）
从书面和口头文本中检测和识别用户意图在建模和理解对话中起着重要作用。现有的意图发现研究将其建模为具有预定义的一组已知类别的分类任务。为了推广这些预先存在的类，我们定义了一个新的任务\textit{open intent discovery}。我们研究如何将意图推广到那些在训练过程中看不到的人。为此，我们提出了一个两阶段的方法来完成这项任务-预测话语是否包含意图，然后标记输入话语中的意图。我们的模型由一个双向LSTM组成，上面有一个CRF来捕获上下文语义，但受到一些约束。自我注意力用于学习长距离依赖。此外，我们采用对抗性训练方法来提高跨领域的鲁棒性和性能。我们还提出了一个数据集的25 k现实生活中的话语，已标记通过众包。我们在不同领域和真实世界数据集上的实验表明了我们方法的有效性，每个独特领域需要不到100个注释示例来识别不同的意图。该方法比最先进的基线高出5-15%的F1得分。
2019-04-17 cs.CL cs.IR
MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers
Azure Text Analytics, Microsoft Cloud & AI（微软云与人工智能部门Azure文本分析团队）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能团队）；Alexa AI, Amazon（亚马逊Alexa人工智能团队）
Cortana、Alexa和Siri等会话代理不断通过添加新域来提高其功能。对新领域的支持包括设计和开发用于领域分类、意图分类和槽标记（包括命名实体识别）的多个NLU组件。每个组件只有在大量标记数据上训练时才能表现良好。第二，这些组件部署在有限内存的设备上，这需要一些模型压缩。第三，对于诸如健康领域的某些领域，难以找到覆盖所有所需槽类型的单个训练数据集。为了克服这些问题，我们提出了一个多任务的转换器为基础的神经网络结构的插槽标记。我们认为使用多个数据集覆盖不同的插槽类型作为一个多任务学习问题的槽标签的培训。生物医学领域的实验结果表明，所提出的方法优于以前的国家的最先进的系统槽标记不同的基准生物医学数据集的（时间和内存）的效率和有效性。输出时隙标注器可以由会话代理使用以更好地识别输入话语中的实体。
2020-01-24 cs.CL cs.LG stat.ML
