Pushing Paraphrase Away from Original Sentence: A Multi-Round Paraphrase Generation Approach
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学研究中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
近年来，基于Seq 2Seq的神经元释义生成取得了优异的性能，但生成的释义仍然存在多样性不足的问题。在本文中，我们专注于提高生成的释义和原始句子之间的多样性，即，使生成的释义尽可能与原句不同。我们提出了BTmPG（Back-Translation guided multi-round Paraphrase Generation），它利用多轮释义生成来提高多样性，并采用反向翻译来保留语义信息。我们在两个基准数据集上评估BTmPG。自动评价和人工评价均表明，BTmPG在保持原句语义的同时，提高了释义的多样性。
2021-09-04 cs.AI cs.CL
A Large-Scale Benchmark for Vietnamese Sentence Paraphrases
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
本文构建首个大规模越南语句子复述高质量数据集ViSP（含120万句对），通过混合方法保障质量，用多种模型实验验证，为越南语复述研究提供基础。
2025-02-11 cs.CL
Syntax-guided Controlled Generation of Paraphrases
Indian Institute of Science（印度科学学院）；Google（谷歌）；Microsoft Research（微软研究院）
给出一个句子（例如，"我喜欢芒果"）和约束（例如，情感翻转），受控文本生成的目标是产生使输入句子适应以满足约束要求的句子（例如，"我讨厌芒果"）。超越这些简单的限制，最近的作品已经开始探索将复杂的句法指导作为约束条件纳入受控释义生成的任务中。在这些方法中，句法指导来源于一个单独的例句。然而，这些先前的工作只利用有限的句法信息，可在分析树的例句。本文针对这一局限性，提出了一种端到端的句法释义生成框架-引导式控制释义器（SGCP）。我们发现，SGCP可以生成符合语法的句子，而不损害相关性。我们对多个真实世界的英语语言数据集进行了广泛的自动化和人工评估，以证明SGCP在最先进的基线上的有效性。为了推动未来的研究，我们提供了SGCP的源代码
2020-05-18 cs.CL
Pointwise Paraphrase Appraisal is Potentially Problematic
University of Virginia（弗吉尼亚大学）
训练和评估释义识别模型的流行方法被构造为二元分类问题：模型被赋予一对句子，并通过它将成对句子分类为释义或非释义的准确程度来判断。这种基于点的评估方法并不符合大多数现实世界应用的目标，所以我们的工作的目标是了解如何在点评估下表现良好的模型在实践中可能会失败，并找到更好的方法来评估释义识别模型。作为实现这一目标的第一步，我们表明，虽然通过将两个句子配对为一个序列来微调BERT以进行释义识别的标准方法导致具有最先进性能的模型，但该模型在识别具有两个相同句子的句子对等简单任务上可能表现不佳。此外，我们表明，这些模型甚至可以预测一对随机选择的句子具有更高的释义分数比一对相同的。
2020-06-05 cs.CL
Learning to Paraphrase: An Unsupervised Approach Using Multiple-Sequence Alignment
我们解决文本到文本的生成问题的句子级释义-一种现象，不同的和更困难的词或短语级释义。我们的方法适用于多序列对齐从未注释的可比语料库收集的句子：它学习一组由词格对表示的释义模式，并自动确定如何应用这些模式重写新的句子。我们的评估实验的结果表明，该系统得出准确的释义，优于基线系统。
2003-04-02 cs.CL
Polly Want a Cracker: Analyzing Performance of Parroting on Paraphrase Generation Datasets
National Taiwan University（国立台湾大学）
释义生成是一个有趣的和具有挑战性的自然语言处理任务，有许多实际应用。在本文中，我们分析了常用于释义生成研究的数据集，并表明，简单地模仿输入句子超过了最先进的模型在文献中的标准指标进行评估时。我们的研究结果表明，一个模型可能看起来很擅长生成释义，尽管只对输入的句子做了微不足道的修改，甚至根本没有修改。
2019-08-19 cs.CL
Towards Document-Level Paraphrase Generation with Sentence Rewriting and Reordering
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学研究中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
释义生成是自然语言处理中的一项重要任务。以往的研究主要集中在文本级的释义生成，而忽略了文档级的释义生成，这是一个更具挑战性和价值的任务。在本文中，我们首次探讨了文档级释义生成的任务，并通过考虑句子重写和重新排序来关注句子间的多样性。我们提出了CoRPG（Coherence Relationship Guided Paraphrase Generation），它利用图GRU对连贯关系图进行编码，得到每个句子的连贯感知表示，该表示可用于重新排列多个（可能修改的）输入句子。我们创建了一个伪文档级的释义数据集来训练CoRPG。自动评估结果显示，CoRPG在BERTScore和多样性得分上优于几个强基线模型。人工评价也表明我们的模型可以生成更多样性和语义保持的文档释义。
2021-09-15 cs.AI cs.CL
Open Subtitles Paraphrase Corpus for Six Languages
University of Helsinki（赫尔辛基大学）
本文伴随着Opusparcus的发布，Opusparcus是一个新的释义语料库，适用于六种欧洲语言：德语，英语，芬兰语，法语，俄语和瑞典语。语料库由释义组成，即同一语言中的成对句子，意思大致相同。这些释义是从OpenSubtitles 2016语料库中提取的，其中包含电影和电视节目的字幕。例如，从计算机辅助语言学习的角度来看，字幕中出现的非正式和口语化的体裁使这些数据成为非常有趣的语言资源。对于每一种目标语言，Opusparcus数据被划分为三种类型的数据集：训练集、开发集和测试集。训练集很大，由数百万个句子对组成，并且在概率排名函数的帮助下自动编译。开发和测试集由已经手动检查的句子对组成;每个集合包含大约1000个句子对，这些句子对已经被两个注释者验证为可接受的释义。
2018-09-17 cs.CL
Metaphoric Paraphrase Generation
UKP Lab, Technical University of Darmstadt（达姆斯塔特工业大学UKP实验室）
这项工作描述了隐喻释义生成的任务，在这个任务中，我们被赋予一个字面意义的句子，并负责生成一个隐喻释义。我们提出了两个不同的模型，这个任务：一个词汇替换基线和一个新的序列到序列模型，“隐喻掩蔽”，产生免费的隐喻释义。我们使用众包来评估我们的结果，以及开发一个自动度量评估隐喻释义。我们发现，虽然词汇替换基线能够产生准确的释义，但它们往往缺乏隐喻性，而我们的隐喻掩蔽模型在生成隐喻句子方面表现出色，同时在流畅性和释义质量方面表现得几乎一样好。
2020-02-28 cs.CL
Neural Syntactic Preordering for Controlled Paraphrase Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对自然语言句子进行释义是一个多方面的过程：它可能涉及替换单个单词或短语，局部重新排列内容，或高层次的重组，如主题化或被动化。过去的方法很难以一种可解释的方式来覆盖这个释义可能性的空间。我们的工作受到机器翻译中的预排序文献的启发，使用句法转换来柔和地“重新排序”源句子并指导我们的神经释义模型。首先，给定一个输入句子，我们使用编码器-解码器模型推导出一组可行的句法重排。该模型在句子的部分词汇，部分句法视图上操作，并且可以重新排序大块。接下来，我们使用每个建议的重排来产生一个位置嵌入序列，这鼓励我们最终的编码器-解码器释义模型以特定的顺序处理源单词。我们的评估，自动和人类，表明该系统保留了基线方法的质量，同时大大增加了所生成的释义的多样性
2020-05-05 cs.CL
Revision for Concision: A Constrained Paraphrase Generation Task
Singapore University of Technology and Design（新加坡科技设计大学）
学术写作应该简洁，因为简洁的句子更能吸引读者的注意力，更能清晰地传达意思。写作简明扼要是一项挑战，因为作者经常努力修改他们的草稿。我们引入并制定了简洁的修订作为一个自然语言处理任务在句子级别。为了简洁而修改需要算法只使用必要的单词来重写句子，同时保留其含义。修改后的句子应该根据它的选词、句子结构和组织来评价。修改后的句子还需要满足语义保留和句法合理性。为了帮助这些努力，我们策划并提供了一个基准并行数据集，可以描述简洁的修订。该数据集包含536对修改前后的句子，所有对都是从大学写作中心收集的。我们还提出并评估了解决这个问题的方法，这可能有助于这一领域的研究人员。
2022-10-25 cs.CL
ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation
University of California Los Angeles（加州大学洛杉矶分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Southern California（南加州大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出ParaAMR数据集，通过抽象语义表示回译生成大规模句法多样化复述，并验证其在句子嵌入、句法可控复述生成和少样本数据增强等任务上的改进效果。
2023-05-26 cs.CL
ARPA: Armenian Paraphrase Detection Corpus and Models
Russian-Armenian University（俄罗斯-亚美尼亚大学）；Ivannikov Laboratory for System Programming（伊万尼科夫系统编程实验室）
在这项工作中，我们采用了一种半自动的方法，基于回译生成一个亚美尼亚语的原始释义语料库。最初收集的句子从亚美尼亚语翻译成英语，然后再翻译两次，结果是成对的词汇上遥远但语义上相似的句子。然后，对生成的释义进行手动审查和注释。使用该方法创建了训练和测试数据集，总共包含2360个释义。此外，这些数据集被用来训练和评估基于BERT的亚美尼亚语释义检测模型，取得了与其他语言的最先进水平相当的结果。
2020-09-26 cs.CL
Improving Paraphrase Detection with the Adversarial Paraphrasing Task
University of South Florida（南佛罗里达大学）
如果两个句子有相同的意思，那么它们在推理性质上应该是等价的，即，每一句话都应该在文本上派生出另一句话。然而，目前广泛使用的许多释义数据集依赖于基于单词重叠和语法的释义感。我们能不能教他们识别释义的方法是利用句子的推理特性，而不是过度依赖句子对的词汇和句法相似性？我们将对抗范式应用于这个问题，并引入了一种新的用于释义识别的数据集创建的对抗方法：对抗释义任务（APT），该任务要求参与者生成语义等效（在相互暗示的意义上）但词汇和句法不同的释义。然后，这些句子对可以用于测试释义识别模型（几乎没有随机准确性），然后提高其性能。为了加速数据集的生成，我们使用T5探索了APT的自动化，并表明生成的数据集也提高了准确性。我们讨论了释义检测的影响，并发布了我们的数据集，希望释义检测模型能够更好地检测句子级别的意义等价。
2021-06-14 cs.AI cs.CL
Paraphrase Generation with Deep Reinforcement Learning
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Toutiao AI Lab（今日头条人工智能实验室）
从给定句子自动生成释义是自然语言处理（NLP）中一项重要而又具有挑战性的任务，并且在诸如问答、搜索和对话等许多应用中起着关键作用。在本文中，我们提出了一种深度强化学习方法来生成释义。具体来说，我们提出了一个新的框架的任务，它包括一个\textit{generator}和一个\textit{evaluator}，这两个都是从数据中学习。生成器，作为一个序列到序列的学习模型，可以产生一个句子的释义。评价器构造为一个深度匹配模型，可以判断两个句子是否是彼此的释义。生成器首先通过深度学习进行训练，然后通过强化学习进行进一步微调，其中奖励由评估器给出。对于评估器的学习，我们分别提出了基于监督学习和逆强化学习的两种方法，这取决于可用的训练数据的类型。实证研究表明，学习后的评价者可以指导生成者生成更准确的释义。实验结果表明，所提出的模型（生成器）优于国家的最先进的方法在自动评估和人类评估的释义生成。
2018-08-23 cs.CL
Multilingual Lexical Simplification via Paraphrase Generation
Yangzhou University（扬州大学）；University of South Florida（南佛罗里达大学）
本文提出一种基于复述生成的多语言词汇简化方法，将复述视为零样本翻译任务，通过仅关注复杂词词汇变化的新颖解码策略生成替代词，在英语、西班牙语和葡萄牙语上显著优于BERT和零样本GPT3方法。
2023-07-28 cs.CL
Learning to Paraphrase Sentences to Different Complexity Levels
National Tsing Hua University（国立清华大学）
本文针对句子简化、复杂化和同级别改写三项任务，提出两个无监督数据集，通过多任务和提示策略训练模型，在ASSET基准上取得最优性能，并评估了大型语言模型的零样本表现。
2023-08-04 cs.CL
Finding Friends and Flipping Frenemies: Automatic Paraphrase Dataset Augmentation Using Graph Theory
University of Virginia（弗吉尼亚大学）
大多数NLP数据集都是手动标记的，因此存在不一致的标记或有限的大小。我们提出了自动改进数据集的方法，通过将它们视为具有预期语义属性的图形。我们从提供的句子对标签构建一个释义图，并通过使用传递性属性直接从原始句子对推断标签来创建增强数据集。我们使用结构平衡理论来识别图中可能的错误标签，并翻转它们的标签。我们评估了我们的方法在使用这些数据集从预训练的BERT模型开始训练的释义模型上，发现自动增强的训练集会产生更准确的模型。
2020-11-03 cs.CL
Learning Paraphrastic Sentence Embeddings from Back-Translated Bitext
Toyota Technological Institute at Chicago（芝加哥丰田工业研究所）；University of Edinburgh（爱丁堡大学）
我们考虑在Wieting et al.（2016 b）的背景下学习通用的、释义的句子嵌入的问题。我们使用神经机器翻译通过回译双语句子对来生成原始释义。我们评估的释义对他们的能力，作为学习释义句子嵌入的训练数据。我们发现，数据质量比以前的工作更强，基于bitext和手动编写的英语释义对，与我们的方法可以扩展到许多语言和领域生成大型训练集的优势。我们尝试了几种语言对和数据源，并开发了各种数据过滤技术。在这个过程中，我们探索了神经机器翻译输出与人类书写的句子的不同之处，发现了长度，重复量和罕见单词的使用方面的明显差异。
2017-06-06 cs.CL
Essentia: Mining Domain-Specific Paraphrases with Word-Alignment Graphs
University of Pennsylvania（宾夕法尼亚大学）；Megagon Labs（Megagon实验室）
释义是自然语言处理中的重要语言资源。人们已经提出了许多从普通语料库中自动挖掘释义的技术。虽然这些技术在发现通用释义方面是成功的，但是它们通常不能识别领域特定释义（例如，酒店领域的{员工、礼宾}）。这是因为目前的技术往往是基于统计方法，而特定领域的语料库太小，以适应统计方法。在本文中，我们提出了一种无监督的基于图的技术，从一小部分大致共享相同主题或意图的句子中挖掘释义。我们的系统，repla，依赖于单词对齐技术来创建一个单词对齐图，合并和组织输入句子的标记。然后使用所得到的图来生成候选释义。我们证明，我们的系统获得高质量的释义，人群工作人员的评价。我们进一步表明，大多数确定的释义是特定领域的，从而补充现有的释义数据库。
2019-10-04 cs.CL
MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases
Facebook AI Research（Facebook AI研究院）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学实验室）
句子简化的进展一直受到缺乏标记的并行简化数据的阻碍，特别是在英语以外的语言中。我们介绍MUSS，一个多语言无监督句子简化系统，不需要标记的简化数据。MUSS使用了一种新的句子简化方法，该方法使用句子级别的释义数据而不是适当的简化数据来训练强大的模型。这些模型利用无监督预训练和可控生成机制，在推理时灵活调整长度和词汇复杂度等属性。我们进一步提出了一种方法来挖掘这样的释义数据，在任何语言的公共爬行使用语义句子嵌入，从而消除了对标记数据的需要。我们在英语，法语和西班牙语的简化基准上评估了我们的方法，并与之前的最佳监督结果密切匹配或优于之前的最佳监督结果，尽管没有使用任何标记的简化数据。我们通过合并标记的简化数据进一步推动了最先进的技术。
2021-04-16 cs.CL cs.LG
ParaBank: Monolingual Bitext Generation and Sentential Paraphrasing via Lexically-constrained Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了ParaBank，一个大规模的英语释义数据集，在数量和质量上都超过了以前的工作。按照ParaNMT的方法，我们训练捷克-英语神经机器翻译（NMT）系统，以产生新的英语参考句子的释义。然而，通过在NMT解码过程中添加词汇约束，我们能够为每个源句子生成多个高质量的原始释义，从而生成具有超过40亿个生成标记的英语释义资源，并表现出更大的词汇多样性。使用人类的判断，我们还表明，ParaBank的释义提高了ParaNMT的语义相似性和流畅性。最后，我们使用ParaBank来训练单语NMT模型，该模型同样支持句子重写任务的词汇约束解码。
2019-01-11 cs.CL
ParaNMT-50M: Pushing the Limits of Paraphrastic Sentence Embeddings with Millions of Machine Translations
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们描述了PARANMT-50 M，一个包含超过5000万个英语-英语重复释义对的数据集。我们通过使用神经机器翻译来翻译大型平行语料库的非英语部分，自动生成了这些对，遵循Wieting等人。我们希望ParaNMT-50 M能够成为释义生成的宝贵资源，并提供丰富的语义知识来源，以改善下游的自然语言理解任务。为了展示它的实用性，我们使用ParaNMT-50 M来训练释义句子嵌入，这些句子嵌入在每次SemEval语义文本相似性竞争中都优于所有有监督系统，此外还展示了它如何用于释义生成。
2018-04-20 cs.CL
Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，多语言神经机器翻译（NMT）模型可以用来判断一个句子对同一语言中另一个句子的释义程度（Thompson and Post，2020）;然而，试图使用标准束搜索从这样的模型中生成释义会产生微不足道的副本或近似副本。我们引入了一个简单的释义生成算法，该算法不鼓励在输入中产生n元语法。我们的方法可以从一个单一的多语言NMT模型中生成多种语言的释义。此外，输入和输出之间的词汇多样性的量可以在生成时控制。我们进行了一次人工评估，将我们的方法与在大型英语合成释义数据库ParaBank 2上训练的释义器进行比较（Hu等人，2019 c），并发现我们的方法产生的释义，更好地保留意义，更符合语法，为同一水平的词汇多样性。其他较小的人类评估表明，我们的方法也适用于两种非英语语言。
2020-10-28 cs.CL
Quality Controlled Paraphrase Generation
IBM Research（IBM研究院）；Bar Ilan University（巴伊兰大学）
释义生成在各种下游任务中得到了广泛的应用。大多数任务主要受益于高质量的释义，即那些语义相似，但语言不同，从原来的句子。生成高质量的释义是一项挑战，因为随着语言多样性的增加，保持意义变得越来越困难。最近的工作取得了很好的结果，通过控制的特定方面的释义，如其句法树。然而，它们不允许直接控制所生成的释义的质量，并且具有低灵活性和可扩展性。在这里，我们提出了$QCPG$，一个质量导向的控制释义生成模型，允许直接控制质量维度。此外，我们提出了一种方法，给定一个句子，确定点的质量控制空间，预计将产生最佳生成的释义。我们表明，我们的方法是能够产生的释义保持原来的含义，同时实现更高的多样性比不受控制的基线。模型、代码和数据可以在https://github.com/IBM/quality-controlled-paraphrase-generation中找到。
2022-04-01 cs.CL
Integrating Transformer and Paraphrase Rules for Sentence Simplification
School of Computing and Information（计算与信息学院）；School of Health and Rehabilitation Sciences（健康与康复科学学院）；University of Pittsburgh（匹兹堡大学）
句子简化的目的是减少句子的复杂性，同时保留其原始意义。现有的句子简化模型借鉴了机器翻译研究的思想，并从普通简单句对中隐式学习简化映射规则。在本文中，我们探索了一种新的模型的基础上，多层和多头注意力架构，我们提出了两个创新的方法来集成简单的PPDB（一个释义数据库简化），一个外部释义知识库的简化，涵盖了广泛的现实世界的简化规则。实验结果表明，该集成模型具有两个主要优点：（1）集成模型的性能优于文献中的多个最先进的句子简化基线模型;（2）通过对规则利用率的分析，该模型寻求选择更准确的简化规则。本文中使用的代码和模型可在https://github.com/ Sanqiang/text_simplification上获得。
2018-10-26 cs.AI cs.CL
Paraphrases as Foreign Languages in Multilingual Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
释义是对同一语义的改写，有助于提高概括能力和翻译水平。然而，以前的作品只探讨释义在词或短语的水平，而不是在句子或语料库的水平。与以往只在单词或短语层面上探索释义的工作不同，我们在语料库层面上使用结构一致的整个训练数据的不同翻译作为释义。我们训练平行释义在多种语言从各种来源。我们将释义视为外语，用释义标签标记源句子，并以多语言神经机器翻译（NMT）的风格对平行释义进行训练。我们的多释义NMT仅在两种语言上训练，优于多语言基线。增加释义可以提高生僻词的翻译，增加词汇选择的熵和多样性。添加源释义比添加目标释义更能提高性能。将源和目标释义结合起来可以进一步提高性能;将释义与多语言数据结合起来会有所帮助，但性能参差不齐。我们使用24个语料库级别的圣经释义，实现了法语到英语翻译的BLEU得分为57.2，优于多语言基线，比单源单目标NMT基线高出+34.7。
2021-10-01 cs.CL
Controlled Paraphrase Geometry in Sentence Embedding Space: Local Manifold Modeling and Latent Probing
Khmelnytsky National University, Faculty of Information Technology（赫梅利尼茨基国立大学信息科技学院）
本文研究受控局部语义相近句子诱导的嵌入云局部几何，提出基于仿射、二次和三次拟合模型的局部几何建模方案，并通过表面基于的潜在探测方法评估生成点的几何有效性。
2026-05-01 cs.CL
Learning Semantic Sentence Embeddings using Sequential Pair-wise Discriminator
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
在本文中，我们提出了一种方法来获得双级嵌入。虽然安全字级嵌入的问题是非常好的研究，我们提出了一种新的方法来获得嵌入级嵌入。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义，我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束，使真正的释义嵌入接近，而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的，该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法实现了语义嵌入，并且在标准数据集上的释义生成和情感分析任务方面优于最先进的方法。这些结果也显示出统计学显著性。
2019-03-14 cs.AI cs.CL
Unsupervised Syntactically Controlled Paraphrase Generation with Abstract Meaning Representations
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon Alexa AI（亚马逊 Alexa AI）
句法控制的释义生成是近年来新兴的研究方向。大多数现有的方法需要注释的释义对的训练，因此昂贵的扩展到新的领域。另一方面，无监督方法不需要释义对，但在句法控制和生成的释义质量方面表现相对较差。在本文中，我们证明，利用抽象意义表示（AMR）可以大大提高无监督的语法控制的释义生成的性能。我们提出的模型，AMR增强的释义生成器（AMRPG），分别编码AMR图和选区分析的输入句子到两个解开语义和句法嵌入。然后，解码器学习从语义和句法嵌入重构输入句子。我们的实验表明，AMRPG生成更准确的语法控制的释义，定量和定性，相比现有的无监督的方法。我们还证明了AMRPG生成的释义可以用于数据增强，以提高NLP模型的鲁棒性。
2022-11-02 cs.CL
Metaphorical Paraphrase Generation: Feeding Metaphorical Language Models with Literal Texts
University of Milano-Bicocca（米兰比可卡大学）；Stockholm University（斯德哥尔摩大学）
本研究提出了一种新的隐喻释义生成方法，即对字面句的字面标记进行掩蔽，然后利用隐喻语言模型对字面标记进行反掩蔽。与同类研究不同的是，该算法不仅关注动词，还关注名词和形容词。尽管前者的传送率最高（56%），但后者的传输是可行的（24%和31%）。人类的评估表明，我们的系统生成的隐喻被认为比人类生成的更具创造性和隐喻性，而当使用我们转移的隐喻进行数据增强时，在F1中，隐喻句子分类的艺术水平提高了3%。
2022-10-13 cs.CL
Revisiting Paraphrase Question Generator using Pairwise Discriminator
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一种方法来获得双级嵌入。虽然保护词级嵌入的问题已经得到了很好的研究，但我们提出了一种获取句子级嵌入的新方法。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义，我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束，使真正的释义嵌入接近，而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的，该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法在语义嵌入的结果，并优于国家的最先进的释义生成和情感分析任务的标准数据集。这些结果也显示出统计学显著性。
2020-01-04 cs.CL cs.LG
MOVER: Mask, Over-generate and Rank for Hyperbole Generation
Peking University（北京大学）
夸张是一种常见的修辞格，但在比喻语言处理中却没有得到充分的研究。在本文中，我们解决了具有挑战性的任务，夸张生成转换为双曲释义的字面句子。为了解决现有双曲句的不足，我们以非平凡的方式构建了第一个包含17,862个双曲句的大规模英语夸张语料库HYPO-XL。基于我们的语料库，我们提出了一个无监督的方法，夸张生成，不需要平行的字面夸张对。在训练过程中，我们对BART进行了微调，以填充HYPO-XL中句子的掩码双曲跨度。在推理过程中，我们屏蔽了输入文字句子的一部分，并过度生成多个可能的双曲线版本。然后，基于BERT的排序器通过双曲性和释义质量来选择最佳候选。自动和人工评价结果表明，我们的模型是有效的，在生成双曲型释义句子，并优于几个基线系统。
2022-05-04 cs.CL
Measuring Semantic Abstraction of Multilingual NMT with Paraphrase Recognition and Generation Tasks
Department of Digital Humanities / HELDIG（数字人文系 / HELDIG）；University of Helsinki（赫尔辛基大学）
在本文中，我们研究了多语言神经翻译模型是否比双语模型学习更强的句子语义抽象。我们通过测量这些模型在应用于源语言的释义时的困惑度来测试这一假设。直觉是，如果解码器能够识别同一语言中的同义句，即使模型从未受过训练，编码器也会产生更好的表示。在我们的设置中，我们将16种不同的辅助语言添加到双向双语基线模型（英语-法语）中，并使用英语的域内和域外释义对其进行测试。结果表明，在每一种情况下，困惑都显着减少，这表明意义可以在翻译中扎根。这是进一步支持的释义生成的研究，我们也包括在论文的最后。
2019-05-03 cs.CL
Continuous Decomposition of Granularity for Neural Paraphrase Generation
Shanghai Jiao Tong University（上海交通大学）；NAVER AI Lab（NAVER人工智能实验室）
虽然Transformers在段落生成方面取得了巨大的成功，但它们将句子视为线性序列，并且经常忽略它们的层次信息。先前的工作已经表明，分解粒度级别（例如，单词、短语或句子）的输入标记的改进已经产生了实质性的改进，这表明了通过更细粒度的粒度建模来增强Transformers的可能性。在这项工作中，我们提出了一个连续的粒度分解神经释义生成（C-DNPG）。为了有效地将粒度纳入句子编码，C-DNPG引入了粒度感知注意力（GA-Attention）机制，该机制扩展了多头自注意，具有：1）粒度头，其通过神经估计每个输入标记的粒度级别来自动推断句子的层次结构;以及2）两种新的注意力掩码，即粒度共振和粒度范围，以有效地将粒度编码为注意力。在Quora问题对和Twitter URL等两个基准测试上的实验表明，C-DNPG的性能明显优于基线模型，并在许多指标方面取得了最先进的结果。定性分析表明，C-DNPG确实有效地捕获了细粒度级别的粒度。
2022-09-16 cs.CL
Neural paraphrasing by automatically crawled and aligned sentence pairs
University of Florence（佛罗伦萨大学）；QuestIT S.r.l.（QuestIT有限公司）；The Digital Box S.p.a.（数字盒股份公司）；University of Siena（锡耶纳大学）
本文提出一种基于新闻和博客网站相同事件不同叙事风格假设的自动生成大型对齐语料库方法，利用带语言约束的相似性搜索从数百万句子中定位候选复述，并在意大利语环境下使用基于指针的深度神经架构验证了有效性。
2024-02-16 cs.CL
Reformulating Unsupervised Style Transfer as Paraphrase Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
现代NLP将风格转换的任务定义为修改给定句子的风格而不明显改变其语义，这意味着风格转换系统的输出应该是其输入的释义。然而，许多现有的系统据称是为风格转换而设计的，它们通过属性转换固有地扭曲了输入的含义，这改变了语义属性，例如情感。在本文中，我们将无监督的风格转换重新表述为释义生成问题，并提出了一种简单的方法，该方法基于自动生成的释义数据微调预训练的语言模型。尽管它的简单性，我们的方法显着优于国家的最先进的风格转让系统对人类和自动评估。我们还调查了23种风格的转让文件，并发现现有的自动指标可以很容易地进行游戏，并提出固定的变种。最后，我们通过收集11种不同风格的1500万个句子的大型数据集，转向更真实的风格转换设置，我们使用这些数据集对我们的系统进行深入分析。
2020-10-12 cs.CL
SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Tencent AI Lab（腾讯AI实验室）
针对现有token级水印易受释义攻击的问题，提出基于LSH的句子级语义水印算法SemStamp，通过拒绝采样和边界约束提升鲁棒性，在抵御常见及二元释义攻击的同时保持生成质量。
2024-04-22 cs.CL
Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering
Ohio State University（俄亥俄州立大学）
在本文中，我们分析了几种用于句子对建模的神经网络设计（及其变体），并在八个数据集上广泛比较了它们的性能，包括释义识别，语义文本相似性，自然语言推理和问答任务。尽管这些模型中的大多数都声称具有最先进的性能，但原始论文通常只报告一两个选定的数据集。我们提供了一个系统的研究，并表明（i）通过LSTM编码上下文信息和句子间交互是至关重要的，（ii）Tree-LSTM并没有像之前声称的那样有帮助，但令人惊讶地提高了Twitter数据集的性能，（iii）增强型顺序推理模型是迄今为止最适合较大数据集的模型，而成对词交互模型在可用数据较少时实现了最佳性能。我们将我们的实现作为开源工具包发布。
2018-08-23 cs.CL
Paraphrase-Aligned Machine Translation
National Yang Ming Chiao Tung University（国立阳明交通大学）；Artificial Intelligence Research Center, AIST Japan（日本国立先进工业科学技术研究所人工智能研究中心）
针对大语言模型翻译输出常偏离目标语母语表达的问题，提出ParaAlign Translator方法，通过微调让模型生成与目标语结构对齐的释义以提升翻译效果，使LLaMA-3-8B在高低资源场景下性能提升，媲美甚至超过LLaMA-3-70B。
2024-12-08 cs.CL
Robustness to Modification with Shared Words in Paraphrase Identification
Tsinghua University（清华大学）
揭示自然语言处理模型的鲁棒性问题，提高其鲁棒性，对于提高其在困难情况下的性能具有重要意义。在本文中，我们从一个新的角度研究的鲁棒性释义识别模型-通过修改与共享的话，我们表明，该模型有显着的鲁棒性问题时，面对这样的修改。要修改由句子对组成的示例，我们要么替换两个句子共享的一些单词，要么引入新的共享单词。我们的目标是构造一个有效的新例子，使得目标模型做出错误的预测。为了找到一个修改的解决方案，我们使用束搜索约束的启发式规则，我们利用一个BERT掩蔽语言模型生成替换词兼容的上下文。实验表明，目标模型的性能在修改后的例子上有明显的下降，从而揭示了鲁棒性问题。我们还表明，对抗性训练可以缓解这个问题。
2020-10-05 cs.CL
Contrastive Representation Learning for Exemplar-Guided Paraphrase Generation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
范例引导的释义生成（Exemplar-Guided Paraphrase Generation，EGPG）旨在生成一个符合给定范例风格的目标句子，同时封装源句子的内容信息。在本文中，我们提出了一种新的方法，其目标是学习更好地表示风格和内容。这种方法的主要动机是最近成功的对比学习，它已经证明了它的权力，在无监督的特征提取任务。我们的想法是设计两个对比损失方面的内容和风格，考虑到两个问题的特点，在培训。第一个特点是目标句与源句共享相同的内容，第二个特点是目标句与范例共享相同的风格。这两个对比损失被纳入一般的编码器-解码器范例。在QQP-Pos和ParaNMT两个数据集上的实验证明了我们提出的补偿损失的有效性。
2021-09-03 cs.CL cs.LG
ParaLS: Lexical Substitution via Pretrained Paraphraser
Yangzhou University（扬州大学）
ParaLS提出利用预训练释义器生成词汇替换候选，通过两种解码策略保持句子意义，在三个基准上超越现有最先进方法。
2023-05-14 cs.AI cs.CL
Character-based Neural Networks for Sentence Pair Modeling
Department of Computer Science and Engineering（计算机科学与工程系）；Ohio State University（俄亥俄州立大学）
句子对建模对于许多NLP任务至关重要，例如释义识别，语义文本相似性和自然语言推理。这些任务的大多数最先进的神经模型都依赖于预训练的词嵌入，并以各种方式组成语义级语义;然而，很少有工作试图验证我们是否真的需要在这些任务中预训练的嵌入。在本文中，我们研究如何有效的子词级（字符和字符n-gram）表示在句子对建模。虽然众所周知，子词模型在单句输入的任务中是有效的，包括语言建模和机器翻译，但它们在句子对建模任务中没有系统地研究，其中文本之间的语义和字符串相似性很重要。我们的实验表明，没有任何预训练的词嵌入的子词模型可以在两个社交媒体数据集上获得新的最先进的结果，并在新闻数据上获得具有竞争力的结果，用于释义识别。
2018-05-21 cs.CL
ReDecode Framework for Iterative Improvement in Paraphrase Generation
Adobe（奥多比）
生成释义，即表达相同含义的句子的不同变体，是自然语言处理中一项重要而又具有挑战性的任务。自动生成释义在许多NLP任务中具有实用性，例如问答，信息检索，会话系统等等。在本文中，我们介绍了基于VAE的生成框架内生成的释义迭代求精。当前的序列生成模型缺乏以下能力：（1）一旦生成句子就进行改进;（2）纠正解码时产生的错误。我们提出了一种技术，迭代地完善使用多个解码器的输出，每一个出席由前一个解码器产生的输出句子。我们显著改善了当前最先进的结果-Quora问题对和MSCOCO数据集上的METEOR分数分别绝对增加了9%和28%以上。我们还定性地表明，通过例子，我们的重新解码方法产生更好的释义相比，一个单一的解码器，通过纠正错误，并在释义结构的改进，诱导变化，并引入新的，但语义连贯的信息。
2018-11-11 cs.AI cs.CL cs.LG
PAWS: Paraphrase Adversaries from Word Scrambling
Google AI Language（谷歌人工智能语言）
现有的释义识别数据集缺乏具有高词汇重叠而不是释义的句子对。根据此类数据训练的模型无法区分从纽约飞往佛罗里达的航班和从佛罗里达飞往纽约的航班等对。本文介绍了PAWS（Paraphrase Adversaries from Word Scrambling），这是一个新的数据集，包含108，463个格式良好的释义和非释义对，具有高度词汇重叠。翻译对是通过受控的单词交换和反向翻译产生的，然后由人类评分员进行流畅性和释义判断。在现有数据集上训练的最先进的模型在PAWS上的性能很差（准确率<40%）;然而，为这些模型提供PAWS训练数据可以将其准确率提高到85%，同时保持现有任务的性能。相比之下，不捕获非本地上下文信息的模型即使使用PAWS训练样本也会失败。因此，PAWS提供了一个有效的工具，用于推动更好地利用结构，上下文和成对比较的模型的进一步进展。
2019-04-01 cs.CL
Generative Pre-training for Paraphrase Generation by Representing and Predicting Spans in Exemplars
Seoul National University（首尔国立大学）
释义生成是一个长期存在的问题，在许多自然语言处理问题中起着至关重要的作用。尽管有一些令人鼓舞的结果，但最近的方法要么面临有利于通用话语的问题，要么需要为每个新数据集从头开始重新训练模型。本文提出了一种新的方法来改述的句子，从GPT-2模型的扩展。我们开发了一个模板掩蔽技术，命名为一阶掩蔽，掩蔽了不相关的话，利用POS标签的样本。因此，改述任务改为预测掩码模板中的跨度。我们提出的方法优于竞争基准，特别是在语义保存方面。为了防止模型偏向于给定的模板，我们引入了一种技术，称为二阶掩蔽，它利用伯努利分布来控制一阶掩蔽模板的令牌的可见性。此外，该技术允许模型提供各种释义句子在测试中通过调整二阶掩蔽水平。对于规模扩大的目标，我们比较了两种备选模板选择方法的性能，这表明它们在保留语义信息方面是等效的。
2020-11-29 cs.CL
Improved statistical machine translation using monolingual paraphrases
University of California at Berkeley（加州大学伯克利分校）；Bulgarian Academy of Sciences（保加利亚科学院）；Sofia University（索非亚大学）
我们提出了一种新的单语句子释义方法，用于“免费”增加统计机器翻译系统的训练数据--通过从已经可用的数据中创建它，而不必创建更多对齐的数据。从句法树开始，我们递归地生成新的句子变体，其中名词复合词使用合适的介词进行释义，反之亦然--包含介词的名词短语变成名词复合词。评估表明，改进相当于训练数据量加倍的33%-50%。
2021-09-25 cs.AI cs.CL
Explaining Neural Network Predictions on Sentence Pairs via Learning Word-Group Masks
University of Virginia（弗吉尼亚大学）；IBM Research AI（IBM研究院AI）
解释神经网络模型对于增加其在现实世界应用中的可信度是重要的。大多数现有的方法生成事后解释神经网络模型通过识别单个特征属性或检测相邻特征之间的相互作用。然而，对于以文本对作为输入的模型（例如，释义识别），现有方法不足以捕获两个文本之间的特征交互，并且它们计算两个文本之间的所有词对交互的简单扩展在计算上是低效的。在这项工作中，我们提出了组掩码（GMASK）方法，通过将输入文本对中的相关单词分组在一起来隐式地检测单词相关性，并整体衡量它们对相应NLP任务的贡献。该方法在四个数据集上使用两种不同的模型架构（可分解注意力模型和BERT）进行评估，包括自然语言推理和释义识别任务。实验表明，GMASK在提供这些模型的忠实解释的有效性。
2021-04-13 cs.CL
A Deep Network Model for Paraphrase Detection in Short Text Messages
Norwegian University of Science and Technology（挪威科技大学）；Swami Keshvanand Institute of Technology（斯瓦米·凯什瓦南德理工学院）；Telenor Research（泰勒诺研究院）
本文主要研究释义检测问题。检测用自然语言编写的相似句子的能力对于文本挖掘、文本摘要、抄袭检测、作者身份验证和问答等应用至关重要。给定两个句子，目标是检测它们在语义上是否相同。这项工作的一个重要见解是，现有的释义系统在应用于干净的文本时表现良好，但它们不一定能对嘈杂的文本提供良好的性能。在用户生成的短文本（如Twitter）上进行释义检测的挑战包括语言不规则性和噪音。为了应对这些挑战，我们提出了一种新的基于深度神经网络的方法，该方法依赖于使用卷积神经网络和长短期记忆模型的粗粒度句子建模，并结合特定的细粒度单词级相似性匹配模型。我们的实验结果表明，所提出的方法优于现有的国家的最先进的方法对用户生成的嘈杂的社交媒体数据，如Twitter的文本，并取得了很高的竞争力的性能上一个干净的语料库。
2017-12-07 cs.AI cs.CL cs.IR
Translating from Morphologically Complex Languages: A Paraphrase-Based Approach
National University of Singapore（新加坡国立大学）
我们提出了一种新的方法来翻译从一个形态复杂的语言。与以往的研究，有针对性的词的屈折变化和连接，我们专注于形态相关的词，我们把潜在的释义和处理使用释义技术在单词，短语和句子水平之间的成对关系。这个框架的一个重要优点是，它可以处理派生形态学，这在很大程度上仍然超出了统计机器翻译系统的能力。我们的实验翻译从马来语，其形态主要是派生的，到英语表现出显着的改进，竞争的方法的基础上，五个自动评估措施（320,000句对，950万英语单词标记）。
2021-09-27 cs.AI cs.CL cs.LG
Modeling the language cortex with form-independent and enriched representations of sentence meaning reveals remarkable semantic abstractness
University of California San Diego（加州大学圣地亚哥分校）；ShanghaiTech University（上海科技大学）；Kempner Institute, Harvard University（哈佛大学凯普勒研究所）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
该研究通过视觉与语言模型表征建模语言皮层神经响应，证实语言皮层存在高度抽象、形式无关且比语言模型更丰富宽泛的语义表征。
2025-09-27 cs.CL cs.LG
A Method for Estimating the Proximity of Vector Representation Groups in Multidimensional Space. On the Example of the Paraphrase Task
Cognitive Systems Company（认知系统公司）
下面介绍一种比较两组向量的方法。该方法可以应用于所有的任务，其中有必要测量两个对象的接近度作为向量集。当我们把两个句子的意思作为释义问题的一部分进行比较时，它可能适用。这是衡量两个句子（一组单词）的语义相似性的问题。现有的方法对句子中的语序或句法连接不敏感。该方法看起来是有利的，因为它既不将一组单词呈现为一个标量值，也不试图通过聚合向量来显示接近度，聚合向量对于向量集是平均的。相反，我们测量角度的余弦作为第一组向量投影（上下文）在一侧和第二组向量在另一侧的平均值。用这些方法确定的两个句子的相似度既不损失任何语义特征，又考虑了词语的特点。该方法在俄语句子对的比较中得到了验证。
2019-08-29 cs.CL cs.LG stat.ML
2-Tier SimCSE: Elevating BERT for Robust Sentence Embeddings
Stanford University（斯坦福大学）
本研究提出2-Tier SimCSE模型，结合无监督与有监督对比学习微调minBERT，在STS等任务上平均得分0.742，并分析dropout与迁移学习影响。
2025-01-23 cs.AI cs.CL cs.LG
