Improving Large-scale Paraphrase Acquisition and Generation
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
本文针对现有的基于Twitter的释义数据集的质量问题,讨论了在释义识别和生成任务中使用两种不同释义定义的必要性。我们提出了一个新的多主题释义在Twitter(MultiPIT)语料库,包括共130K的句子对与众包(MultiPIT_crowd)和专家(MultiPIT_expert)注释使用两种不同的释义定义释义识别,除了多参考测试集(MultiPIT_NMR)和一个大的自动构造的训练集(MultiPIT_Auto)释义生成。通过改进的数据注释质量和特定于任务的释义定义,在我们的数据集上进行微调的最佳预训练语言模型实现了自动释义识别的最先进性能84.2 F1。此外,我们的实证结果还表明,在MultiPIT_Auto上训练的释义生成模型与在Quora、MSCOCO和ParaNMT等其他语料库上进行微调的释义生成模型相比,生成的释义更加多样化和高质量。
2022-11-08 cs.CL
Combining word embeddings and convolutional neural networks to detect duplicated questions
Reutlingen University(罗伊特林根大学)
由于自然语言的模糊性,检测句子之间的语义相似性仍然是一个挑战。在这项工作中,我们提出了一个简单的方法来识别语义相似的问题,结合词嵌入和卷积神经网络(CNN)的优势。此外,我们还演示了如何使用余弦相似性度量来有效地比较特征向量。我们的网络是在Quora数据集上训练的,其中包含超过40万个问题对。我们实验了不同的嵌入方法,如Word2Vec,Fasttext和Doc2Vec,并研究了这些方法对模型性能的影响。我们的模型在Quora数据集上取得了有竞争力的结果,并补充了CNN可用于释义检测任务的确凿证据。
2020-06-08 cs.CL cs.LG
PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification
Google Research(谷歌研究院)
大多数现有的对抗性数据生成工作都集中在英语上。例如,PAWS(来自单词加扰的释义对手)由来自维基百科和Quora的具有挑战性的英语释义识别对组成。我们用PAWS-X弥补了这一差距,PAWS-X是一个新的数据集,包含23,659个人类翻译的PAWS评估对,使用六种类型学上不同的语言:法语,西班牙语,德语,中文,日语和韩语。我们提供了三个模型的基线数字,这些模型具有不同的捕获非本地上下文和句子结构的能力,并使用不同的多语言训练和评估机制。在PAWS英语上微调的多语言BERT加上机器翻译的数据表现最好,在非英语语言中的准确度范围为83.1-90.8,平均准确度比下一个最佳模型提高了23%。PAWS-X展示了深度多语言预训练的有效性,同时也为推动更好地捕捉结构和上下文信息的多语言研究留下了相当大的空间。
2019-08-30 cs.CL
LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models
Soongsil University(崇实大学);Chung-Ang University(中央大学)
本文提出LIBERO-Para基准,通过独立变化动作表达和物体参考,分析语言泛化能力。研究发现,不同规模的VLA模型在同义词替换下性能下降22-52个百分点,主要由物体层面的词汇变化导致。提出PRIDE指标量化同义词难度,揭示模型对任务识别的依赖。
2026-09-29 cs.LG
BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context
Polytechnique Montreal(蒙特利尔综合理工学院)
新引入的深度学习架构,即BERT,XLNet,RoBERTa和ALBERT,已被证明在几个NLP任务上是鲁棒的。然而,在这些架构上训练的数据集在大小和可推广性方面是固定的。为了解决这个问题,我们采用了一种最便宜的解决方案来更新这些数据集。我们称之为BET的方法,我们分析的transformer为基础的架构上的回译数据增强。使用谷歌翻译API与来自10个不同语系的10种中间语言,我们在基于transformer的框架中自动释义识别的上下文中外部评估结果。我们的研究结果表明,BET提高了释义识别性能的微软研究院释义语料库(MRPC)的准确率和F1得分超过3%。我们还分析了在低数据制度下的MRPC,Twitter释义语料库(TPC)和Quora问题对的下采样版本的增强。在许多低数据情况下,我们观察到从测试集上的失败模型切换到合理的性能。结果表明,BET是一种非常有前途的数据增强技术:推动现有数据集的最新发展,并在100个样本的低数据状态下引导深度学习架构的利用。
2020-09-25 cs.CL
Discriminative Phrase Embedding for Paraphrase Identification
Center for Information and Language Processing(信息与语言处理中心);University of Munich(慕尼黑大学)
这项关于释义识别任务的工作,一方面有助于扩展深度学习嵌入,以包括连续和不连续的语言短语。另一方面,提出了一种新的算法TF-KLD-KNN来学习释义任务中单词和短语的区分权值,使得嵌入的加权和能够更有效地表示句子。基于这两个创新,我们得到了具有竞争力的最先进的性能的释义识别。
2016-04-02 cs.CL
Sentence Embeddings for Russian NLU
National Research University Higher School of Economics(国立研究型大学高等经济学院)
我们调查的性能句子嵌入模型的几个任务的俄语。在我们的比较中,我们包括多项选择问答,下一句预测和释义识别等任务。我们采用FastText嵌入作为基线,并将其与ELMo和BERT嵌入进行比较。我们进行了两个系列的实验,使用无监督(即,仅基于相似性度量)和用于任务的监督方法。最后,我们提出了多项选择问答和下一句预测在俄罗斯的数据集。
2019-10-29 cs.CL cs.LG
Neural Paraphrase Identification of Questions with Noisy Pretraining
Google Inc.(谷歌公司)
我们提出了一个解决问题的释义识别的问题。我们专注于最近的一个用二进制释义标签注释的问题对数据集,并表明可分解注意力模型的一个变体(Parikh等人,2016)在这项任务上实现了准确的性能,同时比许多竞争的神经架构简单得多。此外,当模型在自动收集的问题释义的嘈杂数据集上进行预训练时,它在数据集上获得了最佳的报告性能。
2017-08-20 cs.CL
Paraphrase Identification with Deep Learning: A Review of Datasets and Methods
Syracuse University(雪城大学);SingularDance;Vanderbilt University(范德堡大学);University of Colorado at Boulder(科罗拉多大学博尔德分校)
本文针对文本生成工具带来的释义剽窃风险及现有检测方法受数据集局限的问题,梳理释义识别的传统与前沿方法,提出精细化释义分类体系并验证,为后续研究和数据集建设指明方向以提升AI释义检测能力。
2024-10-08 cs.AI cs.CL cs.IR
GAPX: Generalized Autoregressive Paraphrase-Identification X
Cornell University(康奈尔大学);Meta AI
释义识别是自然语言处理中的一项基本任务。虽然在该领域已经取得了很大的进展,许多国家的最先进的模型的性能往往受到分布偏移在推理时间。我们验证,这种性能下降的一个主要来源来自负面的例子引入的偏见。为了克服这些偏差,我们在本文中提出了训练两个单独的模型,一个只利用正对,另一个负对。这使我们能够选择如何利用负模型,为此,我们引入了一个基于困惑度的分布外度量,我们表明它可以有效地自动确定在推理过程中应该给予多少权重。我们支持我们的研究结果与强有力的实证结果。
2022-10-05 cs.AI cs.CL
Cross-lingual paraphrase identification
AI Talent Hub(AI人才中心);ITMO University(ITMO大学);SaluteDevices(SaluteDevices公司)
针对多语言释义识别的挑战,该研究提出以对比学习训练双编码器模型检测跨语言难例释义,其性能接近最先进交叉编码器,仅降7-10%,且嵌入质量良好可用于多任务。
2024-06-21 cs.CL
Better Early than Late: Fusing Topics with Word Embeddings for Neural Question Paraphrase Identification
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);Utrecht University(乌得勒支大学)
问题释义识别是社区问答(CQA)中的一项关键任务,用于确定传入的问题之前是否被询问过。许多当前的模型使用词嵌入来识别重复的问题,但在功能工程系统中使用主题模型表明,它们也可以帮助完成这项任务。因此,我们提出了两种方式合并主题与词嵌入(早期与晚期融合)在一个新的神经架构的问题释义识别。我们的研究结果表明,我们的系统在多个CQA数据集上的表现优于神经基线,而消融研究强调了主题的重要性,特别是在我们的架构中早期主题嵌入融合。
2020-07-22 cs.CL
Semantically-informed distance and similarity measures for paraphrase plagiarism identification
Instituto Nacional de Astrofísica, Óptica y Electrónica(国家天体物理、光学与电子研究所);Symanto Research(Symanto研究中心);Universidad Autónoma Metropolitana Unidad Cuajimalpa(墨西哥自治都市大学夸希马尔帕校区);PRHLT Research Center Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心)
由于剽窃文本是通过几种改写技术故意修改的,因此释义剽窃识别是一项非常复杂的任务。因此,本文介绍了两个新的措施来评估两个给定的文本的相关性:语义知情的相似性度量和语义知情的编辑距离。这两种措施都能够从外部资源或单词的分布式表示中提取语义信息,从而产生用于训练用于检测释义剽窃的监督分类器的信息特征。实验结果表明,所提出的度量方法在检测不同类型的释义剽窃方面效果良好。此外,结果是非常有竞争力的国家的最先进的方法,具有代表一个更简单,但同样有效的解决方案的优势。
2018-05-29 cs.CL
Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders
University of Sussex(萨塞克斯大学)
以前的工作已经证明了利用预先训练的句子编码器的有效性,基于他们的句子表示的意义比较任务。虽然这种表示被证明捕捉隐藏的句法结构,它们之间的直接相似性比较表现出弱的敏感性,在给定的句子中的词序和结构差异。单一的相似性分数进一步使得比较过程难以解释。因此,我们在这里建议将句子编码器与对齐组件相结合,将每个句子表示为谓词-参数跨度的列表(其中它们的跨度表示来自句子编码器),并将句子级别的意义比较分解为它们的跨度之间的对齐,以进行释义识别任务。实验结果表明,对齐组件带来了改进的性能和可解释性的各种句子编码器。经过仔细的调查,该方法表明,增加了敏感性的结构差异和增强的能力,以区分非释义高词汇重叠。
2022-10-11 cs.CL
Pointwise Paraphrase Appraisal is Potentially Problematic
University of Virginia(弗吉尼亚大学)
训练和评估释义识别模型的流行方法被构造为二元分类问题:模型被赋予一对句子,并通过它将成对句子分类为释义或非释义的准确程度来判断。这种基于点的评估方法并不符合大多数现实世界应用的目标,所以我们的工作的目标是了解如何在点评估下表现良好的模型在实践中可能会失败,并找到更好的方法来评估释义识别模型。作为实现这一目标的第一步,我们表明,虽然通过将两个句子配对为一个序列来微调BERT以进行释义识别的标准方法导致具有最先进性能的模型,但该模型在识别具有两个相同句子的句子对等简单任务上可能表现不佳。此外,我们表明,这些模型甚至可以预测一对随机选择的句子具有更高的释义分数比一对相同的。
2020-06-05 cs.CL
Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering
Ohio State University(俄亥俄州立大学)
在本文中,我们分析了几种用于句子对建模的神经网络设计(及其变体),并在八个数据集上广泛比较了它们的性能,包括释义识别,语义文本相似性,自然语言推理和问答任务。尽管这些模型中的大多数都声称具有最先进的性能,但原始论文通常只报告一两个选定的数据集。我们提供了一个系统的研究,并表明(i)通过LSTM编码上下文信息和句子间交互是至关重要的,(ii)Tree-LSTM并没有像之前声称的那样有帮助,但令人惊讶地提高了Twitter数据集的性能,(iii)增强型顺序推理模型是迄今为止最适合较大数据集的模型,而成对词交互模型在可用数据较少时实现了最佳性能。我们将我们的实现作为开源工具包发布。
2018-08-23 cs.CL
Robustness to Modification with Shared Words in Paraphrase Identification
Tsinghua University(清华大学)
揭示自然语言处理模型的鲁棒性问题,提高其鲁棒性,对于提高其在困难情况下的性能具有重要意义。在本文中,我们从一个新的角度研究的鲁棒性释义识别模型-通过修改与共享的话,我们表明,该模型有显着的鲁棒性问题时,面对这样的修改。要修改由句子对组成的示例,我们要么替换两个句子共享的一些单词,要么引入新的共享单词。我们的目标是构造一个有效的新例子,使得目标模型做出错误的预测。为了找到一个修改的解决方案,我们使用束搜索约束的启发式规则,我们利用一个BERT掩蔽语言模型生成替换词兼容的上下文。实验表明,目标模型的性能在修改后的例子上有明显的下降,从而揭示了鲁棒性问题。我们还表明,对抗性训练可以缓解这个问题。
2020-10-05 cs.CL
Unsupervised Paraphrasing with Pretrained Language Models
Salesforce Research(Salesforce研究院)
释义生成广泛受益于最近的进展,在设计的培训目标和模型架构。然而,以前的探索主要集中在监督的方法,这需要大量的标记数据是昂贵的收集。为了解决这个缺点,我们采用了迁移学习方法,并提出了一个训练管道,使预先训练的语言模型,以产生高质量的释义在无监督的设置。我们的配方包括任务自适应,自我监督,和一种新的解码算法,称为动态阻塞(DB)。为了实施与输入不同的表面形式,每当语言模型发出包含在源序列中的标记时,DB阻止模型输出用于下一生成步骤的后续源标记。我们通过自动和人工评估表明,我们的方法在Quora问题对(QQP)和ParaNMT数据集上都达到了最先进的性能,并且对不同分布的两个数据集之间的域转移具有鲁棒性。我们还证明了我们的模型转移到其他语言的释义,而无需任何额外的微调。
2021-09-10 cs.CL
Identifying User Goals from UI Trajectories
Google Research(谷歌研究院);Bar-Ilan University(巴伊兰大学)
本文提出从 UI 轨迹中识别用户目标的新任务,引入新颖评估方法并利用 Android 和 Web 数据集进行基准测试,发现 GPT-4 和 Gemini-1.5 Pro 表现均低于人类水平,揭示了该任务的挑战性与改进空间。
2025-03-03 cs.AI cs.CL
Automatic Compilation of Resources for Academic Writing and Evaluating with Informal Word Identification and Paraphrasing System
Universität Hamburg(汉堡大学);International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院);City University of Hong Kong(香港城市大学)
我们提出了第一种方法来自动构建学术写作资源。其目的是建立一个写作辅助系统,自动编辑文本,使其更好地坚持学术写作风格。在现有的学术资源,如当代美国英语语料库(COCA)的学术词汇表,新的学术词汇表,和学术搭配表,我们还探讨了如何动态地建立这样的资源,将用于自动识别非正式或非学术的单词或短语。这些资源使用不同的通用方法进行编译,这些方法可以扩展到不同的领域和语言。我们描述了一个系统实现的资源评估。该系统包括一个非正式的词识别(IWI),学术候选释义生成和释义排名组件。为了生成候选项并在上下文中对其进行排名,我们使用了PPDB和WordNet释义资源。我们使用上下文中的概念(CoInCO)“所有单词”词汇替代数据集的非正式单词识别和释义生成实验。我们的非正式单词识别组件实现了82%的F-1分数,显著优于分层分类器基线。这项工作的主要贡献是一个独立于领域的方法来建立有针对性的资源,写作辅助工具。
2020-03-05 cs.CL
Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment
Concordia University(康考迪亚大学)
本文通过微调多种语言模型并结合释义增强与均值集成,研究模因文本中说服技术的多标签检测,发现平衡训练集优于更大的不平衡训练集,并指出不当引入释义可能带来噪声。
2024-07-01 cs.AI cs.CL cs.LG
Quda: Natural Language Queries for Visual Data Analytics
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
从自由文本中识别分析任务对于面向可视化的自然语言接口(V-NLI)提出有效的可视化是至关重要的。然而,由于人类语言的模糊性和复杂性,它是具有挑战性的。为了应对这一挑战,我们提出了一个新的数据集,称为Quda,旨在帮助V-NLI通过训练和评估尖端的多标签分类模型,从自由形式的自然语言中识别分析任务。我们的数据集包含$14,035$不同的用户查询,每个查询都有一个或多个分析任务的注释。我们实现这一目标,首先收集种子查询与数据分析,然后采用广泛的群众力量的释义生成和验证。我们通过三个应用程序证明了Quda的有用性。本研究首次尝试构建一个大规模的语料库来识别分析任务。随着Quda的发布,我们希望它将推动V-NLI在数据分析和可视化方面的研究和开发。
2020-12-03 cs.CL cs.HC cs.IR
Unsupervised Paraphrasing without Translation
Google Research(谷歌研究院)
释义增强了从表面形式中抽象出语义内容的能力。最近的自动释义工作主要是利用机器翻译(MT)作为中间步骤的方法。这与人类形成了鲜明对比,人类可以在没有双语的情况下进行释义。本文提出了一种从单语语料库中学习释义模型的方法。为此,我们提出了一种矢量量化变分自动编码器的残差变体。我们比较基于MT的方法的释义识别,生成和训练增强。单语释义优于无监督翻译在所有设置。与监督翻译的比较更加复杂:单语释义对于识别和增强来说很有趣;监督翻译在生成方面更优越。
2019-05-29 cs.CL cs.LG stat.ML
Enriching Linked Datasets with New Object Properties
Indian Institute of Technology - Madras(印度理工学院马德拉斯分校)
虽然有几个RDF知识库可通过LOD倡议,这样的链接数据集的本体模式不是很丰富。特别是,它们缺少对象属性。在任何两个给定类之间查找新对象属性(及其实例)的问题尚未在关联数据的上下文中详细研究。在本文中,我们提出了DART(检测任意关系丰富的T盒的关联数据)-一个无监督的解决方案,以丰富LOD云与两个给定的类之间的新对象属性。DART利用上下文相似性来从网络语料库中识别可能代表个体之间关系的文本模式。这些文本模式,然后聚类的释义检测手段,以捕捉两个给定的LOD类之间的对象属性。DART还将发现的关系完全自动映射到链接数据集中的属性。这有许多用途,如识别全新的关系,消除不相关的关系,并生成预期的属性公理。我们已经在几对类上对我们的方法进行了经验评估,发现该系统确实可以用于丰富具有新对象属性及其实例的链接数据集。我们将DART与NELL(Never-Ending Language Learning)的一个分支newOntExt系统进行了比较。我们的实验表明,DART给出了更好的结果比newOntExt的正确性,以及关系的数量。
2017-09-04 cs.AI cs.CL cs.DB
LeWiDi-2025 at NLPerspectives: Third Edition of the Learning with Disagreements Shared Task
Fondazione Bruno Kessler(布鲁诺·科塞拉基金会);LMU Munich & MCML(慕尼黑大学及MCML);Università Milano Bicocca(米兰Bicocca大学);Università di Torino(都灵大学);University of Gothenburg(哥德堡大学);Queen Mary University of London(伦敦大学玛丽女王学院);Utrecht University(乌得勒支大学)
LeWiDi-2025通过扩展数据集和引入新型评估方法,推动了学习与分歧的AI模型发展。
2026-02-06 cs.CL
Character-based Neural Networks for Sentence Pair Modeling
Department of Computer Science and Engineering(计算机科学与工程系);Ohio State University(俄亥俄州立大学)
句子对建模对于许多NLP任务至关重要,例如释义识别,语义文本相似性和自然语言推理。这些任务的大多数最先进的神经模型都依赖于预训练的词嵌入,并以各种方式组成语义级语义;然而,很少有工作试图验证我们是否真的需要在这些任务中预训练的嵌入。在本文中,我们研究如何有效的子词级(字符和字符n-gram)表示在句子对建模。虽然众所周知,子词模型在单句输入的任务中是有效的,包括语言建模和机器翻译,但它们在句子对建模任务中没有系统地研究,其中文本之间的语义和字符串相似性很重要。我们的实验表明,没有任何预训练的词嵌入的子词模型可以在两个社交媒体数据集上获得新的最先进的结果,并在新闻数据上获得具有竞争力的结果,用于释义识别。
2018-05-21 cs.CL
Contextualized Embeddings based Convolutional Neural Networks for Duplicate Question Identification
Pune Institute of Computer Technology(浦那计算机技术学院);vCreaTek Consulting Services Pvt. Ltd.(vCreaTek 咨询服务私人有限公司)
问题释义识别(QPI)是大型问答论坛的一项关键任务。QPI的目的是确定给定的一对问题在语义上是否相同。以前的方法已经取得了可喜的成果,但往往依赖于复杂的复发机制,是昂贵的和耗时的性质。在本文中,我们提出了一种新的架构相结合的双向Transformer编码器与卷积神经网络的QPI任务。我们使用两种不同的推理设置:Siamese和Matched Aggregation从所提出的架构中产生预测。实验结果表明,我们的模型在Quora Question Pairs数据集上达到了最先进的性能。我们凭经验证明,在模型架构中添加卷积层可以改善两种推理设置的结果。我们还研究了部分和完全微调的影响,并分析了计算能力和准确性之间的权衡。基于所获得的结果,我们得出结论,匹配聚合设置始终优于暹罗设置。我们的工作提供了什么样的架构组合和设置可能会产生更好的结果QPI任务的见解。
2021-09-06 cs.CL
Multi-task Sentence Encoding Model for Semantic Retrieval in Question Answering Systems
Baidu Inc.(百度公司)
问答(QA)系统用于自动地对用户的问题提供适当的响应。句子匹配是问答系统中的一项重要任务,通常被转化为释义识别问题。给定一个问题,任务的目的是从QA知识库中找到最相似的问题。在本文中,我们提出了一个多任务的句子编码模型(MSEM)的PI问题,其中连接图来描述句子之间的关系,和多任务学习模型被应用到解决句子匹配和句子的意图分类问题。此外,我们实现了一个通用的语义检索框架,结合我们提出的模型和近似最近邻(ANN)技术,这使我们能够找到最相似的问题,从所有可用的候选人非常迅速地在线服务。实验结果表明,与现有的句子匹配模型相比,该方法具有明显的优越性。
2019-11-18 cs.AI cs.CL cs.IR