Better Early than Late: Fusing Topics with Word Embeddings for Neural Question Paraphrase Identification
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);Utrecht University(乌得勒支大学)
问题释义识别是社区问答(CQA)中的一项关键任务,用于确定传入的问题之前是否被询问过。许多当前的模型使用词嵌入来识别重复的问题,但在功能工程系统中使用主题模型表明,它们也可以帮助完成这项任务。因此,我们提出了两种方式合并主题与词嵌入(早期与晚期融合)在一个新的神经架构的问题释义识别。我们的研究结果表明,我们的系统在多个CQA数据集上的表现优于神经基线,而消融研究强调了主题的重要性,特别是在我们的架构中早期主题嵌入融合。
2020-07-22 cs.CL
Experiments on Paraphrase Identification Using Quora Question Pairs Dataset
Jakarta Artificial Intelligence Research(雅加达人工智能研究院)
我们对Quora问题对数据集进行建模,以识别类似的问题。我们使用的数据集由Quora提供。该任务是一个二元分类。我们尝试了几种方法和算法,并从以前的作品不同的方法。对于特征提取,我们使用了包括计数向量化器的词袋,以及XGBoost和CatBoost的具有unigram的词频-逆文档频率。此外,我们还尝试了WordPiece标记器,它显着提高了模型性能。我们达到了97%的准确率。代码和数据集。
2020-06-05 cs.AI cs.CL cs.LG
Improving Large-scale Paraphrase Acquisition and Generation
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
本文针对现有的基于Twitter的释义数据集的质量问题,讨论了在释义识别和生成任务中使用两种不同释义定义的必要性。我们提出了一个新的多主题释义在Twitter(MultiPIT)语料库,包括共130K的句子对与众包(MultiPIT_crowd)和专家(MultiPIT_expert)注释使用两种不同的释义定义释义识别,除了多参考测试集(MultiPIT_NMR)和一个大的自动构造的训练集(MultiPIT_Auto)释义生成。通过改进的数据注释质量和特定于任务的释义定义,在我们的数据集上进行微调的最佳预训练语言模型实现了自动释义识别的最先进性能84.2 F1。此外,我们的实证结果还表明,在MultiPIT_Auto上训练的释义生成模型与在Quora、MSCOCO和ParaNMT等其他语料库上进行微调的释义生成模型相比,生成的释义更加多样化和高质量。
2022-11-08 cs.CL
Semantically-informed distance and similarity measures for paraphrase plagiarism identification
Instituto Nacional de Astrofísica, Óptica y Electrónica(国家天体物理、光学与电子研究所);Symanto Research(Symanto研究中心);Universidad Autónoma Metropolitana Unidad Cuajimalpa(墨西哥自治都市大学夸希马尔帕校区);PRHLT Research Center Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心)
由于剽窃文本是通过几种改写技术故意修改的,因此释义剽窃识别是一项非常复杂的任务。因此,本文介绍了两个新的措施来评估两个给定的文本的相关性:语义知情的相似性度量和语义知情的编辑距离。这两种措施都能够从外部资源或单词的分布式表示中提取语义信息,从而产生用于训练用于检测释义剽窃的监督分类器的信息特征。实验结果表明,所提出的度量方法在检测不同类型的释义剽窃方面效果良好。此外,结果是非常有竞争力的国家的最先进的方法,具有代表一个更简单,但同样有效的解决方案的优势。
2018-05-29 cs.CL
BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context
Polytechnique Montreal(蒙特利尔综合理工学院)
新引入的深度学习架构,即BERT,XLNet,RoBERTa和ALBERT,已被证明在几个NLP任务上是鲁棒的。然而,在这些架构上训练的数据集在大小和可推广性方面是固定的。为了解决这个问题,我们采用了一种最便宜的解决方案来更新这些数据集。我们称之为BET的方法,我们分析的transformer为基础的架构上的回译数据增强。使用谷歌翻译API与来自10个不同语系的10种中间语言,我们在基于transformer的框架中自动释义识别的上下文中外部评估结果。我们的研究结果表明,BET提高了释义识别性能的微软研究院释义语料库(MRPC)的准确率和F1得分超过3%。我们还分析了在低数据制度下的MRPC,Twitter释义语料库(TPC)和Quora问题对的下采样版本的增强。在许多低数据情况下,我们观察到从测试集上的失败模型切换到合理的性能。结果表明,BET是一种非常有前途的数据增强技术:推动现有数据集的最新发展,并在100个样本的低数据状态下引导深度学习架构的利用。
2020-09-25 cs.CL
Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders
University of Sussex(萨塞克斯大学)
以前的工作已经证明了利用预先训练的句子编码器的有效性,基于他们的句子表示的意义比较任务。虽然这种表示被证明捕捉隐藏的句法结构,它们之间的直接相似性比较表现出弱的敏感性,在给定的句子中的词序和结构差异。单一的相似性分数进一步使得比较过程难以解释。因此,我们在这里建议将句子编码器与对齐组件相结合,将每个句子表示为谓词-参数跨度的列表(其中它们的跨度表示来自句子编码器),并将句子级别的意义比较分解为它们的跨度之间的对齐,以进行释义识别任务。实验结果表明,对齐组件带来了改进的性能和可解释性的各种句子编码器。经过仔细的调查,该方法表明,增加了敏感性的结构差异和增强的能力,以区分非释义高词汇重叠。
2022-10-11 cs.CL
PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification
Google Research(谷歌研究院)
大多数现有的对抗性数据生成工作都集中在英语上。例如,PAWS(来自单词加扰的释义对手)由来自维基百科和Quora的具有挑战性的英语释义识别对组成。我们用PAWS-X弥补了这一差距,PAWS-X是一个新的数据集,包含23,659个人类翻译的PAWS评估对,使用六种类型学上不同的语言:法语,西班牙语,德语,中文,日语和韩语。我们提供了三个模型的基线数字,这些模型具有不同的捕获非本地上下文和句子结构的能力,并使用不同的多语言训练和评估机制。在PAWS英语上微调的多语言BERT加上机器翻译的数据表现最好,在非英语语言中的准确度范围为83.1-90.8,平均准确度比下一个最佳模型提高了23%。PAWS-X展示了深度多语言预训练的有效性,同时也为推动更好地捕捉结构和上下文信息的多语言研究留下了相当大的空间。
2019-08-30 cs.CL
Pointwise Paraphrase Appraisal is Potentially Problematic
University of Virginia(弗吉尼亚大学)
训练和评估释义识别模型的流行方法被构造为二元分类问题:模型被赋予一对句子,并通过它将成对句子分类为释义或非释义的准确程度来判断。这种基于点的评估方法并不符合大多数现实世界应用的目标,所以我们的工作的目标是了解如何在点评估下表现良好的模型在实践中可能会失败,并找到更好的方法来评估释义识别模型。作为实现这一目标的第一步,我们表明,虽然通过将两个句子配对为一个序列来微调BERT以进行释义识别的标准方法导致具有最先进性能的模型,但该模型在识别具有两个相同句子的句子对等简单任务上可能表现不佳。此外,我们表明,这些模型甚至可以预测一对随机选择的句子具有更高的释义分数比一对相同的。
2020-06-05 cs.CL
Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering
Ohio State University(俄亥俄州立大学)
在本文中,我们分析了几种用于句子对建模的神经网络设计(及其变体),并在八个数据集上广泛比较了它们的性能,包括释义识别,语义文本相似性,自然语言推理和问答任务。尽管这些模型中的大多数都声称具有最先进的性能,但原始论文通常只报告一两个选定的数据集。我们提供了一个系统的研究,并表明(i)通过LSTM编码上下文信息和句子间交互是至关重要的,(ii)Tree-LSTM并没有像之前声称的那样有帮助,但令人惊讶地提高了Twitter数据集的性能,(iii)增强型顺序推理模型是迄今为止最适合较大数据集的模型,而成对词交互模型在可用数据较少时实现了最佳性能。我们将我们的实现作为开源工具包发布。
2018-08-23 cs.CL
Robustness to Modification with Shared Words in Paraphrase Identification
Tsinghua University(清华大学)
揭示自然语言处理模型的鲁棒性问题,提高其鲁棒性,对于提高其在困难情况下的性能具有重要意义。在本文中,我们从一个新的角度研究的鲁棒性释义识别模型-通过修改与共享的话,我们表明,该模型有显着的鲁棒性问题时,面对这样的修改。要修改由句子对组成的示例,我们要么替换两个句子共享的一些单词,要么引入新的共享单词。我们的目标是构造一个有效的新例子,使得目标模型做出错误的预测。为了找到一个修改的解决方案,我们使用束搜索约束的启发式规则,我们利用一个BERT掩蔽语言模型生成替换词兼容的上下文。实验表明,目标模型的性能在修改后的例子上有明显的下降,从而揭示了鲁棒性问题。我们还表明,对抗性训练可以缓解这个问题。
2020-10-05 cs.CL
A Continuously Growing Dataset of Sentential Paraphrases
Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学);University of Maryland, College Park(马里兰大学帕克分校)
释义研究的一个主要挑战是缺乏平行语料库。在本文中,我们提出了一种新的方法来收集大规模的重复释义从Twitter的链接通过共享URL的推文。我们的方法的主要优点是它的简单性,因为它摆脱了分类器或人类在循环中需要选择数据之前的注释和后续应用的释义识别算法在以前的工作。我们提出了迄今为止最大的人类标记的释义语料库的51,524句对和第一个跨域的自动释义识别基准。此外,我们还发现,每个月可以以约70%的精度轻松连续地捕获超过30,000个新的短语释义,并通过短语释义提取展示了它们在下游NLP任务中的实用性。我们免费提供代码和数据。
2017-08-01 cs.CL
Automatic Compilation of Resources for Academic Writing and Evaluating with Informal Word Identification and Paraphrasing System
Universität Hamburg(汉堡大学);International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院);City University of Hong Kong(香港城市大学)
我们提出了第一种方法来自动构建学术写作资源。其目的是建立一个写作辅助系统,自动编辑文本,使其更好地坚持学术写作风格。在现有的学术资源,如当代美国英语语料库(COCA)的学术词汇表,新的学术词汇表,和学术搭配表,我们还探讨了如何动态地建立这样的资源,将用于自动识别非正式或非学术的单词或短语。这些资源使用不同的通用方法进行编译,这些方法可以扩展到不同的领域和语言。我们描述了一个系统实现的资源评估。该系统包括一个非正式的词识别(IWI),学术候选释义生成和释义排名组件。为了生成候选项并在上下文中对其进行排名,我们使用了PPDB和WordNet释义资源。我们使用上下文中的概念(CoInCO)“所有单词”词汇替代数据集的非正式单词识别和释义生成实验。我们的非正式单词识别组件实现了82%的F-1分数,显著优于分层分类器基线。这项工作的主要贡献是一个独立于领域的方法来建立有针对性的资源,写作辅助工具。
2020-03-05 cs.CL
PAWS: Paraphrase Adversaries from Word Scrambling
Google AI Language(谷歌人工智能语言)
现有的释义识别数据集缺乏具有高词汇重叠而不是释义的句子对。根据此类数据训练的模型无法区分从纽约飞往佛罗里达的航班和从佛罗里达飞往纽约的航班等对。本文介绍了PAWS(Paraphrase Adversaries from Word Scrambling),这是一个新的数据集,包含108,463个格式良好的释义和非释义对,具有高度词汇重叠。翻译对是通过受控的单词交换和反向翻译产生的,然后由人类评分员进行流畅性和释义判断。在现有数据集上训练的最先进的模型在PAWS上的性能很差(准确率<40%);然而,为这些模型提供PAWS训练数据可以将其准确率提高到85%,同时保持现有任务的性能。相比之下,不捕获非本地上下文信息的模型即使使用PAWS训练样本也会失败。因此,PAWS提供了一个有效的工具,用于推动更好地利用结构,上下文和成对比较的模型的进一步进展。
2019-04-01 cs.CL
Unsupervised Paraphrasing without Translation
Google Research(谷歌研究院)
释义增强了从表面形式中抽象出语义内容的能力。最近的自动释义工作主要是利用机器翻译(MT)作为中间步骤的方法。这与人类形成了鲜明对比,人类可以在没有双语的情况下进行释义。本文提出了一种从单语语料库中学习释义模型的方法。为此,我们提出了一种矢量量化变分自动编码器的残差变体。我们比较基于MT的方法的释义识别,生成和训练增强。单语释义优于无监督翻译在所有设置。与监督翻译的比较更加复杂:单语释义对于识别和增强来说很有趣;监督翻译在生成方面更优越。
2019-05-29 cs.CL cs.LG stat.ML
Re-identification of De-identified Documents with Autoregressive Infilling
University of Oslo Language Technology Group(奥斯陆大学语言技术组);Norwegian Computing Center (NR)(挪威计算中心(NR))
本研究针对去标识化文档的身份泄露风险,提出受RAG启发的自回归补全重识别方法,经三类数据集验证可恢复80%掩码跨度,且准确率随背景知识增加而提升,为评估去标识化鲁棒性提供参考。
2025-05-19 cs.CL
Character-based Neural Networks for Sentence Pair Modeling
Department of Computer Science and Engineering(计算机科学与工程系);Ohio State University(俄亥俄州立大学)
句子对建模对于许多NLP任务至关重要,例如释义识别,语义文本相似性和自然语言推理。这些任务的大多数最先进的神经模型都依赖于预训练的词嵌入,并以各种方式组成语义级语义;然而,很少有工作试图验证我们是否真的需要在这些任务中预训练的嵌入。在本文中,我们研究如何有效的子词级(字符和字符n-gram)表示在句子对建模。虽然众所周知,子词模型在单句输入的任务中是有效的,包括语言建模和机器翻译,但它们在句子对建模任务中没有系统地研究,其中文本之间的语义和字符串相似性很重要。我们的实验表明,没有任何预训练的词嵌入的子词模型可以在两个社交媒体数据集上获得新的最先进的结果,并在新闻数据上获得具有竞争力的结果,用于释义识别。
2018-05-21 cs.CL
Contextualized Embeddings based Convolutional Neural Networks for Duplicate Question Identification
Pune Institute of Computer Technology(浦那计算机技术学院);vCreaTek Consulting Services Pvt. Ltd.(vCreaTek 咨询服务私人有限公司)
问题释义识别(QPI)是大型问答论坛的一项关键任务。QPI的目的是确定给定的一对问题在语义上是否相同。以前的方法已经取得了可喜的成果,但往往依赖于复杂的复发机制,是昂贵的和耗时的性质。在本文中,我们提出了一种新的架构相结合的双向Transformer编码器与卷积神经网络的QPI任务。我们使用两种不同的推理设置:Siamese和Matched Aggregation从所提出的架构中产生预测。实验结果表明,我们的模型在Quora Question Pairs数据集上达到了最先进的性能。我们凭经验证明,在模型架构中添加卷积层可以改善两种推理设置的结果。我们还研究了部分和完全微调的影响,并分析了计算能力和准确性之间的权衡。基于所获得的结果,我们得出结论,匹配聚合设置始终优于暹罗设置。我们的工作提供了什么样的架构组合和设置可能会产生更好的结果QPI任务的见解。
2021-09-06 cs.CL
OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute Japan(日本本田研究所)
提出基于CTC的仅编码器语音基础模型OWSM-CTC,使用180k小时公开数据训练,在ASR和ST任务上取得竞争力且推理更快,促进开放科学。
2024-08-27 cs.CL cs.SD eess.AS
Multilingual Political Views of Large Language Models: Identification and Steering
Saarland University(萨尔兰州大学);University of Trento(特伦特大学);Brno University of Technology(布拉格技术大学);Kempelen Institute of Intelligent Technologies(凯姆佩尔智能技术研究所);German Research Center for AI (DFKI)(人工智能德国研究中心(DFKI))
本研究对7个开源指令微调LLM在14种语言下的政治倾向进行大规模评估,发现大模型倾向自由意志左派,并提出质心激活干预技术成功跨语言引导其政治立场。
2025-10-31 cs.CL