Annotation Guidelines for the Turku Paraphrase Corpus
University of Turku(图尔库大学)
本文档描述了用于构建图尔库释义语料库的注释指南。这些指南是与语料库注释一起制定的,并在注释工作中定期修订和扩展。我们的释义注释方案使用基本尺度1-4,其中标签1和2用于否定候选(不是释义),而标签3和4至少在给定的上下文中是释义,如果不是到处都是。除了基本标签之外,该方案还丰富了额外的子类别(标志),用于对两个正标签内的不同类型的释义进行分类,使得注释方案适合于更细粒度的释义分类。注释方案用于注释超过100,000芬兰语释义对。
2021-08-19 cs.CL
Quantitative Evaluation of Alternative Translations in a Corpus of Highly Dissimilar Finnish Paraphrases
University of Turku(图尔库大学)
在本文中,我们提出了一个定量评估的差异,在最近发布的大型芬兰语释义语料库,特别是在翻译的非平凡的变化。我们结合了一系列自动步骤检测系统的变化与人工分析,以揭示差异和识别类别的翻译差异。我们发现释义语料库包含高度非平凡的翻译变体难以通过自动方法识别。
2021-05-06 cs.CL
ARPA: Armenian Paraphrase Detection Corpus and Models
Russian-Armenian University(俄罗斯-亚美尼亚大学);Ivannikov Laboratory for System Programming(伊万尼科夫系统编程实验室)
在这项工作中,我们采用了一种半自动的方法,基于回译生成一个亚美尼亚语的原始释义语料库。最初收集的句子从亚美尼亚语翻译成英语,然后再翻译两次,结果是成对的词汇上遥远但语义上相似的句子。然后,对生成的释义进行手动审查和注释。使用该方法创建了训练和测试数据集,总共包含2360个释义。此外,这些数据集被用来训练和评估基于BERT的亚美尼亚语释义检测模型,取得了与其他语言的最先进水平相当的结果。
2020-09-26 cs.CL
Sentence Simplification Using Paraphrase Corpus for Initialization
Yangzhou University(扬州大学)
本文提出利用复述语料构建伪平行数据并初始化神经句子简化模型,在WikiLarge上显著提升三种序列到序列方法的性能。
2023-05-31 cs.CL
Open Subtitles Paraphrase Corpus for Six Languages
University of Helsinki(赫尔辛基大学)
本文伴随着Opusparcus的发布,Opusparcus是一个新的释义语料库,适用于六种欧洲语言:德语,英语,芬兰语,法语,俄语和瑞典语。语料库由释义组成,即同一语言中的成对句子,意思大致相同。这些释义是从OpenSubtitles 2016语料库中提取的,其中包含电影和电视节目的字幕。例如,从计算机辅助语言学习的角度来看,字幕中出现的非正式和口语化的体裁使这些数据成为非常有趣的语言资源。对于每一种目标语言,Opusparcus数据被划分为三种类型的数据集:训练集、开发集和测试集。训练集很大,由数百万个句子对组成,并且在概率排名函数的帮助下自动编译。开发和测试集由已经手动检查的句子对组成;每个集合包含大约1000个句子对,这些句子对已经被两个注释者验证为可接受的释义。
2018-09-17 cs.CL
Knowledge Corpus Error in Question Answering
Seoul National University(首尔大学);KAIST AI(韩国科学技术院人工智能研究所)
本文提出知识语料库误差概念,解释LLM生成段落优于检索段落的原因,并通过改写实验在三个QA基准上验证了该误差的存在及性能提升。
2023-10-27 cs.AI cs.CL
An analysis of full-size Russian complexly NER labelled corpus of Internet user reviews on the drugs based on deep learning and language neural nets
NRC "Kurchatov institute"(国家研究中心“库尔恰托夫研究所”);MEPhI National Research Nuclear University(莫斯科工程物理学院国家核研究大学);I.M. Sechenov First Moscow State Medical University (Sechenov University)(谢切诺夫第一莫斯科国立医科大学(谢切诺夫大学))
我们提出了全尺寸的俄罗斯复杂的NER标记的互联网用户评论语料库,以及通过一组先进的深度学习神经网络从俄罗斯文本中提取有意义的实体在此语料库上达到的准确性水平的评估。语料库注释包括以下实体的提及:药物(33005提及),药物不良反应(1778),疾病(17403)和注释(4490)。其中两个-药物和疾病-组成了一组属性。部分语料库在300篇文献中有共指标注1560条共指链。提出了一种基于语言模型和特征集的多标注模型,适用于现有语料标注。不同的修改模型的选择的影响:词向量表示,类型的语言模型预先训练的俄罗斯,文本规范化风格,和其他初步处理进行了分析。我们的语料库的足够大小允许研究语料库标记和平衡语料库中的实体的特殊性的影响。因此,俄罗斯的药理实体提取问题的最新技术水平是建立在一个全尺寸的标记语料库。在药物不良反应(ADR)识别的情况下,F1精确度量为61.1,正如我们的分析所示,与具有类似特征的其他语言语料库和ADR代表的准确性水平相当。共指关系抽取在该语料库上的基线准确率为71,高于在其他俄语语料库上的结果。
2021-04-30 cs.AI cs.CL cs.LG
Paraphrases as Foreign Languages in Multilingual Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
释义是对同一语义的改写,有助于提高概括能力和翻译水平。然而,以前的作品只探讨释义在词或短语的水平,而不是在句子或语料库的水平。与以往只在单词或短语层面上探索释义的工作不同,我们在语料库层面上使用结构一致的整个训练数据的不同翻译作为释义。我们训练平行释义在多种语言从各种来源。我们将释义视为外语,用释义标签标记源句子,并以多语言神经机器翻译(NMT)的风格对平行释义进行训练。我们的多释义NMT仅在两种语言上训练,优于多语言基线。增加释义可以提高生僻词的翻译,增加词汇选择的熵和多样性。添加源释义比添加目标释义更能提高性能。将源和目标释义结合起来可以进一步提高性能;将释义与多语言数据结合起来会有所帮助,但性能参差不齐。我们使用24个语料库级别的圣经释义,实现了法语到英语翻译的BLEU得分为57.2,优于多语言基线,比单源单目标NMT基线高出+34.7。
2021-10-01 cs.CL
DaNetQA: a yes/no Question Answering Dataset for the Russian Language
National Research University Higher School of Economics(国立研究型大学高等经济学院);Sberbank(俄罗斯联邦储蓄银行)
本文构建俄语是/否问答数据集 DaNetQA,给出可复现的构建流程,并通过 Paraphraser、XNLI 俄语部分和 SberQUAD 的任务迁移,以及英译俄翻译与多语言微调的语言迁移来评估模型效果。
2020-10-15 cs.CL cs.IR
StyleKQC: A Style-Variant Paraphrase Corpus for Korean Questions and Commands
Seoul National University(首尔大学);Tokyo Institute of Technology(东京工业大学);Google LLC(谷歌有限责任公司)
释义通常不太关心受控的风格转换。特别是对于问题和命令,风格变体释义在语气和方式上可能至关重要,这对于对话系统等工业应用也很重要。在本文中,我们攻击这个问题的语料库建设计划,同时考虑的核心内容和风格的指令,即意图和形式,为韩国语。利用人工生成的自然语言查询的六个日常话题,我们扩大了语料库的正式和非正式的句子,通过人工重写和转移。我们验证了我们的方法的有效性和工业适用性,通过检查适当的分类和推理性能,适合与传统的微调方法,在同一时间提出了一个监督的形式转移任务。
2022-04-28 cs.CL
The Russian Drug Reaction Corpus and Neural Models for Drug Reactions and Effectiveness Detection in User Reviews
Kazan Federal University(喀山联邦大学);Steklov Institute of Mathematics at St. Petersburg(圣彼得堡斯捷克洛夫数学研究所)
本文构建了俄语药物反应部分标注语料库RuDReC,并提出基于RuDR-BERT的基线模型用于命名实体识别与多标签句子分类,在两项任务上均取得优于基线的F1分数,且已开源语料库与模型权重。
2020-04-07 cs.CL
Fine-Grained Emotional Paraphrasing along Emotion Gradients
Westview High School(西景高中)
释义生成,又称。释义是自然语言处理中的一项重要任务。情感释义,即在保持文本意义的同时改变文本中所体现的情感,具有许多潜在的应用,例如,主持在线对话和防止网络欺凌。我们引入了一个新的任务,细粒度的情感释义沿情感梯度,即改变情感强度的释义在细粒度以下的情感维度的平滑变化,同时保持原来的意义。我们提出了一个框架,通过多任务训练微调文本到文本的Transformers来解决这个任务。我们增强了几个广泛使用的释义语料库,通过注释的输入和目标文本与他们的细粒度的情感标签。有了这些标签,在这些语料库上微调文本到文本的Transformers需要多任务训练。在单独的测试集上对微调的Transformers的评估表明,在释义任务中包括细粒度的情感标签显著提高了获得所需情感的高质量释义的机会,即,超过一倍的数量的精确匹配所需的情绪,同时实现了一贯更好的分数在释义指标,如蓝色,ROGUE,和METEOR。
2022-10-30 cs.CL cs.LG
Machine Reading Comprehension: a Literature Review
Peking University(北京大学)
机器阅读理解旨在教机器像人一样理解文本,是人工智能的一个新的具有挑战性的方向。本文综述了MRC的最新进展,主要集中在两个方面(即,语料库和技术)。列举并比较了各种MRC语料库的具体特点。介绍了几种典型MRC技术的主要思想。
2019-06-30 cs.CL
ParaCotta: Synthetic Multilingual Paraphrase Corpora from the Most Diverse Translation Sample Pair
Kata.ai Research Team(Kata.ai研究团队);Kumamoto University(熊本大学);University of Edinburgh(爱丁堡大学);Universitas Indonesia(印度尼西亚大学);Oracle Digital Assistant(甲骨文数字助手);Brawijaya University(布拉维贾亚大学)
我们发布了17种语言的合成平行释义语料库:阿拉伯语,加泰罗尼亚语,捷克语,德语,英语,西班牙语,爱沙尼亚语,法语,印地语,印度尼西亚语,意大利语,荷兰语,罗马尼亚语,俄语,瑞典语,越南语和中文。我们的方法仅依赖于单语数据和神经机器翻译系统来生成释义,因此应用简单。我们使用束搜索生成多个翻译样本,并根据它们的句子BLEU选择词汇最多样化的对。我们比较我们生成的语料库与\texttt{ParaBank2}。根据我们的评估,我们的合成释义对语义相似,词汇多样。
2022-05-10 cs.CL
Mitigating Paraphrase Attacks on Machine-Text Detectors via Paraphrase Inversion
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
针对释义攻击会降低机器文本检测器性能的问题,提出将释义文本反转还原为近似原文本的方法,利用少量数据学习模型释义偏差,泛化性良好,结合释义检测器可有效防御攻击,多检测器多领域下AUROC平均提升22%。
2025-03-19 cs.CL cs.LG
Zero-Shot Paraphrase Generation with Multilingual Language Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Consumer Business Group(华为消费者业务集团)
由于高质量的释义语料库规模有限,利用多语言平行文本自动生成释义受到了广泛关注。往返翻译,也称为旋转方法,是实现这一目标的典型方法。然而,我们注意到旋转过程涉及多个机器翻译模型,并且在两步翻译期间可能会引起语义漂移。受基于transformer语言模型的启发,本文提出了一种简单统一的释义模型,该模型纯粹基于多语言并行数据进行训练,能够一步完成zero-shot释义生成。与主元方法相比,该模型生成的释义在语义上更接近于输入句子。此外,由于我们的模型与GPT共享相同的架构(Radford等人,2018),我们能够在大规模非平行语料库上预训练模型,这进一步提高了输出句子的流畅性。此外,我们引入了去噪自动编码器(DAE)的机制,以提高模型的多样性和鲁棒性。实验结果表明,我们的模型优于旋转方法的相关性,多样性,流畅性和效率。
2019-11-09 cs.CL
BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context
Polytechnique Montreal(蒙特利尔综合理工学院)
新引入的深度学习架构,即BERT,XLNet,RoBERTa和ALBERT,已被证明在几个NLP任务上是鲁棒的。然而,在这些架构上训练的数据集在大小和可推广性方面是固定的。为了解决这个问题,我们采用了一种最便宜的解决方案来更新这些数据集。我们称之为BET的方法,我们分析的transformer为基础的架构上的回译数据增强。使用谷歌翻译API与来自10个不同语系的10种中间语言,我们在基于transformer的框架中自动释义识别的上下文中外部评估结果。我们的研究结果表明,BET提高了释义识别性能的微软研究院释义语料库(MRPC)的准确率和F1得分超过3%。我们还分析了在低数据制度下的MRPC,Twitter释义语料库(TPC)和Quora问题对的下采样版本的增强。在许多低数据情况下,我们观察到从测试集上的失败模型切换到合理的性能。结果表明,BET是一种非常有前途的数据增强技术:推动现有数据集的最新发展,并在100个样本的低数据状态下引导深度学习架构的利用。
2020-09-25 cs.CL
Perturb Your Data: Paraphrase-Guided Training Data Watermarking
本文提出SPECTRA方法,通过LLM改写文本并结合评分模型,实现训练数据可靠检测,即使数据占比低于0.001%。该方法能有效区分训练数据与非训练数据,具有高鲁棒性和可扩展性。
2025-12-18 cs.CL cs.LG
Resolving the Scope of Speculation and Negation using Transformer-Based Architectures
Veermata Jijabai Technological Institute(维尔马塔·吉贾拜技术学院);College of Engineering Pune(浦那工程学院)
推测是文本数据中自然发生的现象,形成许多系统的组成部分,特别是在生物医学信息检索领域。先前解决线索检测和范围解析(推测检测的两个子任务)的工作范围从基于规则的系统到基于深度学习的方法。在本文中,我们应用三种流行的基于转换器的架构,BERT,XLNet和RoBERTa的这项任务,在两个公开的数据集,BioScope语料库和SFU评论语料库,报告大幅改善以前报告的结果(至少0.29 F1点线索检测和4.27 F1点范围分辨率)。我们还在多个数据集上进行了模型的联合训练实验,其性能优于单数据集训练方法。我们观察到XLNet始终优于BERT和RoBERTa,与其他基准数据集的结果相反。为了证实这一观察结果,我们将XLNet和RoBERTa应用于否定检测和范围解析,报告了BioScope语料库(BioScope全文增加3.16 F1点,BioScope摘要增加0.06 F1点)和SFU评论语料库(增加0.3 F1点)的否定范围解析的最新结果。
2020-01-09 cs.CL
NegBERT: A Transfer Learning Approach for Negation Detection and Scope Resolution
College of Engineering Pune(浦那工程学院)
否定是语言的一个重要特征,也是文本信息抽取的一个重要组成部分。这个子任务对于生物医学领域是相当重要的。多年来,已经探索了多种方法来解决这个问题:基于规则的系统,机器学习分类器,条件随机场模型,CNN和最近的BiLSTM。在本文中,我们着眼于将迁移学习应用于这个问题。首先,我们广泛回顾了以前的文献,这些文献涉及多年来流行的3个数据集:BioScope语料库,Sherlock数据集和SFU评论语料库。然后,我们探索了使用BERT(一种流行的迁移学习模型)进行此任务所涉及的决策选择,并报告了所有3个数据集范围分辨率的最新结果。我们的模型,被称为NegBERT,在Sherlock数据集上实现了92.36的范围分辨率的令牌级F1分数,在BioScope摘要子语料库上为95.68,在BioScope全文子语料库上为91.24,在SFU评论语料库上为90.95,显著优于以前的最先进的系统。我们还分析了模型对未训练数据集的泛化能力。
2020-05-24 cs.CL
Paraphrase Detection on Noisy Subtitles in Six Languages
University of Helsinki(赫尔辛基大学)
我们执行自动释义检测字幕数据Opusparcus语料库,包括六种欧洲语言:德语,英语,芬兰语,法语,俄语和瑞典语。我们训练了两种类型的监督句子嵌入模型:词平均(WA)模型和门控循环平均网络(GRAN)模型。我们发现,GRAN优于WA,是更强大的噪音训练数据。使用更多和更嘈杂的数据比使用更少和更干净的数据获得更好的结果。此外,我们在其他数据集上进行实验,由于训练数据和测试数据之间的域不匹配,没有达到相同的性能水平。
2018-09-21 cs.CL
PerPaDa: A Persian Paraphrase Dataset based on Implicit Crowdsourcing Data Collection
German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心);ICT Research Institute of ACECR(伊朗伊斯兰革命胜利组织信息与通信技术研究所)
在本文中,我们介绍PerPaDa,波斯语释义数据集,收集从用户的输入在剽窃检测系统。作为一种隐性的众包体验,我们从Hamtajoo收集了大量的原始和释义句子;这是一个波斯语剽窃检测系统,用户试图通过释义和重新提交手稿进行分析来隐藏文档中的文本重复使用情况。编译的数据集包含2446个释义实例。为了提高所收集数据的整体质量,已经使用了一些语法来排除不符合所提出的标准的句子。引入的语料库是远远大于可用的数据集的任务,在波斯语的释义识别。此外,与类似的数据集相比,数据中的偏差较小,因为用户没有尝试一些固定的预定义规则来生成与其原始输入相似的文本。
2022-01-17 cs.AI cs.CL cs.LG
An automated domain-independent text reading, interpreting and extracting approach for reviewing the scientific literature
Federal University of Ceara(塞阿拉联邦大学)
本文提出了一种基于机器学习的自然语言处理方法,该方法能够从文章语料库中自动识别和提取分类参数和数值参数。该方法(命名为.RIX)与ML模型的伴随/可互换使用一起操作,例如神经元网络(NN),潜在语义分析(LSA),朴素贝叶斯分类器(NBC)和使用正则表达式的模式识别模型(REGEX)。7,873篇涉及天然产物(NP)的科学文章的语料库被用来证明a.RIX引擎的效率。该引擎自动提取分类和数值参数,例如(i)从中提取活性分子的植物物种,(ii)活性分子可以作用于的微生物物种,以及(iii)针对这些微生物的最小抑制浓度(MIC)值。参数的提取没有词性标注(POS)和命名实体识别(NER)的方法(即,不需要文本注释),和模型的训练与无监督的方法进行。通过这种方式,.RIX基本上可以用于任何科学领域的文章。最后,它可能会在某些领域淘汰当前的文章审查过程,特别是那些机器学习模型捕获文本结构,文本语义和潜在知识的领域。
2021-10-06 cs.CL
3CEL: A corpus of legal Spanish contract clauses
Instituto de Ingeniería del Conocimiento(知识工程研究所);Universidad Politécnica de Madrid(马德里理工大学)
本文介绍在 INESData 2024 框架下开发的西班牙语法律合同条款语料库(3CEL),包含 373 份人工标注标书和 19 个类别(共 4782 个标签),用于合同信息抽取,以缓解西班牙语法律 NLP 资源稀缺问题。
2025-01-27 cs.CL
MOVER: Mask, Over-generate and Rank for Hyperbole Generation
Peking University(北京大学)
夸张是一种常见的修辞格,但在比喻语言处理中却没有得到充分的研究。在本文中,我们解决了具有挑战性的任务,夸张生成转换为双曲释义的字面句子。为了解决现有双曲句的不足,我们以非平凡的方式构建了第一个包含17,862个双曲句的大规模英语夸张语料库HYPO-XL。基于我们的语料库,我们提出了一个无监督的方法,夸张生成,不需要平行的字面夸张对。在训练过程中,我们对BART进行了微调,以填充HYPO-XL中句子的掩码双曲跨度。在推理过程中,我们屏蔽了输入文字句子的一部分,并过度生成多个可能的双曲线版本。然后,基于BERT的排序器通过双曲性和释义质量来选择最佳候选。自动和人工评价结果表明,我们的模型是有效的,在生成双曲型释义句子,并优于几个基线系统。
2022-05-04 cs.CL
Paraphrase Identification with Deep Learning: A Review of Datasets and Methods
Syracuse University(雪城大学);SingularDance;Vanderbilt University(范德堡大学);University of Colorado at Boulder(科罗拉多大学博尔德分校)
本文针对文本生成工具带来的释义剽窃风险及现有检测方法受数据集局限的问题,梳理释义识别的传统与前沿方法,提出精细化释义分类体系并验证,为后续研究和数据集建设指明方向以提升AI释义检测能力。
2024-10-08 cs.AI cs.CL cs.IR
Using the Web as an Implicit Training Set: Application to Noun Compound Syntax and Semantics
Sofia University(索非亚大学)
英语书面语篇的一个重要特征是名词复合词的丰富性-名词序列充当单个名词,例如,结肠癌肿瘤抑制蛋白。虽然最终由领域专家掌握,但它们的解释对自动分析构成了重大挑战。理解名词复合词的句法和语义对于许多自然语言应用是重要的,包括问答、机器翻译、信息检索和信息抽取。我解决的问题,名词复合语法的新颖的,高度准确的无监督和轻度监督的算法,使用Web作为语料库和搜索引擎作为接口,该语料库。传统上,Web一直被视为页面点击数的来源,用于估计n元词频。我通过引入新的表面特征和释义来扩展这种方法,从而为名词复合括号的任务产生最先进的结果。我还展示了如何这些类型的功能可以应用到其他结构歧义问题,如介词短语附件和名词短语协调。我通过自动生成释义动词和介词来解决名词复合词的语义问题,这些动词和介词使名词复合词中名词之间隐藏的语义关系显式化。我还演示了如何这些释义动词可以用来解决各种关系相似性问题,以及如何释义名词复合词可以提高机器翻译。
2019-11-23 cs.CL cs.IR
Conversational Question Answering on Heterogeneous Sources
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出端到端流水线CONVINSE,通过结构化表示统一融合知识库、文本和表格异构源证据生成答案,并发布首个异构源对话问答基准ConvMix,实验证明其优于现有基线。
2023-06-30 cs.CL cs.IR
When to Read Documents or QA History: On Unified and Selective Open-domain QA
LG AI Research(LG人工智能研究院);SNU-LG AI Research Center(首尔国立大学-LG人工智能研究中心);Seoul National University(首尔国立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文针对开放域问答中文档与问答对语料互补却难以简单融合的问题,提出基于答案置信度校准来选择性选择知识来源的方法,并在 Natural Questions 和 TriviaQA 上验证其效果。
2023-06-07 cs.AI cs.CL
A Review on Semi-Supervised Relation Extraction
University of Maryland(马里兰大学)
关系抽取是从非结构化文本中抽取知识的重要方法,但需要大量的标注语料。为了减少昂贵的注释工作,半监督学习旨在利用标记和未标记的数据。在本文中,我们回顾和比较了三种典型的方法在半监督RE与深度学习或元学习:自集成,这迫使一致的扰动下,但可能会面临监督不足;自训练,迭代生成伪标签,并重新训练自己与扩大的标记集;双学习,利用一个原始任务和一个双任务,以提供相互反馈。平均教师(Tarvainen和Valpola,2017),LST(Li等人,2019)和DualRE(Lin et al.,2019)为代表,分别阐述了这三种方法的不足。
2021-03-12 cs.AI cs.CL cs.IR
Unsupervised Paraphrasing via Deep Reinforcement Learning
University of California, Riverside(加州大学河滨分校)
释义是用不同的措辞表达输入句子的含义,同时保持流畅性(即,语法和句法正确性)。大多数关于释义的现有工作使用限于特定领域的监督模型(例如,图像字幕)。这样的模型既不能直接转移到其他领域,也不能很好地推广,并且为新领域创建标记的训练数据是昂贵和费力的。跨领域释义的需要和在许多这样的领域中标记的训练数据的稀缺性要求探索无监督释义生成方法。我们提出了渐进式无监督释义(PUP):一种基于深度强化学习(DRL)的新型无监督释义生成方法。PUP使用变分自编码器(使用非并行语料库训练)来生成种子释义,该种子释义热启动DRL模型。然后,PUP在我们的新颖奖励函数的指导下逐步调整种子释义,该奖励函数结合了语义充分性,语言流畅性和表达多样性措施,以量化每次迭代中生成的释义的质量,而无需并行句子。我们广泛的实验评估表明,PUP在四个真实数据集上的自动度量和用户研究方面优于无监督的最先进的释义技术。我们还表明,PUP在几个数据集上的性能优于域适应监督算法。我们的评估还表明,PUP实现了语义相似性和表达的多样性之间的很大的权衡。
2020-07-05 cs.AI cs.CL cs.LG
Task-Oriented Paraphrase Analytics
Bauhaus-Universität Weimar(魏玛包豪斯大学);Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学);Leipzig University(莱比锡大学)
本文通过文献综述提出一种包含25个复述子任务的分类法,利用分类器发现现有复述语料库的任务分布差异巨大,指出未明确定义条件使用语料库会导致误导性结果。
2024-03-26 cs.CL
A German Corpus for Text Similarity Detection Tasks
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔理工学院);Universidad Nacional Autónoma de México(墨西哥国立自治大学);University of Applied Sciences Fulda(富尔达应用技术大学)
文本相似性检测的目的是度量一对文本之间的相似程度。文本相似性检测语料库的设计是为了评估文本之间的释义水平的算法。在本文中,我们提出了一个文本德语语料库的相似性检测。该语料库的目的是自动评估一对文本之间的相似性,并评估不同的相似性度量,无论是整个文档还是单个句子。因此,我们已经计算了几个简单的措施,我们的语料库的基础上的相似性函数库。
2017-03-11 cs.CL cs.IR
Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark
work(工作);seecs.edu.pk(SEECs大学);tum.de(图腾大学)
针对BDD测试中Gherkin步骤重复问题,提出结合精确哈希、归一化Levenshtein、句子Transformer余弦和Levenshtein带混合的四种策略检测器,并构建跨组织语料库和标注基准,F1达0.906。
2026-06-15 cs.CL cs.IR cs.SE
The Multilingual Amazon Reviews Corpus
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们提出了多语言亚马逊评论语料库(MARC),一个大规模的亚马逊评论多语言文本分类的集合。该语料库包含英语,日语,德语,法语,西班牙语和中文的评论,这些评论是在2015年至2019年期间收集的。数据集中的每个记录包含评论文本、评论标题、星级、匿名评论者ID、匿名产品ID和粗粒度产品类别(例如,“书籍”、“器具”等)语料库在5个可能的星级之间保持平衡,因此每个评级占每种语言评论的20%。对于每种语言,在训练集、开发集和测试集中分别有200,000、5,000和5,000条评论。我们通过对评论数据微调多语言BERT模型,报告了监督文本分类和zero-shot跨语言迁移学习的基线结果。我们建议使用平均绝对误差(MAE),而不是分类准确度为这项任务,因为MAE帐户的顺序性质的评级。
2020-10-06 cs.CL cs.IR cs.LG
AlbMoRe: A Corpus of Movie Reviews for Sentiment Analysis in Albanian
University of Vienna(维也纳大学)
针对低资源语言阿尔巴尼亚语缺乏情感分析语料资源的问题,本文构建了含800篇标注情感的电影评论语料库AlbMoRe,并给出传统机器学习分类器的初步实验结果作为后续研究的基准。
2023-06-14 cs.AI cs.CL cs.LG
A Review on Part-of-Speech Technologies
Nnamdi Azikiwe University(纳姆迪·阿齐克韦大学)
为任何新语言开发自动词性(POS)标记被认为是进一步将计算语言学方法(如组块和解析)完全应用于语言的必要步骤。许多POS消歧技术已经开发了这种类型的研究,有一些因素影响选择的选择。这可以是基于语料库的或非基于语料库的。本文对词性标注技术进行了综述。
2021-10-11 cs.CL cs.LG
Rakuten Data Release: A Large-Scale and Long-Term Reviews Corpus for Hotel Domain
Rakuten Institute of Technology, Rakuten Group, Inc.(乐天技术研究所、乐天集团)
本文发布了一个包含16年酒店评论数据的大型语料库,包含729万条评论及详细元数据,通过统计方法分析数据漂移因素。
2026-01-15 cs.CL
A Corpus for Argumentative Writing Support in German
University of St.Gallen(圣加仑大学);University of Passau(帕绍大学);University of Kassel(卡塞尔大学)
在本文中,我们提出了一种新的注释方法来捕捉索赔和前提的论点和它们之间的关系,在学生写的有说服力的商业模式的德语同行评审。我们提出了一个注释计划的基础上的注释准则,允许模型的索赔和前提,以及支持和攻击的关系,以捕捉结构的争论性话语在学生写的同行评议。我们对50篇说服性文章进行了一项注释研究,以评估我们的注释方案。所获得的评分者间协议的$α=0.57$的论点组件和$α=0.49$的争论关系表明,建议的注释方案成功地引导注释者适度的协议。最后,我们提出了我们免费提供的语料库的1,000有说服力的学生写的同行评议的商业模式和我们的注释指南,以鼓励未来的研究,为学生设计和开发的议论文写作支持系统。
2020-10-26 cs.CL cs.LG
A corpus of preposition supersenses in English web reviews
University of Edinburgh(爱丁堡大学);IHMC(人类与机器认知研究所);University of Utah(犹他大学);University of Colorado at Boulder(科罗拉多大学博尔德分校)
我们提出了第一个语料库注释与介词supersense,unexxicalized类别的语义功能,可以标记的英语介词(施耐德等人,2015年)。该方案在其前身的基础上进行了改进,以更好地促进全面的手动注释。此外,与以前的计划,介词的叠加组织层次。我们的数据将在发布后在网络上公开发布。
2016-05-08 cs.CL
NoReC: The Norwegian Review Corpus
University of Oslo(奥斯陆大学);Schibsted Media Group(施伯史泰德媒体集团)
本文介绍了挪威评论语料库(NoReC),创建的训练和评估模型的文档级情感分析。全文评论收集自挪威主要新闻来源,涵盖了一系列不同的领域,包括文学,电影,视频游戏,餐馆,音乐和戏剧,以及一系列类别的产品评论。每个评论都标有手动分配的1-6分,由原作者的评分提供。该语料库的首次发布包含35,000多条评论。它使用CoNLL-U格式分发,使用UDPipe进行预处理,以及丰富的元数据集。本文中报告的工作构成了SANT倡议(情绪分析挪威文本),一个项目,旨在提供资源和工具的情感分析和意见挖掘挪威的一部分。由于情感分析的资源到目前为止还无法用于挪威语,NoReC代表了挪威语技术的一个非常有价值和受欢迎的补充。
2017-10-15 cs.CL
Machine Translation of Restaurant Reviews: New Corpus for Domain Adaptation and Robustness
Naver Labs Europe(Naver欧洲实验室)
我们分享了Foursquare餐厅评论的法语-英语平行语料库(https://europe.naverlabs.com/research/natural-language-processing/machine-translation-of-restaurant-reviews),并定义了一个新的任务,以鼓励对神经机器翻译鲁棒性和领域自适应的研究,在现实世界中,更好的MT将非常有益。我们讨论了这样的用户生成的内容的挑战,并训练良好的基线模型,建立在最新的技术MT的鲁棒性。我们还进行了广泛的评估(自动和人工),显示了对现有在线系统的显着改进。最后,我们提出了基于情感分析或领域特定的多义词的翻译准确性的特定任务的度量。
2019-10-31 cs.CL
BanglaNirTox: A Large-scale Parallel Corpus for Explainable AI in Bengali Text Detoxification
Islamic University of Technology(伊斯兰科技大学)
本文针对孟加拉语网络有毒语言问题,构建了包含68,041条句子的平行语料库BanglaNirTox,并提出结合Pareto优化LLMs与CoT提示的文本去毒化流水线,显著提升了去毒化质量与一致性。
2025-11-03 cs.AI cs.CL
Representing 'how you say' with 'what you say': English corpus of focused speech and text reflecting corresponding implications
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
在言语交际中,说话的方式(语言信息)和说话的内容(语言信息)同样重要。作为一种语言信息,英语语音使用句子重音(句子中最重的突出部分)来传达强调。虽然句子重音的不同位置传达不同的语义含义,但如果话语在语言上相同,当前的语音翻译系统返回相同的翻译,从而丢失了非语言信息。集中在焦点,一种类型的强调,我们建议映射到语言领域内的源语言使用词汇和语法设备的语言信息。这种方法使我们能够翻译的释义的文本表示,而不是转录的原始语音,并获得翻译,保留非语言信息。作为第一步,我们提出了一个英语语料库的集合,其中包含不同的焦点位置以及相应的文本,这是为了反映语音的隐含意义。此外,我们的语料库的分析表明,从语言学域的焦点映射到语言域涉及各种词汇和语法方法。从我们的分析数据和见解将进一步推进研究到跨语言翻译。语料库将通过LDC和我们的网站发布。
2022-09-29 cs.CL
MultiBooked: A Corpus of Basque and Catalan Hotel Reviews Annotated for Aspect-level Sentiment Classification
Pompeu Fabra University(庞培法布拉大学)
虽然情感分析已经成为NLP社区的一个既定领域,但对英语以外语言的研究却因缺乏资源而受到阻碍。尽管多语言和跨语言情感分析的研究主要集中在无监督或半监督方法上,但这些方法仍然需要大量的资源,并且没有达到监督方法的性能。考虑到这一点,我们引入了两个数据集,用于巴斯克语和加泰罗尼亚语的监督方面级情感分析,这两种语言都资源不足。我们提供了高质量的注释和基准,希望它们对越来越多的研究这些语言的研究人员有用。
2018-03-22 cs.CL
A Large-Scale, Cross-Disciplinary Corpus of Systematic Reviews
Leipzig University(莱比锡大学);University of Tübingen(图宾根大学);Kassel University(卡塞尔大学)
本文提出Webis-SR4ALL-26语料库,包含301,871篇系统评价,涵盖所有科学领域。通过多阶段预处理流程,链接OpenAlex元数据和参考文献列表,提取检索和筛选相关的结构化方法 artifacts,用于跨领域基准测试和元科学分析。
2026-04-23 cs.CL cs.IR
yosm: A new yoruba sentiment corpus for movie reviews
Montclair State University(蒙特克莱尔州立大学);Masakhane NLP(Masakhane自然语言处理组织);Saarland University(萨尔大学)
一部被一个人彻底欣赏和推荐的电影可能会被另一个人讨厌。人类的一个特征是能够拥有积极或消极的感觉。为了自动分类和研究人类情感,设计了自然语言处理、情感分析和意见挖掘的一个方面,以了解人类对可能影响产品、社交媒体平台、政府或社会讨论甚至电影的几个问题的情感。一些关于情感分析的工作已经在高资源语言上完成,而像约鲁巴语这样的低资源语言已经被边缘化。由于缺乏适合低资源语言的数据集和语言架构,非洲语言的“低资源语言”被忽视,没有得到充分的探索。出于这个原因,我们的注意力放在约鲁巴语上,探索尼日利亚电影评论的情感分析。这些数据包括来自IMDB,烂番茄,Letterboxd,Cinemapointer和Nollyrated的1500条电影评论。我们使用最先进的预训练语言模型,如mBERT和AfriBERTA开发情感分类模型来分类电影评论。
2022-04-20 cs.CL
Learning Document-Level Semantic Properties from Free-Text Annotations
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种利用自由文本关键词注释来推断文档语义属性的新方法。由于最近半结构化的用户生成的在线内容的急剧增长,这样的注释变得越来越丰富。一个特别相关的领域是产品评论,这些评论通常由其作者用优点/缺点关键词进行注释,例如真正的讨价还价或良好的价值。这些注释代表了底层的语义属性;然而,与专家注释不同,它们是嘈杂的:外行作者可能使用不同的标签来表示相同的属性,并且某些标签可能会丢失。为了使用这种嘈杂的注释进行学习,我们发现了一个隐藏的释义结构,它将关键短语聚集在一起。释义结构与评论文本的潜在主题模型相联系,使系统能够预测未注释文档的属性,并有效地聚合多个评论的语义属性。我们的方法被实现为一个分层贝叶斯模型与联合推理。我们发现,联合推理增加了关键词聚类的鲁棒性,并鼓励潜在的主题与语义有意义的属性。多个评估表明,我们的模型大大优于其他方法总结成一组语义突出的关键词的单个和多个文件。
2014-01-15 cs.CL cs.IR
LSICC: A Large Scale Informal Chinese Corpus
School of Data Science(数据科学学院);Fudan University(复旦大学);GSQ Tec.(GSQ科技公司)
基于深度学习的自然语言处理模型被证明是强大的,但需要大规模的数据集。由于现实世界的任务和现有的汉语语料库之间存在着巨大的差距,本文介绍了一个大规模的非正式汉语语料库。这个语料库包含了大约3700万篇书评和5万条网友对新闻的评论。我们对语料库中的非正式词语的使用频率进行了分析,并指出了我们的语料库与现有语料库的差异。语料库还可以用于训练基于深度学习的自然语言处理任务,例如中文分词、情感分析。
2018-11-26 cs.CL
ARIES: A Corpus of Scientific Paper Edits Made in Response to Peer Reviews
Northwestern University(西北大学);Massachusetts Institute of Technology (MIT)(麻省理工学院);Allen Institute for AI(艾伦人工智能研究所);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出依据同行评审自动修订论文的任务,发布带意见-修改链接标签的 ARIES 数据集,并通过 10 个模型及 GPT-4 实验揭示现有模型在间接对应推理和技术细节生成上的不足。
2024-08-06 cs.CL
Understanding the Role of Two-Sided Argumentation in Online Consumer Reviews: A Language-Based Perspective
University of Freiburg(弗赖堡大学);University of Oxford(牛津大学)
本文考察了双边论证对在线消费者评论有用性感知的影响。与以前的作品相比,我们的分析从而揭示了从基于语言的角度接受评论。为此,我们提出了一个有趣的文本分析方法的基础上分布式文本表示和多实例学习操作化的双面性的评论文本中的论证。随后使用大量亚马逊评论语料库进行的实证分析表明,评论中的双面论证显着增加了它们的有用性。我们发现,这种效果是更强的积极评论比负面评论,而更高程度的情感语言削弱了效果。我们的研究结果对零售商平台有直接的影响,这些平台可以利用我们的结果来优化他们的客户反馈系统,并提供更有用的产品评论。
2018-12-24 cs.CL cs.LG
A multimodal movie review corpus for fine-grained opinion mining
Télécom Paris, Université Paris-Saclay(巴黎高等电信学校,巴黎-萨克雷大学)
在本文中,我们为由1000个视频组成的POM电影评论数据集引入了一组观点注释。注释活动的动机是发展一个分层的意见预测框架,允许人们预测意见的不同组成部分(例如极性和方面),并确定相应的文本跨度。由此产生的注释已经收集在两个粒度级别:一个粗糙的(固执己见的跨度)和一个更精细的(意见组件的跨度)。我们引入特定的类别,以使电影评论的意见更容易注释。例如,某些类别允许在电影评论中发现用户推荐和偏好。我们提供了一个定量分析的注释和报告的注释者之间的协议下的不同级别的粒度。因此,我们提供了第一组地面实况注释,可用于细粒度多模态意见预测的任务。我们提供了一个分析的数据收集,通过一个inter-annotator的研究,并表明,一个线性结构化的预测学习有意义的功能,即使是对稀缺的标签的预测。注释和基线系统都是公开的。https://github.com/eusip/POM/
2021-04-29 cs.CL cs.MM
Generating Black-Box Adversarial Examples for Text Classifiers Using a Deep Reinforced Model
MIT Media Lab(麻省理工学院媒体实验室)
最近,生成对抗性示例已经成为衡量深度学习模型鲁棒性的重要手段。对抗性示例帮助我们识别模型的可验证性,并通过应用对抗性训练技术进一步对抗这些漏洞。在自然语言领域,拼写错误或释义形式的小扰动可以彻底改变文本的语义。我们提出了一种基于强化学习的方法,在黑盒设置中生成对抗性的例子。我们证明了我们的方法能够欺骗训练有素的模型(a)IMDB情感分类任务和(b)AG的新闻语料库新闻分类任务,成功率非常高。我们发现生成的对抗性示例是对原始文本的语义保持扰动。
2019-09-17 cs.CL cs.IR cs.LG
Efficacy of Large Language Models in Systematic Reviews
Illinois Mathematics and Science Academy(伊利诺伊数学与科学学院);Rick Reedy High School(里克·里迪高中)
该研究以ESG与财务绩效关系的系统综述为任务,评估Llama 3 8B、GPT-4o及定制/微调模型复现人工文献分类的能力,证明微调GPT-4o Mini和Custom GPT可显著提升准确率。
2024-10-26 cs.CL cs.LG