Investigating Affect Mining Techniques for Annotation Sample Selection in the Creation of Finnish Affective Speech Corpus
Tampere University(塔尔库大学);Signal Processing Research Centre(信号处理研究中心);Language Studies(语言研究)
本文构建了首个自发性芬兰语情感语音语料库,采用结合声学、跨语言语音情感和文本情感特征的情感挖掘方法选择12,000条话语进行标注,并与随机抽样对比,验证了该方法能提升标注多样性,为其他语言的情感语料库构建提供了抽样策略。
2025-05-23 cs.CL cs.LG
Lahjoita puhetta -- a large-scale corpus of spoken Finnish with some benchmarks
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
捐赠演讲活动迄今已成功地收集了大约3600小时的普通芬兰口语,并将其纳入Lahjoita puhetta(捐赠演讲)语料库。该语料库包括来自芬兰所有地区和所有年龄段的两万多名发言者。收集的主要目标是创建一个具有代表性的大规模资源,以研究自发的芬兰语口语,并加速语言技术和语音服务的发展。在本文中,我们介绍了收集过程和收集的语料库,并通过多个用例展示其多功能性。评估的用例包括:自发语音的自动语音识别、年龄、性别、方言和主题的检测以及元数据分析。我们为用例提供基准测试,以及使用开源代码进行可重复性训练的基线系统。另一个用例是验证这个语料库本身中给出的元数据和转录本,并为语料库中缺少的部分建议人工元数据和转录本。
2022-03-24 cs.CL eess.AS
FROST-EMA: Finnish and Russian Oral Speech Dataset of Electromagnetic Articulography Measurements with L1, L2 and Imitated L2 Accents
School of Humanities(人文学院);School of Computing(计算机学院);Faculty of Humanities(人文学院)
本文发布包含18名双语者L1、L2及模仿L2口音的FROST-EMA电磁发音语料库,并通过说话人验证与发音模式案例展示其语音学和技术研究价值。
2025-06-10 cs.CL
Acquiring Lexical Paraphrases from a Single Corpus
本文研究了在单个语料库中识别词汇释义的可能性,重点是动词释义的提取。大多数以前的方法检测一对(或一组)可比语料库中的个体释义实例,它们中的每一个包含大致相同的信息,并依赖于这样的语料库的对应关系的实质性水平。我们提出了一种新的方法,成功地检测孤立的释义实例在一个单一的语料库,而不依赖于任何先验的结构和信息。一个比较表明,基于实例的方法可以与基于向量的方法相结合,以更好地评估许多动词对的释义可能性。
2003-12-25 cs.AI cs.CL cs.IR
Looking for Affect in Spontaneous Finnish Speech through Linguistic Interpretability
Signal Processing Research Centre, Tampere University(坦佩雷大学信号处理研究中心);Research Centre Plural, Tampere University(坦佩雷大学多元研究中心)
研究探索基于文本和音频的特征在芬兰语自发情感语音中对效价和唤醒感知建模的组合作用,发现两者结合在效价回归上优于单模态,为芬兰语自发语音提供新数据和知识。
2026-07-28 cs.CL
MahaParaphrase: A Marathi Paraphrase Detection Corpus and BERT-based Models
Pune Institute of Computer Technology(普那计算机技术研究所);MKSSS’ Cummins College of Engineering for Women(MKSSS女子工程学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube Labs(L3Cube实验室)
针对马拉地语复述检测缺乏高质量标注数据的问题,本研究构建含8000个专家标注句对的L3Cube-MahaParaphrase数据集,并验证基于BERT的模型效果,填补低资源印度语言复述任务的资源空白
2025-08-24 cs.CL cs.LG
A Continuously Growing Dataset of Sentential Paraphrases
Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学);University of Maryland, College Park(马里兰大学帕克分校)
释义研究的一个主要挑战是缺乏平行语料库。在本文中,我们提出了一种新的方法来收集大规模的重复释义从Twitter的链接通过共享URL的推文。我们的方法的主要优点是它的简单性,因为它摆脱了分类器或人类在循环中需要选择数据之前的注释和后续应用的释义识别算法在以前的工作。我们提出了迄今为止最大的人类标记的释义语料库的51,524句对和第一个跨域的自动释义识别基准。此外,我们还发现,每个月可以以约70%的精度轻松连续地捕获超过30,000个新的短语释义,并通过短语释义提取展示了它们在下游NLP任务中的实用性。我们免费提供代码和数据。
2017-08-01 cs.CL
WinoWhat: A Parallel Corpus of Paraphrased WinoGrande Sentences with Common Sense Categorization
University of Antwerp(安特卫普大学)
本研究评估了不同规模生成式模型在WinoGrande基准上的常识推理能力,发布了复述语料库WinoWhat并进行五类常识分类评估,发现模型在新语料库上表现显著下降,表明其推理能力被高估,且基准记忆对此影响极小。
2025-03-31 cs.AI cs.CL
MOVER: Mask, Over-generate and Rank for Hyperbole Generation
Peking University(北京大学)
夸张是一种常见的修辞格,但在比喻语言处理中却没有得到充分的研究。在本文中,我们解决了具有挑战性的任务,夸张生成转换为双曲释义的字面句子。为了解决现有双曲句的不足,我们以非平凡的方式构建了第一个包含17,862个双曲句的大规模英语夸张语料库HYPO-XL。基于我们的语料库,我们提出了一个无监督的方法,夸张生成,不需要平行的字面夸张对。在训练过程中,我们对BART进行了微调,以填充HYPO-XL中句子的掩码双曲跨度。在推理过程中,我们屏蔽了输入文字句子的一部分,并过度生成多个可能的双曲线版本。然后,基于BERT的排序器通过双曲性和释义质量来选择最佳候选。自动和人工评价结果表明,我们的模型是有效的,在生成双曲型释义句子,并优于几个基线系统。
2022-05-04 cs.CL
Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
源自BERT的短语表示通常不表现出复杂的短语组合性,因为该模型依赖于词汇相似性来确定语义相关性。在本文中,我们提出了一个对比微调目标,使BERT产生更强大的短语嵌入。我们的方法(Phrase-BERT)依赖于一个不同短语释义的数据集,该数据集是使用释义生成模型自动生成的,以及从Books 3语料库中挖掘的上下文中的短语的大规模数据集。Phrase-BERT在各种短语级相似性任务中的表现优于基线,同时也证明了向量空间中最近邻居之间的词汇多样性增加。最后,作为一个案例研究,我们证明了Phrase-BERT嵌入可以很容易地与一个简单的自动编码器集成,以构建一个基于短语的神经主题模型,该模型通过在嵌入空间中执行最近邻搜索来将主题解释为单词和短语的混合物。众包的评价表明,这种基于短语的主题模型比基线单词和短语级别的主题模型产生更连贯和有意义的主题,进一步验证了Phrase-BERT的效用。
2021-10-13 cs.CL
A Finnish News Corpus for Named Entity Recognition
我们提出了一个语料库的芬兰新闻文章与手动准备命名实体注释。该语料库由953篇文章(193,742个单词标记)组成,具有六个命名实体类(组织,位置,人员,产品,事件和日期)。这些文章摘自芬兰在线科技新闻来源Digitoday的档案。语料库可用于研究目的。我们提出了基线实验的语料库使用基于规则的和两个深度学习系统的两个,域内和域外,测试集。
2019-08-12 cs.CL
MaSS: A Large and Clean Multilingual Corpus of Sentence-aligned Spoken Utterances Extracted from the Bible
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室);LIDILEM(语言、数字、管理、教育与多语制实验室)
CMU Wilderness Multilingual Speech Dataset(Black,2019)是一个新发布的多语言语音数据集,基于新约的记录阅读。它提供的数据可以为潜在的700种语言构建自动语音识别(ASR)和文本到语音(TTS)模型。然而,由于所有语言的源内容(圣经)都是相同的这一事实,迄今为止还没有得到充分利用,因此本文提出在不同语言的语音片段之间添加多语言链接,并共享了一个包含8种语言(56种语言对)的8,130个平行口语的大而干净的数据集。我们将这个语料库命名为MaSS(多语言句子对齐口语语料库)。所涵盖的语言(巴斯克语,英语,芬兰语,法语,匈牙利语,罗马尼亚语,俄语和西班牙语)允许研究语音到语音对齐以及类型不同的语言对的翻译。最终语料库的质量是通过对语料库子集(100个话语,8个语言对)进行的人类评价来证明的。最后,我们展示了最终产品的实用性双语语音检索任务。
2020-02-26 cs.CL
FinnSentiment -- A Finnish Social Media Corpus for Sentiment Polarity Annotation
University of Helsinki(赫尔辛基大学)
情感分析和意见挖掘是一项重要的任务,在社交媒体中具有明显的应用领域,例如在指示仇恨言论和假新闻时。在我们对以前工作的调查中,我们注意到没有大规模的社交媒体数据集带有芬兰语的情感极性注释。该出版物旨在通过引入由三个本地注释者独立地用情感极性注释的27,000个句子数据集来弥补这一缺点。对于整个数据集,我们有相同的三个注释器,这为进一步研究注释器随时间的行为提供了独特的机会。我们分析了他们的注释者之间的协议,并提供了两个基线来验证数据集的有用性。
2020-12-04 cs.CL
PerPaDa: A Persian Paraphrase Dataset based on Implicit Crowdsourcing Data Collection
German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心);ICT Research Institute of ACECR(伊朗伊斯兰革命胜利组织信息与通信技术研究所)
在本文中,我们介绍PerPaDa,波斯语释义数据集,收集从用户的输入在剽窃检测系统。作为一种隐性的众包体验,我们从Hamtajoo收集了大量的原始和释义句子;这是一个波斯语剽窃检测系统,用户试图通过释义和重新提交手稿进行分析来隐藏文档中的文本重复使用情况。编译的数据集包含2446个释义实例。为了提高所收集数据的整体质量,已经使用了一些语法来排除不符合所提出的标准的句子。引入的语料库是远远大于可用的数据集的任务,在波斯语的释义识别。此外,与类似的数据集相比,数据中的偏差较小,因为用户没有尝试一些固定的预定义规则来生成与其原始输入相似的文本。
2022-01-17 cs.AI cs.CL cs.LG
HELFI: a Hebrew-Greek-Finnish Parallel Bible Corpus with Cross-Lingual Morpheme Alignment
University of Helsinki(赫尔辛基大学);Raamatun Tietokirja, Aika[media] Oy(Raamatun Tietokirja Aika[media]公司)
25年前,为了创建分析一致性,手动构建了形态上对齐的希伯来语-芬兰语和希腊语-芬兰语双文本(文本伴随翻译)(Luoto等人,1997年,《圣经》芬兰语译本出版。双文本的创建者最近获得了出版商的许可,可以发布其细粒度的对齐,但对齐仍然依赖于专有的第三方资源,例如受版权保护的文本版本和源文本的专有形态分析。在本文中,我们描述了一个不平凡的编辑过程,从创建原始的一个目的的数据库,并结束其重建只使用免费提供的文本版本和注释。这一过程产生了一个公开可用的数据集,其中包含(i)源文本及其翻译,(ii)形态分析,(iii)跨语言语素对齐。
2020-03-16 cs.CL
Automatically Ranked Russian Paraphrase Corpus for Text Generation
Saint Petersburg State University(圣彼得堡国立大学);CraftTalk
本文主要研究俄语释义生成大型语料库的自动开发和排序问题,这是俄语计算语言学中第一个此类语料库。现有的俄语人工标注释义数据集仅限于小型的ParaPhraser语料库和ParaPlag,适用于一组NLP任务,如释义和剽窃检测,句子相似性和相关性估计等,由于大小限制,这些数据集很难应用于端到端的文本生成解决方案。同时,释义生成需要大量的训练数据。在我们的研究中,我们提出了一个解决问题的方法:我们收集,排名和评估一个新的公开可用的标题释义语料库(ParaPhraser Plus),然后进行文本生成实验与人工评估自动排名语料库使用通用Transformer架构。
2020-06-17 cs.CL
A German Corpus for Text Similarity Detection Tasks
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔理工学院);Universidad Nacional Autónoma de México(墨西哥国立自治大学);University of Applied Sciences Fulda(富尔达应用技术大学)
文本相似性检测的目的是度量一对文本之间的相似程度。文本相似性检测语料库的设计是为了评估文本之间的释义水平的算法。在本文中,我们提出了一个文本德语语料库的相似性检测。该语料库的目的是自动评估一对文本之间的相似性,并评估不同的相似性度量,无论是整个文档还是单个句子。因此,我们已经计算了几个简单的措施,我们的语料库的基础上的相似性函数库。
2017-03-11 cs.CL cs.IR
Representing 'how you say' with 'what you say': English corpus of focused speech and text reflecting corresponding implications
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
在言语交际中,说话的方式(语言信息)和说话的内容(语言信息)同样重要。作为一种语言信息,英语语音使用句子重音(句子中最重的突出部分)来传达强调。虽然句子重音的不同位置传达不同的语义含义,但如果话语在语言上相同,当前的语音翻译系统返回相同的翻译,从而丢失了非语言信息。集中在焦点,一种类型的强调,我们建议映射到语言领域内的源语言使用词汇和语法设备的语言信息。这种方法使我们能够翻译的释义的文本表示,而不是转录的原始语音,并获得翻译,保留非语言信息。作为第一步,我们提出了一个英语语料库的集合,其中包含不同的焦点位置以及相应的文本,这是为了反映语音的隐含意义。此外,我们的语料库的分析表明,从语言学域的焦点映射到语言域涉及各种词汇和语法方法。从我们的分析数据和见解将进一步推进研究到跨语言翻译。语料库将通过LDC和我们的网站发布。
2022-09-29 cs.CL
Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark
work(工作);seecs.edu.pk(SEECs大学);tum.de(图腾大学)
针对BDD测试中Gherkin步骤重复问题,提出结合精确哈希、归一化Levenshtein、句子Transformer余弦和Levenshtein带混合的四种策略检测器,并构建跨组织语料库和标注基准,F1达0.906。
2026-06-15 cs.CL cs.IR cs.SE
Large-Scale Noun Compound Interpretation Using Bootstrapping and the Web as a Corpus
University of Melbourne(墨尔本大学);National University of Singapore(新加坡国立大学)
针对自然语言处理应用中对语义词汇资源的需求,我们研究了获取名词复合词(NC)的方法,例如,“橙汁”,连同适当的细粒度语义解释,例如,“从……中挤出来”,可以直接用作释义。我们采用自举和网络统计,并利用NC和释义模式之间的关系,联合提取NC和这样的模式在多个交替迭代。在评估中,我们发现,有一个复合名词固定产生更高数量的语义解释的NC和提高准确性,由于更强的语义限制。
2019-11-27 cs.AI cs.CL cs.IR
Paraphrases as Foreign Languages in Multilingual Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
释义是对同一语义的改写,有助于提高概括能力和翻译水平。然而,以前的作品只探讨释义在词或短语的水平,而不是在句子或语料库的水平。与以往只在单词或短语层面上探索释义的工作不同,我们在语料库层面上使用结构一致的整个训练数据的不同翻译作为释义。我们训练平行释义在多种语言从各种来源。我们将释义视为外语,用释义标签标记源句子,并以多语言神经机器翻译(NMT)的风格对平行释义进行训练。我们的多释义NMT仅在两种语言上训练,优于多语言基线。增加释义可以提高生僻词的翻译,增加词汇选择的熵和多样性。添加源释义比添加目标释义更能提高性能。将源和目标释义结合起来可以进一步提高性能;将释义与多语言数据结合起来会有所帮助,但性能参差不齐。我们使用24个语料库级别的圣经释义,实现了法语到英语翻译的BLEU得分为57.2,优于多语言基线,比单源单目标NMT基线高出+34.7。
2021-10-01 cs.CL
StyleKQC: A Style-Variant Paraphrase Corpus for Korean Questions and Commands
Seoul National University(首尔大学);Tokyo Institute of Technology(东京工业大学);Google LLC(谷歌有限责任公司)
释义通常不太关心受控的风格转换。特别是对于问题和命令,风格变体释义在语气和方式上可能至关重要,这对于对话系统等工业应用也很重要。在本文中,我们攻击这个问题的语料库建设计划,同时考虑的核心内容和风格的指令,即意图和形式,为韩国语。利用人工生成的自然语言查询的六个日常话题,我们扩大了语料库的正式和非正式的句子,通过人工重写和转移。我们验证了我们的方法的有效性和工业适用性,通过检查适当的分类和推理性能,适合与传统的微调方法,在同一时间提出了一个监督的形式转移任务。
2022-04-28 cs.CL
Corpus-Based Paraphrase Detection Experiments and Review
University of Zagreb(萨格勒布大学);University of Rijeka(里耶卡大学)
意译检测是重要的一些应用程序,包括剽窃检测,作者归属,问答,文本摘要,文本挖掘等在本文中,我们给出了各种类型的基于语料库的模型,特别是深度学习(DL)模型的性能概述,与任务的意译检测。我们报告了八个模型(LSI,TF-IDF,Word 2 Vec,Doc 2 Vec,GloVe,FastText,ELMO和USE)在三个不同的公共可用语料库上评估的结果:Microsoft Research Paraphrase Corpus,Clough和Stevenson以及Webis Crowd Paraphrase Corpus 2011。通过大量的实验,我们决定了最合适的文本预处理方法:超参数,子模型选择-如果它们存在(例如,Skipgram vs. CBOW)、距离度量和语义相似性/释义检测阈值。我们的研究结果和其他使用深度学习模型的研究人员的研究结果表明,深度学习模型与传统的最先进的方法相比非常具有竞争力,并且具有进一步开发的潜力。
2021-05-31 cs.CL cs.LG
Vectorizing Classical Tamil: Representation Learning for Verse-Commentary Pairs
Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院);National Institute of Technology Tiruchirappalli(蒂鲁吉拉伯利国家理工学院)
该研究构建古典泰米尔语诗句-评注对语料库,训练多种模型探究表示学习的信息恢复能力,发现仅解码器模型偏好真实词序但无法复现评注内容,发布了提取与评估协议。
2026-09-09 cs.CL
Finnish Parliament ASR corpus - Analysis, benchmarks and statistics
Aalto University(阿尔托大学)
像议会会议录音和文字记录这样的公共资源为自动语音识别(ASR)系统的培训和评估提供了越来越多的材料。在本文中,我们发布和分析芬兰议会ASR语料库,最大的公开收集手动转录语音数据的芬兰语超过3000小时的讲话和449扬声器,它提供了丰富的人口统计元数据。该语料库建立在早期的初始工作基础上,因此语料库自然分为两个时间段的两个训练子集。类似地,有两个官方的,校正的测试集覆盖不同的时间,设置一个ASR任务与纵向分布转移的特点。还提供了一个官方开发集。我们开发了一个完整的基于Kaldi的数据准备管道,以及隐马尔可夫模型(HMM),混合深度神经网络(HMM-DNN)和基于注意力的编码器-解码器(AED)ASR配方。我们在官方测试集上设置了基准,以及多个其他最近使用的测试集。这两个时间语料库子集已经很大,我们观察到,超出其规模,ASR性能的官方测试集平台,而其他领域受益于增加的数据。HMM-DNN和AED方法在仔细匹配的相等数据设置中进行比较,HMM-DNN系统始终表现更好。最后,在议会元数据中可用的扬声器类别之间比较ASR准确性的变化,以检测基于性别、年龄和教育程度等因素的潜在偏差。
2022-03-28 cs.CL cs.SD eess.AS
ParaCotta: Synthetic Multilingual Paraphrase Corpora from the Most Diverse Translation Sample Pair
Kata.ai Research Team(Kata.ai研究团队);Kumamoto University(熊本大学);University of Edinburgh(爱丁堡大学);Universitas Indonesia(印度尼西亚大学);Oracle Digital Assistant(甲骨文数字助手);Brawijaya University(布拉维贾亚大学)
我们发布了17种语言的合成平行释义语料库:阿拉伯语,加泰罗尼亚语,捷克语,德语,英语,西班牙语,爱沙尼亚语,法语,印地语,印度尼西亚语,意大利语,荷兰语,罗马尼亚语,俄语,瑞典语,越南语和中文。我们的方法仅依赖于单语数据和神经机器翻译系统来生成释义,因此应用简单。我们使用束搜索生成多个翻译样本,并根据它们的句子BLEU选择词汇最多样化的对。我们比较我们生成的语料库与\texttt{ParaBank2}。根据我们的评估,我们的合成释义对语义相似,词汇多样。
2022-05-10 cs.CL
Paraphrase Generation as Unsupervised Machine Translation
Zhejiang University(浙江大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Peng Cheng Laboratory(鹏城实验室);National Biomedical Imaging Center, Peking University(北京大学国家生物医学成像中心);Computer Center, Peking University(北京大学计算中心);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院)
在本文中,我们提出了一个新的范式的释义生成的任务作为无监督机器翻译(UMT)的基础上,必须有一个大规模的无标签单语语料库中表达相同的意义的句子对。所提出的范例首先将一个大型的未标记的语料库分成多个聚类,并使用这些聚类对训练多个UMT模型。然后根据这些UMT模型产生的释义对,训练一个统一的代理模型作为最终的\sts模型,生成释义,这些释义可以直接用于无监督设置中的测试,也可以在有监督设置中的标记数据集上进行微调。与基于机器翻译的释义生成方法相比,该方法避免了对双语句子对的依赖。它还允许人类干预模型,以便使用不同的过滤标准生成更多样化的释义。在现有的有监督和无监督的释义数据集上进行的大量实验证明了所提出的范式的有效性。
2022-09-09 cs.CL
Zero-Shot Paraphrase Generation with Multilingual Language Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Consumer Business Group(华为消费者业务集团)
由于高质量的释义语料库规模有限,利用多语言平行文本自动生成释义受到了广泛关注。往返翻译,也称为旋转方法,是实现这一目标的典型方法。然而,我们注意到旋转过程涉及多个机器翻译模型,并且在两步翻译期间可能会引起语义漂移。受基于transformer语言模型的启发,本文提出了一种简单统一的释义模型,该模型纯粹基于多语言并行数据进行训练,能够一步完成zero-shot释义生成。与主元方法相比,该模型生成的释义在语义上更接近于输入句子。此外,由于我们的模型与GPT共享相同的架构(Radford等人,2018),我们能够在大规模非平行语料库上预训练模型,这进一步提高了输出句子的流畅性。此外,我们引入了去噪自动编码器(DAE)的机制,以提高模型的多样性和鲁棒性。实验结果表明,我们的模型优于旋转方法的相关性,多样性,流畅性和效率。
2019-11-09 cs.CL
Exploiting Twitter as Source of Large Corpora of Weakly Similar Pairs for Semantic Sentence Embeddings
Politecnico di Milano(米兰理工大学);Università di Bologna(博洛尼亚大学)
语义句子嵌入通常是有监督地构建的,最小化被注释者标记为语义相似的句子的嵌入对之间的距离。由于大标签数据集很少见,特别是对于非英语语言,而且价格昂贵,最近的研究集中在需要非配对输入句子的无监督方法上。相反,我们提出了一种独立于语言的方法来构建大型数据集的非正式文本对弱相似,没有人工的人力努力,利用Twitter的内在强大的信号的相关性:回复和报价的推文。我们使用收集到的对来训练一个具有三元组结构的Transformer模型,并在Twitter NLP相似性任务(PIT和TURL)和STSb上测试生成的嵌入。我们还介绍了四个新的句子排名评估基准的非正式文本,仔细提取的推文的初始集合,证明我们的最佳模型不仅学习经典的语义文本相似性,但也擅长的任务,对句子是不准确的释义。消融研究揭示了如何增加语料库的大小积极影响的结果,即使在2M的样本,这表明更大的集合的推文仍然不包含冗余的信息语义相似性。
2021-10-05 cs.CL
BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context
Polytechnique Montreal(蒙特利尔综合理工学院)
新引入的深度学习架构,即BERT,XLNet,RoBERTa和ALBERT,已被证明在几个NLP任务上是鲁棒的。然而,在这些架构上训练的数据集在大小和可推广性方面是固定的。为了解决这个问题,我们采用了一种最便宜的解决方案来更新这些数据集。我们称之为BET的方法,我们分析的transformer为基础的架构上的回译数据增强。使用谷歌翻译API与来自10个不同语系的10种中间语言,我们在基于transformer的框架中自动释义识别的上下文中外部评估结果。我们的研究结果表明,BET提高了释义识别性能的微软研究院释义语料库(MRPC)的准确率和F1得分超过3%。我们还分析了在低数据制度下的MRPC,Twitter释义语料库(TPC)和Quora问题对的下采样版本的增强。在许多低数据情况下,我们观察到从测试集上的失败模型切换到合理的性能。结果表明,BET是一种非常有前途的数据增强技术:推动现有数据集的最新发展,并在100个样本的低数据状态下引导深度学习架构的利用。
2020-09-25 cs.CL
DetoxLLM: A Framework for Detoxification with Explanations
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Invertible AI(可逆人工智能公司)
本文提出端到端去毒框架 DetoxLLM,利用 ChatGPT 构建跨平台伪平行语料并训练模型,同时提供解释和不可去毒案例检测,提升跨平台性能与对抗鲁棒性。
2024-10-03 cs.CL cs.CY cs.LG
Improving Large-scale Paraphrase Acquisition and Generation
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
本文针对现有的基于Twitter的释义数据集的质量问题,讨论了在释义识别和生成任务中使用两种不同释义定义的必要性。我们提出了一个新的多主题释义在Twitter(MultiPIT)语料库,包括共130K的句子对与众包(MultiPIT_crowd)和专家(MultiPIT_expert)注释使用两种不同的释义定义释义识别,除了多参考测试集(MultiPIT_NMR)和一个大的自动构造的训练集(MultiPIT_Auto)释义生成。通过改进的数据注释质量和特定于任务的释义定义,在我们的数据集上进行微调的最佳预训练语言模型实现了自动释义识别的最先进性能84.2 F1。此外,我们的实证结果还表明,在MultiPIT_Auto上训练的释义生成模型与在Quora、MSCOCO和ParaNMT等其他语料库上进行微调的释义生成模型相比,生成的释义更加多样化和高质量。
2022-11-08 cs.CL
Entailment Relation Aware Paraphrase Generation
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(Adobe研究院)
我们引入了一个新的任务的蕴涵关系意识的释义生成,其目的是生成符合一个给定的蕴涵关系(例如,等价,正向蕴涵,或反向蕴涵)相对于一个给定的输入的释义。我们提出了一个基于强化学习的弱监督释义系统ERAP,它可以使用现有的释义和自然语言推理(NLI)语料库进行训练,而无需明确的特定任务语料库。自动化和人工评估的组合表明,ERAP生成的释义符合指定的蕴涵关系,并具有良好的质量相比,基线和不受控制的释义系统。使用ERAP来增加下游文本蕴涵任务的训练数据,提高了不受控制的释义系统的性能,并引入了更少的训练工件,表明释义期间显式控制的好处。
2022-03-20 cs.CL
How to do lexical quality estimation of a large OCRed historical Finnish newspaper collection with scarce resources
National Library of Finland(芬兰国家图书馆)
芬兰国家图书馆将1771年至1910年间芬兰出版的历史报纸数字化。该汇编包含大约195万页芬兰语和瑞典语。芬兰语部分的收集包括约24亿字。国家图书馆的数字馆藏通过digi.kansalliskirjasto.fi网络服务提供,也称为Digi。部分报纸材料(1771年至1874年)也可在芬兰语协会提供的芬兰语言库中免费下载。该集合也可以通过Korp环境访问,Korp环境由哥德堡大学的Språkbanken开发,并由赫尔辛基大学的FINANCIAL IN团队扩展,以提供文本资源的一致性。一个克兰菲尔德风格的信息检索测试集也已经产生了一小部分的Digi报纸材料在坦佩雷大学。OCRed馆藏的质量是数字人文学科的一个重要课题,因为它影响着馆藏的可用性和可搜索性。没有单一的方法来评估大型收藏品的质量,但可以使用不同的方法来近似质量。本文讨论了不同的语料库分析风格的方法,以近似的整体词汇质量的芬兰部分的Digi收集。方法包括使用平行样本和单词出错率,使用形态分析仪,词频分析和比较编辑的词汇数据。我们在质量分析中的目标是双重的:首先分析词汇数据的现状,其次,建立一套评估方法,建立一个紧凑的质量评估程序后,例如新的OCR或后校正的材料。在本文的讨论部分,我们将综合我们不同分析的结果。
2019-10-17 cs.CL
When a Data Artifact Isn't a Shortcut: Causal Auditing of Synthetic RLVR Corpora
Independent Researcher(独立研究者)
本研究审计合成RLVR语料库中正确性与来源的纠缠,发现表面统计信号可检测但模型在固定预算下未利用该工件,并发布CPU友好审计协议。
2026-10-02 cs.CL cs.LG
ParaNMT-50M: Pushing the Limits of Paraphrastic Sentence Embeddings with Millions of Machine Translations
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们描述了PARANMT-50 M,一个包含超过5000万个英语-英语重复释义对的数据集。我们通过使用神经机器翻译来翻译大型平行语料库的非英语部分,自动生成了这些对,遵循Wieting等人。我们希望ParaNMT-50 M能够成为释义生成的宝贵资源,并提供丰富的语义知识来源,以改善下游的自然语言理解任务。为了展示它的实用性,我们使用ParaNMT-50 M来训练释义句子嵌入,这些句子嵌入在每次SemEval语义文本相似性竞争中都优于所有有监督系统,此外还展示了它如何用于释义生成。
2018-04-20 cs.CL
Characterizing how 'distributional' NLP corpora distance metrics are
IBM Research(IBM研究院)
该研究提出距离度量的“分布性”概念,通过构建已知相似性语料库集量化该属性,并提出 Average Hausdorff Distance 和 energy distance 分别作为非分布性与分布性度量的基准。
2023-10-23 cs.CL stat.AP
SoftMatcha 2: A Fast and Soft Pattern Matcher for Trillion-Scale Corpora
The University of Tokyo(东京大学);Kyoto University(京都大学);National Institute of Informatics(信息处理研究所);The Graduate University for Advanced Studies (SOKENDAI)(先进科学研究生院);National Institute for Japanese Language(日本语言学研究所);Tohoku University(东北大学)
提出SoftMatcha 2,一种基于后缀数组和词向量的超快速软搜索算法,通过动态语料感知剪枝和磁盘感知设计,在万亿级语料上实现0.3秒内支持替换、插入和删除的语义变体搜索,并发现基准污染。
2026-06-11 cs.CL cs.LG stat.ML
Knowledge Corpus Error in Question Answering
Seoul National University(首尔大学);KAIST AI(韩国科学技术院人工智能研究所)
本文提出知识语料库误差概念,解释LLM生成段落优于检索段落的原因,并通过改写实验在三个QA基准上验证了该误差的存在及性能提升。
2023-10-27 cs.AI cs.CL