Traditional Machine Learning and Deep Learning Models for Argumentation Mining in Russian Texts
Vyatka State University(维亚特卡国立大学);ITMO University(ITMO大学)
论证挖掘是计算语言学的一个领域,致力于从文本中提取并分类论证及其之间的关系,以及构建论证结构。俄语在这一领域的研究的一个重大障碍是缺乏注释的俄语文本语料库。本文探讨了在说服性论文语料库(Argessays)的机器翻译基础上,扩展俄语版论证性微文本语料库(ArgMicro),提高论证挖掘质量的可能性。为了使这两个语料库结合使用成为可能,我们提出了一个联合论点注释方案的基础上使用的方案ArgMicro和EQUIPMENT论文。我们使用传统的机器学习技术(SVM、Bagging和XGBoost)和深度神经网络(BERT模型)解决了将论证性话语单元(ADU)分为两类-“pro”(“for”)和“opp”(“against”)的问题。提出了XGBoost和BERT模型的集成,该集成对两个语料库的ADU分类性能最高。
2021-06-28 cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University(岐阜大学)
神经机器翻译(NMT)已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而,对于许多语言对,没有丰富的资源平行语料库存在。如本文所述,我们提出了一种语料库增强方法,通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库(ASPEC-JC)进行日汉、汉日翻译的实验结果表明,该方法提高了翻译性能。
2019-05-22 cs.CL
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)(韩国科学技术大学(UST));Electronics and Telecommunication Research Institute (ETRI)(电子通信研究院(ETRI))
在机器翻译中,我们经常尝试收集资源以提高性能。然而,大多数语言对,如朝鲜语-阿拉伯语和朝鲜语-越南语,没有足够的资源来训练机器翻译系统。在本文中,我们提出了使用合成方法来扩展低资源语料库,并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子,使目标句子更好,包括使用合成方法。我们发现,语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外,当这两种方法一起使用时,我们发现更好的机器翻译性能。
2018-02-14 cs.CL
Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们描述了一种无监督的方法来创建伪平行语料库的机器翻译(MT)从未对齐的文本。我们使用多语言BERT来创建源和目标句子嵌入以进行最近邻搜索,并通过自训练来调整模型。我们通过在BUCC 2017双文本挖掘任务中提取平行句子对来验证我们的技术,并观察到F1分数比以前的无监督方法增加了24.5分(绝对值)。然后,我们通过补充从同一语料库中挖掘的伪并行文本来改进在维基百科上预训练的基于XLM的无监督神经MT系统,在WMT'14法语-英语和WMT'16德语-英语任务上将无监督翻译性能提高了3.5 BLEU,并优于以前的最先进水平。我们用伪平行的Wikipedia句子对丰富了IWEEE '15英语-越南语语料库,在低资源MT任务上获得了1.2 BLEU的改进。我们证明了无监督的双文本挖掘是增强MT数据集的有效方法,并补充了现有的技术,如使用预训练的上下文嵌入进行初始化。
2020-10-15 cs.CL cs.LG
Does Corpus Quality Really Matter for Low-Resource Languages?
Meta AI;HiTZ Center, University of the Basque Country (UPV/EHU)(巴斯克大学HiTZ中心)
绝大多数非英语语料库都来自自动过滤的CommonCrawl版本。虽然先前的工作已经确定了关于这些数据集的质量的主要问题(Kreutzer等人,2021年),目前尚不清楚这对下游业绩的影响。以巴斯克语的表示学习为例,我们探索了定制的爬行(手动识别和抓取具有高质量内容的网站)作为过滤CommonCrawl的替代方案。我们的新语料库,称为EusCrawl,在大小上类似于流行的多语言语料库(如CC100和mC4)的巴斯克语部分,但根据本地注释器,它具有更高的质量。例如,66%的文档在EusCrawl中被评为高质量,而在mC4和CC100中,这一比例均低于33%。然而,我们在下游NLU任务上获得了类似的结果,无论用于预训练的语料库如何。我们的工作表明,低资源语言的NLU性能主要不受数据质量的限制,而语料库大小和域覆盖率等其他因素可以发挥更重要的作用。
2022-10-26 cs.AI cs.CL cs.LG
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex;Facebook AI;Johns Hopkins University(约翰斯·霍普金斯大学)
跨语言命名实体词典是多语言NLP任务(如机器翻译和跨语言维基化)的重要资源。虽然知识库包含大量高资源语言(如英语和法语)的实体,但低资源语言的相应实体往往缺失。为了解决这个问题,我们提出了词汇-语义-语音对齐(LSP-Align),一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线,并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布,作为NLP社区的资源。
2021-09-10 cs.CL
Lexical Resources for Hindi Marathi MT
IIT Bombay(印度理工学院孟买分校)
本文介绍了如何利用各种词汇资源来提高统计机器翻译系统的质量。我们已经增加了各种词汇资源的训练语料库,如IndoWordnet语义关系集,功能词,kridanta对和动词短语等。我们对词汇资源的使用的研究主要集中在两个方面,如增加更多的词汇平行语料库和增加各种词的形式。我们已经描述了案例研究,评估和详细的错误分析马拉地语到印地语和印地语到马拉地语机器翻译系统。从评估中我们观察到,随着各种词汇资源使用的增加,机器翻译的质量也在不断提高。此外,在平行语料库有限的情况下,使用各种词汇资源有助于提高机器翻译的覆盖率和质量。
2017-03-04 cs.CL
Zero-shot Cross-lingual Transfer without Parallel Corpus
Huawei(华为)
针对低资源语言任务数据匮乏、现有跨语言迁移依赖难获取的平行语料或翻译模型的问题,提出含双语任务适配与自训练模块的零样本跨语言迁移方法,无需平行语料/翻译模型即在多任务上取得新SOTA。
2023-10-07 cs.CL
Harvesting comparable corpora and mining them for equivalent bilingual sentences using statistical classification and analogy- based heuristics
平行句子是一种相对稀缺但非常有用的资源,对于许多应用,包括跨语言检索和统计机器翻译。这项研究探索了我们从以前获得的可比语料库中挖掘此类数据的新方法。这项任务是非常实用的,因为非平行的多语言数据存在的数量远远超过平行语料库,但平行的句子是一个更有用的资源。在这里,我们提出了一种网络爬行方法,用于从例如维基百科转储和Euronews网页构建主题对齐的可比语料库。机器翻译的改进显示在各种文本域的波兰语-英语语言对上。我们还测试了另一种基于可比语料库数据构建平行语料库的方法。它可以自动扩大现有的语料库的句子从语料库的主题之间的类比的基础上。
2015-11-18 cs.CL stat.ML
JParaCrawl v3.0: A Large-scale English-Japanese Parallel Corpus
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社通信科学实验室)
目前大多数机器翻译模型主要是用平行语料库训练的,其翻译精度很大程度上取决于语料库的质量和数量。虽然有数十亿的平行句子的几个语言对,有效地处理大多数语言对是困难的,由于缺乏公开可用的平行语料库。本文创建了一个大型的平行语料库,英语-日语,语言对,只有有限的资源,相比,这样的资源丰富的语言,如英语-德语。介绍了一个新的基于Web的英日平行语料库JParaCrawl v3.0。我们的新语料库包含超过2100万个独特的平行句子对,是之前JParaCrawl v2.0语料库的两倍多。通过实验,我们实证展示了我们的新语料库如何提高各个领域的机器翻译模型的准确性。JParaCrawl v3.0语料库最终将在网上公开提供,用于研究目的。
2022-02-28 cs.CL
VivesDebate-Speech: A Corpus of Spoken Argumentation to Leverage Audio Features for Argument Mining
Centre for Argument Technology(论证技术中心);University of Dundee(邓迪大学);VRAIN-MLLP;Universitat Politècnica de València(瓦伦西亚理工大学)
本文构建口语论证语料库 VivesDebate-Speech,并通过实验证明将音频特征纳入论证挖掘流程可提升效果,为相关研究提供公开资源与基线。
2024-01-21 cs.CL
Corpus Wide Argument Mining -- a Working Solution
IBM Research AI(IBM研究院人工智能部门)
论点挖掘的主要任务之一是检索与给定主题相关的论点内容。大多数以前的工作通过检索相对少量的相关文档作为此类内容的初始源来解决这一任务。这一系列研究取得了一定的成功,但在现实世界的系统中使用有限。此外,为了使这样一个系统产生一套全面的相关论点,在广泛的主题,它需要以适当的方式利用一个大型和多样化的语料库。在这里,我们提出了第一个端到端的高精度,语料库范围内的参数挖掘系统。这是可能的,通过结合适当的索引一个非常大的语料库的报纸文章,一个迭代的注释方案的检索级查询。该方案解决了数据中固有的标签偏差,并精确定位了样本空间中需要手动标记以在排名靠前的候选者中获得高精度的区域。
2019-11-25 cs.AI cs.CL cs.IR
A Japanese-Chinese Parallel Corpus Using Crowdsourcing for Web Mining
NTT Corporation(NTT公司);NTT Communication Science Laboratories(NTT通信科学研究所)
本研究通过众包收集双语网站构建日汉平行语料库,训练语料过滤器,实验表明其规模虽仅为CCMatrix的三分之一,翻译准确率却相当,验证了众包用于平行数据网页挖掘的可行性。
2024-05-15 cs.CL
Corpus analysis without prior linguistic knowledge - unsupervised mining of phrases and subphrase structure
Ludwig Maximilians University(路德维希-马克西米利安大学)
在研究自然语言的结构时,“短语”和“词”是中心概念。我们认为,在一个完全基于语料库和语言独立的方式,而不使用任何形式的先前的语言知识,任何长度和潜在的组成原则的语言的“有意义的子部分”的识别问题。描述了用于识别“短语”、挖掘子短语结构和以全自动方式查找单词的无监督方法。这可以被认为是自动计算“语料库的通用词典和语法”的一个步骤。我们希望,从长远来看,我们的方法的变体也适用于其他类型的序列数据,例如,语音、基因组序列或音乐注释。即使我们不是主要感兴趣的即时应用程序,各种语言的结果表明,我们的方法是有趣的文本挖掘,术语提取和词典编纂,搜索引擎技术,以及相关领域的许多实际任务。
2016-02-18 cs.CL
Coursera Corpus Mining and Multistage Fine-Tuning for Improving Lectures Translation
Kyoto University(京都大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
讲座翻译是口语翻译的一种,缺乏公开的平行语料库。为了解决这个问题,我们研究了一个独立于语言的并行语料库挖掘框架,这是一种快速有效的方法,可以从Coursera公开的讲座中挖掘并行语料库。我们的方法确定句子对齐,依赖于机器翻译和余弦相似性在连续空间的句子表示。我们还展示了如何使用由此产生的语料库在多级微调为基础的领域自适应高质量的讲座翻译。对于日语-英语讲座翻译,我们提取了大约40,000行的并行数据,并通过手动过滤创建了开发和测试集,以衡量翻译性能。我们证明,挖掘语料库大大提高了翻译质量时,结合使用域外的平行语料库,通过多级训练。本文还提出了一些指导原则,以收集和清理语料库,挖掘平行句子,解决挖掘数据中的噪音,并创建高质量的评估分裂。为了可重复性,我们将发布并行数据创建的代码。
2020-01-14 cs.AI cs.CL cs.LG
Towards Effective Rebuttal: Listening Comprehension using Corpus-Wide Claim Mining
IBM Research(IBM研究院)
参与现场辩论需要,除其他外,有效地反驳你的对手所声称的论点的能力。特别是,这需要确定这些参数。在这里,我们建议通过自动挖掘包含数十亿句子的新闻文章语料库中的声明,并在给定的演讲中搜索它们来做到这一点。这就提出了一个问题,即这些主张是否确实与口头演讲中提出的主张相对应。为此,我们收集了一个大的数据集的$400$演讲在英语讨论$200$有争议的话题,挖掘每个主题的索赔,并要求注释者确定挖掘索赔中提到的每个演讲。结果表明,在绝大多数的演讲中,辩论者确实使用了这种说法。此外,我们提出了几个基线的自动检测开采索赔的讲话,形成未来工作的基础。所有收集的数据都可免费用于研究。
2019-07-27 cs.AI cs.CL cs.LG
Unsupervised Parallel Corpus Mining on Web Data
Carnegie Mellon University(卡内基梅隆大学)
有了大量的并行数据,神经机器翻译系统就能够提供人类水平的翻译性能。然而,人工标记大量并行数据的成本很高。相比之下,互联网上有大量的由人类创造的平行语料库。利用它们的主要困难是如何将它们从噪音网站环境中过滤出来。目前的并行数据采掘方法都需要标记并行数据作为训练源。在本文中,我们提出了一个管道,挖掘平行语料库从互联网上的无监督的方式。在广泛使用的WMT'14英语-法语和WMT'16英语-德语基准测试中,使用我们的管道提取的数据训练的机器翻译器实现了与监督结果非常接近的性能。在WMT'16英语-罗马尼亚语和罗马尼亚语-英语基准测试中,我们的系统产生了新的最先进的结果,39.81和38.95 BLEU分数,甚至与监督方法相比。
2020-09-18 cs.CL
Hierarchical Document Encoder for Parallel Corpus Mining
Google AI(谷歌人工智能)
我们探索使用多语言文档嵌入并行数据的最近邻挖掘。三个文档级表示进行了研究:(i)简单地平均多语言句子嵌入生成的文档嵌入;(ii)神经袋的话(BoW)文档编码模型;(iii)层次多语言文档编码器(HiDE),建立在我们的文档级模型。结果表明,来自文档级平均的文档嵌入对于干净的数据集是非常有效的,但表明在文档级分层训练的模型对噪声数据更有效。分析实验表明,我们的分层模型是非常强大的变化,在潜在的句子嵌入质量。使用经过HiDE训练的文档嵌入在联合国(UN)并行文档挖掘上实现了最先进的性能,en-fr为94.9% P@1,en-es为97.3% P@1。
2019-06-30 cs.CL
Leipzig Corpus Miner - A Text Mining Infrastructure for Qualitative Data Analysis
University of Leipzig(莱比锡大学)
本文介绍了“莱比锡语料库矿工”,支持定性和定量内容分析的技术基础设施。基础设施的目的是在整合的“近距离阅读”程序的个别文件与程序的“远距离阅读”,如词汇的特点,大型文件集。因此,信息检索系统,词汇统计和机器学习程序相结合,在一个连贯的框架,使定性数据分析,利用国家的最先进的自然语言处理技术对非常大的文件集。该框架的适用范围从社会科学到媒体研究和市场研究。作为一个例子,我们介绍了该框架的使用在政治学研究后民主和新自由主义。
2017-07-11 cs.CL
Investigating Affect Mining Techniques for Annotation Sample Selection in the Creation of Finnish Affective Speech Corpus
Tampere University(塔尔库大学);Signal Processing Research Centre(信号处理研究中心);Language Studies(语言研究)
本文构建了首个自发性芬兰语情感语音语料库,采用结合声学、跨语言语音情感和文本情感特征的情感挖掘方法选择12,000条话语进行标注,并与随机抽样对比,验证了该方法能提升标注多样性,为其他语言的情感语料库构建提供了抽样策略。
2025-05-23 cs.CL cs.LG
Text-mining the NeuroSynth corpus using Deep Boltzmann Machines
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院)
神经影像学数据的大规模自动化荟萃分析最近已经成为促进我们对人类大脑功能理解的重要工具。这项研究是由NeuroSynth开创的,该数据库收集了大量神经成像研究论文中的大脑激活坐标和相关文本。这种元分析的一个基本方面是文本挖掘。到目前为止,已经提出了字数统计和更复杂的方法,如潜在的狄利克雷分配。在这项工作中,我们提出了一个无监督的研究NeuroSynth文本语料库使用深度玻尔兹曼机(DBMs)。DBM的使用产生了几个优势,上述方法,其中主要是事实上,它产生的词和文档嵌入在一个高维向量空间。这种嵌入有助于在文本语料库上使用传统的机器学习技术。所提出的DBM模型被证明可以学习具有清晰语义结构的嵌入。
2016-05-01 cs.CL cs.LG q-bio.NC
ARAACOM: ARAbic Algerian Corpus for Opinion Mining
Université de Khenchela(肯切拉大学);Université de Constantine 2(康斯坦丁第二大学);Université de Poitiers(普瓦捷大学)
如今,不再需要付出巨大的努力,将大量的表格分发给成千上万的人并收集它们,然后将其转换为电子格式以跟踪人们对某些主题的意见。今天,许多网站可以用更少的努力达到很大的范围。大多数网站建议他们的访问者留下关于他们对网站或事件的感觉的备份。因此,这为我们提供了大量的数据,需要强大的手段来利用。网络中的意见挖掘变得越来越有吸引力的任务,由于个人和社会越来越需要跟踪人们对日常生活中的几个主题(体育,政治,电视等)的情绪。很多观点挖掘的著作都是用西方语言特别是英语写成的,阿拉伯语的著作还很少见。在本文中,我们提出了我们的方法,在阿拉伯语阿尔及利亚报纸的意见挖掘。$\bullet$信息系统~情感分析$\bullet$计算方法学~自然语言处理
2020-01-22 cs.CL cs.IR
Volctrans Parallel Corpus Filtering System for WMT 2020
Peking University(北京大学);ByteDance AI Lab(字节跳动人工智能实验室);University of California San Diego(加利福尼亚大学圣迭戈分校)
在本文中,我们描述了我们提交的WMT 20共享任务的并行语料库过滤和对齐低资源条件。该任务要求参与者从给定的文档对中对齐潜在的平行句子对,并对它们进行评分,以便过滤低质量的句子对。我们的系统Volctrans由两个模块组成,即,挖掘模块和评分模块。挖掘模块在词对齐模型的基础上,采用迭代挖掘策略抽取潜在的平行句。在评分模块中,基于XLM的评分器提供分数,然后是重新排序机制和集成。我们提交的km-en和ps-en在From Scratch/Fine-tune条件下的表现优于基线3.x/2.x和2.x/2.x,这是所有提交作品中最高的。
2020-10-27 cs.CL
LAMUS: A Large-Scale Corpus for Legal Argument Mining from U.S. Caselaw using LLMs
University of North Texas(北卡罗来纳大学达顿分校)
LAMUS利用LLMs构建大规模美国判例法法律论证语料库,通过数据驱动方法提升法律NLP研究的可扩展性和实证支持。
2026-07-30 cs.CL
Mining Wikidata for Name Resources for African Languages
Brandeis University(布兰迪斯大学)
这项工作通过提供一个维基数据衍生的对应于常见实体类型(个人、地点和组织)的名称列表资源,支持非洲语言的语言技术的进一步发展。虽然我们不是第一个挖掘维基数据以获取名单的人,但我们的方法强调可扩展性和可复制性,并解决了不使用拉丁字母的语言的数据质量问题。我们制作的名单包含28种非洲语言的大约190万个名字。我们描述了数据,用于生成数据的过程及其局限性,并提供软件和数据供公众使用。最后,我们讨论了生产这种资源和其他同类资源的伦理考虑。
2021-04-01 cs.AI cs.CL
Ukrainian-to-English folktale corpus: Parallel corpus creation and augmentation for machine translation in low-resource languages
针对民间故事翻译文本稀疏的问题,创建并增强了一个词句对齐的Ukrainian-to-English平行语料库,专为机器翻译模型提供训练数据。
2024-10-14 cs.AI cs.CL
Bitext Mining for Low-Resource Languages via Contrastive Learning
Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰斯·霍普金斯大学)
为低资源语言挖掘高质量的双文本具有挑战性。本文表明,句子表示的语言模型微调与多个负面排名损失,一个对比的目标,有助于检索干净的双文本。实验表明,并行数据挖掘从我们的方法大大优于以前的国家的最先进的方法低资源语言高棉语和普什图语。
2022-08-23 cs.CL
Diachronic Text Mining Investigation of Therapeutic Candidates for COVID-19
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
历时文本挖掘经常被应用于长期的语言学调查,随着时间的推移,词义和用法的变化。在本文中,我们将短期历时文本挖掘应用于CORD-19数据集中捕获的快速增长的COVID-19科学出版物语料库,以识别共同出现并分析潜在候选治疗方法的行为。我们使用了与橡树岭国家实验室的COVID-19药物再利用研究相关的数据集。这项研究确定了现有的候选冠状病毒治疗方法,包括药物和批准的化合物,这些药物和化合物根据其阻断SARS-COV-2病毒入侵人类细胞的能力进行了分析和排名。我们调查了CORD-19语料库的时间实例中这些候选人的出现。我们发现,至少有25%的确定的条款发生在语料库的时间实例的程度上,他们的频率和上下文动态可以评估。我们确定了三类行为:那些频率和上下文的变化是小的,正相关;那些频率和上下文的变化之间没有相关性;和那些频率和上下文的变化之间有负相关性。我们推测,后两种模式表明目标候选疗法正在进行积极的评估。我们检测到的模式证明了使用历时文本挖掘技术与大型动态文本语料库来跟踪国际临床和实验室环境中的药物再利用活动的潜在好处。
2021-10-26 cs.CL cs.IR q-bio.OT
Corpus-Guided Contrast Sets for Morphosyntactic Feature Detection in Low-Resource English Varieties
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
语言变异的研究探讨了语言如何在不同的说话者群体之间和内部变化,揭示了我们如何使用语言来构建身份,以及社会环境如何影响语言的使用。一种常见的方法是在语料库中识别某个语言特征的实例,比如零连接结构,并分析该特征在说话者、话题和其他变量中的分布,以获得对该特征功能的定性理解或系统地测量变化。在本文中,我们探讨了具有挑战性的任务,自动形态句法特征检测低资源的英语品种。我们提出了一个人在回路的方法来生成和过滤有效的对比度集,通过语料库引导的编辑。我们表明,我们的方法提高了印度英语和非洲裔美国人英语的特征检测,展示了它如何帮助语言学研究,并发布我们的微调模型供其他研究人员使用。
2022-09-15 cs.AI cs.CL
Phonetically rich corpus construction for a low-resourced language
Alana AI Research(Alana AI研究院)
本文提出一种为巴西葡萄牙语构建语音丰富语料库的新方法,包括文本收集、基于三音子分布的句子选择及新音位分类,显著提高了不同三音子的覆盖率。
2024-02-08 cs.AI cs.CL
A Dataset Independent Set of Baselines for Relation Prediction in Argument Mining
Imperial College London(帝国理工学院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);I3S(信息、信号与智能系统实验室)
论元挖掘(Argument Mining)是一个旨在提取论元成分和预测论元关系(即,支持和攻击)。特别是,在文献中已经提出了许多方法来预测参数之间的关系,并为此目的建立了特定于应用程序的注释资源。尽管创建这些资源是为了对同一任务进行实验,但要成功应用于这些数据集的重要部分的单一关系预测方法的定义是论证挖掘中的一个开放性研究问题。这意味着文献中提出的方法都不能轻易地从一个资源移植到另一个资源。在本文中,我们解决这个问题,提出了一组独立于数据集的强神经基线,在文献中提出的所有数据集上获得均匀的结果,用于论证关系预测任务。因此,我们的基线可以被论证挖掘社区用来更有效地比较一种方法在论证关系预测任务上的表现。
2020-02-14 cs.AI cs.CL
A multimodal movie review corpus for fine-grained opinion mining
Télécom Paris, Université Paris-Saclay(巴黎高等电信学校,巴黎-萨克雷大学)
在本文中,我们为由1000个视频组成的POM电影评论数据集引入了一组观点注释。注释活动的动机是发展一个分层的意见预测框架,允许人们预测意见的不同组成部分(例如极性和方面),并确定相应的文本跨度。由此产生的注释已经收集在两个粒度级别:一个粗糙的(固执己见的跨度)和一个更精细的(意见组件的跨度)。我们引入特定的类别,以使电影评论的意见更容易注释。例如,某些类别允许在电影评论中发现用户推荐和偏好。我们提供了一个定量分析的注释和报告的注释者之间的协议下的不同级别的粒度。因此,我们提供了第一组地面实况注释,可用于细粒度多模态意见预测的任务。我们提供了一个分析的数据收集,通过一个inter-annotator的研究,并表明,一个线性结构化的预测学习有意义的功能,即使是对稀缺的标签的预测。注释和基线系统都是公开的。https://github.com/eusip/POM/
2021-04-29 cs.CL cs.MM
OpenWHO: A Document-Level Parallel Corpus for Health Translation in Low-Resource Languages
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);School of Computing, The Australian National University(澳大利亚国立大学计算学院);School of Medicine and Psychology, The Australian National University(澳大利亚国立大学医学与心理学学院)
针对健康领域低资源语言机器翻译评估数据集缺失的问题,该研究构建了覆盖20余种语言的文档级平行语料库OpenWHO,实验证明大语言模型翻译效果优于传统模型,且文档级翻译在专业领域优势显著。
2025-10-06 cs.AI cs.CL
DISCO PAL: Diachronic Spanish Sonnet Corpus with Psychological and Affective Labels
Telefónica(西班牙电信);Universidad Nacional de Educación a Distancia (UNED)(国立远程教育大学)
目前,在不同语言的语料库中进行文本挖掘的应用很多。然而,它们中的大多数都是基于散文文本,缺乏与诗歌文本一起工作的应用程序。文本挖掘在诗歌中的应用的一个例子是使用从其单个单词中获得的特征,以捕获词汇,词汇下和词汇间意义,并推断文本的一般情感意义(GAM)。然而,尽管这一建议已被证明是有用的诗歌在某些语言,有缺乏研究西班牙诗歌和高度结构化的诗歌作品,如十四行诗。本文介绍了一个西班牙十四行诗的注释语料库的研究,以分析是否有可能建立功能,从他们的个人的话来预测他们的GAM。这样做的目的是在情感层面上对十四行诗进行建模。文章还分析了十四行诗的GAM与内容本身的关系。为此,我们从心理学的角度来考虑内容,当十四行诗与特定术语相关时,用标签来识别。然后,我们研究了GAM如何根据这些心理术语变化。所使用的语料库包含274首西班牙十四行诗,来自不同世纪的作者,从15世纪到19世纪。该语料库由不同领域的专家进行注释。专家们用情感和词汇语义特征以及属于心理学的领域概念来注释这些诗歌。由于这一点,十四行诗的语料库可以用于不同的应用,如诗歌推荐系统,作者的个性文本挖掘研究,或诗歌用于治疗目的。
2021-06-20 cs.CL
Transfer learning from High-Resource to Low-Resource Language Improves Speech Affect Recognition Classification Accuracy
Fast Nuces
语音情感识别是从音频数据中提取情感的问题。低资源语言语料库的落后和跨语料库的情感识别是一个困难的任务。我们提出了一种方法,在这种方法中,模型在高资源语言上进行训练,并进行微调以识别低资源语言中的影响。我们训练模型在相同的语料库设置上SAVEE,EMOVO,乌尔都语,IEMOCAP分别达到基线准确率60.45%,68.05%,80.34%,和56.58%。为了捕捉语言中情感的多样性,本文详细讨论了跨语料库评价。我们发现,通过将域目标数据添加到训练数据中,精度得到提高。最后,我们表明,低资源语言语音影响识别的性能得到改善,实现乌尔都语和意大利语语音影响的UAR为69.32和68.2。
2021-03-04 cs.AI cs.CL
The eBible Corpus: Data and Model Benchmarks for Bible Translation for Low-Resource Languages
SIL International(国际暑期语言学院);University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Payap University(西北大学(泰国));University of Dayton(代顿大学);Clear Bible;University of Chicago(芝加哥大学)
本文发布覆盖833种语言的eBible圣经翻译语料及基于NLLB的模型基准,并评估极低资源语言翻译性能。
2023-04-19 cs.AI cs.CL
Mining Large Language Models for Low-Resource Language Data: Comparing Elicitation Strategies for Hausa and Fongbe
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);Centre for Text Technology(文本技术中心);North-West University(北开普大学);South Africa(南非)
本文研究通过策略性提示从LLM中提取可用于Hausa和Fongbe两种西非语言的文本数据,发现Hausa需功能性文本和对话,而Fongbe需受限生成提示,GPT-4o Mini在提取目标语言词汇上表现更优。
2026-04-14 cs.AI cs.CL
xSIM++: An Improved Proxy to Bitext Mining Performance for Low-Resource Languages
Meta AI Research(元人工智能研究院)
xSIM++是一种改进的代理评分,通过合成难分示例评估低资源语言的双文本挖掘,与下游BLEU分数相关性更高,且无需昂贵挖掘流程。
2023-06-22 cs.CL
WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia
Facebook AI(脸书人工智能研究院)
我们提出了一种基于多语言句子嵌入的方法,自动提取平行的句子从维基百科的文章中的85种语言,包括几种方言或低资源的语言的内容。我们不限制提取过程与英语对齐,但系统地考虑所有可能的语言对。总的来说,我们能够为1620种不同的语言对提取1.35亿个平行句子,其中只有34M与英语对齐。这个平行句子的语料库可以在https://github.com/facebookresearch/LASER/tree/master/tasks/WikiMatrix上免费获得。为了获得对提取的双文本质量的指示,我们仅对1886个语言对的挖掘数据进行训练神经MT基线系统,并在TED语料库上对其进行评估,许多语言对都获得了很高的BLEU分数。WikiMatrix双文本似乎特别有趣,可以在远距离语言之间训练机器翻译系统,而不需要通过英语进行旋转。
2019-07-16 cs.CL
Predicting Embedding Reliability in Low-Resource Settings Using Corpus Similarity Measures
University of Canterbury(坎特伯雷大学);New Zealand Institute for Language, Brain and Behaviour(新西兰语言、大脑与行为研究所)
本文模拟了17种语言的低资源设置,以评估不同条件下的嵌入相似性,稳定性和可靠性。目标是在训练前使用语料库相似性度量来预测训练后嵌入的属性。本文的主要贡献是表明,它是可以预测下游嵌入相似性使用上游语料库相似性措施。这一发现,然后应用到低资源设置的嵌入从非常有限的训练数据的可靠性建模。结果表明,它是可能的,以估计低资源嵌入的可靠性,使用语料库的相似性措施,保持强大的少量数据。这些发现对评估真正的低资源语言具有重要意义,因为数据限制,这种系统的下游验证方法是不可能的。
2022-06-09 cs.CL
A School Student Essay Corpus for Analyzing Interactions of Argumentative Structure and Quality
Leibniz University Hannover(汉诺威莱布尼茨大学);Paderborn University(帕德博恩大学)
本文构建含1,320篇德语学生作文、多粒度标注论证结构与质量的语料库,并提出论证挖掘和作文评分基线以分析任务交互。
2024-04-03 cs.CL
So What's the Plan? Mining Strategic Planning Documents
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学);Novosibirsk State University(新西伯利亚国立大学);A.P. Ershov Institute of Informatics Systems SB RAS(俄罗斯科学院西伯利亚分院A.P.埃尔肖夫信息系统研究所);Kazan Federal University(喀山联邦大学);ABBYY(ABBYY公司);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Innopolis University(因诺波利斯大学)
在本文中,我们提出了一个语料库的俄罗斯战略规划文件,RuREBus。该项目从语言技术和电子政务的角度出发。不仅新的语言资源和工具正在开发中,而且它们在电子政务研究中的应用也在不断发展。我们展示了从头开始创建文本语料库的管道。首先,设计了标注模式。接下来的文本使用人在回路策略进行标记,以便从机器学习模型中导出初步注释并手动校正。注释文本的数量足够大,可以展示从RuREBus中可以获得哪些见解。
2020-07-07 cs.CL
Multi-Task Learning for Argumentation Mining in Low-Resource Settings
Ubiquitous Knowledge Processing Lab (UKP-TUDA)(普适知识处理实验室(UKP-TUDA));Department of Computer Science(计算机科学系);Technische Universität Darmstadt(达姆施塔特工业大学);www.ukp.tu-darmstadt.de
我们研究多任务学习(MTL)是否以及在哪里可以提高与论证挖掘(AM)相关的NLP问题的性能,特别是论证组件识别。我们的研究结果表明,MTL表现得特别好(优于单任务学习)时,很少训练数据可用于主任务,在AM中的常见情况。我们的研究结果挑战了以前的假设,即AM数据集的概念化是发散的,MTL对于语义或更高级别的任务是困难的。
2018-05-04 cs.CL
Sampled Weighted Min-Hashing for Large-Scale Topic Mining
我们提出了采样加权最小散列(SWMH),一个随机的方法来自动挖掘大规模语料库的主题。SWMH基于术语共现生成语料库词汇的多个随机分区,并聚集高度重叠的分区间单元以产生挖掘的主题。虽然其他方法将主题定义为词汇表上的概率分布,但SWMH主题是此类词汇表的有序子集。有趣的是,SWMH挖掘的主题在不同的粒度级别上支持来自语料库的主题。我们广泛地评估挖掘的主题的意义定性和定量的NIPS(1.7 K文件),20新闻组(20 K),路透社(800 K)和维基百科(4 M)语料库。此外,我们比较质量的SWMH与在线LDA主题的文档表示分类。
2015-09-08 cs.CL cs.IR cs.LG
Monolingual and Parallel Corpora for Kangri Low Resource Language
National Institute of Technology, Hamirpur(哈米尔普尔国家理工学院)
本文介绍了联合国教科文组织(UNESCO)收录的喜马偕尔邦低资源濒危语言康日语(ISO 639-3xnr)的数据集。由于数字化资源的缺乏,康日语料库的编纂一直是一项具有挑战性的工作。语料库包含1,81,552个单语语料库和27,362个印地语-康日语平行语料库。我们分享了预先训练好的kangri词嵌入。我们还报告了语料库的统计机器翻译(SMT)和神经机器翻译(NMT)结果的双语评估替补(BLEU)评分和翻译评估指标(METEOR)评分。该语料库可免费用于非商业用途和研究。据我们所知,这是第一个喜马偕尔邦低资源濒危语言语料库。这些资源可在(https://github.com/chauhanshweta/Kangri_corpus)获得
2021-03-22 cs.CL
Mining Naturally-occurring Corrections and Paraphrases from Wikipedia's Revision History
LIMSI-CNRS(法国国家科学研究中心计算机科学与数学应用实验室)
自然发生的语言现象的实例对于训练和评估文本的自动处理都很重要。当大量可用时,它们也证明是语言研究的有趣材料。在这篇文章中,我们介绍了一个从维基百科的修订历史中构建的新资源,称为WiCoPaCo(维基百科更正和释义语料库),其中包含人类贡献者的大量编辑,包括各种更正和重写。我们讨论了建立这样一个资源的主要动机,描述了它是如何建立的,目前在法国的初步应用。
2022-02-25 cs.CL
Leveraging the Cross-Domain & Cross-Linguistic Corpus for Low Resource NMT: A Case Study On Bhili-Hindi-English Parallel Corpus
Department of Electrical Engineering, Indian Institute of Technology Delhi(电子工程系,印度理工学院德里);Bharti School of Telecommunication, Indian Institute of Technology Delhi(电信学院,印度理工学院德里);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(人工智能学院,印度理工学院德里)
本文构建了全球首个含11万句的Bhili-Hindi-English平行语料库,评估多种多语言大模型并证实微调NLLB-200 distilled 600M效果最优,填补了低资源部落语言的翻译基准空白。
2025-11-01 cs.CL
L3Cube-MahaCorpus and MahaBERT: Marathi Monolingual Corpus, Marathi BERT Language Models, and Resources
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube
我们提出了L3立方体MahaCorpus马拉地语单语数据集从不同的互联网来源刮。我们扩展现有的马拉地语单语语料库与24.8M句子和289M标记。我们进一步提出,MahaBERT,MahaAlBERT和MahaRoBerta所有基于BERT的掩蔽语言模型,以及MahaFT,快速文本词嵌入,都是在具有752 M标记的完整马拉地语语料库上训练的。我们展示了这些资源在下游马拉地语情感分析、文本分类和命名实体识别(NER)任务上的有效性。我们还发布了MahaGPT,一个在马拉地语语料库上训练的生成马拉地语GPT模型。马拉地语是印度的一种流行语言,但仍然缺乏这些资源。这项工作是在为马拉地语建立开放资源方面向前迈出的一步。数据和模型可在https://github.com/l3cube-pune/MarathiNLP上获得。
2022-03-13 cs.CL cs.LG
Bitext Mining Using Distilled Sentence Representations for Low-Resource Languages
Meta AI Research(Meta人工智能研究院)
将多语言表示学习扩展到100种最常见的语言之外是具有挑战性的,特别是要覆盖低资源语言的长尾。一种很有前途的方法是训练能够跨语言迁移的一对多语言模型,但这些模型通常存在容量不足和不相关语言之间的干扰。相反,我们摆脱了这种方法,专注于训练多种语言(家族)特定的表示,但最突出的是,所有语言仍然可以在同一个表示空间中编码。为了实现这一目标,我们专注于教师和学生的培训,允许所有编码器相互兼容,以进行双文本挖掘,并实现快速学习新语言。我们引入了一个新的教师-学生培训计划,它结合了监督和自我监督的培训,允许编码器,以利用单语训练数据,这是有价值的低资源设置。我们的方法明显优于原来的激光编码器。我们研究资源非常低的语言,并处理50种非洲语言,其中许多语言是任何其他模型都无法涵盖的。对于这些语言,我们训练句子编码器,挖掘双文本,并通过训练NMT系统来验证双文本。
2022-05-25 cs.CL
Low-Resource Corpus Filtering using Multilingual Sentence Embeddings
Facebook AI(脸书人工智能研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们描述了我们提交的WMT 19低资源并行语料库过滤共享任务。我们的主要方法是基于LASER工具包(语言不可知的句子表示),它使用一个编码器-解码器架构训练的并行语料库,以获得多语言的句子表示。然后,我们直接使用表示来评分和过滤嘈杂的并行句子,而无需额外训练评分函数。我们对比我们的方法与其他有前途的方法,并表明激光产生强大的结果。最后,我们产生一个不同的评分方法的合奏,并获得额外的收益。我们提交的尼泊尔语-英语和僧伽罗语-英语1 M任务的整体性能最好,分别比第二好的系统高出1.3和1.4 BLEU。此外,我们的实验表明,这种技术是有前途的低,甚至没有资源的情况下。
2019-06-20 cs.CL
Plague Dot Text: Text mining and annotation of outbreak reports of the Third Plague Pandemic (1894-1952)
Institute for Language, Cognition and Computation, School of Informatics(信息学院语言、认知与计算研究所);University of Edinburgh Library(爱丁堡大学图书馆);Science Technology and Innovation Studies, School of Social and Political Science(社会与政治科学学院科学技术与创新研究系);University of Edinburgh(爱丁堡大学);Edinburgh Futures Institute, School of Literatures, Languages and Cultures(文学、语言与文化学院爱丁堡未来研究所)
本研究通过文本挖掘和手动标注构建第三次鼠疫大流行暴发报告的结构化语料库,以支持流行病学概念的识别与分析。
2021-01-11 cs.CL
Part of Speech Tagging (POST) of a Low-resource Language using another Language (Developing a POS-Tagged Lexicon for Kurdish (Sorani) using a Tagged Persian (Farsi) Corpus)
标注语料库在广泛的自然语言处理中起着至关重要的作用。词性标注是标注语料库建设的关键。它既费时又费力,而且成本高昂,因此,如果实现自动化,它可能更便宜。库尔德语目前缺乏公开可用的适当大小的标记语料库。标记公开可用的库尔德语语料库可以将这些资源的能力提高到比原始或分割语料库所能提供的更高的水平。开发POS标记的词典可以帮助完成上述任务。我们使用标记语料库(Bijankhan语料库)在波斯语(波斯语)作为一个接近库尔德语开发一个POS标记的词汇。本文提出了利用与库尔德语关系密切的语言资源丰富库尔德语资源的方法。结果的部分数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/公开用于非商业用途。我们计划在对结果进行进一步调查后,提供整个标记语料库。该数据集可以帮助开发其他库尔德方言的POS标记词汇和自动库尔德语料库标记。
2022-01-30 cs.CL
CJaFr-v3 : A Freely Available Filtered Japanese-French Aligned Corpus
CNRS-CRLAO(法国国家科学研究中心-东亚语言研究中心)
我们提出了一个免费的日法平行语料库。它包括15M对齐的片段,并通过编译和过滤几个现有的资源获得。在本文中,我们描述了现有的资源,它们的数量和质量,过滤,我们应用,以提高语料库的质量,并准备使用的语料库的内容。我们还评估了这个语料库的有用性和我们的过滤质量的训练和评估一些标准的MT系统与它。
2022-08-28 cs.CL
How to improve robustness in Kohonen maps and display additional information in Factorial Analysis: application to text mining
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
本文是WSOM 2012会议上发表的一篇论文的扩展版本[1]。我们展示了一个组合的阶乘投影,SOM算法和图形技术应用于文本挖掘问题。该语料库包含8个中世纪手稿,用于向商人教授算术技术。在数据分析的技术中,那些用于词汇计量学(如因子分析)的技术突出了手稿之间的差异。究其原因,是他们关注的是文字与手稿之间的独立性的偏离。同时,我们也希望发现和表征整个语料库中的共同词汇。使用随机Kohonen映射的属性,它以非确定性的方式定义输入之间的邻域,我们突出了似乎在词汇表中发挥特殊作用的单词。我们称之为善变,并使用它们来提高Kohonen地图的鲁棒性和FCA可视化的重要性。最后,我们使用图算法来利用这种变化无常的分类词。
2015-06-25 cs.CL math.ST stat.TH