SAHAAYAK 2023 -- the Multi Domain Bilingual Parallel Corpus of Sanskrit to Hindi for Machine Translation
Asha M. Tarsadia Institute of Computer Science and Technology(阿莎·M·塔萨迪亚计算机科学与技术学院);Uka Tarsadia University(乌卡·塔萨迪亚大学)
本文提出了名为 SAHAAYAK 2023 的大型多领域梵语-印地语双语平行语料库,包含 1.5M 句对,通过三步挖掘与规范化流程构建,可直接用于机器翻译算法。
2023-06-27 cs.CL
CCMatrix: Mining Billions of High-Quality Parallel Sentences on the WEB
Facebook AI(Facebook人工智能)
我们表明,在多语言句子空间中基于边缘的双文本挖掘可以应用于数十亿句子的单语语料库。我们使用了十个精选的常见爬行语料库的快照(Wenzek等人,2019年)总计327亿个独特句子。通过对38种语言使用统一的方法,我们能够挖掘出45亿个平行句子,其中6.61亿个与英语对齐。20种语言对有超过3000万个平行句子,112种超过1000万个,大多数超过100万个,包括许多欧洲或亚洲语言之间的直接对齐。为了评估挖掘出的文本的质量,我们对大多数语言对进行训练NMT系统,并在TED、WMT和WAT测试集上对其进行评估。仅使用我们挖掘的双文本,没有人工翻译的并行数据,我们在WMT'19测试集上实现了一个新的最先进的单一系统,用于英语和德语,俄语和汉语以及德语/法语之间的翻译。特别是,我们的英语/德语系统比最好的单一系统高出近4个BLEU点,并且几乎与使用系统组合和反向翻译的最佳WMT'19评估系统配对。我们还在俄语/日语等远距离语言对方面取得了优异的成绩,超过了2019年亚洲翻译研讨会(WAT)的最佳提交。
2020-05-01 cs.CL
BioBERT: a pre-trained biomedical language representation model for biomedical text mining
Korea University(高丽大学);Clova AI Research, Naver Corp(Naver公司Clova人工智能研究院)
随着生物医学文档数量的快速增长,生物医学文本挖掘变得越来越重要。随着自然语言处理(NLP)的发展,从生物医学文献中提取有价值的信息越来越受到研究人员的欢迎,深度学习推动了有效的生物医学文本挖掘模型的发展。然而,直接应用自然语言处理的进步,生物医学文本挖掘往往会产生不满意的结果,由于一个词的分布偏移从一般领域语料库的生物医学语料库。在这篇文章中,我们研究了最近引入的预训练语言模型BERT如何适用于生物医学语料库。我们介绍了BioBERT(Bidirectional Encoder Representations from Transformers for Biomedical Text Mining),这是一个在大规模生物医学语料库上预训练的特定领域语言表示模型。在任务之间具有几乎相同的架构,BioBERT在生物医学语料库上进行预训练时,在各种生物医学文本挖掘任务中的性能大大优于BERT和以前的最先进模型。虽然BERT获得的性能与以前的国家的最先进的模型,生物BERT显着优于他们在以下三个代表性的生物医学文本挖掘任务:生物医学命名实体识别(0.62%的F1分数提高),生物医学关系抽取(2.80%的F1分数提高)和生物医学问答(12.24%的MRR提高)。我们的分析结果表明,生物医学语料库上的预训练BERT有助于它理解复杂的生物医学文本。我们在https://github.com/na…
2019-10-18 cs.CL
Parallel Strands: A Preliminary Investigation into Mining the Web for Bilingual Text
平行语料库是机器翻译的宝贵资源,但目前它们的可用性和实用性受到体裁和领域特异性、许可限制以及除了世界上最主要的语言之外的所有语言中定位平行文本的基本困难的限制。一个尚未开发的平行语料库资源是万维网,它拥有大量的平行翻译页面,为其中一些问题提供了潜在的解决方案,并提供了自己独特的机会。本文提出了必要的第一步,探索:一种方法,自动发现并行翻译的文件在Web上。该技术概念简单,完全独立于语言,可扩展,初步评估结果表明,该方法可能足够准确,无需人工干预即可应用。
1998-08-07 cmp-lg cs.CL
Cross-lingual Opinions and Emotions Mining in Comparable Documents
本研究通过构建双语情绪词典和跨语言标注方法,分析英阿可比文档中的情感与情绪差异,发现同源新闻机构文档标注一致,异源则分歧,方法具有语言无关性。
2025-08-05 cs.CL
Unsupervised comparable corpora preparation and exploration for bi-lingual translation equivalents
Polish-Japanese Academy of Information Technology(波兰-日本信息技术学院)
当今世界的多语言性使得翻译成为一项至关重要的要求。由人类构建的平行词典是一种广泛可用的资源,但它们是有限的,并且由于词汇表外的单词和新词而不能为高质量的翻译目的提供足够的覆盖范围。这促使了统计翻译系统的使用,不幸的是,统计翻译系统依赖于训练数据的数量和质量。这种系统的可用性非常有限,特别是对于某些语言和非常窄的文本域。在这项研究中,我们提出了我们的改进,目前可比语料库挖掘方法的比较算法(使用Needleman-Wunch算法)的重新实现,引入一个调优脚本和GPU加速的计算时间的改善。从维基百科中提取的双语数据进行实验,在各个领域。对于维基百科本身,引入了额外的跨语言比较语法。这些修改对挖掘数据的质量和数量以及翻译质量产生了积极影响。
2015-12-05 cs.CL stat.ML
KréyoLID From Language Identification Towards Language Mining
Inria(法国国家信息与自动化研究所);Common Crawl Foundation(Common Crawl基金会)
本文提出将低资源语言语料库构建从多类分类问题重新定义为语言挖掘问题,并针对多种法语克里奥尔语引入新流程与语料库,以更少资源实现更快、更广的语料覆盖。
2025-03-09 cs.CL
Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们描述了一种无监督的方法来创建伪平行语料库的机器翻译(MT)从未对齐的文本。我们使用多语言BERT来创建源和目标句子嵌入以进行最近邻搜索,并通过自训练来调整模型。我们通过在BUCC 2017双文本挖掘任务中提取平行句子对来验证我们的技术,并观察到F1分数比以前的无监督方法增加了24.5分(绝对值)。然后,我们通过补充从同一语料库中挖掘的伪并行文本来改进在维基百科上预训练的基于XLM的无监督神经MT系统,在WMT'14法语-英语和WMT'16德语-英语任务上将无监督翻译性能提高了3.5 BLEU,并优于以前的最先进水平。我们用伪平行的Wikipedia句子对丰富了IWEEE '15英语-越南语语料库,在低资源MT任务上获得了1.2 BLEU的改进。我们证明了无监督的双文本挖掘是增强MT数据集的有效方法,并补充了现有的技术,如使用预训练的上下文嵌入进行初始化。
2020-10-15 cs.CL cs.LG
Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings
University of the Basque Country (UPV/EHU)(巴斯克大学);Facebook AI Research(Facebook人工智能研究院)
机器翻译对训练数据的大小和质量高度敏感,这使得人们对收集和过滤大型并行语料库的兴趣越来越大。在本文中,我们提出了一种新的方法,这一任务的基础上,多语言句子嵌入。与以前的方法相比,这些方法依赖于最近邻检索,在余弦相似性上具有硬阈值,我们所提出的方法考虑了这种测量的尺度不一致性,而是考虑给定句子对与其最接近的候选者之间的间隔。我们的实验表明,现有的方法有很大的改进。我们在BUCC采矿任务和联合国重建任务上的表现分别超过了10个F1和30个精度点。使用我们的方法过滤英语-德语ParaCrawl语料库,我们在newest 2014上获得31.2 BLEU点,比最好的官方过滤版本提高了一个多点。
2019-08-07 cs.AI cs.CL cs.LG
Automated Phrase Mining from Massive Text Corpora
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Army Research Laboratory(陆军研究实验室)
短语挖掘是文本分析的基本任务之一,其目的是从文本语料库中提取高质量的短语。短语挖掘在诸如信息抽取/检索、分类构造和主题建模等各种任务中是重要的。大多数现有的方法依赖于复杂的,受过训练的语言分析器,因此可能在新领域和体裁的文本语料库上的性能不令人满意,而无需额外但昂贵的适应。近年来,一些数据驱动的方法已经被成功地开发出来,用于从大量特定领域的文本中提取短语。然而,没有一个最先进的模型是完全自动化的,因为它们需要人类专家来设计规则或标记短语。由于人们可以很容易地从公共知识库中获得许多高质量的短语,其规模远远大于人类专家所产生的规模,因此在本文中,我们提出了一种用于自动短语挖掘的新框架AutoPhrase,该框架以有效的方式利用了大量的高质量短语,并与有限的人类标记短语相比,实现了更好的性能。此外,我们开发了一个POS引导的短语分割模型,它结合了浅层句法信息的词性(POS)标签,以进一步提高性能,当一个POS标签可用。请注意,AutoPhrase可以支持任何语言,只要通用知识库(例如,Wikipedia),同时受益于但不需要POS标记器。与最先进的方法相比,新方法在不同领域和语言的五个真实数据集上的有效性有了显着提高。
2017-03-11 cs.CL
Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization
Baidu Inc.(百度公司)
本研究提出支持220余种语言的通用多语言句子表示模型MuSR,结合CrossConST跨语言一致性正则化技术训练模型,在多语言相似度搜索和双语文本挖掘任务上性能优于由148个独立编码器构成的LASER3。
2023-06-12 cs.AI cs.CL
Cross-Genre Argument Mining: Can Language Models Automatically Fill in Missing Discourse Markers?
Laboratório de Inteligência Artificial e Ciência de Computadores (LIACC)(人工智能与计算机科学实验室(LIACC));Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院);Natural Language Learning Group (NLLG)(自然语言学习组(NLLG));Faculty of Technology, Bielefeld University(比勒费尔德大学技术学院)
本文研究跨体裁论证挖掘中语篇标记缺失的问题,构建含合成与真实示例的异构数据集并微调语言模型自动补全标记,从而在部分场景下提升下游论证挖掘性能。
2023-06-07 cs.CL
Scalable Topical Phrase Mining from Text Corpora
The University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Army Research Laboratory(陆军研究实验室)
虽然大多数主题建模算法使用单字对文本语料库进行建模,但人类的解释通常依赖于将术语固有地分组为短语。因此,我们考虑发现混合长度的主题短语的问题。现有的工作要么执行后处理的推理结果的unigram为基础的主题模型,或利用复杂的n-gram发现主题模型。这些方法通常产生低质量的主题短语,或者即使在中等大小的数据集上也具有较差的可扩展性。我们提出了一种不同的方法,计算效率和有效的。我们的解决方案结合了一种新的短语挖掘框架,将文档分割成单个和多个单词的短语,以及一个新的主题模型,该模型对诱导的文档分区进行操作。我们的方法发现了高质量的主题短语,在各种数据集中,包括研究出版物的标题,摘要,评论和新闻文章的词袋主题模型的额外成本可以忽略不计。
2014-11-19 cs.CL cs.IR cs.LG
Very Low Resource Sentence Alignment: Luhya and Swahili
University of Cape Town(开普敦大学);South African Astronomical Observatory(南非天文台)
由预先训练的模型(如LASER和LaBSE)生成的与语言无关的句子嵌入是挖掘大型数据集以生成用于低资源机器翻译的并行语料库的有吸引力的选择。我们测试激光和LaBSE提取两个相关的低资源非洲语言:卢希亚和斯瓦希里语的bitext。对于这项工作,我们创建了一个新的平行集近8000 Luhya英语句子,允许一个新的激光和LaBSE的zero-shot测试。我们发现LaBSE在两种语言上的表现都明显优于LASER。然而,在Luhya上,LASER和LaBSE在zero-shot对准时表现不佳,分别仅实现1.5%和22.0%的成功对准(P@1评分)。我们微调了一小组并行Luhya句子的嵌入,并显示出显着的收益,将LaBSE对齐准确率提高到53.3%。此外,将数据集限制为余弦相似度高于0.7的句子嵌入对,产生了超过85%准确度的比对。
2022-10-31 cs.CL
Tuned and GPU-accelerated parallel data mining from comparable corpora
Polish-Japanese Academy of Information Technology(波兰-日本信息技术学院)
当今世界的多语言性使得翻译成为一项至关重要的要求。由人类构建的平行词典是一种广泛可用的资源,但它们是有限的,并且由于词汇表外的单词和新词而不能为高质量的翻译目的提供足够的覆盖范围。这促使了统计翻译系统的使用,不幸的是,统计翻译系统依赖于训练数据的数量和质量。这具有非常有限的可用性,特别是对于某些语言和非常窄的文本域。在这项研究中,我们提出了我们的改进Yalign挖掘方法,通过重新实现比较算法,引入调优脚本,并通过使用GPU计算加速来提高性能。实验在不同的文本域上进行,并从维基百科转储中提取双向数据。
2015-09-29 cs.AI cs.CL cs.DS
Essentia: Mining Domain-Specific Paraphrases with Word-Alignment Graphs
University of Pennsylvania(宾夕法尼亚大学);Megagon Labs(Megagon实验室)
释义是自然语言处理中的重要语言资源。人们已经提出了许多从普通语料库中自动挖掘释义的技术。虽然这些技术在发现通用释义方面是成功的,但是它们通常不能识别领域特定释义(例如,酒店领域的{员工、礼宾})。这是因为目前的技术往往是基于统计方法,而特定领域的语料库太小,以适应统计方法。在本文中,我们提出了一种无监督的基于图的技术,从一小部分大致共享相同主题或意图的句子中挖掘释义。我们的系统,repla,依赖于单词对齐技术来创建一个单词对齐图,合并和组织输入句子的标记。然后使用所得到的图来生成候选释义。我们证明,我们的系统获得高质量的释义,人群工作人员的评价。我们进一步表明,大多数确定的释义是特定领域的,从而补充现有的释义数据库。
2019-10-04 cs.CL
Legal Transformer Models May Not Always Help
EPFL(洛桑联邦理工学院)
基于深度学习的自然语言处理方法,尤其是Transformers,在过去几年取得了令人印象深刻的表现。将这些最先进的NLP方法应用于法律活动,以自动化或简化一些简单的工作,具有重要的价值。本文研究了领域自适应预训练和语言适配器在法律NLP任务中的价值。通过比较语言模型与领域自适应预训练在不同任务和不同数据集分割上的性能,我们表明领域自适应预训练仅对低资源下游任务有帮助,因此远非万能药。我们还在一个典型的合法NLP任务中对适配器的性能进行了基准测试,并表明它们可以以更小的训练成本产生与完整模型调优相似的性能。作为一个额外的结果,我们发布了LegalRoBERTA,这是一个在法律语料库上进一步预训练的RoBERTA模型。
2021-09-15 cs.CL
Coursera Corpus Mining and Multistage Fine-Tuning for Improving Lectures Translation
Kyoto University(京都大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
讲座翻译是口语翻译的一种,缺乏公开的平行语料库。为了解决这个问题,我们研究了一个独立于语言的并行语料库挖掘框架,这是一种快速有效的方法,可以从Coursera公开的讲座中挖掘并行语料库。我们的方法确定句子对齐,依赖于机器翻译和余弦相似性在连续空间的句子表示。我们还展示了如何使用由此产生的语料库在多级微调为基础的领域自适应高质量的讲座翻译。对于日语-英语讲座翻译,我们提取了大约40,000行的并行数据,并通过手动过滤创建了开发和测试集,以衡量翻译性能。我们证明,挖掘语料库大大提高了翻译质量时,结合使用域外的平行语料库,通过多级训练。本文还提出了一些指导原则,以收集和清理语料库,挖掘平行句子,解决挖掘数据中的噪音,并创建高质量的评估分裂。为了可重复性,我们将发布并行数据创建的代码。
2020-01-14 cs.AI cs.CL cs.LG
Deep Active Learning for Data Mining from Conflict Text Corpora
Uppsala University(乌普萨拉大学);Peace Research Institute Oslo (PRIO)(奥斯陆和平研究所(PRIO))
本文提出利用主动学习微调大型编码器语言模型,从冲突文本语料中低成本提取事件动态子类,性能接近人工编码且标注量减少99%。
2024-02-02 cs.CL cs.CY stat.ML
Assessing Open-Source Large Language Models on Argumentation Mining Subtasks
Bundesdruckerei Gruppe GmbH(联邦印刷集团有限公司);University of Potsdam(波茨坦大学);Hasso Plattner Institute(哈索·普拉特纳研究院)
本研究评估四种开源大语言模型在论证挖掘两个子任务上的表现,在三个语料库上测试零样本和少样本能力,为计算论证研究提供参考。
2024-11-08 cs.CL
Majority Voting with Bidirectional Pre-translation For Bitext Retrieval
Dartmouth College(达特茅斯学院);Boston University(波士顿大学)
获得高质量的平行语料库对于训练NMT系统至关重要。然而,由于许多语言对缺乏足够的黄金标准训练数据,一种流行的方法是从两种语言的成对文档中挖掘所谓的“伪平行”句子。在本文中,我们概述了一些问题与当前的方法,提出计算经济的解决方案,这些问题,并证明成功的新方法的Tatoeba相似性搜索基准和下游任务,即NMT。我们揭示了资源相关因素(即给定语言有多少单语/双语数据)对双文本挖掘方法的最佳选择的影响,并与其他人观察到的经常使用的BUCC数据集的问题相呼应。我们公开了用于实验的代码和数据。
2021-03-12 cs.AI cs.CL cs.LG
Sampled Weighted Min-Hashing for Large-Scale Topic Mining
我们提出了采样加权最小散列(SWMH),一个随机的方法来自动挖掘大规模语料库的主题。SWMH基于术语共现生成语料库词汇的多个随机分区,并聚集高度重叠的分区间单元以产生挖掘的主题。虽然其他方法将主题定义为词汇表上的概率分布,但SWMH主题是此类词汇表的有序子集。有趣的是,SWMH挖掘的主题在不同的粒度级别上支持来自语料库的主题。我们广泛地评估挖掘的主题的意义定性和定量的NIPS(1.7 K文件),20新闻组(20 K),路透社(800 K)和维基百科(4 M)语料库。此外,我们比较质量的SWMH与在线LDA主题的文档表示分类。
2015-09-08 cs.CL cs.IR cs.LG
PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain
Emory University(埃默里大学);Mayo Clinic(妙佑医疗国际);Indian Institute of Technology (IIT)(印度理工学院);Arizona State University(亚利桑那州立大学)
病理学文本挖掘是一项具有挑战性的任务,因为癌症亚型定义中的报告可变性和不断的新发现。然而,大型病理学数据库的成功文本挖掘可以在推进“大数据”癌症研究中发挥关键作用,如基于相似性的治疗选择,病例识别,诊断,监测,临床试验筛选,风险分层等。虽然人们对开发用于更具体的临床领域的语言模型的兴趣越来越大,但是不存在病理学特定的语言空间来支持病理学空间中的快速数据挖掘开发。在文献中,一些方法在保持原始分词器的同时在专门的语料库上微调通用Transformer模型,但在需要专门术语的领域中,这些模型通常无法充分执行。我们提出了PathologyBERT -一个预先训练的掩蔽语言模型,它在347,173份组织病理学标本报告上进行了训练,并在Huggingface存储库中公开发布。我们的综合实验表明,与非特异性语言模型相比,Transformer模型在病理语料库上的预训练在自然语言理解(NLU)和乳腺癌诊断分类方面产生了性能改进。
2022-05-13 cs.CL
Enhancing Legal Argument Mining with Domain Pre-training and Neural Networks
University College Dublin(都柏林大学学院);Birkbeck, University of London(伦敦大学伯贝克学院)
上下文词嵌入模型BERT已经证明了其在有限数量的注释数据的下游任务上的能力。BERT及其变体有助于减轻许多跨学科研究领域中复杂注释工作的负担,例如,数字人文学科中的法律论证挖掘。论证挖掘旨在开发能够自动检索论证并识别论证子句之间关系的文本分析工具。由于论证是判例法的一个关键方面,法律文本的论证挖掘工具适用于学术和非学术法律研究。特定领域的BERT变体(使用来自特定背景的语料库进行预训练)在许多任务中也取得了很好的性能。据我们所知,以前的机器学习研究的论点挖掘的司法判例法仍然严重依赖于统计模型。在本文中,我们提供了一个广泛的研究经典和上下文嵌入模型和他们的实际案例法从欧洲人权法院(ECHR)的表现。在我们的研究中,我们还探索了一些神经网络与不同嵌入相结合的情况。我们的实验提供了一个全面的概述各种方法的法律论据挖掘任务。我们的结论是,域预训练的Transformer模型在这一领域具有很大的潜力,虽然传统的嵌入也可以实现强大的性能时,与额外的神经网络层相结合。
2022-04-06 cs.CL
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia(西澳大利亚大学);The University of Melbourne(墨尔本大学)
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中,我们提出了几种技术作为后处理步骤,以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型,这使得我们的技术强大而通用。实验结果表明,我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond
University of the Basque Country (UPV/EHU)(巴斯克大学);Facebook AI Research(Facebook人工智能研究院)
我们引入了一个架构来学习93种语言的联合多语言句子表示,这些语言属于30多个不同的家族,用28种不同的脚本编写。我们的系统使用单个BiLSTM编码器,具有所有语言的共享BPE词汇表,该编码器与辅助解码器相结合,并在公开可用的并行语料库上进行训练。这使我们能够仅使用英文注释数据在生成的嵌入之上学习分类器,并将其转换为93种语言中的任何一种而无需任何修改。在跨语言自然语言推理(XNLI数据集)、跨语言文档分类(MLDoc数据集)和并行语料挖掘(BUCC数据集)上的实验表明了该方法的有效性。我们还介绍了一个新的测试集对齐的句子在112种语言,并表明,我们的句子嵌入获得强大的结果,即使在多语言的相似性搜索低资源的语言。我们的实现、预训练的编码器和多语言测试集可在https://github.com/facebookresearch/LASER上获得
2019-09-25 cs.AI cs.CL cs.LG
Analyses of Multi-collection Corpora via Compound Topic Modeling
Indian Institute of Technology Goa(印度理工学院果阿分校);Informatics Institute, University of Florida(佛罗里达大学信息学研究所);University of Florida(佛罗里达大学)
随着电子存储数据在日常生活中的增长,获取新的和相关的信息变得具有挑战性的文本挖掘。因此,人们一直在寻求基于词频、矩阵代数或主题建模的统计方法来进行文本挖掘。目前流行的主题模式都集中在单一的文本集合上,这对于文本的比较分析是很有缺陷的。我们考虑一个设置,其中一个可以划分成子集合的语料库。每个子集合共享一组公共的主题,但集合之间的主题比例存在相对变化。包括任何先验知识的语料库(如组织结构),我们提出了复合潜在狄利克雷分配(cLDA)模型,改进以前的工作,鼓励推广,并减少依赖于用户输入参数。为了确定cLDA中感兴趣的参数,我们广泛研究了马尔可夫链蒙特卡罗(MCMC)和变分推理方法,并提出了一种有效的MCMC方法。我们使用合成语料库和真实语料库定性和定量地评估cLDA。对一些真实语料库的可用性研究说明了cLDA在自动探索底层主题方面的优越性,同时也对多个集合之间的连接和变化进行了建模。
2019-06-17 cs.CL cs.IR cs.LG
Crowdsourcing Argumentation Structures in Chinese Hotel Reviews
Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Information Science and Technology University(北京信息科技大学)
论证挖掘的目的是自动提取自然语言文本中的声明-声明语篇结构。有一个很大的需求论证语料库的客户评论。然而,由于论证注释任务的争议性质,存在很少的大规模的客户评论论证语料库。在这项工作中,我们新颖地使用众包技术来收集中国酒店评论中的论证注释。作为第一个中文论辩语料集,我们的语料库包含4814个论元成分标注和411个论元关系标注,其标注质量可以与其他语言中广泛使用的论辩语料库相媲美。
2017-05-05 cs.CL
Conceptualized Representation Learning for Chinese Biomedical Text Mining
Alibaba Group(阿里巴巴集团)
随着生物医学文档和Web数据数量的快速增长,生物医学文本挖掘变得越来越重要。近年来,单词表征模型如BERT在研究者中越来越受欢迎。然而,这是很难估计的数据集包含生物医学文本的一般和生物医学语料库的词分布是完全不同的。此外,医学领域具有难以通过语言模型学习的长尾概念和术语。对于中文生物医学文本,由于其结构复杂,短语组合的多样性,其识别难度更大。在本文中,我们研究了最近推出的预训练语言模型BERT可以适应中国生物医学语料库,并提出了一种新的概念化的表示学习方法。我们还发布了一个新的中文生物医学语言理解评估基准(\textbf{ChineseBLUE})。我们研究了中国预训练模型的有效性:BERT,BERT-wwm,RoBERTa和我们的方法。在基准测试上的实验结果表明,我们的方法可以带来显着的增益。我们在GitHub上发布了预训练的模型:https://github.com/alibaba-research/ChineseBLUE。
2020-08-25 cs.AI cs.CL cs.IR
NLP Workbench: Efficient and Extensible Integration of State-of-the-art Text Mining Tools
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
本研究提出基于网页的NLP Workbench文本挖掘平台,集成前沿预训练模型与开源系统,采用可扩展设计与微服务架构提升效率,支持非专业用户开展大规模语料语义理解,已开源并提供演示资源。
2023-03-02 cs.CL
Clustering Prominent People and Organizations in Topic-Specific Text Corpora
Claremont Graduate University(克莱蒙特研究生大学);Prince Sattam Bin Abdulaziz University(萨塔姆·本·阿卜杜勒阿齐兹王子大学)
文本文档中的命名实体是存在于现实世界中的文档中的人、组织、位置或其他类型的对象的名称。一个持续的研究挑战是使用计算技术来识别文本文档中的此类实体。一旦识别出来,就可以利用几种文本挖掘工具和算法来利用这些发现的命名实体并改进NLP应用程序。提出了一种基于语义相似度的人名和组织名聚类方法。该方法依赖于常见的命名实体识别技术和最近的词嵌入模型。使用用于命名实体的词嵌入模型生成的语义相似性分数用于聚类人和组织类型的相似实体。两名人类评委在一个由4,821篇关于特定主题的文章组成的语料库上运行后,评估了该方法的十种变体。该方法的性能进行了测量,使用三个定量措施。这三个指标的结果表明,该方法是有效的语义相似的命名实体聚类。
2019-07-07 cs.CL
A survey of methods to ease the development of highly multilingual text mining applications
European Commission – Joint Research Centre (JRC)(欧洲委员会联合研究中心)
多语言文本处理是有用的,因为在不同语言中发现的信息内容是互补的,无论是关于事实还是观点。虽然信息抽取和其他文本挖掘软件原则上可以为许多语言开发,但大多数文本分析工具只应用于小的语言集,因为每种语言的开发工作量很大。自训练工具显然缓解了这个问题,但即使是提供训练数据和手动调整结果的工作量通常也相当大。在本文中,我们收集了各种多语言系统开发人员的见解,如何最大限度地减少开发自然语言处理应用程序的许多语言的努力。我们还解释了我们自己努力开发数十种语言的复杂文本挖掘软件的主要指导方针。虽然这些准则-最重要的是:极端简单-可能非常严格和有限,但我们认为,通过开发欧洲媒体监测(EMM)系列应用程序(http://emm.newslog.eu/overview.html),已经表明了这种方法的可行性。EMM是一套复杂的媒体监控工具,每天处理和分析多达10万篇20到50种语言的在线新闻文章。我们还将涉及到语言资源的种类,这些资源可以使所有人更容易地开发高度多语言的文本挖掘应用程序。我们认为,为了实现这一目标,最需要的资源是免费提供的、简单的、平行的和统一的多语言词典、语料库和软件工具。
2014-01-13 cs.CL
SMedBERT: A Knowledge-Enhanced Pre-trained Language Model with Structured Semantics for Medical Text Mining
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);DXY(丁香园);Shanghai Research Institute for Intelligent Autonomous Systems(上海自主智能无人系统研究中心)
近年来,通过在预训练语言模型中加入知识事实来提高其语言理解能力,使得预训练语言模型的性能得到了显著提高。对于医学领域来说,由于医学术语数量庞大,关系复杂,在文本中难以理解,因此背景知识源就显得尤为重要。在这项工作中,我们介绍了SMedBERT,一个医疗PLM上训练的大规模医学语料库,纳入深结构化语义知识从邻居的链接实体。在SMedBERT中,提到邻居混合注意力被提出来学习异构实体信息,注入实体类型的语义表示到同构的相邻实体结构。除了作为外部特征的知识整合外,我们还提出将知识图谱中链接实体的邻居作为文本提及的额外全局上下文,允许它们通过共享邻居进行通信,从而丰富它们的语义表示。实验表明,SMedBERT显着优于强基线在各种知识密集型的中国医疗任务。它还提高了其他任务的性能,如问答,问题匹配和自然语言推理。
2021-08-20 cs.CL
Large Language Models in Argument Mining: A Survey
University of Manchester(曼彻斯特大学);Imperial College London(伦敦帝国学院)
本文综述了大型语言模型对论证挖掘领域的影响,分析了LLM如何改变任务设计、数据集构建和评估方法,并提出了未来研究方向。
2025-11-25 cs.CL
A Hybrid Intelligence Method for Argument Mining
Leiden Institute for Advanced Computer Science (LIACS)(莱顿高级计算机科学研究所);Leiden University(莱顿大学);Interactive Intelligence (II)(交互智能研究所);Delft University of Technology(代尔夫特理工大学);Computational Linguistics & Text Mining Lab (CLTL)(计算语言学与文本挖掘实验室);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出混合智能方法HyEnA,结合人类推理与AI速度从公民意见中提取论点,在三个语料库上验证其覆盖率和精确率优于全自动方法,且比纯人工分析更省力而不损失质量。
2024-08-01 cs.AI cs.CL cs.HC
Don't Prompt, Search! Mining-based Zero-Shot Learning with Language Models
University of Amsterdam(阿姆斯特丹大学);Princeton University(普林斯顿大学);Meta AI
像BERT这样的掩蔽语言模型可以通过将下游任务重新定义为文本填充来以zero-shot方式执行文本分类。然而,这种方法对用于提示模型的模板高度敏感,然而从业者在严格的zero-shot设置中设计它们时是盲目的。在本文中,我们提出了另一种基于挖掘的零样本学习方法。我们不使用提示语言模型,而是使用正则表达式从未标记的语料库中挖掘标记的示例,这些语料库可以通过提示进行过滤,并用于微调预训练模型。我们的方法比提示更灵活,更易于解释,并且在使用可比模板时,在广泛的任务上优于它。我们的研究结果表明,提示的成功可以部分解释为模型在预训练期间暴露于类似的示例,这些示例可以通过正则表达式直接检索。
2022-10-26 cs.AI cs.CL cs.LG
Low-Resource, High-Impact: Building Corpora for Inclusive Language Technologies
Toloka AI
本教程提供构建包容性语言技术的实用工具和方法,涵盖多语言和低资源语言的端到端NLP流水线建设。
2025-12-16 cs.AI cs.CL
Sentiment analysis model for Twitter data in Polish language
Politechnika Warszawska(华沙理工大学);Wydział Elektroniki i Technik Informacyjnych(电子与信息技术学院);Instytut Informatyki(计算机科学研究所)
对2015年5月10日波兰总统选举期间收集的推文进行文本挖掘分析。该项目包括实现从Twitter检索信息的引擎,构建文档语料库,语料库清理,以及创建术语文档矩阵。来自文本语料库的每条推文都根据其情感得分被分配了一个类别。分数是使用每个文档中积极和/或消极的表情符号和波兰语单词的数量计算的。结果数据集用于训练和测试四个机器学习分类器,以选择提供最准确的自动推文分类结果的分类器。朴素贝叶斯算法和最大熵算法的准确率最高,分别为71.76%和77.32%。所有的实现任务都是使用R程序设计语言完成的。
2019-11-03 cs.CL cs.IR cs.LG
Cross-Platform Chinese Offensive Comment Detection via Dual-Threshold Hard Example Mining
School of Electronic and Information Engineering, Beijing Jiaotong University(北京交通大学电子信息工程学院)
针对跨平台中文攻击性评论检测性能下降问题,提出双阈值难例挖掘方法,通过二次微调少量人工标注难例实现低成本的跨平台领域适应。
2026-06-29 cs.AI cs.CL cs.SY
Mining Large Language Models for Low-Resource Language Data: Comparing Elicitation Strategies for Hausa and Fongbe
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);Centre for Text Technology(文本技术中心);North-West University(北开普大学);South Africa(南非)
本文研究通过策略性提示从LLM中提取可用于Hausa和Fongbe两种西非语言的文本数据,发现Hausa需功能性文本和对话,而Fongbe需受限生成提示,GPT-4o Mini在提取目标语言词汇上表现更优。
2026-04-14 cs.AI cs.CL
MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities
Fraunhofer Institute for Mechanics of Materials IWM(弗劳恩霍夫材料力学研究所);IBM Research(IBM研究中心)
本文提出 MaterioMiner 数据集及关联材料力学本体,通过细粒度实体标注支持神经符号材料信息抽取、NER 训练与知识图谱构建。
2024-08-05 cond-mat.mtrl-sci cs.CL
A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest
TikTok;Emory University(埃默里大学)
本文提出一种自增强方法,通过训练知识挖掘器LLMiner从领域文档中提取问答对,并结合对话数据微调LLM,以提升领域特定聊天机器人的性能,仅需600个种子实例即可实现显著改进。
2023-11-17 cs.AI cs.CL
BioALBERT: A Simple and Effective Pre-trained Language Model for Biomedical Named Entity Recognition
School of Computer Science, University of Sydney(悉尼大学计算机科学学院);School of Information Technology, Deakin University(迪肯大学信息技术学院)
近年来,随着生物医学文档数量的不断增长,以及自然语言处理算法的不断进步,生物医学命名实体识别(BioNER)的研究呈指数级增长。然而,BioNER研究是具有挑战性的NER在生物医学领域是:(i)往往受到限制,由于有限的训练数据量,(ii)实体可以指多个类型和概念,这取决于其上下文,(iii)严重依赖于首字母缩略词是子域特定的。现有的BioNER方法往往忽视这些问题,直接采用在一般语料库中训练的最先进的(SOTA)模型,这往往会产生不满意的结果。我们提出了生物医学ALBERT(一个精简的双向编码器表示从Transformers的生物医学文本挖掘)bioALBERT,一个有效的特定领域的语言模型训练的大规模生物医学语料库,旨在捕捉生物医学上下文相关的NER。我们采用了ALBERT中使用的自监督损失,专注于建模句子间的连贯性,以更好地学习上下文相关的表示,并采用参数减少技术来降低内存消耗并提高BioNER的训练速度。在我们的实验中,BioALBERT在八个生物医学NER基准数据集上的表现优于SOTA BioNER模型,这些数据集具有四种不同的实体类型。我们训练了BioALBERT模型的四种不同变体,可供研究界在未来的研究中使用。
2020-09-19 cs.CL
Transformer-Based Models for Automatic Identification of Argument Relations: A Cross-Domain Evaluation
Universitat Politècnica de València(瓦伦西亚理工大学);Valencian Research Institute for Artificial Intelligence (VRAIN)(瓦伦西亚人工智能研究所)
论证挖掘被定义为自动识别和提取论证成分的任务(例如,房地、索赔等)并检测它们之间的现有关系(即,支持,攻击,换句话说,没有关系)。在处理这个问题时的主要问题之一是缺乏数据,以及公开可用的语料库的大小。在这项工作中,我们使用最近注释的US2016辩论语料库。US2016是现有最大的参数注释语料库,它允许探索自然语言处理在复杂领域(如参数(关系)挖掘)的最新进展的好处。我们对基于transformer的模型的行为进行了详尽的分析(即,BERT、XLNET、RoBERTa、DistilBERT和ALBERT)。最后,我们评估了五个不同领域的模型,目的是找到更少的领域依赖模型。我们使用US2016评估语料库获得的宏观F1分数为0.70,使用道德迷宫跨域语料库获得的宏观F1分数为0.61。
2021-04-15 cs.CL
An Exploratory Study on Utilising the Web of Linked Data for Product Data Mining
University of Sheffield(谢菲尔德大学)
在过去的十年中,关联开放数据实践导致了网络上结构化数据的显著增长。这种结构化数据以机器可读的方式描述真实世界的实体,并为自然语言处理领域的研究创造了前所未有的机会。然而,缺乏关于如何使用这些数据、用于何种任务以及这些数据在多大程度上对这些任务有用的研究。这项工作的重点是电子商务领域,探索利用这种结构化数据来创建语言资源,可用于产品分类和链接的方法。我们以RDF n-quads的形式处理数十亿个结构化数据点,以创建数百万个单词的产品相关语料库,这些语料库随后以三种不同的方式用于创建语言资源:训练词嵌入模型,继续预训练BERT类语言模型,以及训练用作代理的机器翻译模型以生成产品相关关键字。我们对一组广泛的基准测试的评估表明,词嵌入是提高这两项任务准确性的最可靠和一致的方法(在某些数据集上,宏观平均F1高达6.9个百分点)。但是,其他两种方法并不那么有用。我们的分析表明,这可能是由于一些原因,包括结构化数据中有偏见的领域表示和缺乏词汇覆盖。我们分享了我们的数据集,并讨论了如何将我们学到的经验教训用于未来的研究。
2022-06-24 cs.AI cs.CL
Teaching Nemotron Greek: Mining a Corpus, Adapting Retrieval, and Grounding Generation for Modern Greek across Specialist Domains
Sophea AI;KIEFER SA
本研究针对现代希腊语缺失于Nemotron检索模型及主流多语言基准的问题,提出Nemotron检索栈的端到端适配方案,含语料库挖掘等步骤,推出首个希腊语RAG基准HERA,适配后的模型在多项指标上显著提升。
2026-08-06 cs.AI cs.CL eess.AS
Integrating Natural Language Processing Techniques of Text Mining Into Financial System: Applications and Limitations
University of Tirana(地拉那大学)
本文综述了2018至2023年自然语言处理文本挖掘技术在资产定价、公司金融等金融系统各领域的应用,指出常用模型与算法,并从工程视角提出分析路径及现存挑战。
2024-12-29 cs.AI cs.CL econ.GN
Paraphrase Acquisition from Image Captions
Bauhaus-Universität Weimar(魏玛包豪斯大学);Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学);Leipzig University(莱比锡大学)
我们建议使用来自Web的图像标题作为以前未充分利用的资源进行释义(即,具有相同“消息”的文本)并创建和分析相应的数据集。当图像在Web上被重用时,通常会分配原始标题。我们假设,不同的标题为同一图像自然形成一组相互释义。为了证明这个想法的适用性,我们分析了英文维基百科中的标题,编辑经常为不同的文章重新标记相同的图像。本文介绍了底层的挖掘技术,由此产生的维基百科-IPC数据集,并比较已知的释义语料库的语法和语义的释义相似性,我们的新资源。在这种情况下,我们引入特征图沿两个相似性维度来识别来自不同来源的释义的风格。注释研究表明算法确定的特征图的高可靠性。
2023-02-15 cs.CL
STREAM: A Data-Centric Framework for Mining High-Value Task-Oriented Dialogues from Streaming Media
Harbin Institute of Technology(哈尔滨工业大学);Byering Technology(伯英技术)
提出STREAM框架,利用流媒体数据合成大规模多领域任务导向对话数据集StreamDial,通过角色构建和对话蓝图结合RAG生成高质量对话,解决数据稀缺问题。
2026-05-24 cs.AI cs.CL
Mining Hidden Thoughts from Texts: Evaluating Continual Pretraining with Synthetic Data for LLM Reasoning
NEC Corporation(日本电气株式会社)
本文提出 Reasoning CPT,利用合成数据重建文本背后的隐藏思维过程,并在 Gemma2-9B 与 MMLU 上验证其跨领域推理提升和迁移效果。
2025-05-15 cs.CL cs.LG
Goal Driven Discovery of Distributional Differences via Language Descriptions
University of California, Berkeley(加州大学伯克利分校)
本文提出D5任务,以目标驱动方式自动发现两个大型语料库间的差异并生成语言描述,构建了相应系统,并贡献了包含675个开放式问题的元数据集OpenD5及统一评估指标,证实语言模型能利用目标提出更相关、新颖且重要的发现。
2023-10-25 cs.AI cs.CL cs.LG
On Synthetic Data Strategies for Domain-Specific Generative Retrieval
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);AWS AI(亚马逊云科技人工智能部门)
本文提出针对领域特定生成式检索的两阶段训练框架,利用LLM生成多粒度查询并挖掘困难负样本,在公开数据集上验证了其有效性。
2025-02-25 cs.CL cs.IR
Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications
Emory University(埃默里大学);Amazon AWS AI(亚马逊AWS人工智能);Walgreens AI Lab(沃博联人工智能实验室);Amazon Search AI(亚马逊搜索人工智能);Amazon Scholar(亚马逊学者)
针对大型富文本异构图上文本与图模型联合预训练的空白,提出结合 LLM 与 GNN 的 GALM 框架及多种下游微调方法,并在 Amazon 内部与公共数据集上验证其有效性。
2023-06-05 cs.AI cs.CL cs.LG