Studying the Difference Between Natural and Programming Language Corpora
Department of Computer Science, University of California, Davis（加利福尼亚大学戴维斯分校计算机科学系）；Department of Linguistics, University of California, Davis（加利福尼亚大学戴维斯分校语言学系）
正如在大型软件系统中所观察到的，现在已知代码语料库比自然语言语料库更具有重复性和可预测性。但为什么呢？这种差异仅仅是由于程序设计语言的语法限制造成的吗？或者它是由这些自然语言和程序设计语言文本的作者在创作决策上的差异引起的？我们推测，这些差异并不完全是由于语法，而且还因为阅读和编写代码对人类来说是不自然的，需要大量的脑力劳动;因此，人们更喜欢以读者和作者都熟悉的方式编写代码。为了支持这一论点，我们提出了两组研究的结果：1）第一组旨在减弱句法的影响，2）第二组旨在测量在其他环境（例如第二语言，技术/专业术语）中编写的文本的重复性，这也是很难写的。我们发现源代码中的重复并不完全是语法约束的结果，因此某些重复必须是人类选择的结果。虽然我们在技术和学习者语料库中发现的类似重复行为的证据并不能最终表明人类使用这种语言来减轻困难，但它与这一理论是一致的。
2018-06-06 cs.CL
Twitter as a Lifeline: Human-annotated Twitter Corpora for NLP of Crisis-related Messages
Qatar Computing Research Institute (HBKU)（卡塔尔计算研究所（哈马德·本·哈利法大学））；Eurecat（欧洲加泰罗尼亚研究中心）
Twitter等微博平台在群众聚集和地震、台风等紧急事件期间提供了积极的沟通渠道。在危机局势突然爆发期间，受影响的人在Twitter上发布有用的信息，如果得到及时和有效的处理，这些信息可用于了解情况和其他人道主义救灾工作。处理社交媒体信息提出了多种挑战，例如解析嘈杂的、简短的和非正式的消息，从传入的消息流中学习信息类别，并将它们分类为不同的类别等。其中许多任务的基本要求之一是数据的可用性，特别是人工注释的数据。在本文中，我们展示了在2013年至2015年期间发生的19次不同危机中收集的人类注释的Twitter语料库。为了演示注释的实用性，我们训练机器学习分类器。此外，我们发布了第一个最大的word2vec词嵌入，它是在5200万条与危机相关的推文上训练的。为了处理推文语言问题，我们提出了人类注释的规范化词汇资源不同的词汇变化。
2016-05-31 cs.CL cs.CY cs.SI
NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora
Instituto Politécnico Nacional（国家理工学院）；Instituto Caro y Cuervo（卡罗-奎尔沃研究所）
我们在EVALITA 2020的DIACR-Ita共享任务中展示了我们关于意大利语无监督词汇语义变化的系统和发现。该任务是确定目标词是否随着时间的推移而演变其含义，仅依赖于来自两个特定时间数据集的原始文本。我们提出了两个模型，代表目标词的各个时期预测变化的话，使用阈值和投票计划。我们的第一个模型仅仅依赖于词性的使用和距离测量的集合。第二个模型使用词嵌入表示法提取相邻词在空间上的相对距离，并提出“绝对差平均值”来估计词汇语义变化。我们的模型取得了令人满意的结果，在DIACR-Ita竞赛中排名第三。此外，我们使用第二个模型的k_neighbor参数进行实验，以比较使用“绝对差的平均值”与Hamilton et al.（2016）中使用的余弦距离的影响。
2020-11-07 cs.AI cs.CL
Critical Survey of the Freely Available Arabic Corpora
Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
语料库的可用性是构建自然语言处理应用程序的一个主要因素。然而，获取语料库的成本可能会阻止一些研究人员进一步努力。自然语言处理研究界迫切需要方便地访问免费提供的语料库，特别是对于阿拉伯语等语言。目前，要获得一个全面和最新的免费阿拉伯语语料库列表并不容易。我们在本文中，最近进行的一项调查，以确定免费提供的阿拉伯语语料库和语言资源的列表的结果。我们的初步结果显示了66个来源的初始列表。我们在研究的各个类别中展示了我们的发现，并在可能的情况下提供了直接链接以获取数据。
2017-02-25 cs.CL
The Effects of In-domain Corpus Size on pre-training BERT
Microsoft Corporation（微软公司）；Coleridge Initiative（科尔里奇倡议组织）
许多先前的语言建模工作已经表明，在域内语料库上进行预训练可以显着提高下游特定领域NLP任务的性能。然而，与收集足够的域内数据相关的困难可能会阻止研究人员接近这个预训练任务。在本文中，我们进行了一系列的实验，预训练双向编码器表示从Transformers（BERT）与不同大小的生物医学语料库。结果表明，与在一般语料库上预训练的微调模型相比，在相对少量的域内数据（4GB）上进行预训练，训练步骤有限，可以在下游特定领域的NLP任务上获得更好的性能。
2022-12-15 cs.CL
AI4Bharat-IndicNLP Corpus: Monolingual Corpora and Word Embeddings for Indic Languages
Microsoft India（微软印度）；IIT Madras（马德拉斯印度理工学院）；AI4Bharat
我们提出了IndicNLP语料库，一个大规模的，通用领域的语料库，包含27亿字的10个印度语言从两个语系。我们分享在这些语料库上训练的预训练词嵌入。我们创建了9种语言的新闻文章类别分类数据集来评估嵌入。我们发现，IndicNLP嵌入在多个评估任务上的表现明显优于公开的预训练嵌入。我们希望语料库的可用性将加速印度NLP研究。这些资源可在https://github.com/ai4bharat-indicnlp/indicnlp_corpus上获得。
2020-04-30 cs.CL
Climate-ModernBERT: Revisiting Corpus Composition for Domain-Adaptive Continued Pretraining
McGill University（麦吉尔大学）；University of Zürich（苏黎世大学）；Princeton University（普林斯顿大学）；ETH Zürich（苏黎世联邦理工学院）；Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）
本研究提出Climate-ModernBERT，通过持续预训练和参数空间合并整合异构气候语料，在九个基准上以76.3平均F1超越基线2.8点，证实学术语料适应信号最强。
2026-09-09 cs.AI cs.CL
Corpora Compared: The Case of the Swedish Gigaword & Wikipedia Corpora
Luleå University of Technology（吕勒奥理工大学）
在这项工作中，我们表明，对于给定的语言，来自不同来源的数据的嵌入性能的差异可能是由于数据大小以外的其他因素。自然语言处理（NLP）任务通常在嵌入较大语料库时表现更好。然而，覆盖域的宽度和噪声可以起到重要作用。我们评估嵌入的基础上两个瑞典语料库：Gigaword和维基百科，在类比（内在）测试，并发现从维基百科语料库的嵌入一般优于Gigaword语料库，这是一个更大的语料库。下游测试将需要有一个明确的评价。
2020-11-06 cs.CL cs.LG
Open but Incompatible: A License Compatibility Analysis of Corpora for Low-Resource African Languages
Arktos AI Lab（阿克托斯人工智能实验室）；Netherlands（荷兰）
本文审计了非洲NLP中20多个语料库家族的许可证来源，构建六层兼容性矩阵，通过三个案例语言揭示四种许可证失败模式，并提出预标注尽职调查清单。
2026-06-27 cs.CL
EthioMT: Parallel Corpus for Low-resource Ethiopian Languages
Instituto Politécnico Nacional（墨西哥国立理工学院）；Lelapa AI；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本文提出EthioMT平行语料库及新基准，覆盖23种埃塞俄比亚低资源语言，并用Transformer和微调方法评估机器翻译性能，以缓解低资源语言平行数据匮乏问题。
2024-03-28 cs.CL
Compass-aligned Distributional Embeddings for Studying Semantic Differences across Corpora
Bocconi University（博科尼大学）；BUP Solution（BUP解决方案公司）；University of Milan-Bicocca（米兰比可卡大学）
Word2vec是最常用的生成词嵌入的算法之一，因为它很好地结合了效率、生成的表示的质量和认知基础。然而，词义不是静态的，它取决于词语使用的上下文。词义的差异取决于时间、地点、主题和其他因素，可以通过分析从代表这些因素的集合中的不同语料库生成的嵌入来研究。例如，语言进化可以通过收集不同时期发表的新闻文章来研究。在本文中，我们提出了一个通用的框架，以支持跨语料库语言研究与词嵌入，从不同的语料库中生成的嵌入可以进行比较，以找到跨语料库的意义的对应关系和差异。CADE是我们框架的核心组件，解决了对齐不同语料库生成的嵌入的关键问题。特别是，我们专注于提供坚实的证据，CADE的有效性，通用性和鲁棒性。为此，我们在不同的领域进行定量和定性实验，从时间词嵌入到语言本地化和主题分析。我们的实验结果表明，CADE实现国家的最先进的或优越的性能的任务，其中几个竞争的方法是可用的，但提供了一个通用的方法，可用于各种领域。最后，我们的实验揭示了对齐是可靠的条件下，这在很大程度上取决于跨语料库词汇重叠的程度。
2020-04-13 cs.AI cs.CL
Preparing the Vuk'uzenzele and ZA-gov-multilingual South African multilingual corpora
University of Pretoria（比勒陀利亚大学）；University of the Witwatersrand（金山大学）；Lelapa AI
本文构建了包含11种南非官方语言的Vuk'uzenzele和ZA-gov-multilingual多语言政府语料库，利用LASER嵌入生成平行句对，并通过微调大规模多语言预训练模型为9种本土语言提供了NMT基准。
2023-04-05 cs.CL
BERT Goes to Law School: Quantifying the Competitive Advantage of Access to Large Legal Corpora in Contract Understanding
Lexion
在特定领域的语料库上微调语言模型，如BERT，已被证明在科学论文和生物医学文本等领域有价值。在本文中，我们表明，微调BERT的法律文件同样提供了宝贵的改善自然语言处理任务的法律领域。证明这一结果对于分析商业协议具有重要意义，因为由于其机密性，获得大型法律语料库具有挑战性。因此，我们表明，能够访问大型法律语料库是商业应用和分析合同的学术研究的竞争优势。
2019-11-01 cs.AI cs.CL cs.LG
Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus
University of Washington（华盛顿大学）；Hugging Face（抱抱脸）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Queer in AI（人工智能酷儿组织）
大语言模型已经在许多NLP任务上取得了显着的进展，研究人员正在转向越来越大的文本语料库来训练它们。一些最大的语料库是通过抓取互联网的重要部分而制作的，并且经常只使用最少的文档。在这项工作中，我们为Colossal Clean Crawled Corpus（C4; Raffel等人，2020），通过将一组过滤器应用于Common Crawl的单个快照创建的数据集。我们首先调查数据的来源，并从专利和美国军事网站等意想不到的来源找到大量文本。然后我们探索文本本身的内容，并找到机器生成的文本（例如，来自机器翻译系统）和来自其他基准NLP数据集的评估示例。为了了解应用于创建此数据集的过滤器的影响，我们评估了被删除的文本，并显示阻止列表过滤不成比例地删除了来自少数群体的文本和关于少数群体的文本。最后，我们总结了一些关于如何从互联网上创建和记录网络规模数据集的建议。
2021-09-30 cs.AI cs.CL
Detecting Greenwashing: A Natural Language Processing Literature Survey
LIX, CNRS, Inria, École polytechnique（LIX、CNRS、Inria、巴黎高等学院）；Institut Polytechnique de Paris（巴黎高等理工学院）
本文综述了NLP在检测绿色洗脑中的应用，指出当前方法在数据标注和模型设计上的不足，提出需结合可靠标注与可解释模型以提升检测效果。
2026-01-29 cs.CL
"Chi nas dal soch el sent de legn" -- Auditing Text Corpora for Lombard
NLP Centre, Faculty of Informatics Masaryk University（马萨里克大学信息学院自然语言处理中心）
本文通过手动审计伦巴第语的平行和单语语料库，发现网络抓取数据存在严重的语言误识别、模板文本和非语言噪声问题，并揭示了高质量数据偏向西部伦巴第语变体、东部变体被边缘化的代表性偏差，强调需要关注变体多样性和社区驱动的数据策展。
2026-06-04 cs.CL
Mathematical Entities: Corpora and Benchmarks
National Institute of Standards and Technology（美国国家标准与技术研究院）；Topos Institute（拓扑斯研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文构建含182397句的三个数学标注语料库及元数据基准，评估神经与符号模型，发现术语和定义提取难以泛化，并提供基于搜索与实体链接的学习助手。
2024-06-17 cs.CL math.HO
NLPeer: A Unified Resource for the Computational Study of Peer Review
Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室（UKP实验室））；Department of Computer Science（计算机科学系）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出NLPeer，首个包含超5k论文和11k评审报告的多领域同行评审语料库，通过统一数据表示和三项评审辅助任务，为NLP同行评审系统研究奠定基础。
2023-05-19 cs.CL
LinCE: A Centralized Benchmark for Linguistic Code-switching Evaluation
University of Houston（休斯顿大学）
NLP研究的最新趋势引起了人们对语言代码转换（CS）的兴趣;现代方法已经被提出来解决多种语言对上的各种NLP任务。不幸的是，这些方法很难推广到不同的代码切换语言。此外，目前还不清楚模型架构是否适用于不同的任务，同时仍然与代码切换设置兼容。这主要是因为缺乏一个集中的基准和稀疏的语料库，研究人员根据他们的具体需求和兴趣。为了促进这一方向的研究，我们提出了一个集中的语言语码转换评估（LinCE）基准，该基准结合了十个语料库，涵盖四个不同的语码转换语言对（即，西班牙语-英语、尼泊尔语-英语、印地语-英语和现代标准阿拉伯语-埃及阿拉伯语）和四项任务（即，语言识别、命名实体识别、词性标记和情感分析）。作为基准集中化工作的一部分，我们在ritual.uh.edu/lince提供了一个在线平台，研究人员可以在与其他人进行实时比较的同时提交他们的结果。此外，我们还提供了不同流行模型的评分，包括LSTM、ELMo和多语言BERT，以便NLP社区可以与最先进的系统进行比较。LinCE是一个持续的努力，我们将用更多的低资源语言和任务来扩展它。
2020-05-09 cs.CL
Architectures of Meaning, A Systematic Corpus Analysis of NLP Systems
The University of Manchester（曼彻斯特大学）；University of Manchester（曼彻斯特大学）；CRUK Manchester Institute（英国癌症研究院曼彻斯特研究所）；Idiap Research Institute（Idiap研究所）
本文提出了一种新的统计语料库分析框架，旨在解释自然语言处理（NLP）的架构模式的规模。该方法结合基于饱和度的词典构建、统计语料库分析方法和图形搭配，从语料库中归纳出自然语言处理架构模式的综合表示。该框架在Semeval任务的完整语料库中进行了验证，并展示了连贯的架构模式，可用于以数据驱动的方式回答架构问题，提供了一种系统的机制来解释一个动态和指数增长的领域。
2021-07-16 cs.AI cs.CL
The Discussion Tracker Corpus of Collaborative Argumentation
University of Pittsburgh（匹兹堡大学）
尽管近年来自然语言处理（NLP）对论点挖掘的研究取得了相当大的进展，但大多数研究都是基于异步和书面文本的语料库，这些文本通常由个人产生。几乎没有同步的、多方论证的已出版语料库。Discussion Tracker语料库收集于美国高中英语课堂，是一个带有注释的多方辩论口语记录数据集。该语料库由29个多方讨论的英语文学转录从985分钟的音频。这些记录被注释为合作论证的三个维度：论证动作（主张、证据和解释）、特异性（低、中、高）和合作（例如，对他人观点的延伸和分歧）。除了提供对语料库的描述性统计数据外，我们还提供了性能基准和相关代码，分别用于预测每个维度，说明了语料库中多个注释的使用，以通过多任务学习提高性能，最后讨论了语料库可能用于进一步NLP研究的其他方式。
2020-05-22 cs.CL
Enhancing Assamese NLP Capabilities: Introducing a Centralized Dataset Repository
The Assam Kaziranga University（阿萨姆卡齐兰加大学）
本文提出了一个集中式开源数据集存储库，为低资源的阿萨姆语提供预训练和微调语料库，支持情感分析、命名实体识别和机器翻译等任务，以推动阿萨姆语NLP研究。
2024-10-16 cs.AI cs.CL
Exploring Data Augmentation Methods on Social Media Corpora
University of California, Berkeley（加州大学伯克利分校）
数据增强已被证明在计算机视觉中广泛有效。在自然语言处理（NLP）中，数据增强仍然是一个活跃的研究领域。目前还没有一种广泛接受的增强技术可以在任务和模型架构之间很好地工作。在本文中，我们探讨了数据增强技术的文本分类的背景下，使用两个社会媒体数据集。我们探索了流行的数据增强方法，从过采样、简易数据增强（Wei和Zou，2019）和反向翻译（Sennrich等人，2015）。我们还考虑灰度，一个相对未开发的数据增强技术，旨在减轻强度的形容词的例子。最后，我们考虑一种少样本学习方法：模式开发训练（PET）（Schick et al.，2020年）。对于实验，我们使用BERT Transformer架构。结果表明，增强技术只提供了最小的和不一致的改进。同义词替换提供了一些性能改进的证据，灰度化的形容词尺度是一个值得进一步探索的领域。少样本学习实验表明，与监督训练相比，少样本学习有一致的改进，当类很容易分离时，少样本学习似乎很有希望，但进一步的探索是有价值的。
2023-03-03 cs.CL
Using natural language processing techniques to extract information on the properties and functionalities of energetic materials from large text corpora
University of Maryland, College Park（马里兰大学帕克分校）；Energetics Technology Center（能量技术中心）
每年发表的关于高能材料的科学期刊文章和报告数量呈指数级增长，因此从最新研究中提取相关信息和可操作的见解正成为一项相当大的挑战。在这项工作中，我们探讨了如何从自然语言处理和机器学习的技术可以用来自动提取化学的见解，从大量的文件。我们首先描述如何从各种来源下载和处理文档-期刊文章、会议记录（包括NTREM）、美国专利商标局和国防技术信息中心在archive.org上存档。我们提出了一个自定义的NLP管道，它使用开源NLP工具来识别化合物的名称，并将它们与功能词相关联（“水下”、“火箭”、“烟火”）和属性词（“弹性体”、“无毒”）。在解释了词嵌入的工作原理之后，我们比较了两种流行的词嵌入--word 2 vec和GloVe的效用。化学-化学和化学-应用的关系通过用词向量进行计算而获得。我们发现，词嵌入捕捉潜在的信息，高能材料，使相关的材料出现在一起紧密的词嵌入空间。
2019-03-01 cond-mat.mtrl-sci cs.CL
Exploiting Twitter as Source of Large Corpora of Weakly Similar Pairs for Semantic Sentence Embeddings
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）
语义句子嵌入通常是有监督地构建的，最小化被注释者标记为语义相似的句子的嵌入对之间的距离。由于大标签数据集很少见，特别是对于非英语语言，而且价格昂贵，最近的研究集中在需要非配对输入句子的无监督方法上。相反，我们提出了一种独立于语言的方法来构建大型数据集的非正式文本对弱相似，没有人工的人力努力，利用Twitter的内在强大的信号的相关性：回复和报价的推文。我们使用收集到的对来训练一个具有三元组结构的Transformer模型，并在Twitter NLP相似性任务（PIT和TURL）和STSb上测试生成的嵌入。我们还介绍了四个新的句子排名评估基准的非正式文本，仔细提取的推文的初始集合，证明我们的最佳模型不仅学习经典的语义文本相似性，但也擅长的任务，对句子是不准确的释义。消融研究揭示了如何增加语料库的大小积极影响的结果，即使在2M的样本，这表明更大的集合的推文仍然不包含冗余的信息语义相似性。
2021-10-05 cs.CL
Samanantar: The Largest Publicly Available Parallel Corpora Collection for 11 Indic Languages
RBCDSAI；Tarento Technologies（塔伦托科技公司）；IIT Madras（马德拉斯印度理工学院）；AI4Bharat；EkStep Foundation（EkStep基金会）；Microsoft（微软公司）
本研究推出面向11种印度语言的最大公开平行语料库Samanantar，通过多源挖掘将规模提升4倍，基于其训练的多语言NMT模型在公开基准上表现更优，相关资源已公开以助力印度语言的NLP研究。
2023-06-12 cs.CL
Learning language variations in news corpora through differential embeddings
Instituto Tecnológico de Buenos Aires（布宜诺斯艾利斯理工学院）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；CONICET（国家科学技术研究委员会）
NLP社区对捕捉语言使用的变化越来越感兴趣，无论是随着时间的推移（即，语义漂移）、跨区域（作为方言或变体）或在不同的社会环境中（即，专业或媒体技术）。已经提出了几个成功的动态嵌入，可以跟踪语义随时间的变化。在这里，我们表明，一个中心词表示和切片依赖的贡献模型可以同时从不同的语料库学习词嵌入。该模型基于切片的星形表示。我们将其应用到《纽约时报》和《卫报》的报纸，我们表明，它可以捕获每个语料库的年度切片中的时间动态，以及美国和英国英语在一个策划的多源语料库中的语言变化。我们对这种方法进行了广泛的评估。
2020-11-13 cs.CL cs.LG
Creating a morphological and syntactic tagged corpus for the Uzbek language
Urgench State University（乌尔根奇国立大学）；Urgench Branch of Tashkent university of Information Technologies Named After Muhammad al-Khwarizmi（穆罕默德·花剌子米塔什干信息技术大学乌尔根奇分校）
标注语料库的建立是自然语言处理的重要任务之一。没有足够的标记语料库来为低资源的乌兹别克语构建机器学习模型。在本文中，我们试图填补这一空白，开发一种新的词性（POS）和句法标记创建的句法和形态标记语料库的乌兹别克语。这项工作还包括详细的描述和介绍了一个基于Web的应用程序，工作的标记以及。基于所开发的标注工具和软件，我们分享了标注语料库创建第一阶段的经验成果
2022-10-27 cs.CL
ClinText-SP and RigoBERTa Clinical: a new set of open resources for Spanish Clinical NLP
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Ingeniería del Conocimiento（知识工程研究所）
本研究推出西班牙语最大公开临床语料库ClinText-SP与领域自适应预训练的临床语言模型RigoBERTa Clinical，二者性能优于现有模型，公开发布后将推动临床NLP研究与医疗应用发展。
2025-03-24 cs.AI cs.CL
CompText: Visualizing, Comparing & Understanding Text Corpus
UC Davis（加州大学戴维斯分校）
自然语言处理（NLP）中的一种常见做法是在不通读整个文献的情况下可视化文本语料库，仍然抓住所描述的中心思想和关键点。长期以来，研究者们致力于从文本中提取主题，并根据主题在语料库中的相对重要性将其可视化。然而，最近，研究人员开始提出更复杂的系统，不仅暴露了语料库的主题，还暴露了与主题密切相关的词，为用户提供了一个整体视图。这些详细的可视化催生了基于可视化的文本语料库比较研究。主题经常被比较以理想化语料库之间的差异。然而，为了从不同的语料库中获取更大的语义，研究人员已经开始根据与文本相关的主题的情感来比较文本。通过比较权重最大的词，可以了解语料库的重要主题。有多种现有的文本比较方法，目前比较的主题，而不是情绪，但我们认为，专注于情感携带的话会更好地比较两个语料库。因为只有情感才能解释文本的真实感受，而不仅仅是主题，没有情感的主题只是名词。我们的目标是区分语料库，重点是情感，而不是比较所有的话出现在两个语料库。这背后的基本原理是，这两个语料库没有多少相同的词进行并排比较，所以比较情感词给我们一个想法，语料库是如何吸引读者的情感。我们可以认为，熵或主题的意外性和分歧也应该是重要的，并帮助我们确定关键的支点和语料库中某些主题的重要性以及相对情绪。
2022-07-27 cs.CL
MetaphorShare: A Dynamic Collaborative Repository of Open Metaphor Datasets
Cardiff University（卡迪夫大学）
本文提出MetaphorShare网站，通过统一格式集中整合并开放多语言隐喻标注数据集，提供上传、下载、搜索和标注功能，以促进隐喻研究共享与NLP系统发展。
2025-03-10 cs.CL
Studying Taxonomy Enrichment on Diachronic WordNet Versions
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
在许多NLP任务中使用了本体、分类法和同义词词典。然而，大多数研究都集中在这些词汇资源的创造，而不是现有的维护。因此，我们解决了分类富集的问题。我们探讨了在资源贫乏的环境中分类扩展的可能性，并提出了适用于大量语言的方法。我们创建了新的英语和俄语数据集，用于训练和评估分类富集模型，并描述了为其他语言创建此类数据集的技术。
2020-11-23 cs.CL
Guilt Detection in Text: A Step Towards Understanding Complex Emotions
Instituto Politécnico Nacional (IPN)（国立理工学院）；Catholic University of Mozambique（莫桑比克天主教大学）
我们介绍了一种新的自然语言处理（NLP）任务，称为内疚检测，其重点是检测文本中的内疚。我们认为内疚是一种复杂而重要的情绪，以前没有在NLP中研究过，我们的目标是提供更细粒度的分析。为了解决缺乏公开可用的内疚检测语料库的问题，我们创建了VIC，一个包含4622个文本的数据集，来自三个现有的情绪检测数据集，我们将其二进制化为内疚和无内疚类。我们用传统的机器学习方法进行了实验，使用词袋和词频逆文档频率特征，最高性能的模型获得了72%的f1分数。我们的研究为理解文本中的内疚迈出了第一步，并为这一领域的未来研究打开了大门。
2023-03-06 cs.CL
Overcoming Copyright Barriers in Corpus Distribution Through Non-Reversible Hashing
Institute of Information Science, Academia Sinica（学术院信息研究所）；Laboratoire Informatique d’Avignon, Avignon Université（阿维尼翁信息实验室，阿维尼翁大学）；Aiway
本文提出非可逆哈希方法，允许合法共享受版权保护文学文本的标注，通过哈希版本匹配确保数据一致性，实验显示在用户版本接近时可正确对齐98.7%-99.79%的词元。
2026-04-25 cs.CL
A fully data-driven method to identify (correlated) changes in diachronic corpora
Institute for the German language (IDS)（德国语言研究所）
本文采用Kilgarriff（2001）提出的共时语料库相似性（不相似性）度量方法，并将其扩展到历时文本数据的趋势和相关变化的识别中，使用的语料库为美国历史英语语料库（Davies 2010a）和Google Ngram语料库（Michel et al. 2010a）。本文表明，这种完全数据驱动的方法，提取的词类型，在给定的时间内经历了最明显的频率变化，计算是非常便宜的，它允许解释的历时趋势，直观上似乎是合理的，并从信息论的角度动机。此外，它表明，该方法能够识别相关的语言变化和历时变化，可以链接到历史事件。最后，它可以帮助改进历时词性标注和补充现有的自然语言处理方法。这表明该方法有助于更好地理解语言变化的历时过程。
2015-08-27 cs.CL cs.IR stat.AP
SemClinBr -- a multi institutional and multi specialty semantically annotated corpus for Portuguese clinical NLP tasks
Pontifical Catholic University of Paraná（巴拉那天主教大学）；Philips Research North America（飞利浦北美研究院）
大量的研究集中在从电子健康记录（EHR）中提取病人的信息，导致了对注释语料库的需求增加，这是一个非常有价值的资源，为自然语言处理（NLP）算法的开发和评估。在英语范围之外，特别是在巴西葡萄牙语中，缺乏多用途的临床语料库是显而易见的，并严重影响了生物医学NLP领域的科学进步。在这项研究中，我们开发了一个语义注释语料库，使用来自多个医学专业，文档类型和机构的临床文本。我们提出以下内容：（1）一个调查，列出共同的方面和经验教训，从以前的研究，（2）细粒度的注释模式，可以复制和指导其他注释倡议，（3）基于Web的注释工具，侧重于注释建议功能，（4）内在和外在的评价注释。这项工作的结果是SemClinBr，这是一个拥有1,000个临床笔记的语料库，标记有65,117个实体和11,263个关系，可以支持各种临床NLP任务，并促进EHR对葡萄牙语的二次使用。
2020-01-27 cs.CL cs.IR
Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation
Novelcore；Department of Statistics & Insurance University of Piraeus（统计与保险系 帕里埃斯大学）
针对希腊语数据稀缺和架构局限，提出GEMs模型家族，通过质量策展语料库训练，在三个基准上显著提升准确率，最高达3.6%。
2025-10-24 cs.AI cs.CL
Hope Speech Detection in Social Media English Corpora: Performance of Traditional and Transformer Models
本研究对比传统机器学习与Transformer模型在社交媒体希望言论检测中的性能，发现Transformer模型在精确率和召回率上更优，最佳模型加权F1达0.79。
2025-10-27 cs.AI cs.CL
Exploring Methods for Building Dialects-Mandarin Code-Mixing Corpora: A Case Study in Taiwanese Hokkien
National Central University（国立中央大学）；Purdue University（普渡大学）；Academia Sinica（中央研究院）
在自然语言处理中，语码混合是一项具有挑战性的任务，特别是当混合语言中包含方言时。在东南亚国家，如新加坡、印度尼西亚和马来西亚，闽南语是中国移民中最普遍的代码混合语言对，在台湾也很常见。然而，像闽南语这样的方言往往资源匮乏，缺乏正式的文字系统，限制了方言CM研究的发展。在本文中，我们提出了一种方法来构建一个闽南语-普通话CM数据集，以减轻限制，克服形态的问题下，汉藏语系，并提供了一个有效的闽南语分词方法，通过基于语言学的工具包。此外，我们使用我们提出的数据集，并采用迁移学习训练XLM（跨语言语言模型）的翻译任务。为了适应代码混合的场景，我们稍微调整了XLM。我们发现，通过使用语言知识，规则和语言标签，该模型产生了良好的结果CM数据翻译，同时保持单语翻译质量。
2023-01-21 cs.AI cs.CL
Semiotically-grounded distant viewing of diagrams: insights from two multimodal corpora
在这篇文章中，我们汇集了多模态通信和计算方法的理论，研究小学科学图表如何结合多种表达资源。我们将我们的工作定位在数字人文领域内，并展示了如何通过多模态研究（目标是表达资源和话语结构）获得的注释，允许对计算方法的输出施加结构。我们通过分析两个多模态图语料库来说明我们的方法：第一个语料库的目的是支持自动图处理的研究，而第二个是面向研究图作为一种通信模式。我们的研究结果表明，多模态通知注释可以在图中显示结构模式，这些模式也可以扩展到处理不同主题的图。
2021-03-08 cs.CL cs.CV cs.MM
Towards a parallel corpus of Portuguese and the Bantu language Emakhuwa of Mozambique
Lurio University（卢里奥大学）；University of Cambridge（剑桥大学）
机器翻译模型性能的重大进步部分归功于大规模并行语料库的可用性。但对于世界上大多数语言来说，这样的语料库的存在是罕见的。Emakhuwa是莫桑比克的一种语言，就像大多数非洲语言一样，在NLP方面资源很少。它缺乏计算和语言资源，据我们所知，包括Emakhuwa在内的平行语料库已经存在。在本文中，我们描述了创建Emakhuwa-葡萄牙语平行语料库，这是一个从耶和华见证人网站和各种其他来源，包括非洲故事书网站，世界人权宣言和莫桑比克的法律文件的文本集合。该数据集包含47，415个句子对，共计699，976个Emakhuwa单词标记和877，595个葡萄牙语单词标记。在规范化过程尚未完成之后，语料库将免费供研究使用。
2021-04-12 cs.AI cs.CL
NLP for Knowledge Discovery and Information Extraction from Energetics Corpora
Naval Surface Warfare Center（海军水面作战中心）
本研究展示了NLP在含能材料研究中的实用性，通过应用LDA、Word2Vec和Transformer模型实现知识发现与信息提取，并构建了准确率达59-76%的文档分类流水线，有望加速该领域研究。
2024-02-10 cond-mat.mtrl-sci cs.CL
CrossFit: A Few-shot Learning Challenge for Cross-task Generalization in NLP
University of Southern California（南加州大学）
人类可以通过利用他们在学习先前任务时获得的知识，仅用很少的例子就有效地学习新的语言任务。在本文中，我们将探讨这种跨任务泛化能力是否以及如何获得，并进一步应用于构建跨不同NLP任务的更好的Few-Shot学习器。我们介绍CrossFit，一个研究跨任务泛化能力的问题设置，它描述了可见/不可见的任务分区，不同学习阶段的数据访问和评估协议。为了在CrossFit中实例化不同的可见/不可见任务分区并促进深入分析，我们提出了NLP Few-Shot Gym，这是一个包含160个不同的Few-Shot NLP任务的存储库，这些任务是从开放访问的NLP数据集创建的，并转换为统一的文本到文本格式。我们的分析表明，少样本学习能力上看不见的任务，可以提高通过上游学习阶段使用一组看到的任务。我们还观察到，上游学习任务的选择可以显着影响Few-Shot性能看不见的任务，要求进一步分析任务相似性和可转移性。
2021-09-30 cs.CL cs.LG
SCARV: Structure-Constrained Aggregation for Stable Sample Ranking in Redundant NLP Datasets
School of Cyber Engineering, Xidian University（西安电子科技大学信息学院）
针对冗余NLP数据集中的稳定样本排序问题，SCARV通过结构感知聚合框架提升全局和局部稳定性，增强排名决策的可重复性。
2026-05-01 cs.AI cs.CL cs.IR
A Survey of Corpora for Germanic Low-Resource Languages and Dialects
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文系统综述日耳曼语族低资源及非标准化语言变体的 80 多个语料库，揭示标注资源稀缺且集中于形态句法等现状，并公开配套网站以支持相关 NLP 研究。
2023-04-19 cs.CL
Benchmarking for Biomedical Natural Language Processing Tasks with a Domain Specific ALBERT
The University of Sydney（悉尼大学）
生物医学文本数据的可用性和自然语言处理（NLP）的进步使生物医学NLP的新应用成为可能。使用领域特定语料库训练或微调的语言模型可以胜过一般模型，但迄今为止，生物医学NLP的工作在语料库和任务方面受到限制。我们提出了BioALBERT，这是一个特定于领域的自适应Transformers（ALBERT）的精简双向编码器表示，在生物医学（PubMed和PubMed Central）和临床（MIMIC-III）语料库上进行了训练，并针对20个基准数据集的6个不同任务进行了微调。实验表明，BioALBERT在命名实体识别（+11.09%BLURB分数提高）、关系抽取（+0.80%BLURB分数）、句子相似度（+1.05%BLURB分数）、文档分类（+0.62%F1-分数）和问答（+2.83%BLURB分数）方面优于现有技术。它代表了20个基准数据集中的17个的最新技术水平。通过提供BioALBERT模型和数据，我们的目标是帮助生物医学NLP社区避免培训的计算成本，并为未来广泛的生物医学NLP任务建立一套新的基线。
2021-07-09 cs.CL
A general-purpose material property data extraction pipeline from large polymer corpora using Natural Language Processing
Georgia Institute of Technology（佐治亚理工学院）
本研究提出一种基于自然语言处理的自动流水线，利用MaterialsBERT模型从聚合物文献摘要中提取材料属性数据，在60小时内获取约30万条记录，并通过网络平台公开数据，验证了自动化提取的可行性。
2022-09-27 cond-mat.mtrl-sci cond-mat.soft cs.CL
Measuring Grammatical Diversity from Small Corpora: Derivational Entropy Rates, Mean Length of Utterances, and Annotation Invariance
Department of Computer Science and Technology & Jesus College University of Cambridge（计算机科学与技术系及耶稣学院，剑桥大学）
本文从理论和实证上证明语法的派生熵与其生成的话语平均长度（MLU）之间存在根本联系，提出派生熵率作为衡量语法复杂性的新指标，并引入平滑诱导树库熵（SITE）从小树库中准确估计这些度量。
2024-12-08 cs.CL cs.FL cs.IT
Reliable Part-of-Speech Tagging of Historical Corpora through Set-Valued Prediction
Heinz Nixdorf Institut, Paderborn University（帕德博恩大学海因茨·尼克斯多夫研究所）
针对历史语料词性标注难度高、易出错的问题，本文提出基于集值预测的框架，让标注器输出候选标签集以表达不确定性，实验证明该方法能提升标注精度与鲁棒性，尤其对未登录词效果显著。
2024-10-08 cs.CL cs.IR cs.LG
What Should I Learn First: Introducing LectureBank for NLP Education and Prerequisite Chain Learning
Yale University（耶鲁大学）
近年来，自然语言处理（NLP）和相关领域（如人工智能（AI）和机器学习（ML））的日益普及。许多在线课程和资源，即使对于那些没有在该领域的强大背景。学生通常对某个特定的主题感到好奇，但不知道从哪里开始学习。为了回答“首先应该学习什么”的问题，我们应用基于嵌入的方法来学习自然语言处理领域中课程概念的先决条件关系。我们介绍LectureBank，一个数据集，包含1,352个英语讲座文件收集的大学课程，每个根据现有的分类法以及208手动标记的先决条件关系的主题，这是公开的。该数据集将用于教育目的，如演讲准备和组织以及阅读清单生成等应用程序。此外，我们使用基于神经图的网络和非神经分类器进行实验，以从我们的数据集中学习这些先决条件关系。
2018-11-26 cs.CL cs.CY cs.IR
ELECTRAMed: a new pre-trained language representation model for biomedical NLP
Politecnico di Milano（米兰理工大学）
大量的生物医学科学文本要求开发能够处理广泛的生物医学自然语言处理（NLP）任务的有效语言模型。最新的主流方法是特定领域的模型，用一般领域的文本数据初始化，然后在各种科学语料库上训练。然而，已经观察到，对于存在大型语料库的专业领域，仅使用领域内知识从头开始训练模型可能会产生更好的结果。此外，越来越多的关注预训练的计算成本，最近导致了更有效的架构的设计，如ELECTRA。在本文中，我们提出了一个预先训练的特定领域的语言模型，称为ELECTRAMed，适合于生物医学领域。新的方法继承了一般域ELECTRA架构的学习框架，以及其计算优势。在几个生物医学NLP任务的基准数据集上进行的实验支持ELECTRAMed的有用性，它在BC 5CDR语料库上为命名实体识别设置了最新的最先进的结果，并在第7次BioASQ-factoid Challange的5次运行中为问答任务提供了2次最佳结果。
2021-04-19 cs.CL
Glot500: Scaling Multilingual Corpora and Language Models to 500 Languages
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文通过持续预训练构建覆盖511种语言的Glot500-m模型及语料库Glot500-c，在五个任务上显著优于XLM-R基线，并揭示多因素共同决定多语言模型质量，旨在推动NLP覆盖更多语言。
2023-05-26 cs.CL
From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Xi’an Jiaotong University（西安交通大学）
本文提出新方法测量预训练语言模型中的政治偏见及其对下游仇恨言论和错误信息检测任务公平性的影响，发现预训练数据中的政治偏见会通过语言模型传播到下游任务，强化极化并导致不公平的NLP模型。
2023-07-06 cs.CL
Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl
LIFAT, Université de Tours（图尔大学计算机科学、人工智能与图像处理实验室）；Instituto de Investigaciones en Educación, Universidad Veracruzana（韦拉克鲁斯大学教育研究所）；Trading Central（Trading Central公司）；Independent Researcher（独立研究员）
本文探讨在计算资源有限的语言中，语料重复是否有助于自然语言处理。通过纳瓦特尔语语料扩展实验，发现可控重复可提升嵌入学习效果。
2026-04-08 cs.CL
