Matina: A Large-Scale 73B Token Persian Text Corpus
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；University of Tehran（德黑兰大学）
针对波斯语因高质量多样化语料短缺导致NLP模型和LLMs发展缓慢的问题，该研究构建了729亿token的Matina波斯语语料库，经预处理去重后提升了模型训练效果，并开放资源助力波斯语NLP发展。
2025-02-13 cs.AI cs.CL
ClinText-SP and RigoBERTa Clinical: a new set of open resources for Spanish Clinical NLP
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Ingeniería del Conocimiento（知识工程研究所）
本研究推出西班牙语最大公开临床语料库ClinText-SP与领域自适应预训练的临床语言模型RigoBERTa Clinical，二者性能优于现有模型，公开发布后将推动临床NLP研究与医疗应用发展。
2025-03-24 cs.AI cs.CL
Tenyidie Syllabification corpus creation and deep learning applications
Department of Information Technology, Nagaland University（纳加兰大学信息技术系）
本研究针对低资源语言Tenyidie构建了含10120个单词的音节划分语料库，测试多种深度学习模型，其中BLSTM模型取得99.21%的最高准确率，为该语言后续NLP研究提供基础。
2025-10-02 cs.AI cs.CL
Domain-Specific Language Model Post-Training for Indonesian Financial NLP
Institut Teknologi Bandung（万隆理工学院）；PT Bank Rakyat Indonesia (Persero) Tbk（印尼人民银行（Persero）股份有限公司）
针对印尼语金融领域，对预训练IndoBERT进行小规模语料后训练，构建数据集并发布BERT模型族，验证了后训练可提升领域下游任务效果。
2023-10-15 cs.AI cs.CL
An NLP approach to quantify dynamic salience of predefined topics in a text corpus
Boston Fusion Corp.（波士顿融合公司）；Arizona State University（亚利桑那州立大学）
同时在线新闻媒体的激增，为分析人员提供了宝贵的资源，也对他们提出了重大挑战，这些分析人员的目的是描绘和了解感兴趣的地理位置的社会和文化趋势。虽然大量记录重大事件、趋势和反应的新闻报道提供了一个更加民主化的地点社会特征的图景，但对任何一个分析师或团队来说，理解整个语料库以提取重大趋势都是一个巨大的挑战。在这里，我们提出了一种方法，使用自然语言处理技术，旨在量化一组预定义的感兴趣的主题如何随着时间的推移在一个大的文本语料库的变化。我们发现，给定一个预定义的主题，我们可以识别和排名的术语集，或n-gram，映射到这些主题，并具有偏离正常基线的使用模式。出现，消失，或显着的变化，在n-gram的使用提出了一个地面上的图片，一个主题的动态显着性在一个语料库的兴趣。
2021-08-16 cs.CL
CCAE: A Corpus of Chinese-based Asian Englishes
University of Science and Technology Beijing（北京科技大学）
本研究构建了包含6种基于中文的亚洲英语变体、规模达3.4亿token的CCAE语料库，填补了中式英语公开语料的空白，为世界英语的NLP研究提供支撑资源。
2023-10-09 cs.AI cs.CL cs.LG
NSINA: A News Corpus for Sinhala
Birmingham City University（伯明翰城市大学）；Lancaster University（兰卡斯特大学）；University of Münster（明斯特大学）；Aston University（阿斯顿大学）
针对僧伽罗语等低资源语言缺乏训练数据和基准数据集的问题，本研究发布了包含超50万篇文章的最大僧伽罗语新闻语料库NSINA，并提供新闻媒体识别、类别预测和标题生成三个NLP任务，以支持LLMs的适配与改进。
2024-03-25 cs.AI cs.CL cs.LG
Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation
Novelcore；Department of Statistics & Insurance University of Piraeus（统计与保险系 帕里埃斯大学）
针对希腊语数据稀缺和架构局限，提出GEMs模型家族，通过质量策展语料库训练，在三个基准上显著提升准确率，最高达3.6%。
2025-10-24 cs.AI cs.CL
Curras + Baladi: Towards a Levantine Corpus
University of Strasbourg（斯特拉斯堡大学）；Birzeit University（比尔宰特大学）；American University of Beirut（贝鲁特美国大学）
阿拉伯语的处理是一个复杂的研究领域。这是由于许多因素，包括阿拉伯语的复杂和丰富的形态，其高度的模糊性，以及需要处理的几个区域品种的存在，同时考虑到其独特的特点。当考虑到它的方言时，这种语言推动了NLP的极限，以找到解决其固有性质所带来的问题的方法。它是一种双语语言;标准语言在正式场合和教育中使用，与不同地区使用的本地语言有很大不同，并受到这些地区历史上使用的古老语言的影响。这应该鼓励NLP专家创建方言特定的语料库，如比尔宰特大学的巴勒斯坦形态注释Curras语料库。在这项工作中，我们提出了黎巴嫩语料库Baladi，由大约9.6K的形态注释的令牌。由于黎巴嫩和巴勒斯坦方言是同一个黎凡特方言连续体的一部分，因此高度相互理解，我们提出的语料库被构建用于（1）丰富Curras并将其转换为更一般的黎凡特语料库，（2）通过解决检测到的错误来改进Curras。
2022-05-19 cs.AI cs.CL
TutorialBank: A Manually-Collected Corpus for Prerequisite Chains, Survey Extraction and Resource Recommendation
Department of Computer Science, Yale University（耶鲁大学计算机科学系）
自然语言处理（NLP）领域正在迅速发展，每天都有新的研究成果发表，同时还有大量的教程、代码库和其他在线资源。为了了解这个充满活力的领域或保持最新的最新研究，学生以及教育工作者和研究人员必须不断筛选多个来源，以找到有价值的相关信息。为了解决这种情况，我们引入了TutorialBank，这是一个新的公开数据集，旨在促进NLP教育和研究。我们已经手动收集和分类了超过6，300个关于NLP以及人工智能（AI），机器学习（ML）和信息检索（IR）相关领域的资源。值得注意的是，我们的数据集是用于NLP教育的最大的手动挑选的资源语料库，其中不仅包括学术论文。此外，我们还为资源创建了一个搜索引擎和一个命令行工具，并对语料库进行了注释，以包括研究主题列表、每个主题的相关资源、主题之间的先决条件关系、单个资源的相关子部分以及其他注释。我们正在发布数据集，并提出了几种进一步研究的途径。
2018-05-11 cs.CL
ViLexNorm: A Lexical Normalization Corpus for Vietnamese Social Media Text
Faculty of Information Science and Engineering（信息科学与工程学院）；University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）
本研究构建了首个越南语社交媒体词汇规范化语料库ViLexNorm，含超10000对人工标注句，经评估最优系统ERR达57.74%，验证了该任务对下游NLP任务的增益，语料库供研究公开使用。
2024-01-31 cs.CL
Does My Rebuttal Matter? Insights from a Major NLP Conference
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Tokyo（东京大学）
同行评审是科学过程的核心要素，特别是在以会议为中心的领域，如ML和NLP。然而，只有很少的研究评估其属性的经验。为了填补这一空白，我们提出了一个语料库，其中包含ACL-2018的超过4k条评论和1.2k条作者回复。我们定量和定性地评估语料库。这包括对审稿人提出的论文弱点和作者答复的质量进行试点研究。然后，我们专注于反驳阶段的作用，并提出了一个新的任务来预测反驳后（即，最后）从最初的评论和作者的反应得分。虽然作者的反应确实有边际（和统计上显着）的影响，特别是边缘论文的最终分数，我们的研究结果表明，一个评论家的最终分数在很大程度上取决于她的初始分数和距离其他评论家的初始分数。在这种情况下，我们讨论的一致性偏见固有的同行评审，偏见，在以前的研究中，在很大程度上被忽视了。我们希望我们的分析将有助于更好地评估反驳阶段在NLP会议中的有用性。
2019-03-28 cs.AI cs.CL
Lexical and Statistical Analysis of Bangla Newspaper and Literature: A Corpus-Driven Study on Diversity, Readability, and NLP Adaptation
IIT Kanpur（印度理工学院坎普尔分校）
本文通过分析孟加拉语文学和报纸语料库，探讨其多样性、可读性及自然语言处理适应性，发现文学语料库在词法丰富性和结构变化上更突出，且对下游任务性能提升有积极影响。
2025-12-15 cs.CL
ParCourE: A Parallel Corpus Explorer for a Massively Multilingual Corpus
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Research Center Deutscher Sprachatlas, Philipps University Marburg（马尔堡菲利普大学德国语言地图集研究中心）
全球有7000多种语言，多语言自然语言处理（NLP）无论从学术还是商业角度来看都是必不可少的。研究语言的类型学属性是多语言NLP进步的基础。例如，评估语言相似性以实现有效的迁移学习，将归纳偏差注入机器学习模型或创建词典和变形表等资源。我们提供ParCourE，一个在线工具，允许浏览一个词对齐的平行语料库，涵盖1334种语言。我们提供的证据表明，这是有用的类型学研究。ParCourE可以为任何平行语料库建立，因此可以用于对其他语料库的类型学研究以及探索它们的质量和属性。
2021-07-15 cs.CL
Language corpora for the Dutch medical domain
Central Diagnostic Laboratory（中央诊断实验室）；University Medical Center Utrecht（乌得勒支大学医学中心）；R&D（研发部）；B-lab（B实验室）
本文通过翻译英文数据集并识别通用语料中的医学文本，构建了首个大规模荷兰医学语言语料库，为预训练和下游NLP任务提供资源。
2026-08-12 cs.AI cs.CL
SwissDial: Parallel Multidialectal Corpus of Spoken Swiss German
ETH Z\" u rich, Department of Computer Science, Switzerland
瑞士德语是一个方言连续体，其母语习得的方言与语言的正式变体显著不同。这些方言主要用于口头交流，没有标准的正字法。这导致了注释数据集的缺乏，使得许多NLP方法的使用变得不可行。在本文中，我们介绍了第一个注释平行语料库的瑞士德语口语跨越8个主要方言，加上标准德语参考。我们的目标是创建并提供一个基本的数据集，用于在瑞士德语中使用数据驱动的NLP应用程序。我们详细介绍了我们的数据汇集过程，并通过与最近的语音合成神经模型进行实验来验证我们的语料库的质量。
2021-03-21 cs.CL
The Effects of In-domain Corpus Size on pre-training BERT
Microsoft Corporation（微软公司）；Coleridge Initiative（科尔里奇倡议组织）
许多先前的语言建模工作已经表明，在域内语料库上进行预训练可以显着提高下游特定领域NLP任务的性能。然而，与收集足够的域内数据相关的困难可能会阻止研究人员接近这个预训练任务。在本文中，我们进行了一系列的实验，预训练双向编码器表示从Transformers（BERT）与不同大小的生物医学语料库。结果表明，与在一般语料库上预训练的微调模型相比，在相对少量的域内数据（4GB）上进行预训练，训练步骤有限，可以在下游特定领域的NLP任务上获得更好的性能。
2022-12-15 cs.CL
The Arabic Parallel Gender Corpus 2.0: Extensions and Analyses
New York University Abu Dhabi（纽约大学阿布扎比分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）
自然语言处理（NLP）应用中的性别偏见，特别是机器翻译，已经受到越来越多的关注。关于这个问题的许多研究都集中在减轻英语NLP模型和系统中的性别偏见。在资源贫乏和/或形态丰富的语言中解决这个问题已经落后，主要是由于缺乏数据集和资源。在本文中，我们介绍了一个新的语料库性别识别和重写的背景下，涉及一个或两个目标用户（我和/或你）-第一和第二语法的人与独立的语法性别偏好。我们专注于阿拉伯语，一种性别标记形态丰富的语言。语料库有多个平行的组成部分：第一和第二人称的四种组合，在女性和男性语法性别，以及英语，英语到阿拉伯语的机器翻译输出。该语料库扩展了Habash et al.（2019）的阿拉伯语平行性别语料库（APGC v1.0），增加了第二人称目标，并将句子总数增加了6.5倍以上，达到59万多个单词。我们的新数据集将有助于性别识别、受控文本生成和编辑后重写系统的研究和开发，这些系统可用于个性化NLP应用程序，并根据用户的语法性别偏好为用户提供正确的输出。我们公开提供阿拉伯语平行性别语料库（APGC v2.0）。
2021-10-18 cs.CL
EthioMT: Parallel Corpus for Low-resource Ethiopian Languages
Instituto Politécnico Nacional（墨西哥国立理工学院）；Lelapa AI；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本文提出EthioMT平行语料库及新基准，覆盖23种埃塞俄比亚低资源语言，并用Transformer和微调方法评估机器翻译性能，以缓解低资源语言平行数据匮乏问题。
2024-03-28 cs.CL
Meaning Sort - Three examples: dictionary construction, tagged corpus construction, and information presentation system
它通常是有用的排序词到一个顺序，反映了他们的意义之间的关系，通过使用同义词词典。本文介绍了一种利用几种类型的“{ \sf is-a}”叙词表和一个多维叙词表进行语义排词的方法。我们还描述了三个主要的应用程序中的意义排序是有用的，并显示了意义排序的有效性。毫无疑问，按意义顺序排列的词表比按某种随机顺序排列的词表更容易使用，因此，可以很容易地产生按意义顺序排列的词表的意义排序一定是有用和有效的。
2001-03-12 cs.CL
GlossAssist -- A Tool to Simplify Corpus Creation and Study the Effect of NLP Models in Low-Resource Documentation Settings
University of Colorado Boulder（科罗拉多大学波得尔分校）
提出基于检索架构的自动标注工具GlossAssist，通过可编辑词库和主动学习反馈循环，提升低资源语言文档中词素标注的准确性和可解释性。
2026-06-03 cs.CL cs.HC
TDMSci: A Specialized Corpus for Scientific Literature Entity Tagging of Tasks Datasets and Metrics
IBM Research Europe（IBM欧洲研究院）
任务、数据集和评估集是理解实验科学论文的重要概念。然而，大多数先前关于科学文献的信息抽取的工作主要集中在摘要上，并且没有将数据集视为单独类型的实体（Zadeh和Schumann，2016; Luan等人，2018年）。在本文中，我们提出了一个新的语料库，其中包含从NLP论文中提取的2,000个句子的任务（T），数据集（D），度量（M）实体的领域专家注释。我们报告了使用简单的数据增强策略进行TDM提取的实验结果，并将我们的标记器应用于ACL Anthology中的约30，000篇NLP论文。该语料库向社区公开提供，以促进对科学出版物摘要的研究（Erera等人，2019年）和知识发现。
2021-01-25 cs.CL
German Parliamentary Corpus (GerParCor)
Goethe University Frankfurt（法兰克福歌德大学）
议会辩论是一个巨大的、部分尚未开发的、可供公众查阅的文本宝库。在德语区，国家和联邦一级覆盖所有德语议会的统一可访问和注释的语料库存在一定的不足。为了解决这个问题，我们引入了德国议会语料库（GerParCor）。GerParCor是一个特定类型的语料库（主要是历史）德语议会协议，来自三个世纪和四个国家，包括州和联邦级别的数据。此外，GerParCor还包含扫描协议的转换，特别是通过基于Tesseract的OCR过程转换的Fraktur协议。所有协议都通过spaCy3的NLP管道进行预处理，并自动使用关于其会话日期的元数据进行注释。GerParCor以UIMA项目的XMI格式提供。通过这种方式，GerParCor可以用作政治传播领域的大型历史文本语料库，用于NLP中的各种任务。
2022-04-21 cs.CL
The Discussion Tracker Corpus of Collaborative Argumentation
University of Pittsburgh（匹兹堡大学）
尽管近年来自然语言处理（NLP）对论点挖掘的研究取得了相当大的进展，但大多数研究都是基于异步和书面文本的语料库，这些文本通常由个人产生。几乎没有同步的、多方论证的已出版语料库。Discussion Tracker语料库收集于美国高中英语课堂，是一个带有注释的多方辩论口语记录数据集。该语料库由29个多方讨论的英语文学转录从985分钟的音频。这些记录被注释为合作论证的三个维度：论证动作（主张、证据和解释）、特异性（低、中、高）和合作（例如，对他人观点的延伸和分歧）。除了提供对语料库的描述性统计数据外，我们还提供了性能基准和相关代码，分别用于预测每个维度，说明了语料库中多个注释的使用，以通过多任务学习提高性能，最后讨论了语料库可能用于进一步NLP研究的其他方式。
2020-05-22 cs.CL
Potential Idiomatic Expression (PIE)-English: Corpus for Classes of Idioms
我们提出了一个相当大的，潜在的习语表达（PIE）数据集的自然语言处理（NLP）在英语。NLP系统在机器翻译（MT）、词义消歧（WSD）和信息检索等任务方面面临的挑战使得有必要拥有一个带有类的标记习语数据集，就像这项工作中所做的那样。据作者所知，这是第一个具有超出字面和一般成语分类的成语类别的成语语料库。特别是，在数据集中标记了以下类别：隐喻，隐喻，委婉语，平行，拟人化，矛盾修饰法，悖论，夸张，讽刺和字面。我们获得了两个独立注释者之间的总体注释者一致性（IAA）评分为88.89%。过去的许多努力都受到语料库大小和样本类别的限制，但这个数据集包含了超过20，100个样本，其中包括来自10个类别（或意义）的近1，200个习语（及其含义）。研究人员还可以扩展语料库以满足特定需求。该语料库具有来自NLTK库的词性（PoS）标记。在语料库上进行分类实验以获得基线，并比较包括BERT模型在内的三种常用模型，得到了良好的结果。我们还公开了语料库和相关代码，用于NLP任务。
2022-04-23 cs.CL cs.LG
Spanish Abstract Meaning Representation: Annotation of a General Corpus
Georgetown University（乔治城大学）；Saarland University（萨尔大学）
抽象意义表示（AMR）形式主义，最初是为英语设计的，已经适应了许多语言。我们建立在以前的工作，提出了西班牙语的AMR注释，这导致了50个西班牙语AMR注释的虚构文本“小王子”的发布。“在这项工作中，我们提出了第一个相当大的，一般注释项目西班牙语抽象意义表示。我们的方法注释使用的AnCora-Net词汇的西班牙语角色集，并扩展英语AMR特定于西班牙语的语义功能。除了我们的指南，我们还发布了一个注释语料库（共586个注释，486个独特的句子），其中包含来自“抽象意义表示2.0 -四种翻译”Sembank的多种类型的文档。该语料库通常用于评估AMR解析和生成，但不包括黄金AMR;我们希望为该数据集提供黄金注释可以导致更完整的跨语言AMR解析方法。最后，我们进行了分歧分析，并讨论了我们的工作对AMR的适应性，以英语以外的语言的影响。
2022-04-15 cs.CL
naab: A ready-to-use plug-and-play corpus for Farsi
Sharif University of Technology（谢里夫理工大学）
针对波斯语等低资源语言在大型语言模型中表现不佳的问题，作者构建了最大规模、即插即用的波斯语清洗语料库naab，并提供未处理版本与预处理工具包，助力提升模型性能并弥合语言资源差距。
2024-12-23 cs.CL
LightTag: Text Annotation Platform
LightTag
文本注释工具假设用户的目标是创建一个带标签的语料库。然而，用户将注释视为通过NLP交付业务价值的必要之恶。因此，注释工具应该优化全局NLP过程的吞吐量，而不仅仅是单个注释器的生产力。LightTag是一个基于该原则设计和构建的文本注释工具。本文将分享我们的设计原理、数据建模选择和用户界面决策，然后说明这些选择如何服务于整个NLP生命周期。
2021-09-06 cs.AI cs.CL
Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus
University of Washington（华盛顿大学）；Hugging Face（抱抱脸）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Queer in AI（人工智能酷儿组织）
大语言模型已经在许多NLP任务上取得了显着的进展，研究人员正在转向越来越大的文本语料库来训练它们。一些最大的语料库是通过抓取互联网的重要部分而制作的，并且经常只使用最少的文档。在这项工作中，我们为Colossal Clean Crawled Corpus（C4; Raffel等人，2020），通过将一组过滤器应用于Common Crawl的单个快照创建的数据集。我们首先调查数据的来源，并从专利和美国军事网站等意想不到的来源找到大量文本。然后我们探索文本本身的内容，并找到机器生成的文本（例如，来自机器翻译系统）和来自其他基准NLP数据集的评估示例。为了了解应用于创建此数据集的过滤器的影响，我们评估了被删除的文本，并显示阻止列表过滤不成比例地删除了来自少数群体的文本和关于少数群体的文本。最后，我们总结了一些关于如何从互联网上创建和记录网络规模数据集的建议。
2021-09-30 cs.AI cs.CL
Word Embedding based New Corpus for Low-resourced Language: Sindhi
University of Electronic Science and Technology of China（电子科技大学）
将词和短语表示为密集的实数向量，并将其语义和句法属性编码，是自然语言处理的一个重要组成部分。神经网络（NN）模型在自然语言处理中的成功很大程度上依赖于在大型未标记语料库上学习到的这种密集的词表示。信德语是一种丰富的形态语言，在巴基斯坦和印度有大量人口使用，但缺乏语料库，而语料库在生成词嵌入和开发独立于语言的NLP系统方面起着重要的测试作用。在本文中，超过61万字的大型语料库开发的低资源的信德语训练神经词嵌入。语料库是使用web-scrappy从多个网络资源中获取的。由于没有针对信德语的开源预处理工具，对如此庞大的语料库进行预处理成为一个具有挑战性的问题，特别是从Web资源中提取的噪声数据的清理。因此，采用预处理流水线来过滤噪声文本。然后，使用最先进的GloVe、Skip-Gram（SG）和连续词袋（CBoW）word 2 vec算法，利用清理后的词汇表来训练信德语词嵌入。采用余弦相似度矩阵的内在评价方法和WordSim-353对生成的信德语词嵌入进行评价。此外，我们比较建议的词嵌入与最近发现的信德快速文本（SdfastText）的单词表示。我们的内在评估结果表明，我们生成的信德语词嵌入使用SG，CBoW和GloVe相比，SdfastText词表示的高品质。
2020-12-30 cs.CL
Using Text Analytics for Health to Get Meaningful Insights from a Corpus of COVID Scientific Papers
Microsoft Developer Relations（微软开发者关系部）；Higher School of Economics（高等经济学院）；Phystech Lyceum（物理技术学院附属中学）
自COVID大流行开始以来，已发表约70万篇有关该主题的科学论文。人类研究人员不可能熟悉如此庞大的文本语料库-因此开发基于AI的工具来帮助导航这个语料库并从中获得一些有用的见解是非常必要的。在本文中，我们将使用Text Analytics for Health预训练服务以及一些云工具，从科学论文中提取一些知识，获得见解，并构建一个工具来帮助研究人员以有意义的方式浏览论文集。
2021-10-28 cs.CL cs.DL cs.IR
HappyDB: A Corpus of 100,000 Crowdsourced Happy Moments
Recruit Institute of Technology（Recruit技术研究所）
幸福科学是积极心理学的一个领域，它关注于理解什么样的行为能让人们以可持续的方式幸福。最近，人们对开发技术感兴趣，这些技术通过引导用户采取增加幸福感的行为，帮助将幸福科学的发现融入用户的日常生活。为了构建能够理解人们如何用文本表达快乐时刻的技术，我们众包了HappyDB，这是一个包含10万个快乐时刻的语料库，我们公开提供。本文介绍了HappyDB及其属性，并概述了可以在语料库的帮助下研究的几个重要的NLP问题。我们还应用了几种最先进的分析技术来分析HappyDB。我们的研究结果表明，需要开发更深入的NLP技术，这使得HappyDB成为后续研究的令人兴奋的资源。
2018-01-25 cs.CL
EDGAR-CORPUS: Billions of Tokens Make The World Go Round
NCSR “Demokritos”（国家科学研究中心“德谟克利特”）；Athens University of Economics and Business（雅典经济与商业大学）
本文发布包含美国上市公司超25年年报的最大金融NLP语料库EDGAR-CORPUS，并基于其训练金融词嵌入EDGAR-W2V，在多项金融NLP任务中优于通用嵌入，同时开源抓取工具EDGAR-CRAWLER。
2021-10-01 cs.CL
PsihoRo: Depression and Anxiety Romanian Text Corpus
PsihoRo语料库是首个公开的罗马尼亚语抑郁症和焦虑文本数据集，通过开放性问题和标准化筛查问卷收集，为自然语言处理社区提供了研究心理健康问题的重要资源。
2026-03-12 cs.CL
Word meaning co-determines vowel-inherent spectral change. A corpus-based investigation of conversational Mandarin
Eberhard Karls Universität Tübingen（图宾根大学）；Center for Language Studies, Radboud University（拉德堡德大学语言研究中心）
研究汉语会话中元音固有频谱变化，用广义相加模型和词嵌入，发现控制多变量时元音共振峰轨迹有与词义相关特定成分，可由语境化嵌入预测，挑战了语音产生模块化认知模型，揭示词义对发音细节的影响。
2026-07-24 cs.CL
The Role of Complex NLP in Transformers for Text Ranking?
University of Amsterdam（阿姆斯特丹大学）
尽管基于术语的方法（如BM 25）在排名中提供了强大的基线，但在某些条件下，它们由大型预训练的掩蔽语言模型（MLM）（如BERT）主导。迄今为止，其效力的来源仍不清楚。是他们通过建模句法方面来真正理解意义的能力吗？我们通过操纵输入顺序和位置信息来回答这个问题，这种方式破坏了查询和通道的自然顺序，并表明该模型仍然具有相当的性能。总体而言，我们的研究结果强调，句法方面不发挥关键作用的有效性重新排名与BERT。我们指出，其他机制，如查询通道交叉注意和更丰富的嵌入，捕捉单词的含义的基础上聚合的上下文，而不管单词的顺序是其优越的性能的主要属性。
2022-07-06 cs.AI cs.CL
The Shmoop Corpus: A Dataset of Stories with Loosely Aligned Summaries
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Inria（法国国家信息与自动化研究所）；NVIDIA（英伟达）
理解故事对于机器来说是一个具有挑战性的阅读理解问题，因为它需要阅读大量文本并遵循长距离依赖关系。在本文中，我们介绍了Shmoop语料库：一个包含231个故事的数据集，每个章节（7，234章）都有详细的多段摘要，其中摘要按时间顺序与故事章节对齐。从语料库中，我们构建了一套常见的NLP任务，包括完形填空问答和简化形式的摘要，作为阅读理解的基准。然后，我们表明，时间序列对齐提供了一个强大的监督信号，基于学习的方法可以利用这些任务的显着改善。我们相信，这个语料库的独特结构提供了一个重要的立足点，使机器的故事理解更平易近人。
2020-01-01 cs.AI cs.CL
The BURCHAK corpus: a Challenge Data Set for Interactive Learning of Visually Grounded Word Meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）；University of Groningen（格罗宁根大学）
我们激励和描述了一个新的免费的人与人的对话数据集的交互式学习的视觉接地的词义通过明示的定义由导师学习者。已经使用DiET聊天工具的新颖的逐字符变体（Healey等人，二○ ○三年;米尔斯和希利，提交）与一个新的任务，其中一个学习者需要学习发明的视觉属性词（如“burchak“的广场）从导师。因此，基于文本的交互非常类似于面对面的对话，因此包含了自然，自发对话中遇到的许多语言现象。这些包括自我纠正和他人纠正，句中延续，中断，重叠，填充和模糊限制语。我们还提出了一个通用的n-gram框架，用于从这种类型的增量数据中构建用户（即导师）模拟，研究人员可以免费获得。我们表明，模拟产生的输出是类似于原始数据（例如78%的回合匹配相似性）。最后，我们训练和评估一个强化学习对话控制代理学习视觉接地的词义，从BURCHAK语料库训练。学习的策略显示出与以前构建的基于规则的系统相当的性能。
2017-09-29 cs.AI cs.CL cs.LG
From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
语言历史状态的语言模型变得越来越重要，以便对旧文本源进行最佳数字化和分析。由于这些历史状态同时处理起来更复杂，并且在可用的语料库中更稀缺，因此需要专门的努力来训练适应数据的自然语言处理（NLP）工具。在本文中，我们提出了我们的努力，以开发自然语言处理工具的早期现代法语（历史法语从16 $^\text{th}$到18 $^\text{th}$世纪）。我们介绍了早期现代法语的$\text{FreEM}_{\text{max}}$语料库和D'AlemBERT，一个在$\text{FreEM}_{\text{max}}$上训练的基于Roberta的语言模型。我们评估的有用性的D'AlemBERT微调它的词性标注任务，优于以前的工作测试集。重要的是，我们找到了语言模型迁移学习能力的证据，因为它在资源较少的时间段的表现似乎得到了资源较多的时间段的提升。我们发布了D'AlemBERT和$\text{FreEM}_{\text{max}}$语料库的开源子部分。
2022-02-18 cs.CL
MixSarc: A Bangla-English Code-Mixed Corpus for Implicit Meaning Identification
Department of Computer Science and Engineering, Islamic University of Technology, Dhaka, Bangladesh（伊斯兰科技大学计算机科学与工程系，达卡，孟加拉国）；Department of Computer Science, University of Illinois Chicago, Chicago, Illinois, United States of America（伊利诺伊大学芝加哥分校计算机科学系，芝加哥，伊利诺伊州，美国）
MixSarc通过构建首个孟加拉-英语混合语料库，解决隐含意义识别中的多语言切换与文化差异问题，验证了模型在幽默检测上的有效性，但发现讽刺等类别因不平衡和复杂性而表现欠佳。
2026-06-27 cs.CL
Ground Truth Generation for Multilingual Historical NLP using LLMs
ARTFL Project, Romance Languages and Literatures, University of Chicago（ARTFL项目， Romance语言与文学系，芝加哥大学）；Department of History, University of Chicago（历史系，芝加哥大学）；Libraries and School of Information Studies, Purdue University（图书馆与信息科学学院，普渡大学）
针对历史低资源NLP标注数据不足的问题，该研究用LLM生成近代法语文本、近现代汉语文本的基准真值标注，微调spaCy后在三类NLP任务上获显著提升，验证了少量合成数据对人文领域低资源NLP工具的优化作用。
2025-11-18 cs.AI cs.CL
EuskañolDS: A Naturally Sourced Corpus for Basque-Spanish Code-Switching
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU HiTZ中心 - Ixa）
本文提出首个自然来源的巴斯克语-西班牙语语码转换语料库EuskañolDS，通过语言识别模型筛选并人工验证现有语料中的语码转换实例，以缓解该语言对语码转换数据匮乏的问题。
2025-02-05 cs.AI cs.CL
AI4Bharat-IndicNLP Corpus: Monolingual Corpora and Word Embeddings for Indic Languages
Microsoft India（微软印度）；IIT Madras（马德拉斯印度理工学院）；AI4Bharat
我们提出了IndicNLP语料库，一个大规模的，通用领域的语料库，包含27亿字的10个印度语言从两个语系。我们分享在这些语料库上训练的预训练词嵌入。我们创建了9种语言的新闻文章类别分类数据集来评估嵌入。我们发现，IndicNLP嵌入在多个评估任务上的表现明显优于公开的预训练嵌入。我们希望语料库的可用性将加速印度NLP研究。这些资源可在https://github.com/ai4bharat-indicnlp/indicnlp_corpus上获得。
2020-04-30 cs.CL
Towards a parallel corpus of Portuguese and the Bantu language Emakhuwa of Mozambique
Lurio University（卢里奥大学）；University of Cambridge（剑桥大学）
机器翻译模型性能的重大进步部分归功于大规模并行语料库的可用性。但对于世界上大多数语言来说，这样的语料库的存在是罕见的。Emakhuwa是莫桑比克的一种语言，就像大多数非洲语言一样，在NLP方面资源很少。它缺乏计算和语言资源，据我们所知，包括Emakhuwa在内的平行语料库已经存在。在本文中，我们描述了创建Emakhuwa-葡萄牙语平行语料库，这是一个从耶和华见证人网站和各种其他来源，包括非洲故事书网站，世界人权宣言和莫桑比克的法律文件的文本集合。该数据集包含47，415个句子对，共计699，976个Emakhuwa单词标记和877，595个葡萄牙语单词标记。在规范化过程尚未完成之后，语料库将免费供研究使用。
2021-04-12 cs.AI cs.CL
Term Set Expansion based NLP Architect by Intel AI Lab
Intel AI Lab（英特尔人工智能实验室）
我们提出了SetExpander，一个基于语料库的系统，用于将一个种子术语集扩展为一个更完整的属于同一语义类的术语集。SetExpander实现了一个迭代的端到端工作流。它使用户能够轻松地选择一个术语的种子集，扩展它，查看扩展集，验证它，重新扩展验证集并存储它，从而简化了特定领域的细粒度语义类的提取。SetExpander已成功地用于现实生活中的用例，包括集成到自动招聘系统和问题和缺陷解决系统。SetExpander的视频演示可在https://drive.google.com/open?上获得id=1e545bB87Autsch36DjnJHmq3HWfSd1Rv（出于隐私原因，部分图像已模糊）
2018-10-15 cs.AI cs.CL
Spanish Biomedical Crawled Corpus: A Large, Diverse Dataset for Spanish Biomedical Language Models
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
我们介绍CoWeSe（Corpus Web Salud Español），迄今为止最大的西班牙语生物医学语料库，由4.5GB（约7.5亿个令牌）的干净纯文本组成。CoWeSe是2020年在3000个西班牙域名上执行的大规模爬虫程序的结果。该语料库是公开可用的，并且已经进行了预处理。CoWeSe是西班牙语生物医学和健康NLP的重要资源，已经用于训练特定领域的语言模型和生成单词嵌入。我们在知识共享署名4.0国际许可下发布了CoWeSe语料库，两者都在Zenodo（\url{https://zenodo.org/record/4561971\#.YTI5SnVKiEA}）中。
2021-09-16 cs.CL
Overview of the NLPCC 2025 Shared Task: Gender Bias Mitigation Challenge
Multimodal Art Projection Research Community University of Manchester Independent Researcher
针对中文语境下性别偏见计算语言学资源匮乏的问题，本研究构建了含3.29万条标注句子的CORGI-PM语料库，设置三项NLPCC 2025共享任务挑战以推动文本性别偏见自动化检测、分类与消减，并呈现参赛结果分析。
2025-06-14 cs.CL
A Corpus of English-Hindi Code-Mixed Tweets for Sarcasm Detection
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
像Twitter和Facebook这样的社交媒体平台已经成为人们用来表达他们对不同话题的看法的两个最大的媒介。如此大规模的用户数据的产生使得情感分析和意见挖掘等NLP任务变得更加重要。最近，在社交媒体上的文本中使用讽刺已经成为一种流行趋势。使用讽刺会颠倒文本所暗示的意义和极性，这对许多NLP任务构成了挑战。文本中的讽刺检测对于商业和安全服务都越来越重要。我们提出了第一个英语印地语代码混合数据集的推文标记的讽刺和讽刺的存在，每个令牌也注释了一个语言标签。我们提出了一个基线监督分类系统，使用相同的数据集，实现了平均F-得分为78.4后，使用随机森林分类器和执行10倍交叉验证。
2018-05-30 cs.CL
Making a Case for Social Media Corpus for Detecting Depression
Effat University（埃法特大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
社交媒体平台提供了一个机会来获得对用户行为的宝贵见解。用户使用自然语言以一种无拘无束的方式模仿他们的内心感受和情绪。自然语言处理中的技术帮助研究人员破译标准文档，并从大量数据中筛选出推论。一个有代表性的语料库是NLP的先决条件，我们今天面临的挑战之一是互联网上存在的不标准和嘈杂的语言。我们的工作重点是从社交媒体中建立一个语料库，专注于检测精神疾病。我们使用抑郁症作为一个案例研究，并证明使用这样的语料库，帮助从业者检测此类案件的有效性。我们的研究结果表明，我们的社交媒体语料库和抑郁症标准语料库之间存在高度相关性。
2019-02-02 cs.CL
Overcoming Copyright Barriers in Corpus Distribution Through Non-Reversible Hashing
Institute of Information Science, Academia Sinica（学术院信息研究所）；Laboratoire Informatique d’Avignon, Avignon Université（阿维尼翁信息实验室，阿维尼翁大学）；Aiway
本文提出非可逆哈希方法，允许合法共享受版权保护文学文本的标注，通过哈希版本匹配确保数据一致性，实验显示在用户版本接近时可正确对齐98.7%-99.79%的词元。
2026-04-25 cs.CL
CSL: A Large-scale Chinese Scientific Literature Dataset
China University of Geosciences (Beijing)（中国地质大学（北京））；Shenzhen University（深圳大学）；Tencent AI Lab（腾讯人工智能实验室）
科学文献作为高质量的语料库，为自然语言处理（NLP）研究提供了大量的支持。然而，现有的数据集是以英语为中心的，这限制了中国科学自然语言处理的发展。在这项工作中，我们提出了CSL，一个大规模的中文科技文献数据集，其中包含396k论文的标题，摘要，关键词和学术领域。据我们所知，CSL是第一个中文科学文献数据集。CSL可以作为一个汉语语料库。此外，这种半结构化数据是一种自然的注释，可以构成许多有监督的NLP任务。基于CSL，我们提出了一个基准来评估跨科学领域任务的模型性能，即，摘要、关键词生成和文本分类。分析了现有文本到文本模型在评价任务上的表现，揭示了中文科学自然语言处理任务面临的挑战，为今后的研究提供了有价值的参考。数据和代码可在https://github.com/ydli-ai/CSL上获得
2022-09-12 cs.CL
The Moralization Corpus: Frame-Based Annotation and Analysis of Moralizing Speech Acts across Diverse Text Genres
Department of German Linguistics, Heidelberg University（海德堡大学德语语言学系）；Department of Computational Linguistics, Heidelberg University（海德堡大学计算语言学系）
本文提出道德化语料库，用于分析道德价值观在论证话语中的策略使用，评估大型语言模型在道德化检测与成分提取中的表现，并揭示其高度主观性和情境敏感性。
2026-03-18 cs.CL
Test-time Corpus Feedback: From Retrieval to RAG
L3S Research Center（L3S研究中心）；TU Delft（代尔夫特理工大学）；University of Glasgow（格拉斯哥大学）
针对RAG流水线将检索与推理分离导致复杂任务性能受限的问题，本综述结构化概述整合反馈的先进检索与排序机制，分类反馈信号作用，旨在连接IR与NLP视角，强调检索在RAG系统中的动态可学习性。
2025-08-24 cs.AI cs.IR cs.LG
Widely Interpretable Semantic Representation: Frameless Meaning Representation for Broader Applicability
Emory University（埃默里大学）
本文提出新颖语义表示WISeR，通过将AMR编号参数转换为无框架主题角色解决其跨语言领域适用性差问题，实验证明WISeR标注一致性更高且解析准确率全面优于AMR。
2023-09-12 cs.CL
