Uralic Language Identification (ULI) 2020 shared task dataset and the Wanca 2017 corpus
University of Helsinki（赫尔辛基大学）
本文介绍了从互联网上抓取的Wanca 2017文本语料库，从中收集了用于乌拉尔语言识别（ULI）2020共享任务的稀有乌拉尔语言的句子。我们描述了ULI数据集，以及它是如何使用Wanca 2017语料库和莱比锡语料库集合中不同语言的文本构建的。我们还提供了使用ULI 2020数据集进行的基线语言识别实验。
2020-08-27 cs.CL
Samanantar: The Largest Publicly Available Parallel Corpora Collection for 11 Indic Languages
RBCDSAI；Tarento Technologies（塔伦托科技公司）；IIT Madras（马德拉斯印度理工学院）；AI4Bharat；EkStep Foundation（EkStep基金会）；Microsoft（微软公司）
本研究推出面向11种印度语言的最大公开平行语料库Samanantar，通过多源挖掘将规模提升4倍，基于其训练的多语言NMT模型在公开基准上表现更优，相关资源已公开以助力印度语言的NLP研究。
2023-06-12 cs.CL
El Departamento de Nosotros: How Machine Translated Corpora Affects Language Models in MRC Tasks
SemanticWebCompany（语义网络公司）；TU Dresden（德累斯顿工业大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析和信息系统研究所）
大规模语言模型的预训练需要大量的文本语料。英语学习型语料库中的语言资源日益丰富。然而，资源较少的语言及其单语言和多语言LM通常难以获得更大的数据集。在这种情况下，典型的方法意味着使用英语语料库到目标语言的机器翻译。在这项工作中，我们研究了应用直接翻译的语料库微调LM下游自然语言处理任务的注意事项，并证明了精心策划与后处理导致提高性能和整体LM的鲁棒性。在实证评估中，我们在用户和系统层面上对直接翻译的西班牙SQuAD数据集进行了比较。在XQuAD和MLQA迁移学习评估问答任务上的进一步实验结果表明，就精确匹配分数而言，多语言LM可能对机器翻译工件表现出更大的弹性。
2020-07-03 cs.CL
Fine-Grained Spoiler Detection from Large-Scale Review Corpora
University of California, San Diego（加州大学圣地亚哥分校）；Amazon.com, Inc（亚马逊公司）
本文提出了计算方法，自动检测关键情节曲折的媒体产品的评论。首先，我们创建了一个大规模的书评数据集，其中包括在书评级别的细粒度剧透注释，以及书籍和（匿名）用户信息。其次，我们仔细分析了这个数据集，发现：剧透语言往往是特定于书籍的;剧透分布在书籍和评论作者之间差异很大;剧透句子往往共同出现在评论的后半部分。第三，受这些发现的启发，我们开发了一个端到端的神经网络架构来检测评论语料库中的剧透句子。定量和定性结果表明，所提出的方法大大优于现有的基线。
2019-05-31 cs.CL
CAReDiO: Cultural Alignment via Representativeness and Distinctiveness Guided Data Optimization
Microsoft Research Asia（微软亚洲研究院）；Renmin University of China（中国人民大学）
CAReDiO通过代表性与独特性引导的数据优化，提升多文化环境下LLM的对齐效果与文化建模精度。
2026-03-06 cs.CL
PsyQA: A Chinese Dataset for Generating Long Counseling Text for Mental Health Support
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
设计能够提供心理健康支持的人工智能服务吸引了巨大的研究兴趣。然而，语料库的缺乏是这一研究的主要障碍，尤其是在汉语方面。在本文中，我们提出了PsyQA，一个中国的心理健康支持数据集的问题和答案对的形式。PsyQA是从中国心理健康服务平台上抓取的，包含22K个问题和56K个结构良好的答案。本文以心理咨询理论为基础，对部分具有典型支持策略的回答文本进行了注释，并对其中的词汇特征和策略模式进行了深入分析。我们还评估了生成咨询答案与生成预训练模型的性能。研究结果表明，策略的使用提高了生成答案的流畅性和帮助性，但仍有很大的研究空间。
2021-06-03 cs.CL
Refining Corpora from a Model Calibration Perspective for Chinese Spelling Correction
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
针对中文拼写纠错语料噪声导致过度纠正的问题，提出基于模型校准的语料精炼策略，利用校准模型过滤OCR/ASR生成数据，显著提升性能并减少假阳性。
2024-07-22 cs.CL
Towards a Cleaner Document-Oriented Multilingual Crawled Corpus
Inria（法国国家信息与自动化研究所）
近年来，随着迁移学习和半监督学习方法引入自然语言处理，对原始大型原始语料库的需求急剧增加。虽然最近有一些尝试手动管理训练大语言模型所需的数据量，但获得这些数据的主要方法仍然是通过自动Web抓取。在本文中，我们采取现有的多语言网络语料库OSCAR及其管道Ungoliant，从Common Crawl中提取数据并对其进行分类，并提出了一系列改进和自动注释，以产生一个新的面向文档的版本OSCAR，可以证明更适合于预训练大型生成语言模型，以及希望在自然语言处理和数字人文学的其他应用。
2022-01-17 cs.CL
Wiki Dumps to Training Corpora: South Slavic Case
University of Belgrade, Faculty of Mining and Geology（贝尔格莱德大学，采矿与地质学系）；University of Pisa, Department of Computer Sciences（比萨大学，计算机科学系）
本文提出将维基数据转化为七种南斯拉夫语言高质量语料的流程，通过文本提取清洗和冗余过滤提升语料质量，为语言模型训练和跨语言比较提供可靠资源。
2026-05-15 cs.CL
EPIC30M: An Epidemics Corpus Of Over 30 Million Relevant Tweets
Singapore University of Technology and Design（新加坡科技设计大学）；Forth AI（Forth人工智能公司）；University of Colorado Denver（科罗拉多大学丹佛分校）
自2019冠状病毒病爆发以来，文献中出现了来自不同来源的多个相关语料库，其中包含数百万个数据点。虽然这些语料库在支持对这一特定流行病的许多分析方面很有价值，但研究人员需要包含其他流行病的额外基准语料库，以促进跨流行病模式识别和趋势分析任务。在我们对COVID-19相关工作的其他努力中，我们在文献中发现很少有足够大和丰富的疾病相关语料库来支持这种跨流行病分析任务。在本文中，我们提出了EPIC 30 M，一个大规模的流行病语料库，包含3000万微博帖子，即，从2006年到2020年，从Twitter上抓取的推文。EPIC 30 M包含与埃博拉、霍乱和猪流感三种一般疾病相关的2620万条推文的子集，以及与六种全球流行病爆发相关的470万条推文的子集，包括2009年H1N1猪流感、2010年海地霍乱、2012年中东呼吸综合征（MERS）、2013年西非埃博拉、2016年也门霍乱和2018年基伍埃博拉。此外，我们探索和讨论语料库的属性与关键词和标签的统计数据和趋势分析，为每个子集。最后，我们通过讨论近年来引起越来越多兴趣的跨流行病研究主题的多个用例，展示了EPIC 30 M可以创造的价值和影响。这些用例跨越多个研究领域，如流行病学建模、模式识别、自然语言理解和经济建模。
2020-06-22 cs.CL cs.CY cs.SI
Parallel Corpus Filtering via Pre-trained Language Models
DiDi Labs（滴滴实验室）
网络爬行数据为训练机器翻译模型提供了一个很好的并行语料库。它是自动获得的，但噪音极大，最近的工作表明，神经机器翻译系统比传统的统计机器翻译方法对噪音更敏感。在本文中，我们提出了一种新的方法来过滤噪音的句子对从网络爬行语料库通过预先训练的语言模型。我们通过利用BERT的多语言能力来测量句子并行性，并使用生成预训练（GPT）语言模型作为域过滤器来平衡数据域。我们在WMT 2018并行语料库过滤共享任务和我们自己的网络爬行日中并行语料库上评估了所提出的方法。我们的方法显着优于基线，并实现了一个新的国家的最先进的。在无监督的设置，我们的方法实现了相当的性能前1监督的方法。我们还评估了网络爬行的日本，中国平行语料库，我们公开。
2020-05-13 cs.CL cs.LG
Exploiting Twitter as Source of Large Corpora of Weakly Similar Pairs for Semantic Sentence Embeddings
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）
语义句子嵌入通常是有监督地构建的，最小化被注释者标记为语义相似的句子的嵌入对之间的距离。由于大标签数据集很少见，特别是对于非英语语言，而且价格昂贵，最近的研究集中在需要非配对输入句子的无监督方法上。相反，我们提出了一种独立于语言的方法来构建大型数据集的非正式文本对弱相似，没有人工的人力努力，利用Twitter的内在强大的信号的相关性：回复和报价的推文。我们使用收集到的对来训练一个具有三元组结构的Transformer模型，并在Twitter NLP相似性任务（PIT和TURL）和STSb上测试生成的嵌入。我们还介绍了四个新的句子排名评估基准的非正式文本，仔细提取的推文的初始集合，证明我们的最佳模型不仅学习经典的语义文本相似性，但也擅长的任务，对句子是不准确的释义。消融研究揭示了如何增加语料库的大小积极影响的结果，即使在2M的样本，这表明更大的集合的推文仍然不包含冗余的信息语义相似性。
2021-10-05 cs.CL
Challenges in detecting evolutionary forces in language change using diachronic corpora
University of Edinburgh（爱丁堡大学）
Newberry et al.（Detecting evolutionary forces in language change，Nature 551，2017）解决了语言学中一个重要但困难的问题，即语言变化的选择性理论对漂移的零模型的测试。在将群体遗传学的测试（频率增量测试）应用于一些相关的例子后，他们认为随机性在语言进化中具有以前未被充分认识的作用。我们复制了他们的结果，发现虽然整体观察结果成立，但这种方法对单个时间序列产生的结果可能对语料库如何组织成时间段（分箱）很敏感。此外，我们使用了大量的模拟结合binning系统地探索频率增量测试的适用范围。我们的结论是，应谨慎行使与解释的测试结果，如频率增量测试对个人系列，考虑到研究人员自由度时，适用于测试语料库数据，遗传和语言数据之间的根本差异。我们的研究结果有选择测试和时间分仓一般的影响，以及证明模拟评估方法的实用性新引入的领域。
2019-11-13 cs.CL
RoLargeSum: A Large Dialect-Aware Romanian News Dataset for Summary, Headline, and Keyword Generation
National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工国立科学技术大学）；National Institute for Research and Development in Informatics - ICI Bucharest（布加勒斯特国家信息学研究与发展研究所）；Paris 1 Panthéon-Sorbonne University（巴黎第一大学先贤祠-索邦大学）；University of Bucharest（布加勒斯特大学）
针对罗马尼亚语摘要数据集稀缺的问题，构建了大规模方言感知数据集RoLargeSum，包含超过615K篇新闻文章及其摘要、标题等，并评估了多种BART变体和开源大语言模型的性能。
2024-12-15 cs.CL
Trained on 100 million words and still in shape: BERT meets British National Corpus
University of Oslo（奥斯陆大学）
本文探索使用英国国家语料库进行预训练，证明其性能优于原始BERT，并提出优化架构LTG-BERT，为语言建模提供数据高效的基准。
2023-05-05 cs.CL
Two Huge Title and Keyword Generation Corpora of Research Articles
Institute of Formal and Applied Linguistics, Charles University（查理大学形式与应用语言学研究所）
最近的发展，序列到序列学习与神经网络已大大提高了自动生成的文本摘要和文档关键字的质量，规定需要更大的训练语料库。研究文章的元数据通常很容易在网上找到，并可用于执行各种任务的研究。在本文中，我们介绍了两个用于文本摘要（OAGSX）和关键字生成（OAGKX）研究的巨大数据集，分别包含3400万和2300万条记录。这些数据来自开放学术图谱，这是一个研究概况和出版物的网络。我们仔细处理了每一个记录，并尝试了两个任务的几种提取和抽象方法，为其他研究人员创建性能基线。我们进一步说明了这些方法预览其输出的性能。在不久的将来，我们希望在这两个集合上应用主题建模，以从更具体的学科中获得研究文章的子集。
2020-02-11 cs.CL cs.IR
Finetuning a Kalaallisut-English machine translation system using web-crawled data
Dartmouth College（达特茅斯学院）
西格陵兰语（英语：West Greenlandic），被当地人称为Kalaallisut，是一种资源极其贫乏的多合成语言，在格陵兰约有56，000人使用。在这里，我们试图使用来自大约30个多语言网站的网络爬行伪平行句子来微调预训练的Kalaallisut到英语神经机器翻译（NMT）系统。我们编译了超过93，000 Kalaallisut句子和超过140，000丹麦句子的语料库，然后使用跨语言的句子嵌入和近似最近邻搜索，试图从这些语料库中挖掘近翻译。最后，我们将丹麦语句子翻译成英语，以获得合成Kalaallisut-English对齐语料库。尽管生成的数据集太小且噪音太大，无法改进预训练的MT模型，但我们相信，通过额外的资源，我们可以构建更好的伪并行语料库，并在MT上取得更有希望的结果。我们还注意到其他可能使用的单语Kalaallisut数据，并讨论未来的工作方向。我们公开了我们实验的代码和数据。
2022-06-05 cs.AI cs.CL
Learning Feature Weights using Reward Modeling for Denoising Parallel Corpora
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
大型网络爬行语料库是提高神经机器翻译（NMT）系统跨多个语言对的性能的绝佳资源。然而，由于这些语料库通常非常嘈杂，它们的使用是相当有限的。目前处理这个问题的方法主要集中在使用语义学或单一特征（例如语言模型得分或双语相似度）进行过滤。这项工作提出了一种替代方法，学习多个层次的功能的权重。这些特征权重直接针对提高翻译性能的任务进行优化，用于更有效地对噪声语料库中的句子进行评分和过滤。我们提供的结果，应用这种技术来建立NMT系统使用Paracrawl语料库爱沙尼亚语-英语，并表明它击败强大的单一功能基线和手工设计的组合。此外，我们分析了这种方法对不同类型的噪声的敏感性，并使用马耳他-英语Paracrawl语料库探索学习的权重是否推广到其他语言对。
2021-03-11 cs.CL
GhanaNLP Parallel Corpora: Comprehensive Multilingual Resources for Low-Resource Ghanaian Languages
Ghana Natural Language Processing（加纳自然语言处理）；Khaya AI LTD（Khaya AI有限公司）；Department of Mathematics, University of Cape Coast（海岸角大学数学系）
本文介绍了为加纳五种语言构建的平行语料库，通过人工翻译和标注确保数据质量，支持机器翻译和语言保护等应用，推动非洲语言的AI普及。
2026-03-30 cs.AI cs.CL
Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks
Google Research（谷歌研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Bar Ilan University（巴伊兰大学）
针对预训练模型的数据污染问题，提出三项实用策略：公钥加密测试数据并限制分发、要求闭源API提供训练排除控制、避免使用含解决方案的互联网数据并公开网页上下文，以有效防止污染。
2023-10-18 cs.AI cs.CL
ContinuousBench: Can Differentially Private Synthetic Text Improve Capabilities?
Columbia University（哥伦比亚大学）；NYU（纽约大学）；Google Research（谷歌研究）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google（谷歌）
提出ContinuousBench基准，通过持续更新的数据集评估差分隐私合成文本能否传递原始语料库中的新知识，实验表明非隐私合成能有效转移知识，而最先进的DP合成方法即使在高隐私预算下也基本失败。
2026-06-02 cs.CL cs.CR cs.LG
AIMS.au: A Dataset for the Analysis of Modern Slavery Countermeasures in Corporate Statements
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；School of Mathematical Sciences, The Queensland University of Technology（昆士兰科技大学数学科学学院）
针对企业声明中现代奴隶制对策的识别难题，构建了含5731份句子级标注声明数据集AIMS.au，并提出检测强制报告相关句子的机器学习方法，用于评估和微调大型语言模型。
2025-02-10 cs.AI cs.CL cs.LG
MimicLM: Zero-Shot Voice Imitation through Autoregressive Modeling of Pseudo-Parallel Speech Corpora
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
MimicLM通过自回归建模伪并行语音语料，利用合成语音作为训练源，保留真实录音作为目标，提升语音模仿的自然度和准确性。
2026-04-19 cs.CL cs.SD
Exploring Large Language Models in Healthcare: Insights into Corpora Sources, Customization Strategies, and Evaluation Metrics
School of Nursing, Fudan University（复旦大学护理学院）；School of Nursing, Dali University（大理大学护理学院）
本文系统综述2021至2024年61篇医疗LLM研究，梳理四类语料、多种定制技术与三类评估指标，指出语料偏见、指南整合不足及评估标准缺失，并提出分层可信语料与真实世界验证方向。
2025-02-17 cs.CL
Mining and Exploiting Domain-Specific Corpora in the PANACEA Platform
Universitat Pompeu Fabra（庞培法布拉大学）；Institute for Language and Speech Processing/Athena RIC（语言与语音处理研究所/雅典娜研究中心）；Dublin City University（都柏林城市大学）；ELDA（评估与语言资源分发协会）
PANACEA ICT-2007.2.2 EU项目的目标是建立一个平台，使MT系统所需的大型语言资源的获取、生产、更新和维护等阶段实现自动化。开发用于从网络中提取单语和双语数据的语料库获取组件（CAC）是PANACEA最具创新性的构建模块之一。CAC是PANACEA管道中用于构建语言资源的第一阶段，采用高效的分布式方法来抓取特定语言和预定义域中具有丰富文本内容的Web文档。CAC包括一些模块，这些模块可以从具有多种语言的域内内容的网站获取并行数据。为了对CAC方法进行进一步的评估，我们进行了几个实验，使用爬行的平行语料库，通过句子对齐来识别和提取平行句子。该语料库被成功地用于机器翻译系统的领域自适应。
2013-03-08 cs.CL
Measuring Grammatical Diversity from Small Corpora: Derivational Entropy Rates, Mean Length of Utterances, and Annotation Invariance
Department of Computer Science and Technology & Jesus College University of Cambridge（计算机科学与技术系及耶稣学院，剑桥大学）
本文从理论和实证上证明语法的派生熵与其生成的话语平均长度（MLU）之间存在根本联系，提出派生熵率作为衡量语法复杂性的新指标，并引入平滑诱导树库熵（SITE）从小树库中准确估计这些度量。
2024-12-08 cs.CL cs.FL cs.IT
SAUCE: Truncated Sparse Document Signature Bit-Vectors for Fast Web-Scale Corpus Expansion
Virginia Tech（弗吉尼亚理工大学）；IBM Research Almaden（IBM阿尔马登研究院）；eBay Inc（eBay公司）
文本表示的最新进展表明，对大量文本的训练对于自然语言理解至关重要。然而，在没有预定义的主题感兴趣的概念的情况下训练的模型在转移到专门领域时通常需要仔细的微调。当足够量的域内文本可能不可用时，从大规模web数据扩展相关文档的种子语料库带来了几个挑战。首先，语料库扩展需要对集合中的每个文档进行评分和排名，随着网络语料库大小的增长，这种操作很快就会变得计算昂贵。依赖于密集向量空间和成对相似性增加了计算开销。其次，随着领域概念变得更加细致入微，捕捉特定领域稀有术语的长尾变得不容易，特别是在有限的种子语料库场景下。在本文中，我们考虑的问题，快速近似语料库扩展给定一个小的种子语料库与一些相关的文件作为查询，捕捉长尾的特定领域的一组概念术语的目标。为了有效地收集大规模特定领域的语料库有限的相关反馈，我们提出了一种新的截断稀疏文档位向量表示，称为签名辅助无监督语料库扩展（SAUCE）。实验结果表明，SAUCE在保证域内词汇覆盖率的同时，降低了计算负担。
2021-08-26 cs.CL cs.IR
Semantics derived automatically from language corpora contain human-like biases
Princeton University（普林斯顿大学）；University of Bath（巴斯大学）
人工智能和机器学习正处于惊人的增长时期。然而，人们担心，这些技术可能被有意或无意地用来延续许多人类机构不幸具有的偏见和不公平。在这里，我们第一次表明，类似人类的语义偏见是由于将标准机器学习应用于普通语言--人类每天接触的同一种语言。我们复制了内隐联想测试和其他著名心理学研究所揭示的一系列标准人类偏见。我们使用一种广泛使用的纯统计机器学习模型--即GloVe词嵌入--在来自Web的文本语料库上训练。我们的研究结果表明，语言本身包含了我们历史偏见的可恢复和准确的印记，无论这些偏见是对昆虫或花朵的道德中立，还是对种族或性别的问题，甚至只是真实的，反映了职业或名字的性别分布的{ \em现状}。机器学习捕获这些语义和其他语义。除了我们的实证研究结果有关的语言，我们还贡献了新的方法来评估文本中的偏见，词嵌入关联测试（WEAT）和词嵌入事实关联测试（WEFAT）。我们的研究结果不仅对人工智能和机器学习有意义，而且对心理学、社会学和人类伦理学领域也有意义，因为它们提出了一种可能性，即仅仅接触日常语言就可以解释我们在这里复制的偏见。
2017-05-25 cs.AI cs.CL cs.CY
PET: An Annotated Dataset for Process Extraction from Natural Language Text
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Free University of Bozen-Bolzano（博尔扎诺-博岑自由大学）；University of Mannheim（曼海姆大学）
针对业务流程描述缺乏黄金标注语料的问题，本文提出首个标注活动、网关、参与者和流程信息的PET数据集，并提供多种基线以基准化文本过程提取的难度与挑战。
2022-06-13 cs.CL
RuBLiMP: Russian Benchmark of Linguistic Minimal Pairs
University of Edinburgh（爱丁堡大学）；HSE University（高等经济大学）；University of Groningen（格罗宁根大学）；Ghent University（根特大学）；SaluteDevices（SaluteDevices公司）；Toloka AI（Toloka AI公司）；University of Oslo（奥斯陆大学）
该研究构建含4.5万对句子的俄语最小对立体基准RuBLiMP，评估25个模型，揭示其在结构关系、否定、及物性和时态理解上仍落后于人类。
2024-10-01 cs.CL
Sadeed: Advancing Arabic Diacritization Through Small Language Model
本文提出基于Kuwain 1.5B微调的Sadeed模型，以适度计算资源在阿拉伯语变音标注上超越传统模型并接近专有大模型，同时发布SadeedDiac-25基准以改进评估公平性。
2025-08-21 cs.AI cs.CL
Matina: A Large-Scale 73B Token Persian Text Corpus
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；University of Tehran（德黑兰大学）
针对波斯语因高质量多样化语料短缺导致NLP模型和LLMs发展缓慢的问题，该研究构建了729亿token的Matina波斯语语料库，经预处理去重后提升了模型训练效果，并开放资源助力波斯语NLP发展。
2025-02-13 cs.AI cs.CL
Whose Language Counts as High Quality? Measuring Language Ideologies in Text Data Selection
University of Michigan（密歇根大学）；University of New Mexico（新墨西哥大学）；Emory University（埃默里大学）；University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
语言模型越来越依赖于大量的Web转储来获取各种文本数据。然而，这些来源充斥着不良内容。因此，维基百科、书籍和新闻专线等资源通常作为锚点，用于自动选择最适合语言建模的Web文本，这一过程通常称为质量过滤。使用一个新的美国高中报纸文章数据集-由来自全国各地的学生撰写-我们调查了GPT-3使用的质量过滤器首选的语言。我们发现，来自规模较大的学校，位于富裕，受过教育，城市邮政编码的报纸更有可能被归类为高质量。然后，我们证明了过滤器的质量测量与其他合理的指标，如真实性或文学赞誉不一致。我们认为，将任何语料库作为高质量的需要一种语言意识形态，和更多的照顾，需要建设训练语料库的语言模型，更好的透明度和理由，包括或排除各种文本。
2022-01-26 cs.AI cs.CL
The Moral Foundations Reddit Corpus
University of Southern California（南加州大学）
该研究提出一个包含16123条Reddit评论的语料库，用于标注道德情感，通过评估不同模型表现，强调了人工标注数据在AI对齐评估中的重要性。
2026-03-17 cs.CL cs.CY cs.LG
Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models
Waseda University（早稻田大学）；Research and Development Center for LLMs, National Institute of Informatics（国立信息学研究所大语言模型研发中心）
针对日语大语言模型预训练语料中的敏感个人信息，基于日本《个人信息保护法》定义的特殊要保护个人信息，构建数据集并训练机器学习模型进行快速检测，首次探索日语文本中的SCPI检测。
2026-06-11 cs.CL
Building a Large Japanese Web Corpus for Large Language Models
Tokyo Institute of Technology（东京工业大学）；Global Scientific Information and Computing Center, Tokyo Institute of Technology（东京工业大学全球科学信息与计算中心）
本研究从Common Crawl提取并精炼文本，构建了包含约3121亿字符的大规模日语网络语料库，规模超越现有主流语料库，并在多个基础模型上通过持续预训练显著提升了日语基准性能。
2024-04-27 cs.AI cs.CL
MetaPAD: Meta Pattern Discovery from Massive Text Corpora
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Army Research Laboratory（陆军研究实验室）
在新闻、推特、论文等文本语料库中挖掘文本模式一直是文本挖掘和自然语言处理研究中的一个活跃主题。以往的研究都是采用基于依存句法分析的模式发现方法。然而，分析结果失去了丰富的上下文周围的实体的模式，这一过程是昂贵的大规模语料库。在本研究中，我们提出了一种新的类型化的文本模式结构，称为Meta模式，它是在一定的背景下扩展到一个频繁的，信息丰富的，和精确的子序列模式。本文提出了一个高效的元模式发现框架MetaPAD，该框架通过三种技术从海量语料中发现Meta模式：（1）提出了一种上下文感知的模式分割方法，利用学习的模式质量评估函数仔细地确定模式的边界，避免了昂贵的依存句法分析，生成高质量的模式;（2）从同义元模式的类型、语境和提取等方面对同义Meta模式进行识别和分类;以及（3）检查由每组模式提取的实例中的实体的类型分布，并寻找合适的类型级别以使发现的模式精确。实验表明，我们提出的框架可以有效地从不同类型的海量语料库中发现高质量的类型化文本模式，并促进信息抽取。
2017-03-14 cs.CL
Data Selection via Optimal Control for Language Models
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Peking University（北京大学）
该研究将语言模型预训练数据选择建模为最优控制问题，基于庞特里亚金极大值原理提出PDS框架，可高效筛选高质量数据，提升多规模模型下游性能并降低数据需求。
2025-03-18 cs.CL
Enhancing Dialogue Generation via Multi-Level Contrastive Learning
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
大多数现有的对话生成工作都是直接在从网站上抓取的语料库上训练的数据驱动模型。它们主要关注于改进模型结构以产生更好的响应，但很少注意对比地考虑训练数据的质量。在本文中，我们提出了一个多层次的对比学习范例来模拟细粒度的质量的响应方面的查询。设计了一个秩感知校正（RC）网络来构造多级对比优化目标。由于这些目标是基于句子级别计算的，这可能会错误地鼓励/抑制无信息/信息词的生成。为了解决这个问题，一方面，我们设计了一个精致的令牌级策略，以更准确地估计实例损失。另一方面，我们建立了一个知识推理（KI）组件，在训练过程中从参考文献中捕获关键字知识，并利用这些信息来鼓励生成信息词。我们在仔细注释的对话数据集上评估了所提出的模型，结果表明，与基线模型相比，我们的模型可以产生更相关和更多样化的响应。
2021-06-22 cs.CL
LatestEval: Addressing Data Contamination in Language Model Evaluation through Dynamic and Time-Sensitive Test Construction
University of Surrey（萨里大学）；University of Manchester（曼彻斯特大学）
本文提出 LatestEval 自动化流水线，利用近期发布文本构建无训练语料重叠的阅读理解题，显著降低数据污染风险并提升语言模型评估稳健性。
2024-03-01 cs.AI cs.CL
Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora
Universidad de Jaén（哈恩大学）；University of Stuttgart（斯图加特大学）
在文本情感分类中，相关标签集取决于领域和应用场景，并且在模型开发时可能不知道。这与监督学习的经典范例相冲突，在经典范例中，标签需要被预定义。获得具有灵活的标签集合的模型的解决方案是使用零样本学习的范例作为自然语言推理任务，这另外增加了不需要任何标记的训练数据的优点。这提出了如何提示用于零样本学习情感分类的自然语言推理模型的问题。提示公式的选项包括情绪名称愤怒或声明“这段文字表达愤怒”。在本文中，我们分析了如何敏感的自然语言推理为基础的zero-shot学习分类器是这样的变化，以提示下考虑的语料库：如何仔细提示需要选择？我们进行实验的一组情感数据集，根据不同的来源（推文，事件，博客）与三个自然语言推理模型呈现不同的语言寄存器，并表明，确实一个特定的提示制定的选择需要适合语料库。我们表明，这一挑战可以解决多种提示的组合。这样的集合在语料库中比单个提示更鲁棒，并且表现出与特定语料库的单个最佳提示几乎相同的性能。
2022-09-15 cs.CL
A Spoken Drug Prescription Dataset in French for Spoken Language Understanding
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Calystene SA（Calystene股份公司）；CHU Grenoble Alpes（格勒诺布尔阿尔卑斯大学中心医院）
口头医疗对话系统越来越吸引人们的兴趣，以增强对医疗保健服务的访问并提高患者护理的质量和可追溯性。在本文中，我们专注于通过语音对话在智能手机上获得的医疗药物处方。这样的系统将有助于追踪护理，并将节省临床医生的时间。然而，由于大多数相关语料库都是文本形式的，并且是英文的，因此缺乏语音语料库来开发这样的系统。为了促进医学口语对话系统的研究和开发，我们提出了，尽我们所知，第一个口语医学药物处方语料库，命名为PxSLU。它包含了4个小时的转录和注释对话的药物处方在法国获得通过实验与55名参与者专家和非专家的处方。我们还提出了一些实验，证明了这个语料库的评估和医疗对话系统的发展的兴趣。
2022-07-17 cs.CL
Child-Directed Language Does Not Consistently Boost Syntax Learning in Language Models
Center for Language and Cognition (CLCG) University of Groningen（语言与认知中心（CLCG）格罗宁根大学）
该研究发现儿童导向语言在提升语言模型语法学习方面效果不一致，且维基百科数据表现更优，提出FIT-CLAMS方法以更公平评估语法能力。
2025-05-29 cs.CL
Synthetic Pre-Training Tasks for Neural Machine Translation
University of California, San Diego（加州大学圣地亚哥分校）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM沃森人工智能实验室，IBM研究院）
本文研究神经机器翻译中合成式预训练任务的有效性，提出混淆数据、短语对拼接和纯合成平行数据等预训练方法，实验证明合成资源也能带来预训练收益，为降低毒性和版权风险提供了新思路。
2023-05-31 cs.AI cs.CL
Multilingual Topic Models for Unaligned Text
Princeton University（普林斯顿大学）
我们开发的多语言主题模型未对齐的文本（MuTo），文本的概率模型，旨在分析语料库组成的两种语言的文档。从这些文档中，MuTo使用随机EM同时发现语言之间的匹配和多语言潜在主题。我们证明了MuTo能够在真实世界的多语言语料库中找到共享主题，成功地将不同语言的相关文档配对。MuTo为创建多语言主题模型提供了一个新的框架，而无需精心策划的并行语料库，并允许使用主题模型形式主义构建的应用程序应用于更广泛的语料库。
2012-05-09 cs.CL cs.IR cs.LG
Improving Romanian LLM Pretraining Data using Diversity and Quality Filtering
National University of Science and Technology（科学与技术国家大学）；POLITEHNICA Bucharest（布加勒斯特理工大学）
本研究针对罗马尼亚语高质量预训练语料稀缺问题，通过训练轻量级多任务模型对文本进行多级过滤生成高质量数据集，有效提升了LLM在多个基准上的预训练性能。
2025-11-02 cs.CL
From the One, Judge of the Whole: Typed Entailment Graph Construction with Predicate Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
针对蕴含图稀疏问题，提出多阶段 TP-EGG，通过谓词生成与蕴含关系检测构建高质量、规模可控的类型化蕴含图，并提升下游推理性能。
2023-06-07 cs.CL
Prior-based Noisy Text Data Filtering: Fast and Strong Alternative For Perplexity
Department of Artificial Intelligence（人工智能系）
本文提出基于先验的噪声文本数据过滤方法，通过词频统计快速替代困惑度过滤，提升效率并保持性能。
2026-03-03 cs.CL
Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias
Harvard（哈佛大学）；Mass General Brigham（麻省总医院布里格姆医疗系统）；MIT（麻省理工学院）；Universitat Pompeu Fabra（庞培法布拉大学）；Aarhus University（奥胡斯大学）；University of North Carolina（北卡罗来纳大学）；Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）；University of St. Gallen（圣加仑大学）；Maastricht University（马斯特里赫特大学）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）
本研究提出 Cross-Care 基准框架，通过对比预训练语料库偏见与美国实际疾病患病率，揭示大型语言模型在医疗应用中存在偏见传播风险及缺乏现实依据。
2024-06-24 cs.CL
Quantifying the dynamics of topical fluctuations in language
University of Edinburgh（爱丁堡大学）
大型历时语料库的出现为越来越多的语言演变和意义变化的定量研究提供了动力。本研究的中心量是语篇中语言元素的标记频率，频率的变化反映了元素的受欢迎程度或选择适合度。然而，语料库频率可能会因为各种各样的原因而改变，包括纯粹的随机抽样效应，或者因为语料库由当代媒体和小说文本组成，其中潜在的主题随着文化和社会政治趋势而起伏。在这项工作中，我们引入了一个简单的模型，用于控制语料库中的主题波动-主题文化平流模型-并演示了它如何提供一个强大的基线的变化，随着时间的推移，词频的变化。我们验证了跨越两个世纪的历时语料库的模型，和一个精心控制的人工语言变化的情况下，然后用它来纠正历史时间序列的主题波动。最后，我们使用该模型表明，新词的出现通常与热门话题的兴起相对应。这表明，一些词汇的创新发生由于不断增长的交际需要在一个子空间的词汇，和主题文化平流模型可以用来量化。
2019-06-21 cs.CL
Pirá: A Bilingual Portuguese-English Dataset for Question-Answering about the Ocean
Escola de Artes, Ciências e Humanidades Universidade de São Paulo（圣保罗大学艺术、科学与人文学院）；Instituto de Estudos Avançados Universidade de São Paulo（圣保罗大学高等研究院）；Escola Politécnica Universidade de São Paulo（圣保罗大学理工学院）
当前自然语言处理的研究高度依赖于精心制作的语料库。大多数现有资源侧重于英语;一些资源侧重于中文和法文等语言;很少有资源涉及一种以上的语言。本文介绍了Pirá数据集，这是一套关于海洋和巴西海岸的葡萄牙语和英语问答。据我们所知，Pirá是第一个支持葡萄牙语文本的QA数据集，也许更重要的是，它是第一个包含这种语言的双语QA数据集。Pirá数据集由两种语言的2261个适当策划的问题/答案（QA）集组成。问答集是根据两个语料库手动创建的：与巴西海岸有关的摘要和联合国关于海洋的报告摘录。QA集在同行评审过程中与数据集贡献者进行了验证。我们讨论了Pirá的一些优点和局限性，因为这个新资源可以支持NLP中的一系列任务，例如问答，信息检索和机器翻译。
2022-02-04 cs.CL
KletterMix: Climbing Toward High-Quality German Pretraining Data - The Full Report
AI & ML Group, TU Darmstadt（人工智能与机器学习小组，德累斯顿技术大学）；Lab1141；Lamarr Institute（拉马尔研究所）；Fraunhofer IAIS（弗劳恩霍夫人工智能研究所）；hessian.AI（海斯坦.AI）；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Centre for Cognitive Science, TU Darmstadt（认知科学中心，德累斯顿技术大学）
通过翻译高质量英语语料库构建德语预训练语料库KletterMix，并验证其在德语下游任务中的有效性。
2026-07-29 cs.CL
The Medium Is Not the Message: Deconfounding Document Embeddings via Linear Concept Erasure
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Center for Data Science, New York University（纽约大学数据科学中心）
本文提出通过线性概念擦除从文档嵌入中移除混杂因素信息，以最小计算成本显著降低相似度与聚类偏差，且不损害分布外性能。
2025-09-24 cs.CL
PrahokBART: A Pre-trained Sequence-to-Sequence Model for Khmer Natural Language Generation
National Institute of Information and Communications Technology（日本信息与通信技术国家研究所）
PrahokBART是一种针对柬埔寨语言优化的预训练模型，通过改进语料库质量和引入语言组件，在机器翻译、文本摘要和标题生成任务中超越了现有多语言模型。
2025-12-15 cs.CL
