AboutMe: Using Self-Descriptions in Webpages to Document the Effects of English Pretraining Data Filters
Allen Institute for AI(艾伦人工智能研究所);University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Emory University(埃默里大学);Carnegie Mellon University(卡内基梅隆大学)
本研究构建含1030万条网站创建者自我描述的AboutMe数据集,首次探究十种质量与英语语言识别过滤器对不同社会维度网页的影响,揭示数据治理中的隐性偏好,推动预训练数据治理社会影响相关研究。
2024-06-20 cs.CL
Characterizing Narrative Content in Web-scale LLM Pretraining Data
University of Colorado Boulder(科罗拉多大学波尔德分校);ETH Zürich(苏黎世联邦理工学院);McGill University(麦吉尔大学)
首次细粒度研究LLM预训练语料库Dolma的叙事特征,提出涵盖三个核心叙事元素(能动性、场景、事件)的框架,构建NarraBERT模型并发布NarraDolma数据集,揭示叙事结构在异构数据中可测量且分布不均。
2026-09-11 cs.CL
Pretraining Data Can Be Poisoned through Computational Propaganda
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
研究发现预训练数据可通过公共讨论界面被下毒,引入HalfLife方法衡量恶意内容,探索在网络规模下毒预训练语料库的可行性,证明估计毒注入重要性,确立第三方网页内容为攻击语言模型预训练的可能载体。
2026-07-17 cs.AI cs.CL
The Growing Gains and Pains of Iterative Web Corpora Crawling: Insights from South Slavic CLASSLA-web 2.0 Corpora
Jožef Stefan Institute(乔泽夫·斯塔芬研究所);Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅纳大学计算机与信息科学学院);Institute of Contemporary History(当代历史研究所);Natural Language Processing Centre, Masaryk University(马萨里克大学自然语言处理中心)
本文通过南斯拉夫语言的迭代网络爬取,生成了包含170亿单词的CLASSLA-web 2.0语料库,同时发现爬取后网络内容质量下降的问题。
2026-02-27 cs.CL
PLM-GNN: A Webpage Classification Method based on Joint Pre-trained Language Model and Graph Neural Network
College of Software, Jilin University(吉林大学软件学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
针对网页分类中人工特征构建耗时且需领域知识的问题,提出基于预训练语言模型与图神经网络联合编码文本和HTML DOM树的PLM-GNN方法,在KI-04、SWDE及实际数据集AHS上表现良好。
2023-05-09 cs.CL
Where Does the Signal Live? A Web Data Recipe for Medical Encoder Pretraining
Doctolib
针对医学领域编码器预训练数据稀缺问题,提出医学术语密度过滤和信号放大改写两种互补方法,在法语医学NLP上构建FineMed语料库和DoctoBERT编码器,性能优于现有方法。
2026-09-09 cs.CL cs.LG
RePro: Training Language Models to Faithfully Recycle the Web for Pretraining
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
RePro通过强化学习训练小型语言模型,忠实改写网络数据用于预训练,在多个模型规模上显著提升下游任务准确率,并提高数据效率2-3倍。
2026-09-09 cs.CL cs.LG
WRAP++: Web discoveRy Amplified Pretraining
WRAP++通过发现跨文档关系增强事实关联上下文,生成跨文档问答数据,提升模型在SimpleQA上的表现。
2026-04-09 cs.AI cs.CL
Towards Safer Pretraining: Analyzing and Filtering Harmful Content in Webscale datasets for Responsible LLMs
Microsoft(微软)
本文分析了网络规模预训练数据集中的有害内容,提出有害网页分类体系,并构建了高精度过滤模型HarmFormer与毒性基准HAVOC,为构建负责任的LLM提供安全保障与合规资源。
2025-08-12 cs.CL cs.LG
TiC-LM: A Web-Scale Benchmark for Time-Continual LLM Pretraining
University of Washington(华盛顿大学);Apple(苹果公司)
提出基于 114 次 Common Crawl 转储的 TiC-LM 时间持续预训练基准,并通过时间分层评估发现固定比例重放配合元调度能以 2.6 倍更低计算接近从头训练效果。
2025-06-06 cs.CL cs.LG
Organize the Web: Constructing Domains Enhances Pre-Training Data Curation
本文提出 WebOrganizer 框架,通过主题和格式构建网络数据领域,并利用大模型蒸馏的分类器自动标注预训练数据,证明领域混合能有效提升下游任务性能并补充基于质量的数据筛选方法。
2025-07-16 cs.CL
Towards a Cleaner Document-Oriented Multilingual Crawled Corpus
Inria(法国国家信息与自动化研究所)
近年来,随着迁移学习和半监督学习方法引入自然语言处理,对原始大型原始语料库的需求急剧增加。虽然最近有一些尝试手动管理训练大语言模型所需的数据量,但获得这些数据的主要方法仍然是通过自动Web抓取。在本文中,我们采取现有的多语言网络语料库OSCAR及其管道Ungoliant,从Common Crawl中提取数据并对其进行分类,并提出了一系列改进和自动注释,以产生一个新的面向文档的版本OSCAR,可以证明更适合于预训练大型生成语言模型,以及希望在自然语言处理和数字人文学的其他应用。
2022-01-17 cs.CL
Rephrasing Electronic Health Records for Pretraining Clinical Language Models
Australian e-Health Research Centre, CSIRO(澳大利亚电子健康研究中心,联邦科学与工业研究组织)
针对临床语言模型预训练因患者隐私难以获取大规模EHR文本的问题,本研究借鉴网络数据重述方法,用四种小型LLMs重述临床笔记生成合成语料,在语言建模和下游任务中表现优于现有合成方法,且小token预算下增强原始笔记可提升性能。
2024-11-28 cs.CL
Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining
Apple(苹果公司);Stanford(斯坦福大学);University of Washington(华盛顿大学)
本文提出通过结合多种提取器提升HTML到文本提取的效率与效果,显著提高LLM预训练数据的token产出并改善下游任务性能。
2026-02-23 cs.CL cs.LG
Bias Analysis and Mitigation through Protected Attribute Detection and Regard Classification
IBM Research - Tokyo(IBM东京研究实验室);IBM T. J. Watson Research Center(IBM T.J. Watson研究中心)
本研究针对预训练语料中的社会偏见问题,提出结合受保护属性检测与尊重度分类的高效标注流水线,在Common Crawl语料上验证了偏见分析与缓解措施的有效性。
2025-09-03 cs.CL
Gradient Localization Improves Lifelong Pretraining of Language Models
Carnegie Mellon University(卡内基梅隆大学)
本研究通过分析时间敏感实体知识在LLM中的参数局部性,提出将参数更新定向到相关层,以改善持续预训练中时间漂移语言的性能。
2024-11-07 cs.CL
Using Semantic Similarity for Input Topic Identification in Crawling-based Web Application Testing
为了自动测试Web应用程序,通常采用基于爬虫的技术来挖掘应用程序的行为模型,探索状态空间或检测违反的不变量。然而,在现有的爬虫中,用于识别输入文本字段的主题的规则,例如登录ID、密码、电子邮件、日期和电话号码,必须手动配置。此外,一种应用的规则往往不适合另一种应用。此外,当多个规则冲突并将输入文本字段与多个主题匹配时,可能难以确定哪个规则建议更好的匹配。本文提出了一种自然语言的方法来自动识别爬行过程中遇到的输入字段的主题,通过语义比较其与标注语料库中的输入字段的相似性。在我们对100个真实世界的表单进行的评估中,所提出的方法表现出与基于规则的方法相当的性能。我们的实验还表明,基于规则的方法的准确性可以提高高达19%,当与我们的方法相结合。
2016-08-23 cs.CL cs.SE
Curriculum-Guided Layer Scaling for Language Model Pretraining
Stanford University(斯坦福大学)
受人类认知发展启发,提出课程引导层缩放框架,通过渐进式层堆叠使数据难度与模型增长同步,在不同参数规模预训练并分层数据,提升模型泛化及零样本性能。
2026-08-04 cs.CL
GPT-4o as the Gold Standard: A Scalable and General Purpose Approach to Filter Language Model Pretraining Data
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Ohio State University, Columbus(俄亥俄州立大学哥伦布分校)
本文提出轻量级数据过滤方法SIEVE,通过主动学习将GPT-4o与轻量级文本分类模型无缝集成,以不到1%的成本匹配GPT-4o的准确率,并在DataComp-LM挑战中超越现有最先进方法。
2025-01-31 cs.CL cs.LG
CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search
Tsinghua University(清华大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
基于深度预训练语言模型(LM)的神经排序器已被证明可以改进许多信息检索基准。然而,这些方法受到预训练域和目标域之间的相关性的影响,并且依赖于大量的微调相关性标签。直接将预训练方法应用于特定领域可能会导致次优搜索质量,因为特定领域可能存在领域适应问题,例如COVID领域。本文提出了一个搜索系统,以减轻特殊领域的适应问题。该系统利用领域自适应预训练和少样本学习技术来帮助神经排序器缓解领域差异和标签稀缺问题。此外,我们也整合了稠密检索,以减轻传统稀疏检的词汇不匹配障碍。我们的系统在TREC-COVID任务的第二轮非手动运行中表现最好,该任务旨在从与COVID-19相关的科学文献中检索有用的信息。我们的代码可在https://github.com/thunlp/OpenMatch上公开获取。
2020-11-03 cs.CL cs.IR
UrbanCLIP: Learning Text-enhanced Urban Region Profiling with Contrastive Language-Image Pretraining from the Web
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Beijing Jiaotong University(北京交通大学);Northwestern Polytechnical University(西北工业大学);Alibaba Group, US(美国阿里巴巴集团);National University of Singapore(新加坡国立大学)
本文提出UrbanCLIP框架,首次将文本模态整合到城市区域画像中,通过LLM生成卫星图像描述并利用对比损失与语言建模损失训练,在预测城市指标上R^2平均提升6.1%。
2024-03-24 cs.AI cs.CL
ReScraper: Unified Scraping and Cleaning of Web Data for Effective LLM Pretraining
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
ReScraper是一个0.6B参数统一模型,取代手写启发式规则完成网络数据抓取与清洗,通过四种操作提升LLM预训练语料质量,在多个规模上相对提升DCLM Core分数3.8-4.7%。
2026-09-29 cs.AI cs.CL cs.LG
Going over Fine Web with a Fine-Tooth Comb: Technical Report of Indexing Fine Web for Problematic Content Search and Retrieval
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);Institute of Entrepreneurship and Management, HES-SO Valais-Wallis(创业与管理研究所);Institute of Informatics, HES-SO Valais-Wallis(信息研究所)
本文提出基于 ElasticSearch 的 LLM 训练数据集索引与分析框架,并在四种语言、1.5TB 的 FineWeb-2 语料上实现毫秒级问题内容检索。
2025-08-29 cs.AI cs.CL cs.IR
How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data
Hugging Face;University of Sheffield(谢菲尔德大学);National Institute of Informatics(日本信息处理研究所)
本文通过大规模实验探讨提示设计、生成模型和源数据对合成预训练数据质量的影响,发现结构化输出格式优于现有方法,且生成模型参数超过1B无额外收益,提出开源数据集FinePhrase。
2026-07-31 cs.AI cs.CL cs.LG
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
EPFL(洛桑联邦理工学院)
本研究提出多语言适配方法,将英文质量分类器转为多语言变体,用于100余种语言的LLM预训练数据选择,实验表明该方法可维持下游基准性能且具备跨语言泛化能力。
2026-10-09 cs.AI cs.CL
How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text
University of Maryland(马里兰大学);Pangram Labs(Pangram 实验室)
本研究通过预训练800个语言模型,提出一种新的缩放定律,揭示了野生AI生成文本对预训练的影响:初期有益但随后有害,并提供了过滤和重复人类文本的建议,同时发布了WildAI语料库。
2026-10-01 cs.CL cs.LG
BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining
DatologyAI
针对LLM预训练单纯扩数据量遇数据墙的问题,提出合成数据生成框架BeyondWeb,其生成的合成数据在14项基准评估中优于Cosmopedia等现有数据集,训练速度更快,还得出合成数据质量优化的关键见解。
2025-08-19 cs.CL cs.LG
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Microsoft Research(微软研究院)
预训练大型神经语言模型,如BERT,已经在许多自然语言处理(NLP)任务上取得了令人印象深刻的进展。然而,大多数预训练工作集中在一般领域语料库,如新闻专线和Web。一个普遍的假设是,即使是特定领域的预训练也可以从通用领域的语言模型开始。在本文中,我们挑战了这一假设,证明了对于具有大量未标记文本的领域,如生物医学,从头开始预训练语言模型比一般领域语言模型的持续预训练有很大的收益。为了促进这项调查,我们从公开的数据集中编译了一个全面的生物医学NLP基准。我们的实验表明,特定于领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础,从而全面带来了新的最先进的结果。此外,在对建模选择进行彻底评估时,无论是预训练还是特定于任务的微调,我们发现BERT模型中的一些常见做法是不必要的,例如在命名实体识别(NER)中使用复杂的标记方案。为了帮助加速生物医学NLP的研究,我们为社区发布了最先进的预训练和特定任务模型,并在https://aka.ms/BLURB上创建了一个排行榜,其中包括我们的BLURB基准(生物医学语言理解和推理基准的缩写)。
2021-09-16 cs.CL cs.LG
DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data
研究针对预训练数据处理未适应各示例需求的问题,提出DataOrchestra框架,统一处理操作并为每个示例编排特定管道,经实验验证该框架在多基准测试中表现良好,在数学持续预训练中有效且能减少计算。
2026-07-28 cs.AI cs.CL
MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出MATES方法,利用数据影响模型持续适应预训练模型的动态数据偏好,选择最有效数据,在C4数据集上预训练410M和1B模型,显著优于随机选择,将最先进方法增益翻倍并减半所需计算量。
2024-11-16 cs.CL cs.LG
esCorpius: A Massive Spanish Crawling Corpus
LHF Labs(LHF实验室);Universidad Autónoma de Madrid(马德里自治大学);University of Edinburgh(爱丁堡大学);Universidad de Granada(格拉纳达大学)
近年来,基于转换器的模型在自然语言处理的语言建模方面取得了重大进展。然而,它们需要大量的数据进行(预)训练,并且缺乏英语以外的语言语料库。最近,一些倡议提出了从自动网络爬行获得的多语言数据集。然而,西班牙语的结果存在重要的缺点,因为它们与其他语言相比太小,或者由于次优的清理和重复数据删除而呈现出低质量。在本文中,我们介绍esCorpius,西班牙爬行语料库获得近1铅的常见爬行数据。它是西班牙语中最广泛的语料库,在提取,纯化和重复删除Web文本内容方面具有这种质量水平。我们的数据整理过程涉及一种新型的高度并行的清理管道,并包含一系列重复数据删除机制,共同确保文档和段落边界的完整性。此外,我们维护源网页URL和WARC碎片源URL,以便根据欧盟法规进行投诉。esCorpius已在CC BY-NC-ND 4.0许可下发布,并可在HuggingFace上使用。
2022-07-01 cs.AI cs.CL
PermaFrost-Attack: Stealth Pretraining Seeding(SPS) for planting Logic Landmines During LLM Training
Manipal University Jaipur(Manipal大学斋普尔);NIT, Karnataka(Karnataka理工学院);Pragya Lab, BITS Pilani Goa, India(BITS Pilani Goa印度普拉吉亚实验室);Apple, USA(美国苹果公司);Google, USA(美国谷歌公司)
本文研究了在LLM训练中通过隐蔽预训练播种(SPS)植入逻辑地雷的威胁模型,通过几何诊断方法揭示了潜藏的中毒行为,展示了SPS对基础模型的安全性影响。
2026-10-14 cs.AI cs.CL cs.LG
D4: Improving LLM Pretraining via Document De-Duplication and Diversification
Meta AI Research(元人工智能研究院)
针对大语言模型预训练中随机采样网络数据收益递减的问题,提出在去重基础上通过预训练嵌入做数据选择与智能数据复用,在6.7B规模下实现20%训练效率提升与最高2%的下游任务准确率提升,为模型优化提供新路径。
2023-08-23 cs.AI cs.CL cs.LG
Improving Pretraining Data Using Perplexity Correlations
Stanford University(斯坦福大学)
本文提出基于困惑度-基准相关性的预训练数据选择框架,利用90个大语言模型估计相关性,在多个规模和基准上优于DSIR等现有方法。
2025-03-10 cs.CL cs.LG stat.ML
Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality
Princeton Language and Intelligence(普林斯顿语言与智能);Princeton University(普林斯顿大学)
提出WebGraphMix框架,利用Common Crawl主机级网页图的结构中心性得分调整预训练数据中中心与边缘文档的比例,无需模型训练或标注数据,在400M和1B参数模型上平均性能提升至41.4%。
2026-06-11 cs.AI cs.CL
WebRED: Effective Pretraining And Finetuning For Relation Extraction On The Web
Google Brain(谷歌大脑);Google(谷歌公司)
关系抽取用于填充对许多应用程序很重要的知识库。用于训练关系抽取模型的现有数据集要么由于远程监督而遭受噪声标签,要么限于某些域,要么太小而无法训练高容量模型。这限制了关系抽取的下游应用。因此,我们介绍:WebRED(Web关系抽取数据集),一个强监督的人类注释数据集,用于从万维网上发现的各种文本中提取关系,由约110 K个示例组成。我们还描述了我们用来收集~ 200 M示例作为此任务的预训练数据的方法。我们表明,将大型弱监督数据集上的预训练与小型强监督数据集上的微调相结合,可以获得更好的关系抽取性能。我们为这个新的数据集提供了基线,并提出了一个案例,人类注释的重要性,提高性能的关系抽取从网络上找到的文本。
2021-02-18 cs.CL cs.IR
Mix, MinHash, and Match: Cross-Source Agreement for Multilingual Pretraining Datasets
通过跨源一致性技术,结合多语言语料库进行最小哈希去重,提升预训练数据质量并增加独特标记数量。
2026-01-29 cs.CL
The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
Hugging Face
本研究推出含15万亿token的开源预训练数据集FineWeb及1.3万亿token的教育子集FineWeb-Edu,详细公开构建策略并消融验证,训练的LLM性能优于同类开源数据集,同步开放代码与实验模型。
2024-10-31 cs.CL
Deep Research Pretraining via Predictive Navigation
Tencent(腾讯);Hunyuan Team(混元团队)
提出Deep Research Pretraining(DRP)离线框架,在学术引用图和维基百科超链接上预训练Qwen3-14B-Base模型,可提升智能体在多个基准任务上的表现,是轨迹智能体训练的补充方法。
2026-08-04 cs.CL
Webscale-RL: Automated Data Pipeline for Scaling RL Data to Pretraining Levels
Salesforce AI Research(赛富时人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出Webscale-RL数据管道,通过系统性地将大规模预训练文档转换为数百万个多样化的可验证问题-答案对,解决RL数据瓶颈问题,并展示基于该数据集的模型在多个基准测试中表现优于传统预训练方法。
2026-04-10 cs.AI cs.CL
Data, Data Everywhere: A Guide for Pretraining Dataset Construction
NVIDIA(英伟达)
本文首次系统研究预训练数据集构建全流程,通过消融实验识别最有效技术,并对网络爬取数据按毒性、质量等属性分类以优化预训练集质量,为实践者提供可操作的构建指南。
2024-10-19 cs.CL
PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data
UNICAMP(坎皮纳斯州立大学);NeuralMind Inteligência Artificial(NeuralMind人工智能公司);University of Waterloo(滑铁卢大学)
在自然语言处理(NLP)方面,需要更多的葡萄牙语资源,因为最先进的研究中使用的大部分数据是其他语言。在本文中,我们在BrWac语料库(一个广泛的葡萄牙语网页集合)上预训练了一个T5模型,并在三个不同的任务上评估了它与其他葡萄牙语预训练模型和多语言模型的性能。我们证明了我们的葡萄牙语预训练模型比原始T5模型具有更好的性能。此外,我们展示了使用葡萄牙语词汇的积极影响。我们的代码和模型可在https://github.com/unicamp-dl/PTT5上找到。
2020-10-08 cs.CL
Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding
Google Research(谷歌研究院);University of Cambridge(剑桥大学)
本研究提出预训练图像到文本模型Pix2Struct,以网页掩码截图解析为简化HTML为预训练目标,结合可变分辨率输入与灵活的多模态融合方式,首次实现单模型在四个领域9项视觉语言任务中6项达SOTA。
2023-06-15 cs.CL cs.CV
SWEb: A Large Web Dataset for the Scandinavian Languages
AI Sweden(瑞典人工智能研究院)
本研究发布了超万亿token的斯堪的纳维亚语言最大预训练数据集SWEb,提出低复杂度的基于模型的文本提取器,构建瑞典语完形填空评估基准,验证了该数据集训练模型的竞争力,且所有资源公开。
2024-10-06 cs.CL
Data-Centric Lessons To Improve Speech-Language Pretraining
Apple(苹果公司);University of Cambridge(剑桥大学);University of Tübingen(图宾根大学)
本文通过数据为中心的消融实验,探索了语音-语言预训练中数据处理、合成数据构建和序列交错三个关键问题,并据此预训练了3.8B参数的SpeLangy模型,其性能超越3倍大的模型10.2%。
2025-10-22 cs.CL cs.LG eess.AS
MixtureVitae: Open Web-Scale Pretraining Dataset With High Quality Instruction and Reasoning Data Built from Permissive-First Text Sources
Ontocord;Northeastern University(东北大学);LAION;Open-Ψ (Open-Sci) Collective(Open-Ψ(开放科学)联盟);Juelich Supercomputing Center (JSC), Research Center Juelich (FZJ)(于利希研究中心(FZJ)于利希超级计算中心(JSC));Carnegie Mellon University(卡内基梅隆大学);Salesforce(赛富时);Detomo Inc.(Detomo公司);Institute of Science Tokyo(东京科学研究所);École Polytechnique, IP Paris(巴黎理工学院);ELLIS Institute Tuebingen(图宾根ELLIS研究所);University of Freiburg(弗莱堡大学);NASK;Montreal Institute for Learning Algorithms, Université de Montréal(蒙特利尔大学蒙特利尔学习算法研究所);Lund University(隆德大学);DeepTensor AB
MixtureVitae通过宽容优先策略构建开放预训练数据集,提供高质量指令和推理数据,有效降低法律风险并提升模型性能。
2026-01-12 cs.AI cs.CL cs.LG
Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining
Google DeepMind(谷歌DeepMind);University of Copenhagen(哥本哈根大学)
本文提出两种预训练方法,利用小规模视觉关系数据的监督信号,通过语言化场景图和掩码关系预测在多模态设置中情境化视觉实体,在零样本评估中有效提升了多模态表示学习能力。
2023-10-19 cs.CL cs.CV
Downstream Datasets Make Surprisingly Good Pretraining Corpora
Carnegie Mellon University(卡内基梅隆大学)
本文通过大规模自预训练实验证明,使用下游数据同时进行预训练和微调可在多个分类及结构化预测任务上媲美甚至超越BookWiki标准预训练,表明预训练目标本身而非海量外部数据是性能提升的关键。
2023-05-26 cs.CL cs.LG
WAON: A Large-Scale Japanese Image-Text Dataset for Cultural Adaptation in Contrastive Vision-Language Models
Kyoto University(京都大学);NII LLMC(日本国家研究所语言模型中心);NII(日本国家研究所);Waseda University(早稻田大学);Institute of Science Tokyo(东京科学研究所)
提出WAON,一个从Common Crawl构建的包含约1.55亿样本的最大公开原生日语图像-文本数据集,并通过微调实验证明其在日语文化基准上优于翻译数据。
2026-10-05 cs.CL cs.CV
DeepSinger: Singing Voice Synthesis with Data Mined From the Web
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STC Asia(微软亚洲互联网工程院)
在本文中,我们开发了DeepSinger,这是一个多语言多歌手歌唱声音合成(SVS)系统,它是使用从音乐网站挖掘的歌唱训练数据从头开始构建的。DeepSinger的流水线由几个步骤组成,包括数据抓取,歌唱和伴奏分离,歌词到歌唱对齐,数据过滤和歌唱建模。具体而言,我们设计了一个歌词到歌唱对齐模型,自动提取的歌词从粗粒度的句子级到细粒度的音素级的每个音素的持续时间,并进一步设计了一个多语言的多歌手演唱模型的基础上前馈Transformer直接生成线性声谱图的歌词,并使用Griffin-Lim合成语音。DeepSinger与以前的SVS系统相比有几个优点:1)据我们所知,这是第一个直接从音乐网站挖掘训练数据的SVS系统,2)歌词到演唱对齐模型进一步避免了任何人为的对齐标记,大大降低了标记成本,3)基于前馈Transformer的演唱模型简单高效,通过去除参数合成中复杂的声学特征建模,并利用参考编码器从嘈杂的歌唱数据中捕获歌唱者的音色,以及4)它可以合成多种语言和多个歌唱者的歌唱声音。我们在我们挖掘的歌唱数据集上评估DeepSinger,该数据集由来自89名歌手的三种语言(中文,粤语和英语)的约92小时数据组成。结果表明,使用纯粹从网络上挖掘的歌唱数据,DeepSinger可以在音高准确性和声音自然度方面合成高质量的歌唱声音(脚注:我们的音频样本显示在https://speechresea…
2020-07-15 cs.CL cs.SD eess.AS