Percy Liang

Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining

超越单一提取器：重新思考用于LLM预训练的HTML到文本提取

Jeffrey Li, Josh Gardner, Doug Kang, Fangping Shi, Karanjeet Singh, Chun-Liang Li, Herumb Shandilya, David Hall, Oncel Tuzel, Percy Liang, Ludwig Schmidt, Hadi Pour Ansari, Fartash Faghri

机构 * Apple（苹果公司） ； Stanford（斯坦福大学） ； University of Washington（华盛顿大学） 纠错

AI总结 本文提出通过结合多种提取器提升HTML到文本提取的效率与效果，显著提高LLM预训练数据的token产出并改善下游任务性能。