We find that existing language modeling datasets contain many near-duplicate examples and long repetitive substrings. As a result, over 1% of the unprompted output of language models trained on these datasets is copied verbatim from the training data. We develop two tools that allow us to deduplicate training datasets -- for example removing from C4 a single 61 word English sentence that is repeated over 60,000 times. Deduplication allows us to train models that emit memorized text ten times less frequently and require fewer train steps to achieve the same or better accuracy. We can also reduce train-test overlap, which affects over 4% of the validation set of standard datasets, thus allowing for more accurate evaluation. We release code for reproducing our work and performing dataset deduplication at https://github.com/google-research/deduplicate-text-datasets.
大语言模型(LLM)在人工智能(AI)领域发挥着越来越重要的作用-不仅用于自然语言处理,而且用于代码理解和生成。为了促进对LLM代码的开放和负责任的研究,我们引入了The Stack,这是一个3.1 TB的数据集,由30种程序设计语言的许可源代码组成。我们描述了如何收集完整的数据集,构建一个许可的子集,提出一个数据治理计划,讨论限制,并通过在不同的Python子集上训练350 M参数解码器,在text 2code基准测试中显示出有希望的结果。我们发现,(1)接近重复数据删除显著提高了所有实验的性能,(2)仅使用许可数据就可以匹配先前报告的HumanEval和MBPP性能。我们在https://hf.co/BigCode上提供了数据集,为开发人员提供了一个名为“Am I in The Stack”(https://hf.co/spaces/bigcode/in-the-stack)的工具来搜索The Stack以获得他们的代码副本,并提供了一个按照https://www.bigcode-project.org/docs/about/the-stack/上的说明从数据集中删除代码的过程。
Do Massively Pretrained Language Models Make Better Storytellers?
Stanford University(斯坦福大学)
在大量文本上训练的大型神经语言模型已经成为自然语言理解任务的强大策略。然而,这些模型作为自然语言生成器的优势还不太清楚。虽然有证据表明这些模型生成的文本质量更好,但还没有详细的研究来描述它们的生成能力。在这项工作中,我们比较了一个广泛预训练的模型OpenAI GPT 2 -117(Radford et al.,2019),到最先进的神经故事生成模型(Fan et al.,2018年)。通过在各种自动度量中评估生成的文本,我们描述了预训练模型如何更好地讲述故事。我们发现,虽然GPT 2 -117的条件更强的上下文,是更敏感的事件的顺序,并使用更多的不寻常的话,它是一样可能产生重复和多样性不足的文本时,使用可能性最大化解码算法。
Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation
Tsinghua University(清华大学);OPPO Mobile Telecommunications Corp., Ltd(OPPO移动通信有限公司);China Mobile Research Institute(中国移动研究院);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院)
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));School of Data Science, University of Science and Technology of China(中国科学技术大学数据科学学院);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心)
Advantageous Parameter Expansion Training Makes Better Large Language Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Baidu Inc.(百度公司)
When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理学院);Monash University(墨尔本大学);Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(国立新加坡大学)
Chain of Strategy Optimization Makes Large Language Models Better Emotional Supporter
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学);Central South University(中南大学);iFLYTEK AI Research (Central China), iFLYTEK Co., Ltd(iFLYTEK中央中国研究院,iFLYTEK公司)
Generalizing Procrustes Analysis for Better Bilingual Dictionary Induction
University of Copenhagen(哥本哈根大学);Insight Research Centre, National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校洞察研究中心);Aylien Ltd.(Aylien有限公司);University of Cambridge(剑桥大学)
Learning to Self-Verify Makes Language Models Better Reasoners
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学)
XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners
School of Engineering, Westlake University(西湖大学工程学院);WeChat AI, Tencent Inc.(腾讯微信人工智能);Zhejiang University School of Cyber Science and Engineering, Sichuan University(四川大学浙江大学网络空间安全学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所)
Abstraction-of-Thought Makes Language Models Better Reasoners
Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能学院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tencent AI Lab(腾讯AI实验室)
Selective Annotation Makes Language Models Better Few-Shot Learners
The University of Hong Kong(香港大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Meta AI;Penn State University(宾夕法尼亚州立大学);Allen Institute for AI(艾伦人工智能研究所)
Better Pre-Training by Reducing Representation Confusion
Tencent(腾讯);Peking University(北京大学)
在这项工作中,我们重新审视了基于transformer的预训练语言模型,并分别在位置编码和模型表示中识别出两种不同类型的信息混淆。首先,我们表明,在相对位置编码,相对距离和方向的联合建模带来了两个异构信息之间的混淆。这可能会使模型无法捕获相同距离和相反方向的关联语义,进而影响下游任务的性能。其次,我们注意到带有MLM(Mask Language Modeling)预训练目标的BERT输出相似的token表示(不同token的最后隐藏状态)和head表示(不同head的注意力权重),这可能使不同token和head所表达的信息的多样性受到限制。基于上述研究,我们提出了两种改进预训练语言模型的新技术:解耦方向相对位置(DDRP)编码和MTH预训练目标。DDRP是对经典相对位置编码中的相对距离特征和方向特征的继承。MTH除了MLM之外,还应用了两个新的辅助正则化器来扩大(a)不同令牌的最后隐藏状态和(b)不同头部的注意力权重之间的差异。这些设计允许模型更清晰地捕捉不同类别的信息,作为减轻表示学习中信息混乱的一种方式,以实现更好的优化。在GLUE基准上的大量实验和烧蚀研究证明了所提出方法的有效性。
People Make Better Edits: Measuring the Efficacy of LLM-Generated Counterfactually Augmented Data for Harmful Language Detection
RWTH Aachen University(亚琛工业大学);University of Konstanz(康斯坦茨大学);GESIS - Leibniz Institute for Social Sciences(GESIS-莱布尼茨社会科学研究所);Sapienza University of Rome(罗马智慧大学);University of Copenhagen(哥本哈根大学)
Meta In-Context Learning Makes Large Language Models Better Zero and Few-Shot Relation Extractors
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Beijing Institute of Computer Technology and Application(北京计算机技术及应用研究所)