The power of large language models (LLMs) has been demonstrated through numerous data and computing resources. However, the application of language models on mobile devices is facing huge challenge on the computation and memory costs, that is, tiny language models with high performance are urgently required. Limited by the highly complex training process, there are many details for optimizing language models that are seldom studied carefully. In this study, based on a tiny language model with 1B parameters, we carefully design a series of empirical study to analyze the effect of each component. Three perspectives are mainly discussed, \ie, neural architecture, parameter initialization, and optimization strategy. Several design formulas are empirically proved especially effective for tiny language models, including tokenizer compression, architecture tweaking, parameter inheritance and multiple-round training. Then we train PanGu-$π$-1B Pro and PanGu-$π$-1.5B Pro on 1.6T multilingual corpora, following the established formulas. Experimental results demonstrate the improved optimization and architecture yield a notable average improvement of 8.87 on benchmark evaluation sets for PanGu-$π$-1B Pro. Besides, PanGu-$π$-1.5B Pro surpasses a range of SOTA models with larger model sizes, validating its superior performance. The code is available at https://github.com/YuchuanTian/RethinkTinyLM.
在本文中，我们介绍了PanGu-Bot，一个基于大型预训练语言模型（PLM）PANGU-alpha（Zeng et al.，2021年）。与其他从零开始在大量对话数据上训练的预训练对话模型不同，我们的目标是通过继承PLM中有价值的语言能力和知识，以相对较少的数据和计算成本构建强大的对话模型。为此，我们从大型PLM PANGU-alpha中训练PanGu-Bot，该系统已被证明在各种中文自然语言任务上表现良好。我们调查PanGu-Bot产生的响应的不同方面，包括响应质量，知识和安全性。我们表明PanGu-Bot优于最先进的中文对话系统（CDIALGPT（Wang et al.，2020）、EVA（Zhou等人，2021）、EVA2.0（Gu等人，2022））w.r.t.以上三个方面。我们还证明，PanGu-Bot可以很容易地部署，以产生情绪反应，而无需进一步培训。通过实证分析，我们也指出盘古机器人的响应质量、知识正确性和安全性还远远不够完善，要构建可靠、智能的对话系统还需要进一步探索。我们的模型和代码将很快在https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/PanGu-Bot上提供。
Are Optimal Algorithms Still Optimal? Rethinking Sorting in LLM-Based Pairwise Ranking with Batching and Caching
Departamento de Computación, FCEyN, Universidad de Buenos Aires（布宜诺斯艾利斯大学计算机系）；Instituto de Ciencias de la Computación, FCEyN, Universidad de Buenos Aires（布宜诺斯艾利斯大学计算机科学研究所）；Lumina Labs（Lumina实验室）
Rethinking Perturbations in Encoder-Decoders for Fast Training
Tokyo Institute of Technology（东京工业大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）
我们经常使用扰动来正则化神经模型。对于神经编码器-解码器，先前的研究应用了预定采样（Bengio等人，2015）和对抗性扰动（Sato et al.，2019年）作为扰动，但这些方法需要相当长的计算时间。因此，本研究解决了这些方法是否足够有效的训练时间的问题。我们比较了几个扰动序列到序列的问题相对于计算时间。实验结果表明，简单的技术，如单词丢弃（Gal和Ghahramani，2016）和输入标记的随机替换，与最近提出的扰动相比，可以获得相当（或更好）的分数，尽管这些简单的方法更快。我们的代码可在https://github.com/takase/rethink_perturbations上公开获取。
