arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2406.20094cs.CLcs.LG
收藏

用十亿级人格实现合成数据创建的规模化扩展

Scaling Synthetic Data Creation with 1,000,000,000 Personas

Tencent AI Lab(腾讯AI实验室)

Tao Ge, Xin Chan, Xiaoyang Wang, Dian Yu, Haitao Mi, Dong Yu

AI总结:

本文提出利用 LLM 内部多元视角的人格驱动数据合成方法,并构建包含 10 亿人格的 Persona Hub,以大规模生成数学推理、指令、知识文本、游戏 NPC 和工具等多样化合成数据,推动合成数据范式变革。

摘要:

我们提出了一种新颖的人格驱动数据合成方法,该方法利用大型语言模型(LLM)内部的各种视角来创建多样化的合成数据。为了在大规模场景下充分发掘这一方法的潜力,我们引入了 Persona Hub——一个从网络数据中自动整理而成的、包含 10 亿个多样化人格的集合。这 10 亿个人格(约占世界总人口的 13%)作为世界知识的分布式载体,能够触及 LLM 中封装的几乎每一种视角,从而促进在各种场景下大规模创建多样化的合成数据。通过展示 Persona Hub 在大规模合成高质量数学与逻辑推理问题、指令(即用户提示)、知识丰富文本、游戏 NPC 以及工具(函数)方面的应用案例,我们证明了人格驱动的数据合成具有通用性、可扩展性、灵活性和易用性,有望推动合成数据创建及实际应用的范式转变,并可能对 LLM 的研究与开发产生深远影响。

英文摘要:

We propose a novel persona-driven data synthesis methodology that leverages various perspectives within a large language model (LLM) to create diverse synthetic data. To fully exploit this methodology at scale, we introduce Persona Hub -- a collection of 1 billion diverse personas automatically curated from web data. These 1 billion personas (~13% of the world's total population), acting as distributed carriers of world knowledge, can tap into almost every perspective encapsulated within the LLM, thereby facilitating the creation of diverse synthetic data at scale for various scenarios. By showcasing Persona Hub's use cases in synthesizing high-quality mathematical and logical reasoning problems, instructions (i.e., user prompts), knowledge-rich texts, game NPCs and tools (functions) at scale, we demonstrate persona-driven data synthesis is versatile, scalable, flexible, and easy to use, potentially driving a paradigm shift in synthetic data creation and applications in practice, which may have a profound impact on LLM research and development.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑