Trillion 7B 技术报告
Trillion 7B Technical Report
AI总结：
Trillion-7B 通过新颖的跨语言文档注意力机制，以仅 10% 多语言训练数据和 59.4K H100 GPU 小时实现高效韩语为中心的多语言性能，在 27 个基准上表现稳健。
摘要：
我们推出了 Trillion-7B，这是目前可用的最具 token 效率的以韩语为中心的多语言大型语言模型。我们新颖的跨语言文档注意力（XLDA）机制能够实现从英语到韩语和日语等目标语言的高效且有效的知识迁移。结合优化的数据混合、特定语言过滤和定制的 tokenizer 构建，Trillion-7B 在仅将其 2T 训练 token 中的 10% 用于多语言数据，并且仅需 59.4K H100 GPU 小时（14.8 万美元）即可完成全部训练的情况下，取得了具有竞争力的性能。在四种语言的 27 个基准上的全面评估表明，Trillion-7B 具有稳健的多语言性能和卓越的跨语言一致性。
英文摘要：
We introduce Trillion-7B, the most token-efficient Korean-centric multilingual LLM available. Our novel Cross-lingual Document Attention (XLDA) mechanism enables highly efficient and effective knowledge transfer from English to target languages like Korean and Japanese. Combined with optimized data mixtures, language-specific filtering, and tailored tokenizer construction, Trillion-7B achieves competitive performance while dedicating only 10\% of its 2T training tokens to multilingual data and requiring just 59.4K H100 GPU hours (\$148K) for full training. Comprehensive evaluations across 27 benchmarks in four languages demonstrate Trillion-7B's robust multilingual performance and exceptional cross-lingual consistency.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
