arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2403.13334cs.CLcs.AI
收藏

Hyacinth6B:一个面向繁体中文的大型语言模型

Hyacinth6B: A large language model for Traditional Chinese

Providence University(静宜大学)

Chih-Wei Song, Yin-Te Tsai

AI总结:

本研究提出面向繁体中文的大型语言模型Hyacinth6B,旨在平衡模型轻量化与性能,通过LoRA方法进行参数高效微调,以较低资源成本突破较小模型的性能边界。

摘要:

本研究的主要动机是解决LLM通常伴随的高硬件和计算需求。因此,我们的目标是在模型轻量化和性能之间找到平衡,力求在使用相对轻量级模型的同时最大化性能。Hyacinth6B正是基于这一目标而开发,旨在充分利用LLM的核心能力而不产生大量资源成本,有效突破较小模型性能的边界。训练方法涉及使用LoRA方法进行参数高效微调。

英文摘要:

This research's primary motivation of this study is to address the high hardware and computational demands typically associated with LLMs.Therefore,our goal is to find a balance between model lightness and performance,striving to maximize performance while using a comparatively lightweight model. Hyacinth6B was developed with this objective in mind,aiming to fully leverage the core capabilities of LLMs without incurring substantial resource costs, effectively pushing the boundaries of smaller model's performance. The training approach involves parameter efficient finetuning using the LoRA method.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑