TechGPT-2.0：一个旨在解决知识图谱构建任务的大型语言模型项目
TechGPT-2.0: A large language model project to solve the task of knowledge graph construction
AI总结：
TechGPT-2.0 是一个旨在增强大型语言模型在知识图谱构建任务（如 NER 和 RTE）能力的项目，提供了 7B 模型及 QLoRA 权重，并在华为 Ascend 服务器上全微调，扩展了医学、法律等多领域处理能力及应对幻觉和长文本的能力。
摘要：
大型语言模型在各类自然语言处理任务中展现出稳健的性能。本报告介绍了 TechGPT-2.0，该项目旨在增强大型语言模型在知识图谱构建任务中的能力，包括 NLP 应用中的命名实体识别（NER）和关系三元组提取（RTE）任务。此外，它还作为一个可供中文开源模型社区研究使用的 LLM。我们提供了两个 7B 大型语言模型权重和一个专门用于处理长文本的 QLoRA 权重。值得注意的是，TechGPT-2.0 是在华为的 Ascend 服务器上训练的。它继承了 TechGPT-1.0 的所有功能，展现出稳健的文本处理能力，特别是在医学和法律领域。此外，我们为模型引入了新功能，使其能够处理多个领域的文本，如地理区域、交通、组织、文学作品、生物学、自然科学、天体和建筑。这些增强也巩固了模型在处理幻觉、无法回答的查询和长文本方面的能力。本报告全面详细地介绍了在华为 Ascend 服务器上的全微调过程，涵盖 Ascend 服务器调试、指令微调数据处理和模型训练方面的经验。我们的代码可在 https://github.com/neukg/TechGPT-2.0 获取。
英文摘要：
Large language models have exhibited robust performance across diverse natural language processing tasks. This report introduces TechGPT-2.0, a project designed to enhance the capabilities of large language models specifically in knowledge graph construction tasks, including named entity recognition (NER) and relationship triple extraction (RTE) tasks in NLP applications. Additionally, it serves as a LLM accessible for research within the Chinese open-source model community. We offer two 7B large language model weights and a QLoRA weight specialized for processing lengthy texts.Notably, TechGPT-2.0 is trained on Huawei's Ascend server. Inheriting all functionalities from TechGPT-1.0, it exhibits robust text processing capabilities, particularly in the domains of medicine and law. Furthermore, we introduce new capabilities to the model, enabling it to process texts in various domains such as geographical areas, transportation, organizations, literary works, biology, natural sciences, astronomical objects, and architecture. These enhancements also fortified the model's adeptness in handling hallucinations, unanswerable queries, and lengthy texts. This report provides a comprehensive and detailed introduction to the full fine-tuning process on Huawei's Ascend servers, encompassing experiences in Ascend server debugging, instruction fine-tuning data processing, and model training. Our code is available at https://github.com/neukg/TechGPT-2.0
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
