发表机构
Ant Group; School of Information Science and Engineering, East China University of Science and Technology（蚂蚁集团; 华东理工大学信息科学与工程学院）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
针对大语言模型特定任务能力提升中数据标注成本高及缺乏优化方法的问题，提出PlanE框架，含数据分解等，引入DTI规划器，实验验证了该框架及规划器在不同场景下的有效性和通用性。
AI 中文摘要
增强大语言模型（LLMs）的特定任务能力主要需要大量的指令调优数据集。然而，此类数据量巨大带来了可观的标注成本，且缺乏针对特定任务定制LLMs的优化方法。为解决上述问题，我们提出了一个名为PlanE的用于构建基于抽取式LLMs的规划框架，它包括数据分解、指令调优和提示推理。此外，我们引入了一个数据 - 调优 - 推理（DTI）规划器，旨在为特定数据集选择最优的基础LLM及其DTI组合以提高构建效率。实验结果从两个角度证明了我们的PlanE的有效性：（1）使用相同基础LLM跨不同数据集，（2）在相同数据集上使用不同基础LLMs。此外，我们在不同优化目标下验证了所提出的DTI规划器的通用性。代码可在这个https URL上公开获取。
英文摘要
Enhancing the task-specific capabilities of Large Language Models (LLMs) primarily requires substantial instruction-tuning datasets. However, the sheer volume of such data imposes a considerable annotation cost, and a lack of optimization methods for tailoring LLMs to specific tasks. To address the above issues, we propose a \textbf{Plan}ning framework for constructing \textbf{E}xtractive-based LLMs called \textbf{PlanE}, which includes data decomposition, instruction tuning, and prompt inference. Additionally, we introduce a Data-Tuning-Inference (DTI) planner, aimed at selecting the optimal base-LLM and its DTI combinations for specific datasets to improve construction efficiency. The experimental results demonstrate the effectiveness of our PlanE from two views: (1) across different datasets using the same base-LLM, and (2) on the same dataset using different base-LLMs. Furthermore, we validate the generalizability of the proposed DTI planner under different optimization objectives. The codes are publicly available at https://github.com/gugugu-469/PlanE.
