LLM 是否适合作为微调的主干网络？一项关于有监督 LLM 在中文短文本匹配上的实验研究
Are LLMs Effective Backbones for Fine-tuning? An Experimental Investigation of Supervised LLMs on Chinese Short Text Matching
AI总结：
本文通过实验研究有监督微调 LLMs 用于中文短文本匹配，系统分析了任务建模方法、提示格式和输出格式对性能的影响。
摘要：
大型语言模型（LLMs）近期的成功引起了学术界和工业界的广泛关注。此前关于 LLMs 的研究主要集中于在零样本和少样本场景下增强或利用其泛化能力。然而，针对特定自然语言理解任务，在有监督设置下有效微调 LLMs 的研究仍然有限。在本研究中，我们通过针对中文短文本匹配任务微调 LLMs 进行了实验分析。我们探究了微调 LLMs 时影响性能的多种因素，包括任务建模方法、提示格式和输出格式。
英文摘要：
The recent success of Large Language Models (LLMs) has garnered significant attention in both academia and industry. Prior research on LLMs has primarily focused on enhancing or leveraging their generalization capabilities in zero- and few-shot settings. However, there has been limited investigation into effectively fine-tuning LLMs for a specific natural language understanding task in supervised settings. In this study, we conduct an experimental analysis by fine-tuning LLMs for the task of Chinese short text matching. We explore various factors that influence performance when fine-tuning LLMs, including task modeling methods, prompt formats, and output formats.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
