数据中心的金融大语言模型
Data-Centric Financial Large Language Models
AI总结：
提出数据中心金融大语言模型，通过多任务提示微调和溯因增强推理自动生成训练数据，在金融分析任务上达到最先进性能并开源新基准。
摘要：
大型语言模型（LLMs）在自然语言任务中展现出潜力，但在直接应用于金融等复杂领域时却面临困难。LLMs难以推理并整合所有相关信息。我们提出了一种数据中心的方法，使LLMs能够更好地处理金融任务。我们的关键见解是，与其一次性将所有信息过载给LLM，不如对数据进行预处理和预理解更为有效。我们通过基于多任务提示的微调创建了一个金融大语言模型（FLLM），以实现数据预处理和预理解。然而，每个任务的标注数据都很稀缺。为了克服人工标注成本，我们采用溯因增强推理（AAR）方法，通过修改FLLM自身输出的伪标签来自动生成训练数据。实验表明，我们采用AAR的数据中心FLLM在金融分析和解释任务上显著优于为原始文本设计的基线金融LLMs，达到了最先进的性能。我们还开源了一个新的金融分析与解释基准。我们的方法为解锁LLMs在复杂现实世界领域的潜力提供了一条有前景的路径。
英文摘要：
Large language models (LLMs) show promise for natural language tasks but struggle when applied directly to complex domains like finance. LLMs have difficulty reasoning about and integrating all relevant information. We propose a data-centric approach to enable LLMs to better handle financial tasks. Our key insight is that rather than overloading the LLM with everything at once, it is more effective to preprocess and pre-understand the data. We create a financial LLM (FLLM) using multitask prompt-based finetuning to achieve data pre-processing and pre-understanding. However, labeled data is scarce for each task. To overcome manual annotation costs, we employ abductive augmentation reasoning (AAR) to automatically generate training data by modifying the pseudo labels from FLLM's own outputs. Experiments show our data-centric FLLM with AAR substantially outperforms baseline financial LLMs designed for raw text, achieving state-of-the-art on financial analysis and interpretation tasks. We also open source a new benchmark for financial analysis and interpretation. Our methodology provides a promising path to unlock LLMs' potential for complex real-world domains.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
