超越表面学习：使用 LoRA 的持续预训练能在多大程度上增强 LLM 的领域特定洞察力学习？
Learning Beyond the Surface: How Far Can Continual Pre-Training with LoRA Enhance LLMs' Domain-Specific Insight Learning?
AI总结：
本研究探讨使用 LoRA 的持续预训练如何增强 LLM 在医学和金融领域的深层洞察学习能力，发现修改文档仅保留核心信息可显著提升模型效果。
摘要：
大型语言模型（LLMs）在各种任务中表现出色，但其从领域特定数据集中提取和内化深层洞察的能力仍有待探索。本研究调查了持续预训练如何增强 LLM 在三种不同形式（陈述性、统计性和概率性洞察）下的洞察学习能力。聚焦于医学和金融两个关键领域，我们采用 LoRA 在两个现有数据集上训练 LLM。为评估每种洞察类型，我们创建了基准来衡量持续预训练在帮助模型超越表面知识方面的效果。我们还评估了文档修改对捕捉洞察的影响。结果表明，尽管在原始文档上进行持续预训练的效果有限，但修改文档以仅保留核心信息能显著提升 LLM 的洞察学习能力。
英文摘要：
Large Language Models (LLMs) have demonstrated remarkable performance on various tasks, yet their ability to extract and internalize deeper insights from domain-specific datasets remains underexplored. In this study, we investigate how continual pre-training can enhance LLMs' capacity for insight learning across three distinct forms: declarative, statistical, and probabilistic insights. Focusing on two critical domains: medicine and finance, we employ LoRA to train LLMs on two existing datasets. To evaluate each insight type, we create benchmarks to measure how well continual pre-training helps models go beyond surface-level knowledge. We also assess the impact of document modification on capturing insights. The results show that, while continual pre-training on original documents has a marginal effect, modifying documents to retain only essential information significantly enhances the insight-learning capabilities of LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
