Meta

How Do Large Language Models Learn Concepts During Continual Pre-Training?

大型语言模型在持续预训练中如何学习概念？

Barry Menglong Yao, Sha Li, Yunzhi Yao, Minqian Liu, Zaishuo Xia, Qifan Wang, Lifu Huang

机构 * UC Davis（加州大学戴维斯分校） ； Virginia Tech（弗吉尼亚理工大学） ； UCLA（加州大学洛杉矶分校） ； Meta AI 纠错

AI总结 本研究揭示了大型语言模型在持续预训练中概念学习的动态机制，通过分析概念电路揭示了概念获取、遗忘及相互作用的规律，为设计更可解释的训练策略提供依据。

Comments 19 pages, 27 figures

SCRIBES: Web-Scale Script-Based Semi-Structured Data Extraction with Reinforcement Learning

SCRIBES：基于脚本的网页级半结构化数据强化学习提取框架

Shicheng Liu, Kai Sun, Lisheng Fu, Xilun Chen, Xinyuan Zhang, Zhaojiang Lin, Rulin Shao, Yue Liu, Anuj Kumar, Wen-tau Yih, Xin Luna Dong

机构 * Stanford University（斯坦福大学） ； Meta Reality Labs（Meta现实实验室） ； FAIR at Meta（Meta的FAIR） ； University of Washington（华盛顿大学） 纠错

AI总结 SCRIBES是一种新型强化学习框架，利用同一网站内网页布局相似性生成可复用提取脚本，在脚本质量和下游问答准确率上均优于基线，实现高效网页级半结构化数据提取。