Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification
Meta FAIR；Center for Data Science, New York University（纽约大学数据科学中心）；Courant Institue of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
Yunzhen Feng, Elvis Dohmatob, Pu Yang, Francois Charton, Julia Kempe
Large Language Models (LLM) are increasingly trained on data generated by other LLM, either because generated text and images become part of the pre-training corpus, or because synthetized data is used as a replacement for expensive human-annotation. This raises concerns about \emph{model collapse}, a drop in model performance when their training sets include generated data. Considering that it is easier for both humans and machines to tell between good and bad examples than to generate high-quality samples, we investigate the use of verification on synthesized data to prevent model collapse. We provide a theoretical characterization using Gaussian mixtures, linear classifiers, and linear verifiers to derive conditions with measurable proxies to assess whether the verifier can effectively select synthesized data that leads to optimal performance. We experiment with two practical tasks -- computing matrix eigenvalues with transformers and news summarization with LLMs -- which both exhibit model collapse when trained on generated data, and show that verifiers, even imperfect ones, can indeed be harnessed to prevent model collapse and that our proposed proxy measure strongly correlates with performance.
A Tale of Tails: Model Collapse as a Change of Scaling Laws
Meta FAIR；Center for Data Science, New York University（纽约大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Courant Institute, New York University（纽约大学柯朗研究所）
Luban: Building Open-Ended Creative Agents via Autonomous Embodied Verification
University of Science and Technology of China（中国科学技术大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Cambricon Technologies（寒武纪科技）；Intelligent Software Research Center, Institute of Software, CAS（中国科学院软件研究所智能软件研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Innovation Center for Processor Technologies（上海处理器技术创新中心）
Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence
Department of Statistics, University of Chicago（统计学系，芝加哥大学）；Department of Computer Science, University of Chicago（计算机科学系，芝加哥大学）；Shanghai University of Finance and Economics（上海财经大学）；UChicago（芝加哥大学）
Contrastive Model Inversion for Data-Free Knowledge Distillation
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（浙江大学-阿里巴巴前沿技术联合研究中心）；National University of Singapore（新加坡国立大学）
Snore-GANs: Improving Automatic Snore Sound Classification with Synthesized Data
Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；audEERING GmbH（audEERING公司）
PASTA: Table-Operations Aware Fact Verification via Sentence-Table Cloze Pre-training
Renmin University of China（中国人民大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
事实验证最近吸引了大量的研究关注，例如，在新闻业、市场营销和政策制定方面，网上的错误信息和虚假信息可以动摇一个人的观点，影响一个人的行动。虽然事实核查通常是一项艰巨的任务，但在许多情况下，虚假陈述可以很容易地根据对具有可靠信息的表格的分析来揭穿。因此，基于表格的事实验证最近已经成为一个重要的和不断增长的研究领域。然而，由于缺乏可用于预训练语言模型（LM）以了解常见表操作（例如聚合列或比较元组）的数据集，因此进展有限。为了弥补这一差距，在本文中，我们介绍了PASTA，一个新的国家的最先进的框架，基于表格的事实验证通过预训练与合成的表格完形填空题。特别是，我们设计了六种类型的常见的表完形填空任务，包括过滤，聚合，最高级，比较，顺序，和唯一的，基于此，我们合成了一个大型语料库，由120万个表对从WikiTables。PASTA使用最近预训练的LM DeBERTaV 3，并在我们的语料库上进一步预训练它。我们的实验结果表明，PASTA实现了新的国家的最先进的性能基于表的事实验证基准：TabFact和SEM-TAB-FACTS。特别是，在包含多个操作的TabFact复杂集上，PASTA的表现大大优于先前的最新技术水平4.7分（85.6% vs. 80.9%），并且PASTA和人类在小型TabFact测试集上的表现之间的差距缩小到仅1.5分（90.6% vs. 92.1%）。
Performance, Efficiency and Collapse -- Advantages and Challenges in Offline Post-training of Code LLMs
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence（黑森人工智能中心）；National Research Center for Applied Cybersecurity ATHENE（国家应用网络安全研究中心 ATHENE）
