Epidemiology of Model Collapse: Modeling Synthetic Data Contamination via Bilayer SIR Dynamics
Xiangyu Wang(王翔宇)
提出双层耦合SIR/SIRS框架,将数据语料库和AI模型视为两个相互作用的群体,通过交叉层传播模拟合成数据污染导致的模型崩溃,并推导基本再生数R0,实验验证了阈值动力学和干预策略的有效性。
2026-04-14 cs.AI cs.CL cs.LG
Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Generating World
Stanford Statistics(斯坦福大学统计系)
本文通过多元高斯估计、核密度估计和语言模型微调实验,比较三种合成数据训练工作流,证明合理积累或限制数据规模可避免或减缓模型崩溃。
2025-03-17 cs.AI cs.LG
ForTIFAI: Fending Off Recursive Training Induced Failure for AI Model Collapse
University of California San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
针对生成式AI在合成数据上重复训练导致的模型崩溃问题,提出截断交叉熵(TCE)损失函数,通过在训练中忽略高置信度token来过滤机器生成伪影,显著增强了模型对合成数据的容忍度并延迟崩溃发生。
2025-11-05 cs.AI cs.LG
Model Merging and Safety Alignment: One Bad Model Spoils the Bunch
Samsung R&D Institute UK(英国三星研发研究所);KAUST(阿卜杜拉国王科技大学);University of Oxford(牛津大学)
本研究针对现有模型合并方法易传播安全对齐偏差的问题,提出融入合成安全与领域数据的两步合并法,实验证明该方法可让合并后的LLM同时具备优秀的领域能力与对齐表现。
2024-06-20 cs.AI cs.CL cs.LG
Why Overfitting Isn't Always Bad: Retrofitting Cross-Lingual Word Embeddings to Dictionaries
University of Maryland(马里兰大学);University of Colorado(科罗拉多大学);Google Research Zürich(谷歌苏黎世研究中心)
跨语言词嵌入(CLWE)通常在双语词典归纳(BLI)中进行评估。最近的CLWE方法使用线性投影,这不适合训练字典,推广BLI。然而,欠拟合可能会阻碍泛化到依赖于训练字典中的单词的其他下游任务。我们通过将CLWE改造为训练字典来解决这个限制,这使得训练翻译对在嵌入空间中更接近,并过度拟合训练字典。这个简单的后处理步骤通常可以提高两个下游任务的准确性,尽管会降低BLI测试的准确性。我们还改进了训练字典和CLWE诱导的合成字典,这有时在下游任务上更好地推广。我们的研究结果证实了在下游任务中充分利用训练字典的重要性,并解释了为什么BLI是一个有缺陷的CLWE评估。
2020-05-01 cs.CL cs.LG
Escaping Collapse: The Strength of Weak Data for Large Language Model Training
Google Research(谷歌研究)
本文研究了合成数据在大语言模型训练中的作用,提出通过动态聚焦标注资源提升模型性能,并揭示了提升方法在其中的应用与改进机会。
2025-11-29 cs.AI cs.CL cs.LG
Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence
Department of Statistics, University of Chicago(统计学系,芝加哥大学);Department of Computer Science, University of Chicago(计算机科学系,芝加哥大学);Shanghai University of Finance and Economics(上海财经大学);UChicago(芝加哥大学)
本文提出通过引入外部验证者防止模型崩溃,通过理论分析和实验验证,展示验证者引导的重新训练在短期提升模型性能,但长期趋向于验证者的知识中心。
2026-07-17 cs.LG stat.ML
Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data
Stanford University(斯坦福大学);University of Maryland(马里兰大学);Sequoia Capital(红杉资本);Constellation(康stellation)
本文通过实证和理论分析证明,与替换数据导致模型崩溃不同,将连续几代合成数据与原始真实数据一起累积训练,可使测试误差保持有限上界,从而避免模型崩溃。
2024-04-29 cs.AI cs.CL cs.ET
Ambient Diffusion Omni: Training Good Models with Bad Data
Massachusetts Institute of Technology(麻省理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究提出Ambient Diffusion Omni框架,利用自然图像谱幂律衰减和局部性特性,从低质量、合成及分布外图像中提取信号训练扩散模型,在ImageNet上取得最优FID,提升文本到图像生成的质量与多样性,并给出理论支撑。
2025-06-10 cs.AI cs.GR cs.LG
Contrastive Decoding for Synthetic Data Generation in Low-Resource Language Modeling
ETH Zürich(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学)
本文提出利用对比解码生成合成语料,与原始数据混合训练,提升低资源语言建模及下游任务性能,尤其增强推理能力。
2025-10-09 cs.AI cs.CL cs.LG
No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier
Zhejiang University(浙江大学);Westlake University(西湖大学);Xiamen University(厦门大学)
数据异构性是阻碍联邦学习(FL)性能的固有挑战。最近的研究发现,局部模型的有偏分类器是关键的瓶颈。先前的尝试在FL训练后使用分类器校准,但这种方法在改善由训练时分类器偏差引起的不良特征表示方面存在不足。要解决外语中的量词偏误问题,需要对量词背后的机制有充分的了解。最近的研究表明,在完美的训练场景下,分类器和特征原型可以折叠成一个称为单形等角紧框架(ETF)的最佳结构。基于这种神经崩溃的见解,我们提出了一个解决方案,通过利用合成和固定的ETF分类器在训练过程中的FL的分类器偏差问题。最佳的分类器结构使所有客户端能够学习统一和最佳的特征表示,即使在非常异构的数据。我们设计了几个有效的模块,以更好地适应FL的ETF结构,实现高度的通用性和个性化。大量的实验表明,我们的方法在CIFAR-10,CIFAR-100和Tiny-ImageNet上实现了最先进的性能。
2023-08-28 cs.CV cs.LG
Screening Collapse under Recursive Synthetic Data
Joint Laboratory of Data Science and Business Intelligence, Southwestern University of Finance and Economics(西南财经大学数据科学与商业智能联合实验室);Department of Statistics and Data Science, Southern University of Science and Technology(南方科技大学统计与数据科学系)
该研究针对递归合成数据训练下的变量筛选阶段,提出筛选崩溃概念,建立相关理论结果,并验证了两种缓解该问题的方法。
2026-10-14 cs.LG stat.ML
A Closer Look at Model Collapse: From a Generalization-to-Memorization Perspective
University of Michigan(密歇根大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出基于熵的数据选择策略,缓解扩散模型中从泛化到记忆的转变,防止模型崩溃。
2025-12-25 cs.LG
Machine-generated text detection prevents language model collapse
Centre for Artificial Intelligence(人工智能中心);Department of Computer Science(计算机科学系);University College London(伦敦大学学院)
本文研究解码策略对语言模型崩溃的影响,提出基于机器生成文本检测的重要性重采样方法,在 GPT-2 和 SmolLM2 系列模型上验证其既能防止模型崩溃又能提升性能。
2025-09-21 cs.CL cs.LG
Preventing Model Collapse: A Fisher-Rao Perspective on the Dynamics of Training with Synthetic Data
University of California at Los Angeles(加州大学洛杉矶分校)
本文从Fisher-Rao信息几何视角分析合成数据训练动态,推导出稳定且不随维度退化的收缩与不变性界,从而重新确定了防止模型崩溃所需的人类数据与合成数据最小比例。
2026-09-17 cs.LG cs.SY eess.SY
Simulation, Modelling and Classification of Wiki Contributors: Spotting The Good, The Bad, and The Ugly
University of Vigo(维戈大学);Universidade Portucalense(波尔图卡伦塞大学);Polytechnic Institute of Porto(波尔图理工学院);INESC TEC(INESC TEC研究院);University of Porto(波尔图大学);National College of Ireland(爱尔兰国立学院)
本文提出一种模拟、建模与分类方法,利用数据伪造平衡类别、数据流建模更新档案及自主分类,在WikiVoyage测试平台上自动识别人类与机器人及良性/恶性贡献者,分类准确率高达92%。
2024-05-29 cs.AI cs.CL cs.LG
Addressing the Intra-class Mode Collapse Problem using Adaptive Input Image Normalization in GAN-based X-ray Images
Munster Technological University(芒斯特理工大学)
由于目标疾病的罕见性,生物医学图像数据集可能不平衡。生成对抗网络通过生成合成图像来增强数据集,在解决这种不平衡方面发挥着关键作用。重要的是生成包含各种特征的合成图像,以准确地表示训练图像中存在的特征的分布。此外,合成图像中缺乏多样特征会降低机器学习分类器的性能。模式崩溃问题可能会影响生成对抗网络生成多样化图像的能力。模式崩溃有两种:类内和类间。在本文中,类内模式崩溃的问题进行了研究,其后续的影响的多样性的合成X射线图像进行评估。这项工作提供了一个经验证明的好处,集成自适应输入图像归一化的深度卷积GAN,以减轻类内模式崩溃问题。结果表明,自适应输入图像归一化的DCGAN优于DCGAN与未归一化的X射线图像的优越多样性分数明显。
2022-04-12 cs.CV cs.LG eess.IV
Do highly over-parameterized neural networks generalize since bad solutions are rare?
Technical University Berlin(柏林工业大学);University of Lübeck(吕贝克大学)
本文从理论上证明过参数化分类器中坏全局最小值比例随训练样本数指数衰减,揭示其良好泛化能力的原因,并通过合成数据、MNIST 及 Caltech101 实验验证。
2023-12-03 cs.LG
Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls
FAIR at Meta(Meta 的 FAIR)
该研究通过大规模实验系统探究合成数据在LLM预训练中的作用,明确不同类型合成数据、混合比例、模型规模等对训练效果的影响,为合成数据的合理应用提供实践指导。
2025-10-02 cs.AI cs.CL cs.LG
Adaptive Input-image Normalization for Solving the Mode Collapse Problem in GAN-based X-ray Images
Department of Computer Science, Munster Technological University, Cork, Ireland(计算机科学系,穆斯廷技术大学,科克,爱尔兰)
本文提出通过自适应输入图像归一化技术缓解GAN生成X射线图像中模式崩溃问题,提升图像多样性和分类性能。
2024-04-29 cs.CV cs.LG eess.IV
Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification
Meta FAIR;Center for Data Science, New York University(纽约大学数据科学中心);Courant Institue of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
针对合成数据训练导致的模型崩溃问题,论文提出用验证器筛选数据,并通过高斯混合理论与两项任务实验证明不完美验证器也能有效防止性能下降。
2024-10-25 cs.AI cs.LG stat.ML
Break-It-Fix-It: Unsupervised Learning for Program Repair
Stanford University(斯坦福大学)
我们考虑修复任务:给定一个批评者(例如,编译器),其评估输入的质量,目标是训练将坏示例(例如,具有语法错误的代码)转换为好的代码(例如,没有语法错误的代码)。现有的工作通过使用统计学破坏好的示例来创建由(坏的,好的)对组成的训练数据(例如,丢弃令牌)。然而,在这种合成生成的数据上训练的修复者不能很好地外推到错误输入的真实分布。为了弥合这一差距,我们提出了一种新的训练方法,打破它,修复它(BIFI),它有两个关键的想法:(i)我们使用的评论家检查一个真正的坏输入修复器的输出,并添加良好的(固定)输出的训练数据,以及(ii)我们训练断路器从好代码生成现实的坏代码。基于这些想法,我们迭代地更新断路器和固定器,同时结合使用它们来生成更多的配对数据。我们在两个代码修复数据集上评估BIFI:GitHub-Python,我们引入的一个新数据集,目标是修复带有AST解析错误的Python代码; DeepFix,目标是修复带有编译器错误的C代码。BIFI优于现有方法,在GitHub-Python上获得90.5%的修复准确率(+28.5%),在DeepFix上获得71.7%(+5.6%)。值得注意的是,BIFI不需要任何标记数据;我们希望它将成为各种修复任务的无监督学习的一个强有力的起点。
2021-06-22 cs.CL cs.LG cs.SE
The Economics of Model Collapse: Equilibrium, Welfare, and Optimal Provenance Subsidies in Synthetic Data Markets
Department of Economics(经济系);Stockholm University(斯德哥尔摩大学)
本文研究了合成数据市场中模型崩溃的微观经济学问题,提出了合成数据污染均衡理论,推导了福利分解公式,并得出了最优来源补贴和水印强度的闭式表达式,同时证明了信息约束下的实现不可能性。
2026-08-18 cs.CY cs.LG econ.GN
A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation
本文提出低秩权重空间消融下的条件坍缩单块理论,通过合成任务实验验证其预测,揭示激活修补与权重空间消融的差异及交互规律。
2026-08-10 cs.AI cs.LG
A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);University of Science and Technology of China(中国科学技术大学)
本文提出递归稳定性概念,通过理论泛化分析揭示模型架构与真实/合成数据比例对自消耗训练循环成败的影响,并扩展到Transformer上下文学习,证明恒定比例真实数据可确保收敛。
2025-02-26 cs.AI cs.LG
Learning with Synthetic Data via SGD in High-Dimensional Linear Regression
Renmin University of China(中国人民大学);The University of Hong Kong(香港大学)
本研究通过高维线性回归中的SGD分析,发现混合训练合成数据导致模型崩溃,而两阶段训练可避免此问题,并提供了风险界、缩放定律及两阶段训练优于纯真实训练的充要条件。
2026-09-10 cs.AI cs.LG stat.ML
BootOOD: Self-Supervised Out-of-Distribution Detection via Synthetic Sample Exposure under Neural Collapse
NYU Shanghai Center for Data Science(纽约市立大学上海中心数据科学研究所);Intercom;Leonard N. Stern School of Business, New York University(纽约大学莱曼·N·斯特恩商学院)
BootOOD通过自监督学习和神经崩溃特性,实现高效分布外检测,在保持ID准确性的同时超越现有方法。
2025-12-27 cs.CV cs.LG
Feature Selective Model Collapse in Diffusion Models: Total Replacement versus Fixed-Budget Training
CEREMADE CNRS(CEREMADE 法国国家科学研究中心);Université Paris Dauphine - PSL(巴黎第九大学 - PSL);Cornell University(康奈尔大学)
该研究探讨扩散模型在固定预算训练下,用合成数据替换真实数据导致模型坍缩,但保留部分特征,而完全替换则快速退化,揭示了两种协议下特征保留的差异。
2026-10-02 cs.AI cs.LG math.ST
Recursive Learning Without Collapse: A Weighting-Based Stabilization Framework
Wang Yanan Institute for Studies in Economics, Xiamen University(厦门大学王亚南经济研究所);Department of Statistics and Data Science, University of California, Los Angeles(加州大学洛杉矶分校统计与数据科学系)
针对递归生成模型训练中的模型崩溃问题,提出基于加权的训练策略,在混合真实与合成数据场景下,理论推导出最优加权方案的统一表达式,揭示合成数据利用与模型性能间的权衡。
2026-06-17 cs.LG stat.ML
From Collapse to Improvement: Statistical Perspectives on the Evolutionary Dynamics of Iterative Training on Contaminated Sources
Department of Statistics, University of Michigan, Ann Arbor(统计系,密歇根大学,安娜堡);Department of Statistical Science, Duke University(统计科学系,杜克大学)
本文从统计学角度研究了在受污染数据上迭代训练生成模型的演变动力学,发现通过适当样本量训练可避免崩溃并恢复真实分布。
2026-02-17 cs.LG math.ST stat.ML
Strong Model Collapse
FAIR, Meta(FAIR(Meta));NYU Center for Data Science(纽约大学数据科学中心);NYU Courant Institute(纽约大学柯朗数学科学研究所);UCLA(加利福尼亚大学洛杉矶分校)
该研究在缩放定律范式下证实强模型坍缩现象存在,发现极低占比的合成数据即可引发该问题,且大模型通常会放大坍缩,仅在极高插值阈值以上略有缓解,相关结论经语言模型与图像前馈网络实验验证。
2024-10-08 cs.LG stat.ML
When Models Don't Collapse: On the Consistency of Iterative MLE
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了迭代最大似然估计中模型崩溃现象,证明在合成数据逐渐增加的情况下,通过非渐近界证明模型崩溃可被避免,并指出某些假设是防止崩溃的必要条件。
2026-03-26 cs.LG stat.ML
Preventing Model Collapse Under Overparametrization: Optimal Mixing Ratios for Interpolation Learning and Ridge Regression
Harvard University(哈佛大学);University of Florida(佛罗里达大学)
研究在过度参数化下防止模型崩溃,通过插值学习和岭回归的最优混合比例分析,揭示了最优混合权重的性质及在不同设置下的学习效果。
2026-02-11 cs.LG math.ST stat.ME
When Does Model Collapse Occur in Structured Interactive Learning?
School of Operations Research and Information Engineering, Cornell University(卡内基梅隆大学运营管理与信息工程学院);Department of Statistics, Columbia University(哥伦比亚大学统计系);Department of Statistics and Data Science, University of Pennsylvania(宾夕法尼亚大学统计与数据科学系)
研究探讨了在结构互动学习环境中,生成模型性能下降(模型崩溃)的发生条件,通过分析交互图拓扑结构,推导出模型崩溃的必要和充分条件,并通过数值实验验证理论结果。
2026-05-19 cs.LG math.ST stat.TH
Quantifying Error Propagation and Model Collapse in Diffusion Models
University of Cambridge, Cambridge, United Kingdom(剑桥大学)
本文理论分析了基于分数的扩散模型中递归训练导致模型崩溃的误差传播机制,给出了生成分布与目标分布之间累积散度的上下界,并刻画了不同漂移区域。
2026-11-05 cs.LG stat.ML
Stabilizing Self-Consuming Diffusion Models with Latent Space Filtering
针对合成数据重复训练生成模型导致的自消耗循环与模型崩溃问题,提出潜在空间过滤(LSF)方法,通过过滤低质量合成数据缓解退化,无需额外成本或标注,在多数据集上优于基线。
2025-11-16 cs.LG
A Note on Shumailov et al. (2024): `AI Models Collapse When Trained on Recursively Generated Data'
本文通过 KDE 分布拟合与反复采样的理论分析,解释 Shumailov 等人所报告的递归合成数据训练导致模型崩溃现象,并指出其可能是不可避免的统计结果。
2024-10-24 cs.AI cs.LG
LLM Web Dynamics: Tracing Model Collapse in a Network of LLMs
Johns Hopkins University(约翰霍普金斯大学);University of California, Davis(加州大学戴维斯分校)
本文提出LWD框架,借助RAG数据库模拟互联网并在网络层面分析LLM输出收敛,还通过相互作用高斯混合模型类比为模型崩塌研究提供理论保证。
2025-07-24 cs.AI cs.LG cs.SI
Enhancing Synthetic Training Data for Speech Commands: From ASR-Based Filtering to Domain Adaptation in SSL Latent Space
IRIT;Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Toulouse INP(图卢兹国立综合理工学院);UT3(图卢兹第三大学)
本研究针对语音命令分类,提出基于ASR的过滤方法提升合成数据质量,并利用CycleGAN在自监督潜在空间中缩小合成与真实语音差距,实验验证了性能提升。
2024-09-19 cs.AI cs.LG cs.SD
Reviewing Model Collapse and Countermeasures
本文针对生成式AI领域中模型坍缩(MC)现象的研究空白,综述了不同应用场景下MC的进展及应对措施,指出了相关挑战与未来研究机遇。
2026-08-25 cs.AI cs.LG
Analyzing and Mitigating Model Collapse in Rectified Flow Models
The Ohio State University(俄亥俄州立大学);Microsoft(微软公司);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
针对整流流模型中Reflow方法因自生成数据训练导致的模型崩溃问题,本文通过理论分析DAEs性能退化机制,提出结合真实数据的RA Reflow方法,有效缓解崩溃并在少采样步骤下保留高质量生成。
2025-02-09 cs.CV cs.LG
The Necessity of Imperfection:Reversing Model Collapse via Simulating Cognitive Boundedness
本文提出通过模拟认知局限性生成具有真实功能增益的合成数据,以解决模型崩溃问题。
2025-12-08 cs.AI cs.CL cs.CY
Rate of Model Collapse in Recursive Training
Google Research(谷歌研究院);Indian Institute of Technology Madras(印度马德拉斯理工学院)
本文研究递归训练中模型崩溃的速率,在理论上刻画了离散分布和高斯分布等基本设置下采用最大似然估计时的崩溃速率,并通过实验验证模型遗忘需要较长时间。
2024-12-23 cs.IT cs.LG math.IT
Generating Synthetic Clinical Data that Capture Class Imbalanced Distributions with Generative Adversarial Networks: Example using Antiretroviral Therapy for HIV
the University of New South Wales(新南威尔士大学);Hospital Universitario San Cecilio(圣塞西利奥大学医院);Karolinska Institutet(卡罗林斯卡学院);Università degli Studi di Siena(锡耶纳大学);Universität zu Köln(科隆大学);Australian National University(澳大利亚国立大学)
由于临床数据的高度机密性,通常不能自由分发,这阻碍了医疗保健领域机器学习的发展。缓解这个问题的一种方法是使用生成对抗网络(GANs)生成真实的合成数据集。然而,已知GANs遭受模式坍塌,从而产生低多样性的输出。这降低了合成医疗保健数据的质量,并可能导致其忽略少数人口统计学的患者或忽视不太常见的临床实践。在本文中,我们扩展了经典的GAN设置与一个额外的变分自编码器(VAE),并包括一个外部存储器重放潜在的功能观察到的真实样本的GAN发电机。使用人类免疫缺陷病毒的抗逆转录病毒疗法(ART HIV)作为案例研究,我们表明,我们的扩展设置克服了模式坍塌,并生成一个合成数据集,准确地描述了严重不平衡的类分布中常见的现实世界的临床变量。此外,我们证明了我们的合成数据集与非常低的患者披露风险相关,并且它保留了地面真实数据集的高水平实用性,以支持下游机器学习算法的开发。
2023-01-20 cs.LG
Improving Generalization and Robustness in Offline Reinforcement Learning via Boundary-Aware Data Augmentation
Tongji University(同济大学)
针对离线强化学习在分布内泛化与鲁棒性不足的问题,提出边界感知数据增强(BADA)方法,通过相邻状态构建插值边界生成合成数据,在多个基准上取得最优性能。
2026-09-18 cs.LG
Latent Space is Feature Space: Regularization Term for GANs Training on Limited Dataset
School of Software, Northwestern Polytechnical University(西北工业大学软件学院)
生成对抗网络(GAN)是目前广泛使用的一种无监督图像生成方法。目前最先进的GANs可以生成具有高分辨率的照片级逼真图像。然而,需要大量的数据,否则模型将容易生成具有相似模式(模式坍塌)和质量差的图像。我为GANs提出了一个额外的结构和损失函数,称为LFM,经过训练可以最大化潜在空间不同维度之间的特征多样性,以避免模式坍塌而不影响图像质量。构造正交特征向量对,并对特征向量对进行点积检验,使特征向量对与生成元之间形成一种新的对抗关系。在实验中,该系统已建立在DCGAN和证明有从零开始的CelebA数据集上的Frechet初始距离(FID)训练的改进。该系统需要适度的额外性能,并且可以与数据增强方法一起工作。该代码可在github.com/penway/LFM上获得。
2022-11-15 cs.CV cs.LG
AdvNF: Reducing Mode Collapse in Conditional Normalising Flows using Adversarial Learning
Indian Institute Of Technology Kanpur(印度理工学院坎普尔分校);University of Stuttgart(斯图加特大学)
该论文针对条件归一化流中的高方差、模式崩溃和数据效率问题,提出对抗训练方法,并在低维合成数据和二维XY自旋模型上验证其有效性。
2024-04-11 cond-mat.stat-mech cs.LG physics.comp-ph
Self-Correcting Self-Consuming Loops for Generative Model Training
Brown University(布朗大学);Google DeepMind(谷歌DeepMind)
本文针对生成模型训练中合成数据引发的自消耗循环不稳定问题,提出基于专家知识的自校正函数以逼近理想校正器,并在人体运动合成任务上验证其可在合成数据占比高达100%时避免模型崩溃。
2024-06-10 cs.AI cs.CV cs.LG
"Best-of-Many-Samples" Distribution Matching
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
生成对抗网络(GANs)可以在生成建模任务中实现最先进的样本质量,但存在模式坍塌问题。另一方面,变分自编码器(VAE)明确地最大化基于重建的数据对数似然,迫使其覆盖所有模式,但遭受较差的样本质量。最近的工作提出了混合VAE-GAN框架,该框架将基于GAN的合成似然性集成到VAE目标,以解决模式坍塌和样本质量问题,但成功有限。这是因为VAE目标强制在数据对数似然性和对潜在先验的发散之间进行权衡。合成似然比项在训练过程中也表现出不稳定性。我们提出了一个新的目标与“最佳的多样本”重建成本和稳定的直接估计的合成似然。这使得我们的混合VAE-GAN框架能够同时实现高数据对数似然和低对潜在先验的发散,并且在模式覆盖和质量方面比混合VAE-GANs和普通GANs都有显着改善。
2019-09-27 cs.LG stat.ML
Universality of the $π^2/6$ Pathway in Avoiding Model Collapse
Stanford University(斯坦福大学)
本研究证明增强工作流中$\pi^2/6$的风险界在一大类标准统计模型中具有普适性,解释了丢弃工作流致模型坍缩、增强工作流避免坍缩的机制,并提出可适配多类工作流的框架以辅助性能比较。
2024-10-30 cs.AI cs.ET cs.LG
VARGAN: Variance Enforcing Network Enhanced GAN
Ryerson University(瑞尔森大学)
生成对抗网络(GANs)是最广泛使用的生成模型之一。GANs可以学习复杂的多模态分布,并生成类似真实的样本。尽管GANs在生成合成数据方面取得了重大成功,但它们可能遭受不稳定的训练过程和模式坍塌。在本文中,我们介绍了一种新的GAN架构称为方差强制GAN(VARGAN),它包含了第三个网络,在生成的样本中引入多样性。第三个网络测量生成的样本的多样性,这是用来惩罚低多样性样本的发生器的损失。该网络在可用的训练数据和具有有限模态的不期望的分布上进行训练。在一组合成和真实世界的图像数据上,VARGAN生成了一组比最近最先进的模型更多样化的样本。高多样性和低计算复杂性,以及快速收敛,使VARGAN一个有前途的模型,以减轻模式坍塌。
2021-09-05 cs.LG
When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation
University of Maryland, College Park(马里兰大学学院公园分校)
本文研究AI评审递归训练导致科学判断崩溃的问题,提出TrustReviewer系统,通过训练时精选语料和测试时激活引导缓解该问题,保持判断多样性。
2026-10-14 cs.LG
Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data
New York University Shanghai(上海纽约大学);New York University(纽约大学)
本文研究浅层ReLU网络中的神经坍缩,给出两层和三层网络发生NC的条件,并揭示泛化取决于数据信噪比而非仅取决于NC。
2024-09-06 cs.LG stat.ML
Posterior Collapse as a Phase Transition in Variational Autoencoders
Department of Complexity Science and Engineering, Graduate School of Frontier Sciences, The University of Tokyo(复杂科学与工程系,前沿科学研究生学校,东京大学);Department of Human and Engineered Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo(人类与工程环境研究系,前沿科学研究生学校,东京大学)
研究通过统计物理视角揭示变分自编码器中后验崩溃是数据结构与模型超参数共同作用的相变现象,并提出基于稳定性分析的临界准则。
2025-11-22 cs.LG