A Closer Look at Model Collapse: From a Generalization-to-Memorization Perspective
University of Michigan(密歇根大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出基于熵的数据选择策略,缓解扩散模型中从泛化到记忆的转变,防止模型崩溃。
2025-12-25 cs.LG
Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Generating World
Stanford Statistics(斯坦福大学统计系)
本文通过多元高斯估计、核密度估计和语言模型微调实验,比较三种合成数据训练工作流,证明合理积累或限制数据规模可避免或减缓模型崩溃。
2025-03-17 cs.AI cs.LG
No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier
Zhejiang University(浙江大学);Westlake University(西湖大学);Xiamen University(厦门大学)
数据异构性是阻碍联邦学习(FL)性能的固有挑战。最近的研究发现,局部模型的有偏分类器是关键的瓶颈。先前的尝试在FL训练后使用分类器校准,但这种方法在改善由训练时分类器偏差引起的不良特征表示方面存在不足。要解决外语中的量词偏误问题,需要对量词背后的机制有充分的了解。最近的研究表明,在完美的训练场景下,分类器和特征原型可以折叠成一个称为单形等角紧框架(ETF)的最佳结构。基于这种神经崩溃的见解,我们提出了一个解决方案,通过利用合成和固定的ETF分类器在训练过程中的FL的分类器偏差问题。最佳的分类器结构使所有客户端能够学习统一和最佳的特征表示,即使在非常异构的数据。我们设计了几个有效的模块,以更好地适应FL的ETF结构,实现高度的通用性和个性化。大量的实验表明,我们的方法在CIFAR-10,CIFAR-100和Tiny-ImageNet上实现了最先进的性能。
2023-08-28 cs.CV cs.LG
Beyond Mode Collapse: Generating Diverse Synthetic Expert Conversations via Generative Flow Networks
University of Michigan(密歇根大学)
本文提出用生成流网络生成多样化合成专家对话,解决数据模式坍缩问题,在辅导和情感支持领域优于强化学习和端到端LLM基线,提升下游任务训练信号。
2026-10-01 cs.AI cs.CL cs.LG
When Models Don't Collapse: On the Consistency of Iterative MLE
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了迭代最大似然估计中模型崩溃现象,证明在合成数据逐渐增加的情况下,通过非渐近界证明模型崩溃可被避免,并指出某些假设是防止崩溃的必要条件。
2026-03-26 cs.LG stat.ML
How to Synthesize Text Data without Model Collapse?
LUMIA Lab, Shanghai Jiao Tong University(上海交通大学 LUMIA 实验室);State Key Laboratory of General Artificial Intelligence, BIGAI(北京通用人工智能研究院 通用人工智能全国重点实验室)
针对合成数据导致的模型崩溃问题,本文揭示了合成数据比例与性能的负相关及分布偏移现象,提出通过token编辑构建半合成数据,理论上证明其能控制测试误差上界,并在多种训练场景下验证了有效性。
2025-05-28 cs.AI cs.CL cs.LG
ForTIFAI: Fending Off Recursive Training Induced Failure for AI Model Collapse
University of California San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
针对生成式AI在合成数据上重复训练导致的模型崩溃问题,提出截断交叉熵(TCE)损失函数,通过在训练中忽略高置信度token来过滤机器生成伪影,显著增强了模型对合成数据的容忍度并延迟崩溃发生。
2025-11-05 cs.AI cs.LG
Preventing Model Collapse: A Fisher-Rao Perspective on the Dynamics of Training with Synthetic Data
University of California at Los Angeles(加州大学洛杉矶分校)
本文从Fisher-Rao信息几何视角分析合成数据训练动态,推导出稳定且不随维度退化的收缩与不变性界,从而重新确定了防止模型崩溃所需的人类数据与合成数据最小比例。
2026-09-17 cs.LG cs.SY eess.SY
Quantifying Error Propagation and Model Collapse in Diffusion Models
University of Cambridge, Cambridge, United Kingdom(剑桥大学)
本文理论分析了基于分数的扩散模型中递归训练导致模型崩溃的误差传播机制,给出了生成分布与目标分布之间累积散度的上下界,并刻画了不同漂移区域。
2026-11-05 cs.LG stat.ML
Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data
Stanford University(斯坦福大学);University of Maryland(马里兰大学);Sequoia Capital(红杉资本);Constellation(康stellation)
本文通过实证和理论分析证明,与替换数据导致模型崩溃不同,将连续几代合成数据与原始真实数据一起累积训练,可使测试误差保持有限上界,从而避免模型崩溃。
2024-04-29 cs.AI cs.CL cs.ET
Addressing the Intra-class Mode Collapse Problem using Adaptive Input Image Normalization in GAN-based X-ray Images
Munster Technological University(芒斯特理工大学)
由于目标疾病的罕见性,生物医学图像数据集可能不平衡。生成对抗网络通过生成合成图像来增强数据集,在解决这种不平衡方面发挥着关键作用。重要的是生成包含各种特征的合成图像,以准确地表示训练图像中存在的特征的分布。此外,合成图像中缺乏多样特征会降低机器学习分类器的性能。模式崩溃问题可能会影响生成对抗网络生成多样化图像的能力。模式崩溃有两种:类内和类间。在本文中,类内模式崩溃的问题进行了研究,其后续的影响的多样性的合成X射线图像进行评估。这项工作提供了一个经验证明的好处,集成自适应输入图像归一化的深度卷积GAN,以减轻类内模式崩溃问题。结果表明,自适应输入图像归一化的DCGAN优于DCGAN与未归一化的X射线图像的优越多样性分数明显。
2022-04-12 cs.CV cs.LG eess.IV
Adaptive Input-image Normalization for Solving the Mode Collapse Problem in GAN-based X-ray Images
Department of Computer Science, Munster Technological University, Cork, Ireland(计算机科学系,穆斯廷技术大学,科克,爱尔兰)
本文提出通过自适应输入图像归一化技术缓解GAN生成X射线图像中模式崩溃问题,提升图像多样性和分类性能。
2024-04-29 cs.CV cs.LG eess.IV
Learning with Synthetic Data via SGD in High-Dimensional Linear Regression
Renmin University of China(中国人民大学);The University of Hong Kong(香港大学)
本研究通过高维线性回归中的SGD分析,发现混合训练合成数据导致模型崩溃,而两阶段训练可避免此问题,并提供了风险界、缩放定律及两阶段训练优于纯真实训练的充要条件。
2026-09-10 cs.AI cs.LG stat.ML
Epidemiology of Model Collapse: Modeling Synthetic Data Contamination via Bilayer SIR Dynamics
Xiangyu Wang(王翔宇)
提出双层耦合SIR/SIRS框架,将数据语料库和AI模型视为两个相互作用的群体,通过交叉层传播模拟合成数据污染导致的模型崩溃,并推导基本再生数R0,实验验证了阈值动力学和干预策略的有效性。
2026-04-14 cs.AI cs.CL cs.LG
The Economics of Model Collapse: Equilibrium, Welfare, and Optimal Provenance Subsidies in Synthetic Data Markets
Department of Economics(经济系);Stockholm University(斯德哥尔摩大学)
本文研究了合成数据市场中模型崩溃的微观经济学问题,提出了合成数据污染均衡理论,推导了福利分解公式,并得出了最优来源补贴和水印强度的闭式表达式,同时证明了信息约束下的实现不可能性。
2026-08-18 cs.CY cs.LG econ.GN
From Collapse to Improvement: Statistical Perspectives on the Evolutionary Dynamics of Iterative Training on Contaminated Sources
Department of Statistics, University of Michigan, Ann Arbor(统计系,密歇根大学,安娜堡);Department of Statistical Science, Duke University(统计科学系,杜克大学)
本文从统计学角度研究了在受污染数据上迭代训练生成模型的演变动力学,发现通过适当样本量训练可避免崩溃并恢复真实分布。
2026-02-17 cs.LG math.ST stat.ML
BootOOD: Self-Supervised Out-of-Distribution Detection via Synthetic Sample Exposure under Neural Collapse
NYU Shanghai Center for Data Science(纽约市立大学上海中心数据科学研究所);Intercom;Leonard N. Stern School of Business, New York University(纽约大学莱曼·N·斯特恩商学院)
BootOOD通过自监督学习和神经崩溃特性,实现高效分布外检测,在保持ID准确性的同时超越现有方法。
2025-12-27 cs.CV cs.LG
Machine-generated text detection prevents language model collapse
Centre for Artificial Intelligence(人工智能中心);Department of Computer Science(计算机科学系);University College London(伦敦大学学院)
本文研究解码策略对语言模型崩溃的影响,提出基于机器生成文本检测的重要性重采样方法,在 GPT-2 和 SmolLM2 系列模型上验证其既能防止模型崩溃又能提升性能。
2025-09-21 cs.CL cs.LG
Preventing Model Collapse Under Overparametrization: Optimal Mixing Ratios for Interpolation Learning and Ridge Regression
Harvard University(哈佛大学);University of Florida(佛罗里达大学)
研究在过度参数化下防止模型崩溃,通过插值学习和岭回归的最优混合比例分析,揭示了最优混合权重的性质及在不同设置下的学习效果。
2026-02-11 cs.LG math.ST stat.ME
Posterior Collapse and Latent Variable Non-identifiability
University of Michigan(密歇根大学);Columbia University(哥伦比亚大学)
变分自动编码器通过设定低维潜在变量来对高维数据进行建模,这些潜在变量通过由神经网络参数化的灵活分布进行映射。不幸的是,变分自编码器经常遭受后验崩溃:潜变量的后验等于其先验,使得变分自编码器作为产生有意义的表示的手段是无用的。现有的后验崩溃的方法往往归因于神经网络的使用或由于变分逼近的优化问题。在本文中,我们认为后验崩溃作为一个问题的潜在变量的不可识别性。我们证明了后验崩溃当且仅当潜变量是不可识别的生成模型。这一事实意味着后验崩溃并不是使用灵活分布或近似推理所特有的现象。相反,它可以发生在经典的概率模型,甚至与精确的推断,我们也证明了。基于这些结果,我们提出了一类潜在的可识别的变分自编码器,深度生成模型,在不牺牲灵活性的情况下加强可识别性。该模型类通过利用双射Brenier映射并使用输入凸神经网络对其进行参数化来解决潜在变量不可识别的问题,而无需特殊的变分推断目标或优化技巧。在合成和真实数据集上,潜在可识别的变分自编码器在减轻后验崩溃和提供有意义的数据表示方面优于现有方法。
2023-01-02 cs.LG stat.ML
Escaping Collapse: The Strength of Weak Data for Large Language Model Training
Google Research(谷歌研究)
本文研究了合成数据在大语言模型训练中的作用,提出通过动态聚焦标注资源提升模型性能,并揭示了提升方法在其中的应用与改进机会。
2025-11-29 cs.AI cs.CL cs.LG
Rate of Model Collapse in Recursive Training
Google Research(谷歌研究院);Indian Institute of Technology Madras(印度马德拉斯理工学院)
本文研究递归训练中模型崩溃的速率,在理论上刻画了离散分布和高斯分布等基本设置下采用最大似然估计时的崩溃速率,并通过实验验证模型遗忘需要较长时间。
2024-12-23 cs.IT cs.LG math.IT
Stabilizing Self-Consuming Diffusion Models with Latent Space Filtering
针对合成数据重复训练生成模型导致的自消耗循环与模型崩溃问题,提出潜在空间过滤(LSF)方法,通过过滤低质量合成数据缓解退化,无需额外成本或标注,在多数据集上优于基线。
2025-11-16 cs.LG
Imbalance Trouble: Revisiting Neural-Collapse Geometry
University of British Columbia(不列颠哥伦比亚大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
神经崩溃是指在训练超过零训练误差时,由深度网络发现的表征类嵌入和分类器权重几何结构的显着结构特性。然而,这种特征仅适用于平衡数据。因此,在这里我们要问,它是否能对阶级不平衡保持不变。为此,我们采用无约束特征模型(UFM),最近的理论模型研究神经崩溃,并引入单纯形编码标签插值(SELI)作为不变的表征神经崩溃现象。具体来说,我们证明了UFM与交叉熵损失和消失的正则化,无论类的不平衡,嵌入和分类器总是插入一个单纯形编码的标签矩阵和它们各自的几何形状是由这个相同的标签矩阵的SVD因子。然后,我们提出了广泛的实验合成和真实的数据集,确认收敛到SELI几何。然而,我们警告说,趋同与日益严重的不平衡相伴随。我们从理论上支持这一发现表明,不像平衡的情况下,当少数民族存在,脊正则化在调整的几何形状中起着至关重要的作用。这定义了新的问题,并激发进一步调查的影响类的不平衡率,一阶方法收敛到他们的渐近首选的解决方案。
2022-08-10 cs.LG stat.ML
Feature Selective Model Collapse in Diffusion Models: Total Replacement versus Fixed-Budget Training
CEREMADE CNRS(CEREMADE 法国国家科学研究中心);Université Paris Dauphine - PSL(巴黎第九大学 - PSL);Cornell University(康奈尔大学)
该研究探讨扩散模型在固定预算训练下,用合成数据替换真实数据导致模型坍缩,但保留部分特征,而完全替换则快速退化,揭示了两种协议下特征保留的差异。
2026-10-02 cs.AI cs.LG math.ST
When Does Model Collapse Occur in Structured Interactive Learning?
School of Operations Research and Information Engineering, Cornell University(卡内基梅隆大学运营管理与信息工程学院);Department of Statistics, Columbia University(哥伦比亚大学统计系);Department of Statistics and Data Science, University of Pennsylvania(宾夕法尼亚大学统计与数据科学系)
研究探讨了在结构互动学习环境中,生成模型性能下降(模型崩溃)的发生条件,通过分析交互图拓扑结构,推导出模型崩溃的必要和充分条件,并通过数值实验验证理论结果。
2026-05-19 cs.LG math.ST stat.TH
A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation
本文提出低秩权重空间消融下的条件坍缩单块理论,通过合成任务实验验证其预测,揭示激活修补与权重空间消融的差异及交互规律。
2026-08-10 cs.AI cs.LG
A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);University of Science and Technology of China(中国科学技术大学)
本文提出递归稳定性概念,通过理论泛化分析揭示模型架构与真实/合成数据比例对自消耗训练循环成败的影响,并扩展到Transformer上下文学习,证明恒定比例真实数据可确保收敛。
2025-02-26 cs.AI cs.LG
A Probabilistic Perspective on Model Collapse
Department of Statistics and Data Science University of California, Los Angeles(统计与数据科学系,加州大学洛杉矶分校)
本文从概率视角研究模型崩溃,将递归训练视为随机游走,证明逐步增大样本量可防止崩溃,并分析合成数据训练的优势概率,通过模拟和真实数据验证。
2025-05-21 cs.LG stat.ML
Generating Synthetic Clinical Data that Capture Class Imbalanced Distributions with Generative Adversarial Networks: Example using Antiretroviral Therapy for HIV
the University of New South Wales(新南威尔士大学);Hospital Universitario San Cecilio(圣塞西利奥大学医院);Karolinska Institutet(卡罗林斯卡学院);Università degli Studi di Siena(锡耶纳大学);Universität zu Köln(科隆大学);Australian National University(澳大利亚国立大学)
由于临床数据的高度机密性,通常不能自由分发,这阻碍了医疗保健领域机器学习的发展。缓解这个问题的一种方法是使用生成对抗网络(GANs)生成真实的合成数据集。然而,已知GANs遭受模式坍塌,从而产生低多样性的输出。这降低了合成医疗保健数据的质量,并可能导致其忽略少数人口统计学的患者或忽视不太常见的临床实践。在本文中,我们扩展了经典的GAN设置与一个额外的变分自编码器(VAE),并包括一个外部存储器重放潜在的功能观察到的真实样本的GAN发电机。使用人类免疫缺陷病毒的抗逆转录病毒疗法(ART HIV)作为案例研究,我们表明,我们的扩展设置克服了模式坍塌,并生成一个合成数据集,准确地描述了严重不平衡的类分布中常见的现实世界的临床变量。此外,我们证明了我们的合成数据集与非常低的患者披露风险相关,并且它保留了地面真实数据集的高水平实用性,以支持下游机器学习算法的开发。
2023-01-20 cs.LG
Stochastic Collapsed Variational Inference for Structured Gaussian Process Regression Network
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Cruz(加州大学圣克鲁兹分校);UC Berkeley(加州大学伯克利分校)
本文提出了一个有效的变分推理框架,推导出一个家庭的结构化高斯过程回归网络(SGPRN)模型。其关键思想是在隐函数中引入辅助诱导变量,并将诱导变量和超参数的分布共同视为变分参数。然后,我们提出了结构化变量分布和边际化潜变量,这使得一个易于处理的变分下界的可分解性,并导致随机优化。我们的推理方法是能够建模的输出不共享一个共同的输入集的计算复杂性的输入和输出的大小无关的数据,从而很容易地处理数据集缺失值。我们说明了我们的方法在合成数据和真实数据集上的性能,并表明我们的模型在缺失数据上通常提供比最先进的更好的插补结果。我们还提供了一种可视化方法,用于在心电图数据中跨输出的时变相关性,这些估计值为理解神经种群动态提供了见解。
2021-11-17 cs.LG stat.ML
Analyzing and Mitigating Model Collapse in Rectified Flow Models
The Ohio State University(俄亥俄州立大学);Microsoft(微软公司);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
针对整流流模型中Reflow方法因自生成数据训练导致的模型崩溃问题,本文通过理论分析DAEs性能退化机制,提出结合真实数据的RA Reflow方法,有效缓解崩溃并在少采样步骤下保留高质量生成。
2025-02-09 cs.CV cs.LG
GDPP: Learning Diverse Generations Using Determinantal Point Process
University of Central Florida(中佛罗里达大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
生成模型已被证明是表示高维概率分布和生成逼真图像的杰出工具。生成模型的一个基本特征是它们能够产生多模态输出。然而,在训练时,它们通常容易受到模式坍塌的影响,即模型在将输入噪声映射到真实数据分布的仅几个模式方面受到限制。在这项工作中,我们从行列式点过程(DPP)的启发,提出了一个无监督的惩罚损失,消除模式坍塌,同时产生更高质量的样本。DPP是一种优雅的概率度量,用于对子集内的负相关进行建模,从而量化其多样性。我们使用DPP核来模拟真实数据以及合成数据中的多样性。然后,我们设计了一个客观的术语,鼓励发电机合成数据与真实数据类似的多样性。与以前倾向于使用额外的可训练参数或复杂的训练范式的最先进的生成模型相比,我们的方法不会改变原始的训练方案。嵌入在对抗训练和变分自编码器中,我们的生成DPP方法在各种合成数据和自然图像数据集(包括MNIST,CIFAR10和CelebA)上显示出对模式崩溃的一致抵抗力,同时在数据效率,生成质量和收敛时间方面优于最先进的方法,同时比最接近的竞争对手快5.8倍。
2019-11-25 cs.LG stat.ML
Geometric Analysis of Neural Regression Collapse via Intrinsic Dimension
New York University Abu Dhabi(纽约大学阿布扎比分校);SFSC of AI and DL, NYU Shanghai(纽约大学上海人工智能与深度学习学院);New York University(纽约大学)
研究通过内在维度分析揭示神经回归崩溃的几何机制,发现过度压缩导致泛化能力下降,提出扩展或减少特征维度的策略以提升性能。
2026-05-08 cs.LG
LLM Web Dynamics: Tracing Model Collapse in a Network of LLMs
Johns Hopkins University(约翰霍普金斯大学);University of California, Davis(加州大学戴维斯分校)
本文提出LWD框架,借助RAG数据库模拟互联网并在网络层面分析LLM输出收敛,还通过相互作用高斯混合模型类比为模型崩塌研究提供理论保证。
2025-07-24 cs.AI cs.LG cs.SI
Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls
FAIR at Meta(Meta 的 FAIR)
该研究通过大规模实验系统探究合成数据在LLM预训练中的作用,明确不同类型合成数据、混合比例、模型规模等对训练效果的影响,为合成数据的合理应用提供实践指导。
2025-10-02 cs.AI cs.CL cs.LG
Self-Correcting Self-Consuming Loops for Generative Model Training
Brown University(布朗大学);Google DeepMind(谷歌DeepMind)
本文针对生成模型训练中合成数据引发的自消耗循环不稳定问题,提出基于专家知识的自校正函数以逼近理想校正器,并在人体运动合成任务上验证其可在合成数据占比高达100%时避免模型崩溃。
2024-06-10 cs.AI cs.CV cs.LG
VARGAN: Variance Enforcing Network Enhanced GAN
Ryerson University(瑞尔森大学)
生成对抗网络(GANs)是最广泛使用的生成模型之一。GANs可以学习复杂的多模态分布,并生成类似真实的样本。尽管GANs在生成合成数据方面取得了重大成功,但它们可能遭受不稳定的训练过程和模式坍塌。在本文中,我们介绍了一种新的GAN架构称为方差强制GAN(VARGAN),它包含了第三个网络,在生成的样本中引入多样性。第三个网络测量生成的样本的多样性,这是用来惩罚低多样性样本的发生器的损失。该网络在可用的训练数据和具有有限模态的不期望的分布上进行训练。在一组合成和真实世界的图像数据上,VARGAN生成了一组比最近最先进的模型更多样化的样本。高多样性和低计算复杂性,以及快速收敛,使VARGAN一个有前途的模型,以减轻模式坍塌。
2021-09-05 cs.LG
When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation
University of Maryland, College Park(马里兰大学学院公园分校)
本文研究AI评审递归训练导致科学判断崩溃的问题,提出TrustReviewer系统,通过训练时精选语料和测试时激活引导缓解该问题,保持判断多样性。
2026-10-14 cs.LG
Posterior Collapse as a Phase Transition in Variational Autoencoders
Department of Complexity Science and Engineering, Graduate School of Frontier Sciences, The University of Tokyo(复杂科学与工程系,前沿科学研究生学校,东京大学);Department of Human and Engineered Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo(人类与工程环境研究系,前沿科学研究生学校,东京大学)
研究通过统计物理视角揭示变分自编码器中后验崩溃是数据结构与模型超参数共同作用的相变现象,并提出基于稳定性分析的临界准则。
2025-11-22 cs.LG
Strong statistical parity through fair synthetic data
MOSTLY AI
本文研究构建具备设计即公平特性的合成数据,通过均衡敏感属性间的目标概率分布,使下游模型实现强统计 parity 公平预测,且公平调整可灵活集成或后处理,无需重训练生成器即可微调准确率与公平性的权衡。
2023-11-06 cs.CY cs.LG stat.ML
Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP)
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Wisconsin Institute of Discovery(威斯康星发现研究院)
针对对比学习中的神经坍缩问题,该研究分析大学习率对余弦对比损失的影响并推导缓解界,提出聚焦子空间分离的半监督损失CLOP,实验证明其可提升性能与稳定性。
2024-10-07 cs.AI cs.LG
Universality of the $π^2/6$ Pathway in Avoiding Model Collapse
Stanford University(斯坦福大学)
本研究证明增强工作流中$\pi^2/6$的风险界在一大类标准统计模型中具有普适性,解释了丢弃工作流致模型坍缩、增强工作流避免坍缩的机制,并提出可适配多类工作流的框架以辅助性能比较。
2024-10-30 cs.AI cs.ET cs.LG
Learning from Synthetic Data: Limitations of ERM
Google Research(谷歌研究)
本文研究了在合成数据混合情况下经验风险最小化方法的局限性,发现其在估计均值和PAC学习中存在不足,但存在更优算法能有效学习正确假设。
2026-02-02 cs.DS cs.LG stat.ML
A Note on Shumailov et al. (2024): `AI Models Collapse When Trained on Recursively Generated Data'
本文通过 KDE 分布拟合与反复采样的理论分析,解释 Shumailov 等人所报告的递归合成数据训练导致模型崩溃现象,并指出其可能是不可避免的统计结果。
2024-10-24 cs.AI cs.LG
SIGMA: Scalable Spectral Insights for LLM Model Collapse
Department of Statistics, University of California, Davis(加州大学戴维斯分校统计学系);Department of Mathematics, Northwestern University(西北大学数学系);Boston University(波士顿大学);Department of Applied Mathematics and Statistics, Johns Hopkins University(约翰霍普金斯大学应用数学与统计学系)
本文提出SIGMA框架,通过频谱分析嵌入Gram矩阵来检测LLM模型崩溃,提供数学基础的度量方法,并实现大规模模型的可扩展监测。
2026-03-23 cs.LG math.PR
PLDiv: Measuring Dataset Diversity and Semantic Collapse via Persistence Landscapes
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学);School of Mathematical and Natural Sciences(数学与自然科学学院)
本文提出PLDiv,一种基于持续态景观的多样性度量,无需特定任务监督即可量化数据集结构组织,在测量文本生成等的内在多样性、检测语义崩溃时表现优于基线,可支持合成数据监控等应用。
2026-10-14 cs.AI cs.CV cs.LG
IID-GAN: an IID Sampling Perspective for Regularizing Mode Collapse
Shanghai Jiao Tong University(上海交通大学)
本文提出IID-GAN,从独立同分布采样视角分析模式坍缩,通过新损失函数鼓励逆样本与高斯源接近,以正则化生成过程,实验验证其有效性。
2023-06-20 cs.LG
Grassmannian Geometry Meets Dynamic Mode Decomposition in DMD-GEN: A New Metric for Mode Collapse in Time Series Generative Models
LIX, École Polytechnique(巴黎综合理工学院 LIX 实验室);Institute Polytechnique de Paris(巴黎理工学院);NYU Tandon School of Engineering(纽约大学坦登工程学院)
针对时间序列生成模型模式崩溃问题,提出基于动态模式分解和最优传输的度量DMD-GEN,首次定义时间序列模式崩溃,可量化并解释崩溃模式,在合成与真实数据上验证有效。
2024-12-15 cs.LG
Are Neurons Actually Collapsed? On the Fine-Grained Structure in Neural Representations
University of Michigan(密歇根大学);UC Berkeley(加州大学伯克利分校)
本文发现神经表示表观坍缩下仍保留能捕捉输入分布内在结构的细粒度信息,仅用5个粗标签训练CIFAR-10即可无监督重构10类标签达93%准确率,超越Neural Collapse预测。
2023-06-29 cs.LG
Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse
School of Computer Science, Fudan University, China(复旦大学计算机学院)
本文针对偏置数据上的捷径学习问题,提出基于神经坍缩结构的避免捷径学习框架,在不增加训练复杂度的情况下提升模型泛化性能,并在合成与真实偏置数据集上取得最先进结果。
2025-09-19 cs.CV cs.LG
Guiding Neural Collapse: Optimising Towards the Nearest Simplex Equiangular Tight Frame
Australian National University(澳大利亚国立大学);Amazon(亚马逊)
本文利用神经坍缩的最优单纯形等角紧框架结构,通过黎曼优化在每次迭代中隐式设置分类器权重为最近ETF,加速收敛并提升训练稳定性。
2024-11-02 cs.LG
Reviewing Model Collapse and Countermeasures
本文针对生成式AI领域中模型坍缩(MC)现象的研究空白,综述了不同应用场景下MC的进展及应对措施,指出了相关挑战与未来研究机遇。
2026-08-25 cs.AI cs.LG
Representation Collapsing Problems in Vector Quantization
College of Design and Engineering(设计与工程学院);National University of Singapore(新加坡国立大学);Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
针对生成模型中向量量化表示坍缩问题(码本token或潜在嵌入因收敛到有限值子集失去判别能力),本研究通过合成与真实数据集明确坍缩类型、严重程度及触发条件(受限初始化、有限编码器容量),并提出潜在解决方案,是首个全面研究该问题的工作。
2024-11-25 cs.AI cs.LG