Perturbation Analysis of Neural Collapse
Bar-Ilan University（巴伊兰大学）；New York University（纽约大学）
本文提出带预定义特征邻域约束的新模型，通过扰动分析研究神经坍缩，证明优化后类内变异性降低并揭示正则化超参数对坍缩接近程度的影响。
2023-05-28 cs.LG
Phase Collapse in Neural Networks
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；Collège de France（法兰西公学院）；Flatiron Institute（弗莱提荣研究所）
深度卷积分类器线性分离图像类别，并随着深度的增加提高准确性。它们逐渐减少空间维度，而通道的数量随着深度而增加。因此，空间变异性转化为沿渠道的变异性。一个根本的挑战是理解非线性和卷积滤波器在这种转换中的作用。带有偏差的ReLU通常被解释为通过稀疏性提高区分度的阈值算子。本文证明了这是一种不同的机制，称为相位崩溃，消除空间变异性，同时线性分离类。我们表明，折叠复小波系数的相位足以达到相似深度的ResNets的分类精度。然而，取代相位崩溃与阈值算子，强制稀疏性大大降低了性能。我们解释这些数值结果表明，迭代阶段崩溃逐步提高分离的类，而不是阈值非线性。
2022-03-21 cs.LG eess.SP stat.ML
Brittlebench: Quantifying LLM robustness via prompt sensitivity
FAIR at Meta（Meta FAIR）；EPFL（瑞士联邦理工学院洛桑）；Northeastern University（东北大学）
本文提出Brittlebench框架，通过提示变异量化大语言模型的鲁棒性，揭示模型在真实输入下的性能波动，强调对更鲁棒模型和评估的需求。
2026-10-23 cs.AI cs.LG
Quantifying the Scanner-Induced Domain Gap in Mitosis Detection
Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
由于现代基于深度学习的管道，组织病理学图像中有丝分裂像的自动检测已经取得了巨大的进步。然而，这些方法的应用在实践中受到实验室之间图像的强烈变化的限制。这会导致图像的域偏移，从而导致模型的性能下降。假设扫描仪设备在这种效果中起决定性作用，我们评估了标准有丝分裂检测方法对使用不同的全载玻片扫描仪引入的域移位的敏感性。我们的工作基于MICCAI-MIDOG挑战2021数据集，其中包括200例人类乳腺癌肿瘤病例和4台扫描仪。我们的工作表明，域转移诱导的生化变异性，但纯粹的选择收购设备被低估了。在同一扫描仪的图像上训练的模型产生了0.683的平均F1分数，而在单个其他扫描仪上训练的模型仅产生了0.325的平均F1分数。在另一个多域有丝分裂数据集上进行训练，平均F1得分为0.52。我们发现，这并不能反映作为代理A的距离衍生度量测量域移位。
2021-03-30 cs.CV cs.LG
Neural Collapse: A Review on Modelling Principles and Generalization
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
本文综述了深度分类网络训练终末阶段的神经坍缩现象，梳理其建模原理，并探讨该状态对模型泛化与迁移学习的影响及未来研究方向。
2023-04-11 cs.LG
DigitalExposome: Quantifying the Urban Environment Influence on Wellbeing based on Real-Time Multi-Sensor Fusion and Deep Belief Network
在本文中，我们将术语“DigitalExposome”定义为一个概念框架，它使我们更接近于使用多模型移动传感技术来理解环境，个人特征，行为和健康之间的关系。具体来说，我们同时收集了（首次）包括城市环境因素在内的多传感器数据（例如空气污染，包括：PM1、PM2.5、PM10、氧化物、还原物、NH3和噪音、附近的人数）、身体反应（生理反应包括：EDA，HR，HRV，体温，BVP和运动）和个人在城市环境中的感知反应（例如自我报告的效价）。我们的用户遵循预先指定的城市路径，并使用全面的传感边缘设备收集数据。数据在收集时立即融合，时间戳和地理标记。一系列的多元统计分析技术已被应用，包括主成分分析，回归和空间可视化，以解开变量之间的关系。结果表明，EDA和心率变异性HRV的显着影响的颗粒物（PM）在环境中的水平以及与环境变量。此外，我们采用深度信念网络从多模型数据馈送中提取特征，其性能优于卷积神经网络，并达到高达（a= 80.8%，σ=0.001）的准确性。
2021-01-29 cs.LG
Quantifying the Roles of Visual, Linguistic, and Visual-Linguistic Complexity in Verb Acquisition
Carnegie Mellon University（卡内基梅隆大学）
本研究利用大规模预训练人工神经网络的视觉和语言表征，定量分析了视觉、语言及两者交互复杂性对动词习得的影响，发现视觉变异性是驱动动词学习难度最显著的因素。
2023-04-05 cs.AI cs.CL cs.LG
Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning
Department of Computer Science \& Engineering, Texas A\&M University
方向性神经坍塌解释自监督学习中少样本迁移的机制，通过分析决策轴方差与多任务几何的关系，揭示了表示学习中的关键特性。
2026-03-03 cs.AI cs.LG
Multi-layer Perceptron Trainability Explained via Variability
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
研究针对参数量相同的多层感知机（MLP）可训练性问题，提出“变异性”概念以解释深度学习优势及极深MLP训练困难，实验证明变异性能准确预测可训练性，且绝对值激活函数优于ReLU。
2023-05-18 cs.LG
A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks
New York University（纽约大学）；Bar-Ilan University（巴伊兰大学）
本文从神经坍缩视角研究图神经网络节点分类中的特征演化，揭示图拓扑结构条件对精确坍缩的限制，并解释了GNN中观察到的部分坍缩现象。
2023-10-26 cs.AI cs.IT cs.LG
Unleashing the power of Neural Collapse for Transferability Estimation
Anhui University（安徽大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Science and Technology of China（中国科学技术大学）
该研究发现预训练模型的神经坍缩程度与微调后性能强相关，提出包含方差坍缩项和类公平性项的FaCe方法用于可迁移性估计，在多类任务上取得SOTA性能。
2023-10-09 cs.CV cs.LG
Prevalence of Neural Collapse during the terminal phase of deep learning training
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）
训练分类深度网络的现代实践涉及训练的终端阶段（TPT），该阶段开始于训练误差首次消失的时期;在TPT期间，训练误差实际上保持为零，而训练损失被推向零。针对三种原型深网架构和七个规范分类数据集的TPT直接测量暴露了一种普遍存在的归纳偏差，我们称之为神经崩溃，涉及四种深度相互关联的现象：（NC 1）最后一层训练激活的跨示例类内变异性崩溃为零，因为单个激活本身崩溃为它们的类均值;（NC 3）直到重新缩放，最后一层分类器塌缩到类均值，或者换句话说，塌缩到单纯形ETF，即，塌缩到自对偶配置;（NC 4）对于给定的激活，分类器的决策简化为简单地选择具有最接近的训练类均值的任何类，即，最接近类中心（NCC）决策规则。由TPT引起的对称和非常简单的几何结构赋予重要的益处，包括更好的泛化性能、更好的鲁棒性和更好的可解释性。
2020-08-21 cs.CV cs.LG stat.ML
Test Case Prioritization for DNNs via Neural Collapse Instability
Beijing University of Posts and Telecommunications（北京邮电大学）
研究针对深度神经网络在安全关键领域部署时，有限测试预算下模型验证成本高的问题，提出 NCIP 框架，利用跨检查点预测变异性取代绝对置信度，通过特定组件选择检查点及对测试输入排序，实验表明该框架在早期故障发现方面性能优于基线。
2026-07-23 cs.AI cs.LG cs.SE
Quantifying the Impact of Lossy Compression on Neural Generative Surrogate Modeling
LLNL-CONF-2007282
研究有损压缩训练数据对生成代理模型质量的影响，提出利用神经网络训练不确定性估计压缩容错阈值的方法，在保持模型质量的同时实现高达39倍的数据存储节省和3倍的训练加速。
2026-06-16 cs.AI cs.DC cs.LG
Self-Replicating Neural Cellular Automata: Quantifying Emergent Phenotypic and Genotypic Diversity in an OpenEnded Substrate
Østfold University of Applied Sciences（东福尔应用科学大学）；Oslo Metropolitan University（奥斯陆都会大学）
本研究通过自复制神经细胞自动机模拟开放底物，提出粗粒度多样性度量，揭示表型与基因型多样性之间的权衡，并验证系统的持续性与谱系结构。补充材料已公开。
2026-09-18 cs.LG cs.NE q-bio.PE
On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features
Microsoft Research（微软研究院）；Google Research（谷歌研究院）；University of Denver（丹佛大学）；University of Michigan（密歇根大学）
当训练深度神经网络进行分类任务时，在最后一层分类器和特征中广泛观察到一个有趣的经验现象，其中（i）类均值和最后一层分类器都塌陷到单纯形等角紧框架（ETF）的顶点，直到缩放，以及（ii）最后一层激活的跨示例类内变异性塌陷到零。这种现象被称为神经崩溃（NC），它似乎发生的损失函数的选择无关。在这项工作中，我们证明NC下的均方误差（MSE）的损失，最近的经验证据表明，它的性能比事实上的交叉熵损失，甚至更好。在一个简化的无约束特征模型，我们提供了第一个全球景观分析香草非凸MSE损失，并表明（只有！）全局极小点是神经崩溃解，而所有其他临界点都是严格鞍点，其Hessian具有负曲率方向。此外，我们通过探测NC解决方案周围的优化景观来证明重新缩放MSE损失的使用，表明可以通过调整重新缩放超参数来改善景观。最后，我们的理论研究结果进行了实验验证，在实际的网络架构。
2022-03-12 cs.AI cs.IT cs.LG
Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse
Courant Institute of Mathematical Sciences, NYU（纽约大学柯朗数学科学研究所）；Institute of Science and Technology Austria（奥地利科学技术研究所）
该研究跳出无约束特征模型框架，针对末端含至少两个线性层的宽神经网络，证明了权重衰减下梯度下降训练满足神经坍塌的通用假设，首次证实DNN端到端训练中存在神经坍塌现象。
2024-10-07 cs.LG math.OC stat.ML
