Progressive Feedforward Collapse of ResNet Training
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
Neural collapse (NC) is a simple and symmetric phenomenon for deep neural networks (DNNs) at the terminal phase of training, where the last-layer features collapse to their class means and form a simplex equiangular tight frame aligning with the classifier vectors. However, the relationship of the last-layer features to the data and intermediate layers during training remains unexplored. To this end, we characterize the geometry of intermediate layers of ResNet and propose a novel conjecture, progressive feedforward collapse (PFC), claiming the degree of collapse increases during the forward propagation of DNNs. We derive a transparent model for the well-trained ResNet according to that ResNet with weight decay approximates the geodesic curve in Wasserstein space at the terminal phase. The metrics of PFC indeed monotonically decrease across depth on various datasets. We propose a new surrogate model, multilayer unconstrained feature model (MUFM), connecting intermediate layers by an optimal transport regularizer. The optimal solution of MUFM is inconsistent with NC but is more concentrated relative to the input data. Overall, this study extends NC to PFC to model the collapse phenomenon of intermediate layers and its dependence on the input data, shedding light on the theoretical understanding of ResNet in classification problems.
Stabilize Deep ResNet with A Sharp Scaling Factor $τ$
Microsoft Research Asia（微软亚洲研究院）；Sun Yat-sen University（中山大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
Progressive DNN Compression: A Key to Achieve Ultra-High Weight Pruning and Quantization Rates using ADMM
Sensetime Research（商汤科技研究院）；Tsinghua University（清华大学）；Syracuse University（雪城大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
权值修剪和权值量化是DNN模型压缩的两个重要方面。这些技术的先前工作主要基于化学。最近的一项工作使用先进的优化技术ADMM（Alternating Direction Methods of Multipliers）开发了DNN权重修剪的系统框架，实现了最先进的权重修剪结果之一。在这项工作中，我们首先扩展这样的一杆ADMM为基础的框架，以保证解决方案的可行性，并提供快速收敛速度，以及推广到权重量化。我们进一步开发了一个多步骤的渐进式DNN权重修剪和量化框架，具有双重好处：（i）由于ADMM正则化的特殊属性，实现了进一步的权重修剪/量化，以及（ii）减少了每个步骤中的搜索空间。大量的实验结果表明，与以前的工作相比，优越的性能。一些亮点：（i）我们分别在LeNet-5、AlexNet和ResNet-50模型上实现了246倍、36倍和8倍的权重修剪，（几乎）零精度损失;（ii）在AlexNet中甚至实现了显著的61倍权重修剪（ImageNet）与先前的工作相比，实际准确性仅略有下降;（iii）我们是第一批为ResNet和MobileNet模型得出显着权重修剪结果的人之一;（iv）我们为MNIST和CIFAR-10分别导出了第一个无损的、完全二进制化的（所有层）LeNet-5和VGG-16;以及（v）我们为ImageNet导出了第一个完全二进制化的（所有层）ResNet，具有合理的准确性损失…
SensLI: Sensitivity-Based Layer Insertion for Neural Networks
Interdisciplinary Center for Scientific Computing, Heidelberg University（interdisciplinary Center for Scientific Computing, 海德堡大学）；Department of Mathematics, University of Bayreuth（数学系, 巴亚鲁伊特大学）
Approximation properties of Residual Neural Networks for Kolmogorov PDEs
ETH Zurich（苏黎世联邦理工学院）
近年来，由[He，K.，张，X.，Ren，S.，和Sun，J.，Proceedings of the IEEE conference on computer vision and pattern recognition（2016），770-778]在大量应用中变得非常流行，包括图像分类和分割。它们为训练非常深的神经网络提供了一个新的视角，而不会遇到消失梯度问题。在这篇文章中，我们证明了ResNets能够近似具有常数扩散和可能的非线性漂移系数的Kolmogorov偏微分方程（PDE）的解，而不会遭受维数灾难，也就是说近似ResNets的参数数量最多以近似精度$\varepsilon > 0$和所考虑PDE $d\in\mathbb{N}$的维数的倒数多项式增长。我们在[Jentzen，A.，Salimova，D.，和Welti，T.，Commun.数学科学19，5（2021），1167-1205] -他对前馈神经网络（FNN）显示了类似的结果-ResNets。与FNN相比，ResNets的Euler-Maruyama近似结构大大简化了近似ResNets的构造。此外，与上述工作相反，在我们使用ResNets的证明中，不需要存在表示身份映射的FNN（或ResNet），这扩大了适用的激活函数集。
Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Jeddah（吉达大学）；King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）；King Saud University（沙特国王大学）
Hybrid Dual-Batch and Cyclic Progressive Learning for Efficient Distributed Training
Institute of Information Science, Academia Sinica（中国科学院信息研究所）；Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与资讯工程系）
Medical Image Classification on Imbalanced Data Using ProGAN and SMA-Optimized ResNet: Application to COVID-19
Department of Mechatronics, School of Intelligent Systems College of Interdisciplinary Science and Technology University of Tehran（塔里克大学机械工程系、智能系统学院跨学科科学与技术学院）；School of Science and Technology Faculty of Science, Agriculture, Business and Law University of New England（新英格兰大学科学与技术学院科学、农业、商业与法学院）
Site-Level Fine-Tuning with Progressive Layer Freezing: Towards Robust Prediction of Bronchopulmonary Dysplasia from Day-1 Chest Radiographs in Extremely Preterm Infants
Saarland University（萨尔兰大学）；University Hospital of Saarland（萨尔兰大学医院）；Clinical Centre Karlsruhe（卡尔斯鲁厄临床中心）；Helmholtz Institute for Pharmaceutical Research Saarland（亥姆霍兹萨尔兰药物研究所）；University Hospital of Augsburg（奥格斯堡大学医院）
Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy
Institute for Theoretical Physics and Astrophysics（理论物理与天体物理研究所）；Würzburg-Dresden Cluster of Excellence ct.qmat（维尔茨堡-德累斯顿卓越集群ct.qmat）；Julius-Maximilians-University Würzburg（维尔茨堡大学）；Institute for Theoretical Physics（理论物理研究所）；Utrecht University（乌得勒支大学）；Department of Information and Computing Sciences（信息与计算科学系）
Application of Sensitivity Analysis Methods for Studying Neural Network Models
Lomonosov MSU, Faculty of Computational Mathematics and Cybernetics（莫斯科罗蒙诺索夫莫斯科斯拉夫大学计算数学与 cybernetics 学院）；Marchuk Institute of Numerical Mathematics, RAS（马尔丘克数值数学研究所）
Sparse Binary Compression: Towards Distributed Deep Learning with minimal Communication
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
Multiscale Training of Convolutional Neural Networks
Department of Physics & Astronomy, University of British Columbia（物理与天文学系，不列颠哥伦比亚大学）；Department of Earth, Ocean and Atmospheric Sciences, University of British Columbia（地球、海洋和大气科学系，不列颠哥伦比亚大学）；Department of Applied Mathematics and Theoretical Physics, University of Cambridge（应用数学与理论物理系，剑桥大学）
Learning the Unlearned: Mitigating Feature Suppression in Contrastive Learning
Saw Swee Hock School of Public Health（苏瑞福公共卫生学院）；Institute of Data Science, NUS（新加坡国立大学数据科学研究院）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）
