A regularized version of Mixture Models is proposed to learn a principal graph from a distribution of $D$-dimensional data points. In the particular case of manifold learning for ridge detection, we assume that the underlying manifold can be modeled as a graph structure acting like a topological prior for the Gaussian clusters turning the problem into a maximum a posteriori estimation. Parameters of the model are iteratively estimated through an Expectation-Maximization procedure making the learning of the structure computationally efficient with guaranteed convergence for any graph prior in a polynomial time. We also embed in the formalism a natural way to make the algorithm robust to outliers of the pattern and heteroscedasticity of the manifold sampling coherently with the graph structure. The method uses a graph prior given by the minimum spanning tree that we extend using random sub-samplings of the dataset to take into account cycles that can be observed in the spatial distribution.
Regularized linear autoencoders recover the principal components, eventually
University of Toronto(多伦多大学);Vector Institute(向量研究所)
近年来,我们对使用神经网络学习输入输出关系的理解得到了迅速提高,但对底层表示的收敛性知之甚少,即使是在线性自编码器(LAE)的简单情况下。我们表明,当使用适当的正则化进行训练时,LAEs可以直接学习最佳表示-有序,轴对齐的主成分。我们分析了两种这样的正则化方案:非均匀$\ell_2$正则化和嵌套dropout的确定性变体[Rippel et al,ICML' 2014]。虽然这两个正则化方案收敛到最佳表示,我们表明,这种收敛是缓慢的,由于病态,随着潜在的维数增加。我们表明,学习最佳表示的低效率是不可避免的-我们提出了一个简单的修改梯度下降更新,大大加快收敛经验。
The role of regularization in classification of high-dimensional noisy Gaussian mixture
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);Institut de physique théorique(理论物理研究所);Laboratoire de Physique de l’Ecole normale supérieure(巴黎高等师范学院物理实验室);ENS(巴黎高等师范学院);Université PSL(巴黎文理研究大学);Sorbonne Université(索邦大学);Université de Paris(巴黎大学);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
Institut Camille Jordan(卡米尔·若尔当研究所);École Centrale de Lyon(里昂中央理工学院);Toulouse School of Economics(图卢兹经济学院);Institut Universitaire de France(法兰西大学研究院);CNRS(法国国家科学研究中心);INSA(法国国立应用科学学院)
Mixture of Message Passing Experts with Routing Entropy Regularization for Node Classification
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络安全学院);Binjiang Cyberspace Security Institute of ZJUT(浙江工业大学滨江区网络安全研究所);Faculty of Artificial Intelligence in Education, Central China Normal University(中央财经大学教育人工智能学院)
Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);University of British Columbia(不列颠哥伦比亚大学)
尽管深度神经网络过度参数化,并且在没有显式正则化的情况下进行训练,但它的泛化能力很好。这个奇怪的现象激发了广泛的研究活动,以建立其统计原则:在什么条件下观察?这些如何依赖于数据和训练算法?什么时候正则化有利于泛化?虽然这些问题对于深度神经网络仍然是开放的,但最近的研究试图通过研究更简单的,通常是线性的模型来获得见解。我们的论文有助于这一不断增长的工作线,通过检查生成高斯混合模型下的二进制线性分类。最近的结果的启发梯度下降的隐式偏差,我们研究了最大利润SVM分类器(对应于逻辑损失)和最小范数插值分类器(对应于最小二乘损失)。首先,我们利用在[V. Muthukumar et al.,arXiv:2005.08054,(2020)]以将SVM解与最小范数内插解相关联。其次,我们推导出后者的分类误差的新的非渐近界。结合这两个,我们提出了新的充分条件的协方差谱和信号噪声比(SNR)下,插值估计实现渐近最优性能overparameterization增加。有趣的是,我们的结果扩展到一个噪声模型与恒定概率噪声翻转。与以前研究的判别数据模型相反,我们的研究结果强调了SNR的关键作用及其与数据协方差的相互作用。最后,通过结合分析参数和数值演示,我们确定的条件下,插值估计比相应的正则化估计表现更好。
AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow
Big Data Lab, Baidu Research(百度研究院大数据实验室);School of Artificial Intelligence and Automation Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
Euclidean-Norm-Induced Schatten-p Quasi-Norm Regularization for Low-Rank Tensor Completion and Tensor Robust Principal Component Analysis
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Washington(华盛顿大学);Cornell University(康奈尔大学);Hefei University of Technology(合肥工业大学);Stanford University(斯坦福大学)