The committee machine: Computational to statistical gaps in learning a two-layers neural network
Institut de Physique Théorique, CNRS & CEA & Université Paris-Saclay（法国国家科学研究中心、法国原子能和替代能源委员会及巴黎萨克雷大学理论物理研究所）；Laboratoire de Physique Statistique, CNRS & Sorbonnes Universités & École Normale Supérieure, PSL University（法国国家科学研究中心、索邦大学及巴黎高等师范学院统计物理实验室）；Laboratoire de Théorie des Communications, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院通信理论实验室）；International Center for Theoretical Physics（国际理论物理中心）
Benjamin Aubin, Antoine Maillard, Jean Barbier, Florent Krzakala, Nicolas Macris, Lenka Zdeborová
备注：
18 pages + supplementary material, 3 figures. (v2: update to match the published version ; v3: clarification of the caption of Fig. 3)
Heuristic tools from statistical physics have been used in the past to locate the phase transitions and compute the optimal learning and generalization errors in the teacher-student scenario in multi-layer neural networks. In this contribution, we provide a rigorous justification of these approaches for a two-layers neural network model called the committee machine. We also introduce a version of the approximate message passing (AMP) algorithm for the committee machine that allows to perform optimal learning in polynomial time for a large set of parameters. We find that there are regimes in which a low generalization error is information-theoretically achievable while the AMP algorithm fails to deliver it, strongly suggesting that no efficient algorithm exists for those cases, and unveiling a large computational gap.
Lattice-Based Methods Surpass Sum-of-Squares in Clustering
Massachusetts Institute of Technology（麻省理工学院）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Simons Institute for the Theory of Computing, UC Berkeley（加州大学伯克利分校西蒙斯计算理论研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Flatiron Institute（熨斗研究所）
我们研究了高维异质数据分析中统计精度和计算易处理性之间的基本权衡。作为实例，我们研究了稀疏高斯混合模型、稀疏线性回归混合模型和稀疏相位恢复模型。对于这些模型，我们利用一个基于甲骨文的计算模型，建立无故障的计算可行的极大极小下界，量化的最小信号强度的存在所需的任何算法，这是计算上易于处理和统计上准确的。我们的分析表明，计算上可行的极大极小风险和经典的存在显着的差距。这些差距量化了我们在数据异质性存在的情况下为实现计算易处理性而必须付出的统计代价。我们的研究结果涵盖了检测，估计，支持恢复和聚类的问题，此外，解决了Azizyan et al.（2013，2015）; Verzelen and Arias-Castro（2017）; Cai et al.（2016）的几个问题。有趣的是，我们的研究结果揭示了异构数据分析中一个新的但反直觉的现象，即更多的数据可能会导致更低的计算复杂性。
Dublin Institute for Advanced Studies（都柏林高等研究院）；California Institute of Technology（加州理工学院）；Ulsan National Institute of Science and Technology（蔚山国家科学技术研究院）
