在学习理论中，一个标准假设是数据由有限混合模型生成。但是，当成分数量事先未知时会发生什么？估计成分数量的问题也称为模型选择，其本身非常重要，但基本上不存在已知的、具有可证明保证的高效算法，更不用说能够容忍对抗性损坏的算法了。在本工作中，我们研究单变量高斯混合模型（GMM）的稳健模型选择问题。给定来自某个分布的 poly(k/ε) 个样本，而该分布在 TV 距离上与具有 k 个成分的 GMM 相距 ε，我们能够在 poly(k/ε) 时间内构造一个具有 \widetilde{O}(k) 个成分的 GMM，并以 \widetilde{O}(ε) 的误差逼近该分布。因此，我们能够在对数因子以内近似确定拟合该分布所需的最少成分数量。在我们的工作之前，用于学习任意单变量 GMM 的唯一已知算法，要么输出远多于 k 个成分（例如，核密度估计输出 k/ε^2 个成分），要么运行时间关于 k 呈指数增长。此外，通过调整我们的技术，我们在重建 Fourier-sparse 信号方面获得了类似结果。
英文摘要：
In learning theory, a standard assumption is that the data is generated from a finite mixture model. But what happens when the number of components is not known in advance? The problem of estimating the number of components, also called model selection, is important in its own right but there are essentially no known efficient algorithms with provable guarantees let alone ones that can tolerate adversarial corruptions. In this work, we study the problem of robust model selection for univariate Gaussian mixture models (GMMs). Given $\textsf{poly}(k/ε)$ samples from a distribution that is $ε$-close in TV distance to a GMM with $k$ components, we can construct a GMM with $\widetilde{O}(k)$ components that approximates the distribution to within $\widetilde{O}(ε)$ in $\textsf{poly}(k/ε)$ time. Thus we are able to approximately determine the minimum number of components needed to fit the distribution within a logarithmic factor. Prior to our work, the only known algorithms for learning arbitrary univariate GMMs either output significantly more than $k$ components (e.g. $k/ε^2$ components for kernel density estimates) or run in time exponential in $k$. Moreover, by adapting our techniques we obtain similar results for reconstructing Fourier-sparse signals.
Gromov-Wasserstein-like Distances in the Gaussian Mixture Models Space
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；CNRS（法国国家科学研究中心）；Centre Borelli（博雷利中心）；Université de Paris（巴黎大学）；MAP5（数学及其应用实验室）；Institut Universitaire de France（法国大学研究院）
Gaussian Mixture Model with unknown diagonal covariances via continuous sparse regularization
Centrale Lyon, CNRS UMR 5208, Institut Camille Jordan（里昂中央理工学院，法国国家科学研究中心联合研究实验室5208，卡米尔·乔丹研究所）；Institut Universitaire de France (IUF)（法兰西学院）；Univ. Claude Bernard, CNRS UMR 5208, Institut Camille Jordan（克洛德·贝尔纳大学，法国国家科学研究中心联合研究实验室5208，卡米尔·乔丹研究所）
The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks
Mathematics Institute, EPFL（EPFL数学研究所）；Department of Electrical Engineering and Computer Science, MIT（MIT电气工程与计算机科学系）；Department of Statistics, Stanford University（斯坦福大学统计系）
On Learning Parallel Pancakes with Mostly Uniform Weights
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）；University of California, Davis（加利福尼亚大学戴维斯分校）
Posterior Concentration Properties of a General Class of Shrinkage Priors around Nearly Black Vectors
假设我们有一个根据多元正态分布生成的数据，其中有一个固定的未知均值向量，该向量在几乎为黑色的意义上是稀疏的。最优性的贝叶斯估计和后验浓度性质的极小极大风险的$l_2$规范对应于一个非常普遍的类连续收缩先验研究在这项工作中。考虑的先验类是丰富的，足以包括各种各样的重尾先验分布，如，三参数β正态混合（包括马蹄铁），广义双帕累托，逆伽玛和正常指数伽玛先验。假设非零分量的平均向量的数量是已知的，我们表明，贝叶斯估计对应于这一一般类先验达到极小极大风险的$l_2$规范（可能高达一个乘法常数）和相应的后验分布合同周围的真实均值向量在极小极大最优率适当选择的全球收缩参数。此外，我们提供的条件，这些后验分布合同周围相应的贝叶斯估计至少一样快的极小极大风险的$l_2$规范。我们还提供了一个下界的总后验方差的一个重要子类，这一般类收缩先验，包括广义双帕累托先验的形状参数$α=0.5$和三个参数β正常混合物的参数$a=0.5$和$b>0$（包括马蹄铁），特别是。本工作的灵感来自van der Pas等人（2014）最近的工作。在本设置下，马蹄先验的后收缩特性。我们扩展了他们的结果，这类先验知识，并提出了新的统一的证明工作的一个非常广泛的一类一组连续收缩先验。
Nearly Tight Bounds for Robust Proper Learning of Halfspaces with a Margin
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Google Research（谷歌研究院）
(Nearly) Sample-Optimal Sparse Fourier Transform in Any Dimension; RIPless and Filterless
在本文中，我们考虑了广泛研究的问题，计算一个$k$稀疏近似的$d$维傅立叶变换的长度$n$信号。我们的算法使用$O(k \log k \log n)$样本，是无量纲的，适用于任何宇宙大小，并实现了最强的$\ell_\infty/\ell_2$保证，同时运行时间可与快速傅立叶变换相媲美。与以前的算法，无论是通过限制等距属性或通过过滤功能进行对比，我们的方法提供了一个新的视角稀疏傅立叶变换问题。
