Mixture model for designs in high dimensional regression and the LASSO
针对实际中设计矩阵常不满足低相干性导致LASSO估计进入慢速率区域的问题,提出列向量服从高斯混合模型的设计矩阵模型,仅要求混合中心矩阵低相干,即可实现与不相关设计精度相近的Xβ估计。
2023-12-19 math.ST stat.ML stat.TH
Tensor decomposition for learning Gaussian mixtures from moments
在数据处理和机器学习中,一个重要的挑战是恢复和利用能够准确表示数据的模型。我们考虑从数据集恢复高斯混合模型的问题。我们研究了对称张量分解方法来解决这个问题,其中张量是从数据分布的经验矩建立的。我们认为,可识别的张量,有一个独特的分解,表明时刻张量建立从球面高斯混合有这个属性。我们证明了插值度严格小于其阶数一半的对称张量是可识别的,并提出了一种基于简单线性代数运算的算法来计算其分解。说明性的实验表明,张量分解方法恢复高斯混合的影响,与其他国家的最先进的方法相比。
2022-06-21 math.AG stat.ML
Overcomplete order-3 tensor decomposition, blind deconvolution and Gaussian mixture models
University of California, Davis(加利福尼亚大学戴维斯分校)
我们提出了一种新的张量分解算法,基于Jennrich的算法,并将我们的新算法思想应用到盲反卷积和高斯混合模型。我们的第一个贡献是一个简单而有效的算法来分解某些对称过完备3阶张量,即形式为$T = \sum_{i=1}^n a_i \otimes a_i \otimes a_i$的三维数组,其中$a_i$不是线性独立的。我们的算法带有详细的鲁棒性分析。我们的第二个贡献建立在我们的张量分解算法的基础上,扩展了高斯混合模型的家族,其参数可以有效地估计。这些想法也提出了一个更一般的框架,盲反卷积,使它们适用于混合模型相同,但非常一般的分布,包括所有中心对称分布有限的第六时刻。
2021-02-20 cs.LG stat.ML
Tensor Decompositions Meet Control Theory: Learning General Mixtures of Linear Dynamical Systems
MIT(麻省理工学院)
本研究基于张量分解提出线性动态系统混合模型学习新方法,无需强分量分离条件,效果可比肩贝叶斯最优聚类且适配部分观测场景,为算法拓展至复杂生成模型提供思路。
2023-07-23 cs.DS cs.LG math.OC
Symmetric Tensor Completion from Multilinear Entries and Learning Product Mixtures over the Hypercube
UC Berkeley(加州大学伯克利分校)
我们给出了一个算法,完成一个阶$m$对称低秩张量从它的多线性项在时间大致成正比的张量条目的数量。我们应用我们的张量完成算法的学习混合产品分布的超立方体的问题,获得新的算法结果。如果产品分布的中心是线性独立的,那么我们恢复尽可能多的$Ω(n)$中心的分布在多项式时间和样本的复杂性。在一般情况下,我们恢复尽可能多的分布$\tildeΩ(n)$中心在准多项式时间,回答了一个公开的问题费尔德曼等人。对于具有非相干偏置向量的分布的特殊情况。我们的主要算法工具是迭代应用的低秩矩阵完成算法的矩阵与adversarially失踪的条目。
2015-11-23 cs.DS cs.LG stat.ML
Finite Sample Analysis of Tensor Decomposition for Learning Mixtures of Linear Systems
研究线性动态系统混合(MLDS)的学习问题,提出基于矩和张量分解的估计器以利用完整轨迹长度估计脉冲响应参数,并给出了含噪情况下的样本复杂度界限。
2025-06-01 cs.SY eess.SY stat.ML
Learning Mixtures of Separable Dictionaries for Tensor Data: Analysis and Algorithms
Rutgers, The State University of New Jersey(罗格斯大学新泽西州立大学);Electronic Arts(美国艺电)
这项工作解决了使用结构化字典学习学习张量数据的稀疏表示的问题。它提出了通过推广可分离字典学习模型来学习可分离字典的混合,以更好地捕获张量数据的结构。两种不同的方法学习混合的可分离的字典进行了探讨,并在每种情况下的基础字典的局部可识别性的充分条件。此外,计算算法的开发,以解决学习混合的可分离字典在批处理和在线设置的问题。数值实验表明,所提出的模型和算法的有效性。
2020-06-14 cs.IT cs.LG eess.SP
Moment Estimation for Nonparametric Mixture Models Through Implicit Tensor Decomposition
本文提出一种基于交替最小二乘和隐式张量分解的非参数混合模型矩估计方法,通过免张量运算实现高维高效计算,并给出可辨识性与局部线性收敛的理论保证。
2023-08-07 cs.NA math.NA stat.ML
Solving a Mixture of Many Random Linear Equations by Tensor Decomposition and Alternating Minimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
考虑了带$k$分量的混合随机线性方程组的求解问题。这是混合线性回归的无噪声设置。目标是在未观察到标签(哪个样本对应于哪个模型)的情况下,从混合样本中估计多个线性模型。本文给出了求解混合线性方程组问题的一个易处理的算法,并证明了在一定的技术条件下,该算法能保证精确地求解该问题,其样本复杂度在维数上是线性的,在$k$中是多项式的。以前的方法需要对$k$的指数依赖性,或者对维度的超线性依赖性。该算法是张量分解和交替最小化的组合。我们的分析包括证明张量方法提供的初始化允许交替最小化,这是相当于EM在我们的设置,以线性速度收敛到全局最优。
2016-08-19 cs.IT cs.LG math.IT
Learning Mixtures of Discrete Product Distributions using Spectral Decompositions
Microsoft Research India(微软研究院印度);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究了从样本中学习分布的问题,当底层分布是离散域上的乘积分布的混合时。这个问题是由几个实际应用,如众包,推荐系统,学习布尔函数的动机。现有的解决方案要么严重依赖于混合物中组分的数量是有限的这一事实,要么具有在组分数量上呈指数的样本/时间复杂度。在本文中,我们介绍了一个多项式时间/样本复杂性的方法来学习混合的$r$离散产品分布在$\{1, 2, \dots, \ell\}^n$,一般$\ell$和$r$。我们表明,我们的方法是统计上一致的,并进一步提供有限的样本保证。我们使用的技术,从最近的工作张量分解高阶矩匹配。这些矩匹配方法的关键步骤是构造一个特定的矩阵和一个特定的张量与低秩谱分解。这些张量通常直接从样本中估计。学习离散乘积分布的混合物的主要挑战是这些低秩张量不能直接从样本矩中获得。相反,我们将张量估计问题简化为:$a$)仅使用非对角块元素来估计低秩矩阵;以及$b$)使用少量线性测量来估计张量。利用矩阵完备化的最新发展,我们给出了一种基于交替最小化的方法来估计低秩矩阵,并将张量完备化问题表示为最小二乘问题。
2014-05-17 cs.CC cs.IT cs.LG
Tensor Moments of Gaussian Mixture Models: Theory and Applications
University of Texas at Austin(德克萨斯大学奥斯汀分校)
高斯混合模型(Gaussian mixture models,GMM)是统计和数据科学中的基本工具。本文研究了多元高斯和高斯的矩。一个$n$维随机变量的$d$阶矩是一个大小为$n^d$的对称$d$ -路张量,因此假设单纯地使用矩对于$d>2$和更大的$n$值来说代价太高.在这项工作中,我们开发的理论和数值方法\emph{implicit computations}与矩张量的甘精胰岛素,减少计算和存储成本$\mathcal{O}(n^2)$和$\mathcal{O}(n^3)$,分别为一般协方差阵,和$\mathcal{O}(n)$和$\mathcal{O}(n)$,分别为对角的。我们推导出简明的解析表达式的时刻对称化张量积,依靠对称张量和齐次多项式之间的对应关系,并组合身份涉及贝尔多项式。这个理论的主要应用是估计GMM参数(平均值和协方差)从一组观察,当制定为一个时刻匹配优化问题。如果有一个已知的和共同的协方差矩阵,我们还表明,它是可能的去偏的数据观测,在这种情况下,估计未知的手段减少到对称CP张量分解的问题。数值结果验证并说明了我们方法的数值效率。这项工作可能打开了大门的矩量法的竞争力相比,期望最大化方法的参数估计的Gestival。
2022-03-21 cs.LG cs.NA math.NA
Sparsity Saves Compute, Not Samples: Oracle Inequalities for Dense and Sparse Mixture of Experts
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对混合专家模型自适应路由的统计成本认知不足问题,研究了专家与门控网络均为Lipschitz时的最小二乘混合专家估计误差,通过门控希尔伯特空间的表示推导了密集与稀疏混合专家的Oracle不等式,证明了稀疏模型的估计速率最优且路由成本可控。
2026-10-14 cs.LG stat.ML
Joint Probability Estimation Using Tensor Decomposition and Dictionaries
IIT Bombay(印度理工学院孟买分校);Amazon(亚马逊)
在这项工作中,我们研究了一组给定的离散和连续随机变量的联合概率的非参数估计,从他们的(经验估计)2D边际,假设联合概率可以分解和近似的混合产品密度/质量函数。利用高斯混合模型(GARCH)等半参数技术估计联合概率密度函数(PDF)的问题得到了广泛的研究。然而,当底层密度是各种其他分布族(诸如拉普拉斯或广义高斯、均匀、柯西等)的混合时,这样的技术产生差的结果。此外,高斯分布不是估计本质上是混合的联合分布的最佳选择,即,一些随机变量是离散的,而另一些是连续的。我们提出了一种新的方法来估计的PDF使用的想法,从字典表示在信号处理加上低秩张量分解。据我们所知,这是第一次使用字典和张量分解来估计联合PDF。我们通过检查数据来创建各种分布族的字典,并使用它来近似混合物中产品的每个分解因子。我们的方法可以自然地处理混合$N$维分布。我们在各种合成和真实数据集上测试我们的方法,以证明其在更好的分类率和更低的出错率方面的有效性,与最先进的估计相比。
2022-03-03 cs.LG stat.ML
Sample Complexity Analysis for Learning Overcomplete Latent Variable Models through Tensor Methods
University of California, Irvine(加州大学欧文分校);Microsoft Research, New England(微软研究院新英格兰分院)
我们提供了学习隐变量模型的保证,强调过完备制度,其中潜在空间的维数可以超过观察到的维数。特别是,我们考虑多视图混合,球形高斯混合,ICA和稀疏编码模型。我们提供了严格的浓度范围内的经验时刻,通过新的覆盖参数。我们通过一个简单的张量功率更新算法分析参数恢复。在半监督环境下,我们利用标签或先验信息来获得模型参数的粗略估计,然后使用张量方法对未标记样本进行细化。我们建立了学习是可能的,当组件的数量尺度为$k=o(d^{p/2})$,其中$d$是观察到的维度,和$p$是张量方法中采用的观察到的时刻的顺序。我们的浓度界限分析也导致极大极小样本复杂性的半监督学习的球形高斯混合。在无监督设置中,我们使用一个简单的初始化算法的基础上SVD的张量切片,并提供更严格的条件下,$k\le βd$(其中常数$β$可以大于$1$),其中张量方法恢复多项式运行时间下的组件(和指数在$β$)的保证。我们的分析表明,通过张量分解方法,可以有效地学习各种过完备隐变量模型,并且计算和样本复杂度都很低。
2014-12-16 cs.LG math.PR stat.ML
Learning Mixtures of Smooth Product Distributions: Identifiability and Algorithm
University of Minnesota(明尼苏达大学);University of Virginia(弗吉尼亚大学)
研究了非参数乘积分布混合模型的学习问题。学习混合模型的问题是使用从混合物生成的观察样本来找到成分分布以及混合权重。这个问题在参数设置中得到了很好的研究,即,当分量分布是参数族的成员时--例如高斯分布。在这项工作中,我们专注于非参数产品分布的多元混合物,并提出了一个两阶段的方法,恢复平滑条件下的混合物的成分分布。我们的方法建立在张量的典型多元(低秩)分解的可识别性属性的基础上,与来自信号处理的傅立叶和香农-奈奎斯特采样吻合。我们证明了该方法在合成和真实数据集上的有效性。
2019-04-02 cs.LG eess.SP stat.ML
Estimating Joint Probability Distribution With Low-Rank Tensor Decomposition, Radon Transforms and Dictionaries
IIT Bombay(印度理工学院孟买分校);Walmart Global Tech(沃尔玛全球科技)
本文提出一种结合字典表示一维密度与随机投影从一维边缘分布重建联合概率密度的方法,利用低秩张量分解假设,在合成数据上相比字典方法和GMM取得更优估计性能与样本复杂度。
2023-04-18 cs.LG eess.SP stat.ML