Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.(Stel计算机系统有限公司)
提出了一种基于高斯-二元限制玻尔兹曼机(GRBM)的说话人子空间建模方法。该模型基于概率线性判别分析(PLDA)中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子,其中扬声器因子在扬声器的所有向量上共享。然后,最大似然参数估计(MLE)的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Non-Gaussian Component Analysis with Log-Density Gradient Estimation
非高斯分量分析(NGCA)旨在识别线性子空间,使得投影数据遵循非高斯分布。本文提出了一种基于对数密度梯度估计的NGCA算法。与现有方法不同,NGCA算法通过特征值分解来确定线性子空间,无需任何迭代过程,因此计算合理。通过理论分析,证明了识别子空间以最优参数速率收敛到真子空间。最后,在人工数据集和基准数据集上证明了该算法的实际性能。
2016-01-28 stat.ML
A covariance representation and an elementary proof of the Gaussian concentration inequality
本研究提出基于特征函数的协方差表示,给出高斯集中不等式的已知初等证明,并简要介绍该方法的其他应用场景。
2024-10-09 math.PR stat.ML
Model Inconsistent but Correlated Noise: Multi-view Subspace Learning with Regularized Mixture of Gaussians
the Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology(哈尔滨工业大学)
多视图子空间学习(MSL)的目的是找到一个低维的子空间的数据从多个视图。与单视图的情况不同,多视图语义学既要考虑视图间的共性知识,也要考虑视图间的特定知识。为了提高模型的鲁棒性,应充分考虑多视图数据中噪声的复杂性、非一致性和相似性。现有的MSL方法只假设噪声服从简单的高斯或拉普拉斯分布,而忽略了实际数据中各视图中复杂的噪声结构和不同视图间的噪声相关性。针对这一问题,本文提出了一种基于多视点共享和单视点噪声知识的MSL方法。具体来说,我们将每个视图中的数据噪声建模为单独的高斯混合(MoG),它可以适应比传统高斯/拉普拉斯更广泛的复杂噪声类型。此外,我们将所有的单视图噪声作为一个整体,通过一个共同的MoG组件,编码共享的噪声知识。这种正则化分量可以在MAP框架下表示为一个简洁的KL-散度正则化项,从而对我们的模型有很好的解释,并且可以使用简单的基于EM的求解策略来解决问题。实验结果证实了我们的方法的优越性。
2018-11-07 cs.LG stat.ML
Combining additivity and active subspaces for high-dimensional Gaussian process modeling
Secondmind(第二思维)
针对高维高斯过程建模中的维度灾难,提出结合可加性与活动子空间,并引入多保真度策略,实验验证了其优势。
2026-10-08 math.OC stat.ML
Matrices with Gaussian noise: optimal estimates for singular subspace perturbation
University of Colorado at Boulder(科罗拉多大学博尔德分校);Yale University(耶鲁大学);Hong Kong University of Science and Technology(香港科技大学)
本文针对高斯随机扰动下的矩阵奇异子空间,提出了Davis-Kahan-Wedin定理的随机版本,在结构假设下获得显著优于经典结果的最优界,并给出独立的奇异值扰动界。
2023-12-29 cs.IT cs.LG math.IT
Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections
CREST, ENSAE(法国国家统计与经济管理学院 CREST 实验室);Google Brain(谷歌大脑)
计算高维测度间的最优迁移(OT)注定要受到维数灾难的影响。避免这种诅咒的一种流行方法是将输入测度投影到低维子空间(在切片Wasserstein距离的情况下是一维线),解决这些缩减测度之间的OT问题,并解决这些缩减之间的Wasserstein距离,而不是原始测度之间的距离。然而,这种方法很难扩展到想要计算原始测量之间的OT图(Monge图)的情况。由于计算是在低维投影上进行的,因此经典的地图估计技术只能产生在这些降低的维度上操作的地图。在这项工作中,我们提出了两种方法来外推,从一个运输地图,是最佳的子空间,一个几乎是最佳的在整个空间。我们证明,最佳的最优运输计划,采取这样的“子空间绕道”是一个推广的诺特-罗森布拉特运输。我们表明,这些计划可以明确制定时,比较高斯措施(之间的Wasserstein距离通常被称为Bures或Fréchet距离)。我们提供了一个算法来选择最佳的子空间高斯措施对,并研究的情况下,调解子空间可以选择使用先验信息。我们考虑应用程序之间的语义调解椭圆词嵌入和领域自适应高斯混合模型。
2019-10-29 cs.LG stat.ML
Sequential Learning of Active Subspaces
Virginia Tech(弗吉尼亚理工学院);Argonne National Laboratory(阿贡国家实验室);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);LJAD(朱西厄分析、几何与应用实验室)
近年来,主动子空间方法(ASM)已成为对黑箱函数进行子空间敏感性分析的一种流行方法。然而,简单地应用,ASM需要目标函数的梯度评估。在噪声、昂贵或随机模拟器的情况下,通过有限差分来评估梯度可能是不可行的。在这种情况下,通常采用代理模型,在其上执行有限差分。当代理模型是一个高斯过程,我们表明,ASM估计是可用的封闭形式,呈现有限差分近似不必要的。我们使用我们的封闭式解决方案来开发采集功能,重点是针对ASM之上的敏感性分析量身定制的顺序学习。我们还表明,传统的ASM估计可以看作是一种方法的时刻估计的某一类高斯过程。我们演示了如何高斯过程超参数的不确定性可能会传播到不确定性的敏感性分析,允许基于模型的置信区间的活动子空间。我们的方法的发展说明了几个例子。
2020-09-20 cs.LG stat.CO stat.ML
Projection pursuit based on Gaussian mixtures and evolutionary algorithms
University of Perugia(佩鲁贾大学)
提出了一种基于高斯混合模型的投影寻踪算法。通过Gynthology估计的多变量密度获得的负熵被采用作为PP指数被最大化。对于固定维度的投影子空间,基于GMM的密度估计被投影到该子空间上,其中计算高斯混合的负熵的近似。然后,遗传算法(GAs)被用来找到最佳的,正交投影的基础上,通过最大化前近似。我们表明,这种半参数的方法PP是灵活的,并允许高度信息化的结构被检测到,通过将多变量数据集投影到一个子空间,在那里数据可以被可视化。所提出的方法的性能显示在人工和真实的数据集。
2019-12-27 cs.LG cs.NE stat.ME
Sub-Gaussian Concentration and Entropic Normality of the Maximum Likelihood Estimator
Carnegie Mellon University(卡内基梅隆大学);Qualcomm Flarion Technology, Inc.(高通弗拉里昂技术有限公司)
本文在标准正则条件下,通过建立归一化最大似然估计的次高斯尾界、所有矩收敛以及熵中心极限定理,强化了经典渐近正态性结果。
2026-09-01 cs.IT math.IT math.ST
Uniform concentration and symmetrization for weak interactions
Istituto Italiano di Tecnologia(意大利理工学院);University College London(伦敦大学学院)
将导出具有Gaussian和Rademacher复杂性的一致界的方法推广到样本平均值被非线性统计量代替的情况。得到了U-统计量、光滑L-统计量和l2-正则化算法的误差泛函的紧界。
2019-05-10 cs.LG math.ST stat.ML
Convergence Analysis of Randomized Subspace Normalized SGD under Heavy-Tailed Noise
Department of Mathematical Informatics, The University of Tokyo(东京大学数学信息学系);Center for Advanced Intelligence Project, RIKEN(前沿智能项目研究中心)
本文提出随机子空间归一化SGD方法,在重尾噪声下实现高概率收敛界,并优于全维度归一化SGD的oracle复杂度。
2026-01-29 cs.LG math.OC stat.ML
Optimal Spectral Recovery of a Planted Vector in a Subspace
在$\mathbb{R}^N$的$n$维随机子空间中恢复种植向量$v$是与机器学习和统计中的许多问题相关的通用任务,例如字典学习、子空间恢复、主成分分析和非高斯成分分析。在这项工作中,我们研究了计算效率的估计和检测种植矢量$v$的$\ell_4$规范不同的高斯矢量具有相同的$\ell_2$规范。例如,在$v$是具有Bernoulli-Gaussian或Bernoulli-Rademacher条目的$N ρ$稀疏向量的特殊情况下,我们的结果包括以下内容:(1)我们对Hopkins,Schramm,Shi和Steurer(2016)提出的谱方法的轻微变体进行了改进分析,表明它在$n ρ\ll \sqrt{N}$中以高概率近似恢复$v$。该条件包含了先前工作所需的条件$ρ\ll 1/\sqrt{n}$或$n \sqrtρ \lesssim \sqrt{N}$,直到多对数因子。我们实现了$\ell_\infty$误差界的频谱估计通过留一法分析,从它遵循一个简单的阈值处理程序,准确地恢复$v$与伯努利-Rademacher条目,即使在密集的情况下$ρ= 1$。(2)我们研究了相关的检测问题,并表明,在该制度$n ρ\gg \sqrt{N}$,任何光谱方法从一个大类(更一般地说,任何低次多项式的输入)未能检测到种植向量。这与恢复的条件相匹配,并且提供了以下证据:当$n ρ\gg \sqrt{N…
2022-10-13 cs.DS math.ST stat.ML
Projecting basis functions with tensor networks for Gaussian process regression
TU Delft(代尔夫特理工大学)
本文提出利用低秩张量网络将高斯过程回归投影到低维子空间,从而以可接受的计算复杂度使用指数数量的基函数,并在18维基准数据上验证了其对逆动力学问题的适用性。
2023-10-31 cs.LG stat.ML
Mixing of the No-U-Turn Sampler and the Geometry of Gaussian Concentration
该研究证明从标准高斯集中区域初始化的No-U-Turn采样器混合时间为$d^{1/4}$(含对数因子),通过耦合论证与接受/拒绝马尔可夫链解释分析均匀性,还发现并探讨了其路径长度自适应的循环问题。
2024-10-09 math.PR stat.ML
Non-Gaussian Component Analysis using Entropy Methods
Microsoft Research India(微软研究院印度)
非高斯成分分析(Non-Gaussian Component Analysis,NGCA)是多维数据分析中的一个问题,自2006年提出以来,在统计学和机器学习领域引起了广泛的关注。在这个问题中,我们有一个随机变量$X$在$n$维欧氏空间。存在$n$维欧几里德空间的未知子空间$Γ$,使得$X$到$Γ$上的正交投影是标准多维高斯,并且$X$到$Γ^{\perp}$上的正交投影($Γ$的正交补)是非高斯的,在这个意义上,其所有一维边缘在根据矩定义的特定度量中不同于高斯。NGCA问题是在给定$X$样本的情况下,近似非高斯子空间$Γ^{\perp}$。$Γ^{\perp}$中的矢量对应于“感兴趣的”方向,而$Γ$中的矢量对应于数据噪声很大的方向。NGCA模型最有趣的应用是当噪声的大小与真实信号的大小相当时的情况,在这种情况下,传统的降噪技术(如PCA)不能直接应用。NGCA也涉及到降维和其他数据分析问题,如ICA。NGCA类问题已经在统计学中使用投影寻踪等技术研究了很长一段时间。我们给出了一个算法,需要多项式时间的维度$n$和有一个逆多项式依赖的误差参数测量之间的角度距离的非高斯子空间和子空间的算法输出。我们的算法是基于相对熵作为对比度函数,并适用于投影寻踪框架下。我们开发的技术分析我们的算法可能用于其他相关问题。
2018-11-04 cs.DS cs.IT cs.LG
Efficient Certificates of Anti-Concentration Beyond Gaussians
MIT(麻省理工学院);IAS(高等研究院);Princeton University(普林斯顿大学);CMU(卡内基梅隆大学);TTIC(丰田工业大学芝加哥分校);Northwestern(西北大学)
本文提出新的反集中度表述,通过规范整数规划的平方和松弛与多项式再加权分析,给出适用于有界乘积分布、$L_p$ 球均匀分布等非高斯分布的拟多项式时间可验证证书,并扩展稳健学习与聚类结果。
2024-10-28 cs.DS cs.LG stat.ML
List-Decodable Subspace Recovery: Dimension Independent Error in Polynomial Time
Carnegie Mellon University(卡内基梅隆大学)
在列表可解码的子空间恢复中,输入是$n$点$αn$(对于某些$α\ll 1/2$)的集合,其被独立地绘制。从具有各向同性秩$r$协方差$Π_*$(\emph{inliers})的分布$\mathcal{D}$中,其余是任意的、潜在的对抗性离群值。目标是恢复包含接近$Π_*$的$\hatΠ$的候选协方差的$O(1/α)$大小列表。最近的两个独立的作品(Raghavendra-Yau,Bakshi-Kothari 2020)给出了这个问题的第一个有效算法。然而,这些结果获得了随维度增长的误差(在[RY]中线性地并且在BK中以准多项式运行时间为代价)并且依赖于\emph{certifiable anti-concentration} -一个基本上仅由高斯分布满足的相对严格的条件。在这项工作中,我们改善了这些结果在所有三个方面:\emph{dimension-independent}错误通过更快的固定多项式运行时间下限制较少的分布假设。具体地说,我们给出了一个$poly(1/α) d^{O(1)}$时间算法,输出一个列表包含一个$\hatΠ$满足$\|\hatΠ -Π_*\|_F \leq O(1/α)$。我们的结果只需要$\mathcal{D}$有\emph{certifiably hypercontractive} 2次多项式。因此,除了高斯,我们的算法适用于均匀分布的超立方体和$q$…
2021-01-07 cs.DS cs.LG stat.ML
Multi-fidelity data fusion for the approximation of scalar functions with low intrinsic dimensionality through active subspaces
高斯过程用于贝叶斯设置中的非参数回归。他们推广了线性回归,将输入嵌入到无限维再生核希尔伯特空间内的潜在流形中。我们可以用低保真度模型的观察来增加输入,以学习更具表达力的潜在流形,从而提高模型的准确性。这可以通过一系列高斯过程递归地实现,并具有越来越高的保真度。我们希望将这些多保真度模型实现扩展到受高维输入空间影响但具有低内在维度的案例研究。在这种情况下,物理支持或纯数值低阶模型仍然受到维数灾难的影响时,查询响应。当提供模型的梯度信息时,可以利用活动子空间的存在来设计低保真度响应表面,从而实现高斯过程多保真度回归,而不需要执行新的模拟。这在数据稀缺的情况下特别有用。在这项工作中,我们提出了一个多保真度的方法,涉及积极的子空间,我们测试它在两个不同的高维基准。
2020-10-16 cs.NA math.NA stat.ML
A Fully Bayesian Gradient-Free Supervised Dimension Reduction Method using Gaussian Processes
Georgia Institute of Technology(佐治亚理工学院);GE Research(通用电气研究中心)
现代工程问题的普遍特征是复杂的计算机代码,这些代码将参数或输入映射到底层物理过程。在其他情况下,实验装置用于模拟实验室中的物理过程,确保高精度,同时在材料和物流方面成本高昂。在这两种情况下,通过在有限数量的输入或设计上查询昂贵的信息源,只能生成有限数量的数据。这个问题在高维输入空间的存在下进一步复杂化。现有技术的参数空间降维方法,例如主动子空间,旨在识别原始输入空间的子空间,该子空间足以解释输出响应。这些方法的限制,他们依赖于梯度评估或丰富的数据,使他们不足以昂贵的问题,没有直接访问梯度。所提出的方法是无梯度和完全贝叶斯,因为它量化的低维子空间和代理模型参数的不确定性。这使得认识的不确定性和鲁棒性有限的数据可用性的充分量化。它在来自工程和科学的多个数据集上进行了验证,并基于四个方面与其他两种最先进的方法进行了比较:a)活动子空间的恢复,b)确定性预测精度,c)概率预测精度和d)训练时间。比较表明,该方法提高了主动子空间恢复和预测精度,在确定性和概率意义上,只有少数模型观测可用于训练,在增加的训练时间的成本。
2021-07-01 cs.LG stat.ML
Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks
National University of Singapore(新加坡国立大学)
本文提出带可学习精度矩阵的高斯RBF神经网络,利用其谱结构识别主动子空间并排序输入特征,在回归、分类和特征选择实验中兼顾预测性能与可解释性。
2024-05-11 cs.AI cs.LG cs.NE
Multiple Kernel Learning and Automatic Subspace Relevance Determination for High-dimensional Neuroimaging Data
Işık University(伊希克大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校);University of Southern California(南加州大学)
阿尔茨海默病是痴呆症的主要原因。其诊断需要对疾病阶段敏感的准确生物标志物。在这方面,我们把概率分类作为设计疾病分期的概率生物标志物的方法。概率生物标志物自然支持决策的解释和与之相关的不确定性的评估。在本文中,我们通过高斯过程获得概率生物标志物。高斯过程使概率核机器能够提供灵活的方法来完成多核学习。利用这种灵活性,我们提出了一种新的变化的自动相关性确定和解决的挑战,通过多个内核的高维。我们的研究结果表明,高斯过程模型是竞争或优于著名的支持向量机的分类性能,即使在单核学习的情况下。将基本方案扩展到多核学习,我们提高了高斯过程模型的有效性及其在疾病的已知解剖学相关性方面的可解释性。例如,疾病的病理学开始于海马体和内嗅皮层及其周围。通过使用高斯过程和多核学习,我们已经自动有效地确定了神经成像数据的这些部分。除了可解释性之外,我们的高斯过程模型在类似设置下与最近的深度学习解决方案相比具有竞争力。
2017-06-02 cs.LG q-bio.NC stat.ML
Awakening of the Buddha: Subspace Learning During Population-Loss Plateaus
University of California-San Diego(加州大学圣迭戈分校)
本研究证明神经网络在种群损失平台期仍能学习更优表示,通过理论分析和实验展示了教师子空间与AGOP特征空间对齐的显著提升及重拟合误差的降低。
2026-10-01 cs.LG math.OC stat.ML
Spatio-temporal Gaussian processes modeling of dynamical systems in systems biology
转录后调控过程的定量建模是系统生物学中一个具有挑战性的问题。调控过程的力学模型需要能够描述可用的时空蛋白质浓度和mRNA表达数据,并恢复连续的时空场。需要严格的方法来识别模型参数。提出了一种很有前途的方法来处理这些困难,使用高斯过程作为先验分布的蛋白质浓度和mRNA表达的潜在函数。本文考虑了一类带有微分算子和隐函数的偏微分方程力学模型。由于所涉及的算子是线性的,因此可以将来自物理模型的信息编码到核函数中。采用混合蒙特卡罗方法对偏微分方程参数和高斯过程核参数进行贝叶斯推断。在不显式求解偏微分方程的情况下,重建了蛋白质浓度和mRNA表达的时空场。
2016-10-17 stat.ML
Copula Active Subspaces I: A Score-Covariance Method for Reduced-Order Non-Gaussian Density Estimation
Colorado State University(科罗拉多州立大学)
提出 Copula 活动子空间方法,通过 copula 得分协方差矩阵的特征分解实现非高斯噪声密度的降阶表示,在贝叶斯推断中显著降低 KL 散度。
2026-10-05 stat.CO stat.ME stat.ML