Nonasymptotic Guarantees for Spiked Matrix Recovery with Generative Priors
Northeastern University（东北大学）
统计学和机器学习中的许多问题都需要从噪声数据中重建秩一信号矩阵。在秩一分量上强制执行额外的先验信息通常是保证良好恢复性能的关键。一个这样的先验的低秩分量是稀疏性，导致稀疏主成分分析问题。不幸的是，有强有力的证据表明，这个问题受到计算到统计差距的影响，这可能是根本性的。在这项工作中，我们研究了另一种先验，其中低秩分量在训练的生成网络的范围内。我们提供了一个非渐近分析的最佳样本复杂性，对数因子，秩一矩阵恢复下的扩展高斯网络之前。具体来说，我们建立了一个有利的全局优化景观的非线性最小二乘目标，提供的样本数量是对生成模型的输入的维数的顺序。这一结果表明，生成先验在有限数据，非渐近制度的结构化秩一矩阵恢复没有计算到统计差距。我们提出了这种分析的情况下，Wishart和Wigner尖峰矩阵模型。
2020-11-09 cs.IT cs.LG math.IT
The All-or-Nothing Phenomenon in Sparse Linear Regression
研究了从$n$噪声线性观测值$Y=Xβ+W$中恢复隐藏的二进制$k$ -稀疏$p$维向量$β$的问题，其中$X_{ij}$是独立同分布的. $\mathcal{N}(0,1)$和$W_i$为i.i.d.。$\mathcal{N}(0,σ^2)$。一个密切相关的假设检验问题是区分从该结构化模型生成的$(X,Y)$对与相应的空模型，其中$(X,Y)$由纯粹独立的高斯项组成。在低稀疏度$k=o(p)$和高信噪比$k/σ^2=Ω\left(1\right)$制度，我们建立了一个“全有或全无”的信息理论相变在一个临界样本大小$n^*=2 k\log \left(p/k\right) /\log \left(1+k/σ^2\right)$，解决了猜想\cite{gamarnikzadik}。具体来说，我们表明，如果$\liminf_{p\to \infty} n/n^*>1$，那么最大似然估计几乎完美地恢复隐藏的向量具有高概率，而且可以检测到的真实假设与消失的错误概率。相反，如果是$\limsup_{p\to \infty} n/n^*<1$，则从信息理论上讲，甚至不可能恢复隐藏向量支持的任意小但固定的部分，或者严格地比随机猜测更好地测试假设。我们的不可能性结果的证明建立在两个关键技术，这可能是独立的利益。首先，我们使用条件二阶矩方法来上界结构化模型和零模型之间的Kullback-Leible…
2019-03-12 cs.IT math.IT math.PR
Online Learning for Sparse PCA in High Dimensions: Exact Dynamics and Phase Transitions
我们研究动态的在线算法学习稀疏领先的特征向量从尖峰协方差模型产生的样本。该算法结合了经典的Oja在线PCA方法，在每次迭代时采用元素非线性来提高稀疏性。在高维极限，联合经验措施的基本稀疏特征向量和它的估计算法所提供的弱收敛到一个确定性的，测量值的过程。这个比例限制的特点是作为一个非线性偏微分方程的唯一解决方案，它提供了准确的信息，关于算法的渐近性能。例如，稀疏支持恢复中的余弦相似度和误分类率等性能指标可以通过检查限制动态来获得。非线性偏微分方程的稳态分析也揭示了一个有趣的相变现象。虽然我们的分析是渐进的性质，数值模拟表明，理论预测是准确的中等信号尺寸。
2016-09-07 cond-mat.dis-nn cs.IT math.IT
Information theoretic limits of learning a sparse rule
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；International Center for Theoretical Physics（国际理论物理中心）
我们考虑广义线性模型的制度，其中的非零分量的信号和可访问的数据点的数量是次线性的信号的大小。我们证明了一个变分公式的渐近互信息每个样本时，系统的大小增长到无穷大。这一结果使我们能够推导出一个表达式的最小均方误差（MMSE）的贝叶斯估计时，信号条目有一个离散的分布与有限的支持。我们发现，对于此类信号以及稀疏性和采样率的适当消失缩放，MMSE是非递增的分段常数。在特定情况下，MMSE甚至显示全或无相变，即，MMSE在临界采样率从其最大值急剧跳到零。全或无现象以前已经被证明发生在高维线性回归中。我们的分析超越了线性的情况下，并适用于学习一般激活函数的感知器的教师和学生的情况下的权重。特别是，我们讨论了一个全有或全无的现象的泛化误差与一组次线性的训练样本。
2020-10-27 cs.IT cs.LG math.IT
On maximum-likelihood estimation in the all-or-nothing regime
ETH Zürich（苏黎世联邦理工学院）；Purdue University（普渡大学）
研究了高斯张量秩1加性形变的\emph{maximum-likelihood estimator}（MLE）估计问题。分析是在稀疏设置中进行的，其中底层信号具有与维度总数呈次线性比例的支持。我们表明，伯努利分布的信号，极大似然估计经历了\emph{all-or-nothing}（AoN）相变，已经建立了最小均方误差估计（MMSE）在同一问题。结果如下从两个主要的技术点：（i）MLE和MMSE之间建立的连接，在约束信号空间中使用第一和第二时刻的方法，（ii）恢复制度的MMSE严格比简单的误差消失的特征在标准AoN，这是在这里证明的一般结果。
2021-01-25 cs.AI cs.IT cs.LG
Reducibility and Computational Lower Bounds for Problems with Planted Sparse Structure
典型的高维统计问题需要在噪声中找到结构化信号。这些问题中的许多都表现出一个有趣的现象：所有已知的计算效率高的算法所需的数据量远远超过搜索所有可能结构的低效算法所需的数据量。Berthet和Rigollet在2013年发起的一系列工作旨在通过减少计算机科学中的数学上困难的平均情况问题来解释这些数学计算差距。然而，平均情况下减少的微妙性质限制了这种方法的适用性。在这项工作中，我们引入了几种新的技术，给一个网络的平均情况下减少显示强大的计算下限的基础上种植集团猜想使用自然问题作为中间体。这些包括种植独立集，种植稠密子图，稀疏尖峰维格纳，稀疏PCA，随机块模型的子图变体和稀疏PCA的有偏变体的紧下界。我们还给出了算法匹配我们的下限，并确定我们考虑的模型的信息理论的限制。
2019-11-18 cs.CC cs.DS cs.IT
Generative Principal Component Analysis
National University of Singapore（新加坡国立大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Tencent（腾讯）
在本文中，我们研究了生成建模假设的主成分分析问题，采用了一个一般模型的观察矩阵，包括显着的特殊情况下，包括尖峰矩阵恢复和相位检索。关键假设是基础信号位于具有有界$k$维输入的$L$ -Lipschitz连续生成模型的范围附近。我们提出了一个二次估计，并证明了它享有$\sqrt{\frac{k\log L}{m}}$阶的统计率，其中$m$是样本数。我们还提供了一个近似匹配算法独立的下界。此外，我们提供了一个变种的经典功率方法，在每次迭代过程中的生成模型的范围内的计算数据的项目。我们表明，在适当的条件下，这种方法以指数速度收敛到一个点，实现上述统计率。我们进行了各种图像数据集的尖峰矩阵和相位恢复模型的实验，并说明我们的方法的性能增益的经典功率方法和截断功率方法设计的稀疏主成分分析。
2022-09-07 cs.IT cs.LG math.IT
Solve-Select-Scale: A Three Step Process For Sparse Signal Estimation
在压缩感知（CS）理论中，未知信号$\mathbf{x} \in \mathcal{R}^n$的稀疏性$\|x\|_0$是最重要的，并且重建算法的焦点主要是$\|x\|_0$或其凸松弛（经由$\|x\|_1$）。然而，这在实践中通常是未知的，并且在对支持的大小一无所知的情况下仍然是一个挑战。正如最近指出的，由于其固有的复杂性以及其噪声性能，$\|x\|_0$可能不是直接最小化的最佳度量。最近Lopes \cite{Lopes2012}研究了一种新的稀疏性稳定测度$s(\mathbf{x}) := \|\mathbf{x}\|_1^2/\|\mathbf{x}\|_2^2$，它是$\|\mathbf{x}\|_0$的一个精确下界.该测量的估计过程仅使用少量线性测量，不依赖于任何稀疏性假设，并且需要非常少的计算。在稀疏信号估计问题中使用数量$s(\mathbf{x})$还没有得到很大的重视。我们开发的想法，将$s(\mathbf{x})$的信号估计框架。我们还提供了一个三步算法来解决问题的形式$\mathbf{Ax=b}$没有额外的假设上的原始信号$\mathbf{x}$。
2016-05-16 cs.IT cs.LG math.IT
Efficient reductions from a Gaussian source with applications to statistical-computational tradeoffs
本文提出从高斯源高效生成任意目标分布观测的约简方法，用于在平均情形复杂度猜想下建立高维统计模型的计算下界，并首次确认了稀疏相位恢复中的 k 到 k^2 统计-计算差距。
2025-10-08 cs.CC cs.IT math.IT
Bayesian Inference with Nonlinear Generative Models: Comments on Secure Learning
Friedrich-Alexander Universität (FAU) Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；École Polytech（巴黎综合理工学院）
与经典的线性模型不同，非线性生成模型在统计学习的文献中很少被讨论。这项工作旨在引起人们对这些模型及其保密潜力的关注。为此，我们调用副本的方法来获得的渐近归一化交叉熵的逆概率问题，其生成模型是由高斯随机场与通用协方差函数。我们的推导进一步证明了贝叶斯估计的渐近统计解耦，并指定了一个给定的非线性模型的解耦设置。副本解决方案描述了严格的非线性模型建立了一个全有或全无的相变：存在一个临界负载，在该负载下，最佳贝叶斯推理从完美学习变为不相关学习。基于这一发现，我们设计了一个新的安全编码方案，实现了窃听信道的保密容量。这个有趣的结果意味着严格的非线性生成模型是完全安全的，而无需任何安全编码。我们证明后一种说法通过分析一个说明性的模型，完全安全和可靠的推理。
2022-07-13 cs.CR cs.IT cs.LG
Secure Multi-User Linearly-Separable Distributed Computing
University of Edinburgh（爱丁堡大学）；Institut Polytechnique des Sciences Avancées (IPSA)（高等科学理工学院）；EURECOM（欧洲通信学院）
本文提出了一种安全多用户线性可分分布式计算框架，通过将计算问题转化为稀疏矩阵分解问题，实现低开销的并行化，同时保障信息论安全。
2026-04-21 cs.CR cs.IT math.IT
