The cavity method for analysis of large-scale penalized regression
惩罚回归方法的目的是从有限数量的测量中检索大量推定的预测因子中的可靠预测因子。特别地,具有奇异罚函数的惩罚回归对于稀疏重建算法是重要的。对于大规模的问题,这些算法表现出尖锐的相变边界的稀疏检索故障。与稀疏重建相关的大型优化问题在文献中已经通过在有限温度下建立相应的统计力学模型进行了分析。利用平均场近似的复制方法,并随后采取零温度限制,该方法再现了算法的相变边界。不幸的是,副本技巧和非平凡的零温度限制掩盖了稀疏重建算法失败的根本原因,以及惩罚回归方法,一般来说。在本文中,我们采用“腔方法”给出了一个替代的平均场方程的推导,直接在零温度限制。这种推导提供了洞察的起源不同的条款在自洽条件。腔方法自然涉及一个量,即平均局部磁化率,其行为区分该系统中的不同相位。这种敏感性可以推广到更广泛的一类稀疏重建算法的分析。
2015-11-25 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Spectrum density of large sparse random matrices associated to neural networks
大型生物网络的耦合矩阵的特征分解是研究这些网络动力学的核心。对于神经网络,这个矩阵应该反映网络的拓扑结构,并符合戴尔定律,该定律指出神经元只能具有所有兴奋性或所有抑制性输出连接,即,耦合矩阵的一列的系数必须全部具有相同的符号。当考虑多个总体时,稠密矩阵$J_{ij}$的本征谱密度已经确定。然而,这些表达式是在密集连接的假设下推导出来的,而神经回路具有稀疏连接。在这里,我们遵循平均场的方法,以提出精确的自洽表达式的频谱密度的极限稀疏矩阵的对称和神经网络矩阵。此外,我们介绍了近似,允许良好的数值评估的密度。最后,我们研究了特征向量局部化性质的现象学。
2015-09-07 cond-mat.dis-nn q-bio.NC
Compressed sensing with sparse, structured matrices
在压缩感知问题的背景下,我们提出了一种新的稀疏随机矩阵的集合,它允许(i)在N的时间线性内获取和压缩长度为N的ρ0稀疏信号,以及(ii)通过使用在N的时间线性内运行的消息传递算法(期望最大化置信传播)来完美地恢复以α速率压缩的原始信号。在大N限制下,本文提出的方案非常接近理论界ρ0 = α,因此它是最优的和有效的(线性时间复杂度)。更一般地说,我们表明,几个密集的随机矩阵的合奏可以转换成合奏的稀疏随机矩阵,具有相同的阈值,但低得多的计算复杂性。
2013-04-12 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Signatures of Nonergodicity in Sparse Random Matrices
Indian Institute of Science Education and Research Kolkata(印度教育研究科学研究所加尔各答分校);Loughborough University(拉夫堡大学)
研究稀疏随机矩阵的谱统计特性,通过地面态统计识别安德森转变,推导能量矩并计算偏移偏度以估计临界稀疏阈值,发现无限温安德森转变与量子相变一致,且长程能量相关性揭示了非平衡区域。
2026-09-21 cond-mat.dis-nn cond-mat.stat-mech
Bethe free-energy approximations for disordered quantum systems
给定一个约化密度矩阵的局部相容集,当试验密度矩阵具有树结构时,我们构造了与我们开始的局部密度矩阵全局相容的近似密度矩阵.我们采用统计物理的腔方法,通过在退火算法中缓慢降低温度,或者通过最小化近似Bethe自由能来找到最佳的密度矩阵表示,该近似Bethe自由能取决于约化的密度矩阵和源自熵的Bethe近似的一些腔信息。我们得到经典的贝特表达式内的一个天真的(平均场)近似的腔的消息,预计在高温下工作良好的熵。在下一级近似中,我们得到了仅依赖于约化密度矩阵的对角元素的Bethe熵的另一个表达式。原则上,我们可以通过在熵的Bethe近似中考虑更精确的腔信息来改进熵近似。我们比较了退火算法和朴素近似的Bethe熵的精确和近似的数值模拟的随机正则图上的随机横向伊辛模型的小样本和大样本。
2014-07-08 cond-mat.dis-nn cond-mat.stat-mech quant-ph
Gaussian approximation of dynamic cavity equations for linearly-coupled stochastic dynamics
本文提出一种基于动态腔方程和小耦合二阶截断的高斯近似计算框架,用于分析稀疏无序系统上的线性耦合随机动力学,可导出闭合因果方程并推广至消息传递算法。
2025-06-04 cond-mat.dis-nn cond-mat.stat-mech physics.data-an
Spectral Theory of Sparse Non-Hermitian Random Matrices
本综述系统介绍了稀疏非厄米随机矩阵谱理论的主要工具与结果,提出通过与无穷维算子类比计算矩阵谱的方法,并以三类有向图邻接矩阵为例展示了获取谱分布及特征向量统计性质的分析与数值结果。
2024-02-20 cond-mat.dis-nn cond-mat.stat-mech math-ph
Hammerstein equations for sparse random matrices
本文提出利用Hammerstein方程的数值解精确恢复稀疏随机矩阵(如随机图的邻接矩阵和拉普拉斯矩阵)的谱,填补了该理论在稀疏矩阵应用中的空白,并具有广泛适用性。
2025-01-11 cond-mat.dis-nn cs.NA math-ph
Sparse superposition codes under VAMP decoding with generic rotational invariant coding matrices
稀疏叠加码最初是作为一种在高斯信道上实现容量的通信方案而提出的,其编码矩阵由独立同分布组成。我们将该编码方案扩展到具有任意频谱的旋转不变编码矩阵的更通用的集合,其包括高斯集合作为特殊情况。我们进一步介绍和分析了一种基于向量近似消息传递(VAMP)的译码器,基于标准的副本对称势理论和状态演化分析,我们的主要发现是某些结构化的编码矩阵集合(如部分行正交)与i.i.d.矩阵,以及VAMP阈值的频谱独立上限。最重要的是,我们推导出一个简单的“频谱标准”的计划是在同一时间的容量实现,同时具有最好的算法阈值,在“大部分大小”的渐近极限。因此,我们的研究结果提供了实用的设计原则,在这个有前途的通信方案的编码矩阵。
2022-05-26 cond-mat.dis-nn cs.IT math.IT
Spectra of sparse non-Hermitian random matrices: an analytical solution
我们提出了一个稀疏的非Hermitian随机矩阵合奏的频谱的精确解析表达式,推广了随机矩阵理论中的两个经典结果:这个解析表达式形成了一个非Hermitian版本的Kesten-Mckay定律以及稀疏实现的Girko的椭圆律。我们的确切结果开辟了新的视角,在研究几个物理问题的稀疏随机图建模。在这种情况下,我们分析表明,一个非常稀疏的图上的运输过程的收敛速度取决于在一个非单调的方式的边缘的对称程度。
2012-12-23 cond-mat.dis-nn cond-mat.stat-mech math-ph
Sparse Random Block Matrices : universality
研究了由具有平均度为$Z$的$N$顶点的Erdös-Renyi随机图的邻接矩阵生成的稀疏随机块矩阵的系综,在每个非零项处插入一个实对称的$d \times d$随机块.我们考虑了具有秩$r < d$和具有最大秩$r=d$的随机分块矩阵的系综。稀疏随机块矩阵的谱矩被评估为$N \to \infty$,$d$有限或无限,和几个概率分布的块(例如,固定迹,有界迹和高斯)。由于概率测度在$d \to \infty$极限中的集中,谱矩与块的概率测度无关(具有各向同性、光滑性和亚高斯尾的温和假设)。有效介质近似是有限秩稀疏随机块系综的极限谱密度。类似的普适性类别适用于拉普拉斯稀疏块系综。使用随机正则图代替Erdös-Renyi图得到相同的极限分布。
2022-06-19 cond-mat.dis-nn cond-mat.stat-mech math-ph
Sparse superposition codes with rotational invariant coding matrices for memoryless channels
我们最近在[1]中表明,当与具有i.i.d.的纯随机矩阵相比时,某些结构化编码矩阵系综(如部分行正交)对于稀疏叠加码的优越性。条目,信息理论上和实际向量近似消息传递解码下。在这里,我们将这个结果推广到广义向量近似消息传递解码[2]下的二进制输入信道。为了具体起见,我们专注于特定的二进制输出信道,但我们基于统计物理学的副本对称方法的分析适用于任何无记忆信道。我们确认,在[1]中介绍的“谱准则”,编码矩阵的设计原则,允许代码的容量实现的“大部分大小”的渐近极限,扩展到通用的无记忆信道。此外,我们还证明了这种编码方案的消失误差地板性质[3]对于编码矩阵的任意谱是通用的。
2022-07-10 cond-mat.dis-nn cs.IT math.IT
First eigenvalue/eigenvector in sparse random symmetric matrices: influences of degree fluctuation
研究了具有双峰度分布的大型稀疏随机对称矩阵的第一(最大)特征值及其特征向量(第一特征向量)的性质。原则上,人们应该能够通过求解关于辅助场的函数方程来精确计算它们,该辅助场是在基于复制品/腔方法的分析中出现的。然而,解析求解该方程的困难使得精确计算在实践中不可行。为了克服这个问题,我们开发的两个异常可解的例子的基础上的近似计划。当正矩阵项的统计偏差足够大时,该方案与数值实验相当一致,并且它们定性地解释了为什么当偏差相对较小时,可以观察到第一特征值的相当大的有限尺寸效应。
2012-08-02 cond-mat.dis-nn math-ph math.MP
Spectral distribution of sparse Gaussian Ensembles of Real Asymmetric Matrices
本文采用复杂度参数方法分析多参数稀疏实非对称矩阵高斯系综,推导了实与复特征值的系综平均谱密度,为多种稀疏实非对称系综提供了统一的谱统计数学框架并揭示了其普遍性。
2025-09-12 cond-mat.dis-nn cond-mat.stat-mech math-ph