Achieving Exact Cluster Recovery Threshold via Semidefinite Programming: Extensions
解决了Abbe,Bandeira和Hall的猜想,作者最近证明了半定规划(SDP)放松的极大似然估计达到了尖锐的阈值,准确地恢复社区结构下的二进制随机块模型的两个大小相等的集群。对于单个聚类和离群值的情况也显示了相同的情况。扩展证明技术,本文证明了SDP松弛在以下情况下也达到了尖锐的恢复阈值:(1)具有两个大小与网络大小成比例但不一定相等的簇的二进制随机块模型;(2)具有固定数量的大小相等的簇的随机块模型;(3)背景图为Erdens-Rényi的二进制删失块模型。此外,一个充分条件的SDP程序,以实现精确的恢复的一般情况下,一个固定数量的集群加离群值。这些结果表明,SDP松弛作为一个简单的,通用的,计算上可行的社区检测方法的通用性。
2016-06-15 cs.SI math.PR stat.ML
Exact recovery in the double sparse model: sufficient and necessary signal conditions
School of Statistics, Renmin University of China(中国人民大学统计学院);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心及统计学院)
本文研究了双重稀疏模型中精确支持恢复的信号条件,提出两阶段迭代硬阈值化方法并证明其Oracle性质,同时指出违反信号条件将导致无法实现精确恢复。
2025-12-01 math.ST stat.TH
Achieving Exact Cluster Recovery Threshold via Semidefinite Programming
二进制对称随机块模型处理的随机图的$n$顶点划分成两个大小相等的集群,使得每对顶点是独立连接的概率$p$内集群和$q$跨集群。在渐近制度的$p=a \log n/n$和$q=b \log n/n$固定$a,b$和$n \to \infty$,我们表明,半定规划松弛的极大似然估计达到最佳阈值,准确地恢复分区从图的概率趋于一,解决了一个猜想的Abbe等。\cite{Abbe14}。此外,我们表明,半定规划松弛也达到了最佳的恢复阈值种植密集子图模型包含一个单一的集群的大小成正比的$n$。
2016-01-05 cs.DS math.PR stat.ML
Consistent community recovery in stochastic block Ornstein-Uhlenbeck processes
Aarhus University(奥胡斯大学);Imperial College London(帝国理工学院)
该研究提出随机块奥恩斯坦-乌伦贝克(SBOU)过程模型,开发出一种社区检测算法,在特定渐近 regime 下可实现一致的社区恢复,并通过 RE-Europe 风电容量数据集验证了方法的有效性。
2026-08-06 math.PR math.ST stat.ME
Exact recovery in Gaussian weighted stochastic block model and planted dense subgraphs: Statistical and algorithmic thresholds
本文研究高斯加权 Stochastic block model 的精确恢复问题,确定了基于信噪比的信息论阈值,证明不存在信息-计算间隙,并对比了社区检测与植入密集子图恢复的难度差异。
2024-02-19 math.PR math.ST stat.TH
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(史蒂文斯理工学院);Schlumberger-Doll Research Center(斯伦贝谢多尔研究中心)
我们考虑的问题,恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而,在实践中,对块结构的知识通常是不可用的。在本文中,我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说,模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性,其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同,在本文中,每个系数的先验不仅涉及其自身的超参数,而且还涉及其近邻的超参数。通过这种方式,相邻系数的稀疏模式彼此相关,并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化(EM)算法最大化其后验概率来学习。数值实验结果表明,该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Graph Community Detection from Coarse Measurements: Recovery Conditions for the Coarsened Weighted Stochastic Block Model
University of Toronto(多伦多大学);Vector Institute(向量研究院);Arizona State University(亚利桑那州立大学)
我们研究的问题,社区恢复从粗测量的图。与完全观察到的图的社区恢复问题相反,人们经常遇到在低分辨率下进行图的测量时的情况,每个测量跨多个图节点集成。这种低分辨率的测量有效地诱导了一个粗糙的图,它有自己的社区。我们的目标是开发条件图的结构,数量和测量的属性,在此条件下,我们可以恢复社区组织在这个粗糙的图。在本文中,我们建立在随机块模型的数学形式化的粗化过程,并表征其对社区成员和连接的影响。通过这种新的设置和建模,我们表征了社区恢复的误差界。的误差界产生简单和封闭形式的渐近条件,以实现完美的粗图社区的恢复。
2021-02-25 cs.IT cs.LG eess.SP
Exact Community Recovery in Correlated Stochastic Block Models
Northwestern University(西北大学);Princeton University(普林斯顿大学)
我们考虑从多个相关网络中学习潜在社区结构的问题。研究了具有两个平衡社区的边相关随机块模型,重点研究了平均度与顶点数成对数关系的情形。我们的主要结果得出了精确的信息理论的阈值,使用多个相关图的确切社区恢复。该阈值捕获社区恢复和图匹配任务之间的相互作用。特别是,我们发现和表征的参数空间,其中精确的社区恢复是可能的,使用多个相关的图形,即使(1)这是信息理论上不可能使用一个单一的图形和(2)精确的图形匹配也是信息理论上不可能的。在这个制度中,我们开发了一种新的算法,仔细综合算法从社区恢复和图匹配文献。
2022-03-29 cs.IT cs.LG cs.SI
Query-Limited Community Recovery in Stochastic Block Models
Microsoft Research(微软研究院);Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);University of Liverpool(利物浦大学);Aalto University(阿尔托大学)
研究在有限且带噪的网络数据访问下,通过自适应查询策略实现两社区随机块模型的精确社区恢复,并证明自适应查询可突破非自适应基准的信息论极限。
2026-06-01 cs.IT cs.LG cs.SI
Robust recovery for stochastic block models
ETH Zürich(苏黎世联邦理工学院)
我们开发了一个有效的算法弱恢复在一个强大的版本的随机块模型。该算法匹配的最知名的算法的香草版本的随机块模型的统计保证。从这个意义上说,我们的结果表明,在随机块模型的鲁棒性没有代价。我们的工作受到Banks,Mohanty和Raghavendra(SODA 2021)最近工作的启发,这些工作为相应的区分问题提供了一种有效的算法。我们的算法和它的分析显着偏离以前的鲁棒恢复。一个关键的挑战是我们算法背后的特殊优化景观:种植分区可能远远不是最优的,因为完全不相关的解决方案可以实现相同的目标值。这一现象与PCA在BBP相变时的推出效应有关。据我们所知,我们的算法是第一个实现强大的恢复在存在这样的推出效应在非渐近设置。我们的算法是一个实例化的框架的基础上凸优化(相关,但不同的平方和),这可能是有用的其他强大的矩阵估计问题。我们分析的副产品是一种通用技术,它将任意鲁棒弱恢复算法的成功概率(在输入的随机性上)从恒定(或缓慢消失)概率提高到指数高概率。
2021-11-16 cs.LG stat.ML
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology(国防科技大学);Samsung R&D Institute America - Dallas(三星美国研究院(达拉斯))
利用信号的稀疏性和相关性,可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构,最近提出了一种称为块稀疏贝叶斯学习(BSBL)的框架。从这个框架衍生的算法表现出优越的性能,但他们不是很快,这限制了他们的应用。这项工作得出了一个有效的算法,从这个框架中,使用边缘化的似然最大化方法。与现有的BSBL算法相比,它具有接近的恢复性能,但要快得多。因此,它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Exact alignment recovery for correlated Erdős-Rényi graphs
Princeton University(普林斯顿大学);University of Illinois at Champaign-Urbana(伊利诺伊大学厄巴纳-香槟分校)
考虑了在同一顶点集上的两个相关Erdens-Rényi(ER)图之间的顶点对应的完全恢复问题.顶点之间的对应关系可以通过随机置换其中一个图的顶点标签来隐藏。我们确定的信息理论的阈值精确恢复,即条件下,整个顶点对应可以正确地恢复无限的计算资源。
2018-05-14 cs.IT cs.LG math.IT
Exact Recovery in the General Hypergraph Stochastic Block Model
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);National University of Singapore(新加坡国立大学)
本文研究了一般d-一致超图随机块模型(d-HSBM)的精确恢复的基本极限,其中n个节点被划分为k个相对大小为(p1,.,pk)。基数为d的每个节点子集都独立地生成为d阶超边,其概率取决于d个节点所属的地面实况社区。目标是根据观察到的超图准确地恢复k个隐藏社区。我们表明,存在一个尖锐的阈值,使确切的恢复是可以实现的阈值以上,不可能低于阈值(除了一个小政权的参数,将被精确指定)。这一阈值表示在一个数量,我们称之为社区之间的广义B-H分歧。我们的结果,这个一般模型恢复先前的结果为标准的SBM和d-HSBM两个对称社区作为特殊情况。在证明我们的可实现性结果的过程中,我们开发了一个满足阈值的多项式时间两阶段算法。第一阶段采用一定的超图谱聚类方法来获得社区的粗略估计,第二阶段通过局部细化步骤单独细化每个节点,以确保准确的恢复。
2022-09-09 cs.IT cs.LG eess.SP
Exact Recovery in the Hypergraph Stochastic Block Model: a Spectral Algorithm
University of Manitoba(曼尼托巴大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
研究了具有相同大小的$k$块的超图随机块模型的精确恢复问题。更准确地说,我们考虑一个随机$d$ -均匀超图$H$与$n$顶点划分成$k$簇的大小$s = n / k$。如果$e$包含在单个簇内,则以概率$p$独立地添加超边$e$,否则以概率$q$添加超边$q$,其中$0 \leq q < p \leq 1$。我们提出了一种谱算法,它恢复集群的高概率,在$n, k, p, q$,和$d$的温和条件。该算法基于$H$的邻接矩阵,$H$是一个对称的$n \times n$矩阵,其第$(u, v)$元是包含$u$和$v$的超边的个数.据我们所知,我们的算法是第一个保证准确的恢复时,集群的数量$k=Θ(\sqrt{n})$。
2020-02-02 cs.DM cs.LG math.CO
On the Price of Differential Privacy for Spectral Clustering over Stochastic Block Models
Nokia Bell Labs(诺基亚贝尔实验室);Princeton University(普林斯顿大学)
本文研究随机块模型下社区检测的边差分隐私谱聚类方法,提出隐私算法并刻画隐私预算与恢复准确性之间的权衡,同时给出信息论保证。
2025-05-09 cs.CR cs.IT cs.LG
Exact Recovery of Sparsely-Used Dictionaries
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
我们考虑学习稀疏使用的字典与任意平方字典和随机,稀疏系数矩阵的问题。我们证明了$O (n \log n)$样本是足够的唯一确定的系数矩阵。在此基础上,我们设计了一个多项式时间的稀疏字典精确恢复算法(ER-SpUD),并证明了当系数矩阵足够稀疏时,该算法可以恢复字典和系数矩阵。仿真结果表明,ER-SpUD揭示了真正的字典以及系数的概率高于许多国家的最先进的算法。
2012-06-26 cs.IT cs.LG math.IT
Guaranteed Low-Rank Tensor Recovery from Modewise Measurements via Normalized Block-Weighted Riemannian Gradient Descent
School of Mathematics and Statistics, Southwest University(西南大学数学与统计学院)
本文提出一种自适应块加权模向黎曼梯度下降方法,用于从线性测量中恢复低多线性秩张量,通过归一化加权策略改善收敛性,并在理论上建立线性收敛和采样保证,实验验证其高效性和可靠性。
2026-09-22 cs.LG
SPP-SBL: Space-Power Prior Sparse Bayesian Learning for Block Sparse Recovery
LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University(北京航空航天大学数学科学学院教育部数学、信息与行为重点实验室)
本文提出SPP-SBL方法,通过空间功率先验和EM算法结合高阶方程求解,解决块稀疏信号结构未知的恢复问题,提升恢复精度。
2026-04-10 cs.LG math.OC
Exact Recovery by Neighborhood Smoothing in Directed Stochastic Block Models
Department of Statistics, University of Cincinnati(统计系,辛辛那提大学);Lindner College of Business, University of Cincinnati(商业学院,辛辛那提大学)
本文提出了一种非谱两阶段方法,用于稀疏有向随机块模型中的完美社区检测,通过邻域平滑和K-均值聚类实现精确恢复。
2026-09-15 cs.LG stat.AP stat.ME
Learned-SBL: A Deep Learning Architecture for Sparse Signal Recovery
在本文中,我们提出了一个计算效率的稀疏信号恢复方案,使用深度神经网络(DNN)。引入的神经网络的架构灵感来自稀疏贝叶斯学习(SBL),并命名为学习SBL(L-SBL)。根据训练数据的性质,我们设计了一个通用的架构来从单个测量向量(SMV)或多个测量向量(MMV)中恢复稀疏向量以及块稀疏向量。在MMV模型中,可以训练L-SBL网络来学习向量之间的任何潜在稀疏模式,包括联合稀疏、块稀疏等。特别是,对于块稀疏恢复,学习SBL不需要块边界的任何先验知识。在L-SBL的每一层中,获得信号协方差矩阵的估计作为神经网络的输出。然后,最大后验概率(MAP)估计的未知稀疏向量的实现与不可训练的参数。在许多应用中,测量矩阵可以是时变的。现有的基于DNN的稀疏信号恢复方案需要使用当前测量矩阵对神经网络进行再训练。L-SBL的架构允许它接受测量矩阵作为网络的输入,从而避免了重新训练的需要。我们还评估了学习SBL在使用多输入多输出(MIMO)雷达检测扩展目标的性能。仿真结果表明,该方法提供了优越的稀疏恢复性能相比,国家的最先进的方法。
2019-09-17 cs.IT cs.LG eess.SP
Nonconvex Latent Optimally Partitioned Block-Sparse Recovery via Log-Sum and Minimax Concave Penalties
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Keio University(庆应义塾大学)
本文提出非凸正则化方法LogLOP-l2/l1和AdaLOP-l2/l1,用于恢复具有未知块划分的块稀疏信号,通过新颖的变分公式提升恢复精度,实验显示优于现有方法。
2026-03-01 cs.LG stat.ML
Deep Unfolded Latent Optimally Partitioned-l2/l1 Networks for Data-driven Block-Sparse Recovery
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能研究中心)
针对凸LOP-l2/l1方法依赖手动调参且近端算子不可微的问题,提出基于隐式微分和深度权重分解的两种深度展开架构,实现自动参数学习,在块稀疏恢复中表现优异且抗脉冲噪声。
2026-06-12 cs.LG
Overparameterized ReLU Neural Networks Learn the Simplest Models: Neural Isometry and Exact Recovery
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
深度学习的实践表明,神经网络即使在学习参数数量极端的情况下也能很好地泛化。这似乎与传统的统计智慧相矛盾,在传统的统计智慧中,模型复杂性和数据拟合之间的权衡至关重要。我们的目标是通过采用凸优化和稀疏恢复的角度来解决这种差异。我们考虑具有标准权重衰减正则化的双层ReLU网络的训练和泛化特性。在对数据的某些规律性假设下,我们证明了具有任意数量参数的ReLU网络只学习解释数据的简单模型。这类似于压缩感知中稀疏线性模型的恢复。对于ReLU网络及其具有跳过连接或归一化层的变体,我们提出了确保植入神经元准确恢复的等距条件。对于随机生成的数据,我们证明了在恢复种植神经网络模型时存在一个相变,这很容易描述:只要样本数与维数之比超过一个数值阈值,恢复就有很高的概率成功;否则,它就有很高的概率失败。令人惊讶的是,ReLU网络学习简单而稀疏的模型,即使标签有噪声,也能很好地泛化。通过数值实验证实了相变现象。
2023-02-17 cs.IT cs.LG math.IT
Beyond Unfolding: Exact Recovery of Latent Convex Tensor Decomposition under Reshuffling
RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Guangdong University of Technology(广东工业大学)
张量分解(TD)方法的精确恢复在无监督学习和科学数据分析中都是一个理想的性质。然而,TD方法的数值缺陷限制了它们在实际数据中的应用。作为替代方案,凸张量分解(CTD)被提出来缓解这些问题,但它的精确恢复属性没有得到适当的解决。为此,我们专注于潜在的凸张量分解(LCTD),一个实际上广泛使用的CTD模型,并严格证明了其精确恢复性质的充分条件。此外,我们表明,这样的属性也可以实现一个更一般的模型比LCTD。在新的模型中,我们将经典的张量折叠(反折叠)推广为重排操作,这是一种更灵活的映射,可以将矩阵的元素重新定位到张量中。利用重排操作和精确恢复特性,我们探索了(广义)LCTD的一个全新应用,即,图像隐写在合成数据上的实验结果验证了我们的理论,在图像隐写上的实验结果表明,我们的方法优于现有的方法。
2020-01-28 cs.LG stat.ML
Stochastic Block Model for Hypergraphs: Statistical limits and a semidefinite programming approach
New York University(纽约大学)
研究了一个随机超图模型中的社团发现问题,我们称之为$k$ -一致超图的随机块模型($k$ -SBM).我们研究了$k$ -SBM中的精确恢复问题,并证明了在一个阈值附近会发生急剧的相变:在阈值以下,不可能以非零概率恢复社区,但在阈值以上,存在一个几乎渐近肯定地恢复社区的估计。我们还考虑了一个简单的,有效的算法的精确恢复问题是基于半定松弛技术。
2018-07-08 cs.IT cs.LG math.IT
Exact Recovery of Community Detection in k-Community Gaussian Mixture Model
University of Connecticut(康涅狄格大学)
本文研究了高斯混合模型上的社区发现问题,其中顶点被划分为$k\geq 2$不同的社区.我们模型的主要区别在于,对于观测矩阵中的不同条目,高斯扰动的强度是不同的,并且我们不假设每个社区都有相同数量的顶点。我们明确地找到最大似然估计的精确恢复的阈值。应用包括超图上的社区发现。
2020-08-29 cs.LG cs.SI math.PR
A Two Stage Generalized Block Orthogonal Matching Pursuit (TSGBOMP) Algorithm
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
从一个未知的稀疏信号的几个投影恢复是压缩感知的关键目标。人们经常会遇到通常不是稀疏的信号,而是稀疏的块。现有的块稀疏恢复算法,如BOMP假设均匀的块大小和已知的块边界,这是,然而,在许多应用中不是很实用。本文解决了这个问题,并提出了一个两步的程序,其中第一阶段是一个粗略的块位置识别阶段,而第二阶段进行更精细的本地化的非零集群内的窗口中选择的第一阶段。该算法进行了详细的收敛性分析,首先定义所谓的伪块交织块RIP的给定的广义块稀疏信号,然后施加上界相应的RIC。我们还扩展了分析复杂的向量以及矩阵的条目,事实证明,扩展是不平凡的,需要特别照顾。此外,假设真实的高斯感知矩阵的条目,我们找到了一个下界的概率,导出的恢复界限得到满足。下限表明,有一组参数,使得导出的界限是满足高概率。仿真结果证实了显着改善所提出的算法相比,BOMP的性能。
2020-08-18 cs.IT cs.LG cs.NA
Community Recovery in the Geometric Block Model
Cornell University(康奈尔大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Google Research(谷歌研究院)
提出几何块模型以捕捉社区检测的几何特征,利用随机环图连通性结果证明简单三角形计数算法在该模型中近最优,并在对数度数区间内理论和实验表现优异。
2023-11-18 cs.DM cs.IT cs.LG
Matrix Concentration for Random Signed Graphs and Community Recovery in the Signed Stochastic Block Model
本文针对随机符号图建立邻接矩阵与拉普拉斯矩阵的强集中不等式,并应用于符号随机块模型,证明谱隙集中于2s且第一特征向量符号可弱一致地恢复平衡社区结构。
2024-12-29 cs.LG cs.SI stat.ML
Reverse Engineering $\ell_p$ attacks: A block-sparse optimization approach with recovery guarantees
Johns Hopkins University(约翰斯·霍普金斯大学)
基于深度神经网络的分类器已被证明容易受到对其输入的不可感知的扰动的影响,例如$\ell_p$有界范数对抗攻击。这促使许多防御方法的发展,然后打破了新的攻击,等等。本文侧重于逆向工程对抗攻击的不同,但相关的问题。具体来说,给定一个受攻击的信号,我们研究的条件下,人们可以确定攻击的类型($\ell_1$,$\ell_2$或$\ell_\infty$)和恢复干净的信号。我们提出这个问题作为一个块稀疏恢复问题,其中信号和攻击都被假定为位于子空间的联合,其中包括每个类一个子空间和每个攻击类型一个子空间。我们推导出几何条件下的子空间,任何攻击的信号可以被分解为一个干净的信号加上攻击的总和。此外,通过确定包含信号和攻击的子空间,我们还可以对信号进行分类并确定攻击类型。数字和人脸分类实验证明了该方法的有效性。
2022-03-09 cs.LG
Harnessing Multiple Correlated Networks for Exact Community Recovery
Northwestern University(西北大学)
针对从多个相关网络中学习潜在社区结构的问题,本文推导了使用任意常数数量相关图进行精确社区恢复的信息论阈值,解决了两图以上场景的信息聚合挑战,刻画了K≥3时仅K图可恢复而K-1图不可的参数区域。
2024-12-03 cs.IT cs.LG cs.SI
Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery
Cornell University(康奈尔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Michigan-Ann Arbor(密歇根大学安娜堡分校);University of Denver(丹佛大学)
我们研究了一个低秩矩阵的鲁棒恢复稀疏和严重损坏的高斯测量,没有先验知识的内在秩。我们考虑稳健的矩阵分解方法。我们采用了一个强大的$\ell_1$损失函数和处理的挑战,未知的秩通过使用一个超指定的因子表示的矩阵变量。然后,我们解决了相关的非凸非光滑问题,使用次梯度方法与递减步长。我们表明,下的规则性条件下的传感矩阵和腐败,我们称之为限制方向保持属性(RDPP),即使秩超指定,次梯度方法收敛到准确的低秩解的次线性率。此外,我们的结果是更一般的意义上,它自动加速到一个线性速率,一旦因子秩匹配未知秩。另一方面,我们证明了RDPP条件在通用设置下成立,例如独立或对抗性稀疏腐败下的高斯测量,其中结果可能具有独立利益。在超定区域,数值验证了所提出的次梯度方法的精确恢复和收敛速度。此外,我们的实验进一步表明,我们减小步长的特定设计有效地防止了过参数化模型下的过拟合,例如鲁棒矩阵感知和学习鲁棒深度图像先验。这种正则化效应值得进一步研究。
2021-10-26 cs.LG math.OC stat.ML
Improved Complexities of Conditional Gradient-Type Methods with Applications to Robust Matrix Recovery Problems
Technion - Israel Institute of Technology(以色列理工学院)
受鲁棒主成分分析等鲁棒矩阵恢复问题的启发,我们考虑了一个一般的优化问题,即最小化应用于两个变量块之和的光滑和强凸损失函数,其中每个变量块分别被约束或正则化。我们研究了一种条件服从型方法,它能够利用问题的特殊结构,在各种假设下,获得比标准方法更快的收敛速度。特别是,我们的方法是吸引力的矩阵问题,其中一个块对应于一个低秩矩阵,因为它避免了禁止的满秩奇异值分解所需的大多数标准方法。虽然我们最初的动机来自于源于统计的问题,但我们的分析并没有对数据进行任何统计假设。
2019-11-15 cs.LG math.OC
Revisiting Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model
针对 LSBM 的隐藏社区恢复,提出无需模型参数的两阶段 IAC 算法,在期望和高概率下均达到实例特定下界,并保持近线性复杂度。
2025-08-29 cs.LG cs.SI stat.ML
Optimal Cluster Recovery in the Labeled Stochastic Block Model
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);KTH, The Royal Institute of Technology(KTH皇家理工学院)
我们考虑了标记随机块模型(LSBM)中的社区检测或聚类问题,其中有限个$K$簇的大小随项目$n$的全局人口线性增长。每对项目都是随机独立标记的,并且标签$\ell$以$p(i,j,\ell)$的概率出现在分别由$i$和$j$索引的聚类中的两个项目之间。我们的目标是从这些随机标签的观察重建集群。基于SBM及其扩展的聚类算法近年来引起了人们的广泛关注。大多数现有的工作旨在表征的一组参数,以便有可能推断集群正相关的真实集群,或与消失的比例错误分类的项目,或完全匹配的真实集群。我们发现的参数集,使得存在一个聚类算法,最多$s$误分类项目的平均下一般的LSBM和任何$s=o(n)$,解决了一个开放的问题提出了\cite{abbe2015community}。我们进一步开发了一种算法,基于简单的谱方法,实现了这一基本性能限制内的$O(n \mbox{polylog}(n))$计算,没有先验知识的模型参数。
2016-05-21 cs.LG cs.SI math.PR
Clustering Degree-Corrected Stochastic Block Model with Outliers
Northwestern University(西北大学);Cornell University(康奈尔大学)
对于度校正的随机块模型中存在的任意甚至对抗性离群点,我们开发了一个基于凸优化的聚类算法,其中包括一个惩罚项取决于一个节点的正偏差从预期的边缘数到其他内点。我们证明,在温和的条件下,这种方法实现了准确的恢复的基础集群。我们的合成实验表明,我们的算法在异构网络上表现良好,特别是那些具有Pareto度分布的网络,离群值具有广泛的可能度,可以增强其对抗能力。我们还表明,我们的方法允许恢复显着较低的出错率相比,现有的算法。
2019-06-07 cs.LG q-fin.ST stat.ML
Strong Consistency, Graph Laplacians, and the Stochastic Block Model
University of California at Davis(加州大学戴维斯分校);New York University Shanghai(上海纽约大学)
谱聚类已经成为数据聚类和社区发现中最流行的算法之一。我们研究了经典的两步谱聚类的性能,通过图拉普拉斯学习随机块模型。我们的目标是回答以下问题:通过图拉普拉斯算子的谱聚类何时能够实现强一致性,即,隐藏社区的确切恢复情况我们的工作提供了一个entrywise分析(一个$\ell_{\infty}$ -范数扰动界)的非规范化和规范化的拉普拉斯算子与随机块模型采样的邻接矩阵相关联的菲尔德特征向量。我们证明了谱聚类是能够实现准确的恢复种植的社区结构的条件下,符合信息理论的限制。
2020-04-21 cs.LG cs.SI stat.ML
Community recovery in non-binary and temporal stochastic block models
Inria(法国国家信息与自动化研究所);Aalto University(阿尔托大学)
本文研究了$N$节点网络中的成对交互对潜在社区成员的估计,其中观察到的交互可以是任意类型的,包括二进制,分类和向量值,并且不排除更一般的对象,如时间序列或空间点模式。作为一个生成模型,这样的数据,我们引入了一个随机块模型与一般的可测量的相互作用空间$\mathcal S$,我们推导出的最小可实现的差错率的信息理论界。这些界限产生尖锐的标准存在一致的和强一致的估计数据稀疏性,块内和块间的相互作用分布之间的统计相似性,以及相互作用空间的形状和大小。一般的框架,使人们有可能研究时间和多路复用网络与$\mathcal S = \{0,1\}^T$,在设置中,$N \to \infty$和$T \to \infty$,和时间的相互作用模式随着时间的推移相关。对于时间马尔可夫相互作用,我们得到尖锐的一致性阈值。我们还提出了快速在线估计算法,充分利用了非二进制性质的观测数据。对合成数据和真实数据的数值实验表明,即使对于非常稀疏的数据阵列,这些算法也能快速产生准确的估计。
2022-08-30 cs.LG math.PR math.ST
BRIDGE: Bottleneck-Aware Regulator-Set Inference and Diagnosis for Cooperative Gene Regulatory Recovery
University of Central Florida(中佛罗里达大学)
研究针对协同基因调控依赖联合作用调控因子组,但多数基因调控网络推断方法输出两两调控因子-靶点排名的问题,引入BRIDGE框架及TRACE诊断套件,介绍其核心机制,指出该方法提升了多项指标,区分了相关不同目标。
2026-07-22 cs.LG
A note on the sample complexity of the Er-SpUD algorithm by Spielman, Wang and Wright for exact recovery of sparsely used dictionaries
University of Warsaw(华沙大学)
我们考虑的问题,恢复可逆的$n \times n$矩阵$A$和稀疏的$n \times p$随机矩阵$X$的观察的基础上$Y = AX$(直到一个缩放和置换的列$A$和行的$X$)。仅使用基本的工具,从理论的经验过程中,我们表明,一个版本的Er-SpUD算法Spielman,王和赖特具有很高的概率恢复$A$和$X$准确,只要$p \ge Cn\log n$,这是最佳的常数$C$。
2016-01-12 cs.LG math.PR math.ST
Exact Community Recovery under Side Information: Optimality of Spectral Algorithms
Northwestern University(西北大学);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田理工学院)
本文针对带节点属性边信息的一般双社区块模型,提出一种结合边信息与观测矩阵特征向量的谱算法,并证明其能达到信息论最优的精确社区恢复性能。
2025-03-10 cs.LG cs.SI
Exact Community Recovery over Signed Graphs
The Chinese University of Hong Kong(香港中文大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
符号图编码了具有正边和负边的不同实体之间的相似性和相异性关系。本文研究了具有两个相等社团的符号随机块模型(SSBM)生成的符号图上的社团恢复问题。我们的方法是基于SSBM的最大似然估计(MLE)。与许多现有的方法不同,我们的公式表明,一个有符号的图的正负边应该被不平等地对待。然后,我们提出了一个简单的两阶段迭代算法求解正则化极大似然估计。结果表明,在对数度的制度,该算法可以准确地恢复潜在的社区在近线性时间在信息理论的限制。合成和真实数据的数值结果报告,以验证和补充我们的理论发展,并证明所提出的方法的有效性。
2022-02-22 cs.LG cs.SI math.OC