Detection-Recovery and Detection-Refutation Gaps via Reductions from Planted Clique
本文基于带有秘密泄露的 Planted Clique 假设,通过构建平均情况归约,证明了 Planted Dense Subgraph 问题中检测与恢复、检测与反驳之间的计算间隙。
2023-06-30 cs.IT math.IT math.ST
Robust Detection of Planted Subgraphs in Semi-Random Models
School of Electrical Engineering and Computer Engineering, at Tel Aviv University(电气工程与计算机工程学院,特拉维夫大学)
研究半随机模型下植入子图检测问题,证明存在对抗者时强次对数密度子图检测在信息论上不可能,而对数以上密度子图统计极限不变,并设计了高效鲁棒检测算法。
2026-06-18 cs.CR cs.DS cs.IT
Statistical Problems with Planted Structures: Information-Theoretical and Computational Limits
在过去的几年里,来自计算机科学、统计物理学和信息论的见解已经揭示了在两个不同的阈值处的大量高维统计问题中的相变:一个是信息论(IT)阈值,低于该阈值,观察太嘈杂,使得无论计算成本如何,都不可能推断出地面真值结构;另一个是计算阈值,在该计算阈值之上可以有效地执行推断,即,在时间上是输入大小的多项式。在中间状态下,推理在信息理论上是可能的,但在计算上是困难的。本文以社区检测和子矩阵检测为例,综述了确定尖锐IT和计算极限的常用技术。对于IT限制,我们讨论的工具,包括分析最大似然估计的第一和第二时刻的方法,信息理论的方法证明不可能的结果,使用互信息和率失真理论,和方法起源于统计物理学,如插值方法。为了研究计算限制,我们描述了一个共同的配方来构建一个随机多项式时间约简方案,该方案近似地将种植集团问题的实例映射到全变差距离中感兴趣的问题。
2018-08-12 cs.IT math.IT math.ST
The Fundamental Limits of Recovering Planted Subgraphs
本文研究植入子图恢复的最小均方误差基本极限,给出任意子图极限MMSE曲线的变分公式与多项式时间近似计算方法,并将结果推广到单调布尔性质恢复场景。
2025-03-19 cs.DM cs.IT math.CO
Sharp Phase Transitions in Estimation with Low-Degree Polynomials
Brown University(布朗大学);UC Davis(加州大学戴维斯分校)
本文研究高维 planted 问题中统计与计算可行性的差距,提出通过证明低次多项式算法效果下界的新方法,揭示了如 spiked Wigner 模型中的 BBP 相变和 stochastic block model 中的 Kesten-Stigum 阈值等尖锐相变现象。
2026-05-14 cs.CC cs.DS math.PR
Planted Bipartite Graph Detection
Tel Aviv university(特拉维夫大学)
该研究针对随机图中隐藏植入二分子图的检测问题,刻画其统计与计算壁垒,推导稠密/稀疏情形下的信息论下界并设计匹配最优算法,还基于低度猜想证明多项式时间检验的计算下界以佐证统计-计算鸿沟。
2024-03-06 cs.DS cs.IT cs.LG
Sharp Low-Degree Thresholds for Planted-vs-Planted Testing
Department of Mathematics, University of California, Davis(加州大学戴维斯分校数学系)
针对植入vs植入设置,建立了低度多项式测试的首个尖锐阈值,并证明在植入子矩阵和植入稠密子图模型中计数社区的匹配上下界,测试阈值与已知低度恢复阈值精确一致。
2026-06-03 cs.CC cs.DS cs.LG
Statistical thresholds for Tensor PCA
本研究确定了高斯随机张量秩一变形中检验与估计的相同尖锐阈值,并证明极大似然估计在阈值之上达到最大相关性,且呈现不连续的BBP型相变。
2019-08-08 math.PR math.ST stat.TH
Hidden Clique Inference in Random Ising Model I: the planted random field Curie-Weiss model
本文研究植入随机场Curie-Weiss模型中隐$k$-团簇铁磁相关性的检验与恢复问题,建立了极小极大最优检测率与恢复率,揭示了7个检验相和3个精确恢复相,并为离散数据稀疏PCA提供了新理论视角。
2024-03-21 math.ST stat.TH
Testing for a Hidden Geometry in Random Graphs
School of Electrical & Computer Engineering at Tel Aviv University(特拉维夫大学电气与计算机工程学院)
研究在随机图中检测隐藏几何信号的问题,推导了检测不可能的信息论下界,并揭示了易-难-不可能相变。
2026-06-16 cs.IT math.IT math.PR
Sharp Detection Threshold for Correlation among Multiple Unlabeled Gaussian Networks
University of Illinois(伊利诺伊大学)
研究m≥2个带高斯边权的完全加权图在未知顶点重标号后是否互相关的假设检验问题,确定了固定m下的信息论检测阈值,并证明无检测-恢复间隙。
2026-06-12 cs.IT math.IT math.ST
Planted matching problems on random hypergraphs
研究了加权随机$k$ -超图中隐藏匹配的推断问题。我们假设超边的权值是随机的,并根据两个不同的密度分布,条件是它们是否属于隐藏匹配。我们表明,对于$k>2$和在大的图形大小的限制,算法的一阶过渡信号强度分离的制度,其中一个完整的恢复隐藏的匹配是可行的制度,其中部分恢复是可能的。这与已知跃迁是连续的$k=2$情况相反。最后,我们考虑的情况下,图的边缘和$3$ -hyperedges的混合物,插值之间的$k=2$和$k=3$的情况下,我们研究如何过渡的变化,从连续到一阶调整的相对数量的边缘和hyperedges。
2022-09-07 cond-mat.dis-nn cs.DM cs.IT
Settling the Sharp Reconstruction Thresholds of Random Graph Matching
本文研究了两个边相关随机图的隐点对应的恢复问题。我们专注于高斯模型,其中两个图是具有相关高斯权重的完全图,以及Erdens-Rényi模型,其中两个图是从共同的父Erdens-Rényi图$\mathcal{G}(n,p)$子采样的。对于稠密图与$p=n^{-o(1)}$,我们证明了存在一个尖锐的阈值,在此之上,可以正确地匹配所有,但一个消失的分数顶点和低于正确匹配任何正分数是不可能的,一种现象被称为“全有或全无”相变。更惊人的是,在高斯设置中,在阈值以上,所有顶点都可以以高概率精确匹配。与此相反,稀疏的Erdens-Rényi图与$p=n^{-Θ(1)}$,我们表明,全有或全无的现象不再成立,我们确定的阈值为一个常数因子。在此过程中,我们还推导出了精确恢复的尖锐阈值,锐化了Erdens-Rényi图中的现有结果。否定结果的证明建立在基于截断二阶矩计算的互信息的紧密表征和将互信息与重构误差的积分相关联的“面积定理”之上。积极的结果如下紧密分析的最大似然估计,考虑到循环结构的诱导置换的边缘。
2022-02-16 cs.IT math.IT math.ST
Minimax optimal submatrix detection: Sharp non-asymptotic rates
Harvard University(哈佛大学);Toulouse School of Economics, University of Toulouse Capitole(图卢兹第一大学图卢兹经济管理学院)
该研究探讨了在均值矩阵中检测植入子矩阵的问题,提出了一种非渐近最优的检测方法,并建立了最小最大下界,同时扩展了这些测试以适应未知的稀疏性水平。
2026-05-19 cs.IT math.IT math.ST
Random Graph Matching in Geometric Models: the Case of Complete Graphs
本文研究了两个边权通过潜在几何相关的完全图的匹配问题,将最近的一系列关于边权独立的随机图匹配的研究扩展到几何模型。具体地,给定具有噪声参数$σ$的$[n]$上的随机置换$π^*$和$n$ iid $\mathbb{R}^d$中的相关高斯向量对$\{X_{π^*(i)}, Y_i\}$,对于某个链接函数$κ$,边权重由$A_{ij}=κ(X_i,X_j)$和$B_{ij}=κ(Y_i,Y_j)$给出。目标是根据$A$和$B$的观测值恢复隐藏顶点对应$π^*$。在低维区域的$d=o(\log n)$中,我们重点研究了基于$κ(x,y)=\langle x, y \rangle$的点积模型和基于$κ(x,y)=\|x-y\|^2$的欧氏距离模型,其中基本的几何结构是最明显的.我们推导出一个近似的最大似然估计,它可证明实现,具有高概率,完美的$π^*$恢复时,$σ=o(n^{-2/d})$和几乎完美的恢复时,$σ=o(n^{-1/d})$的错误消失的分数。此外,即使观察到潜在坐标$\{X_i\}$和$\{Y_i\}$,这些条件也被证明是信息理论上最优的,补充了[DCK 19]和[KNW22]在种植二分匹配问题的几何模型中的最新结果。作为一个侧面的发现,我们证明了著名的谱算法[Ume88]作为几何模型中最大似然的进一步近似而出现。
2022-02-23 math.PR math.ST stat.ML
Sharp thresholds in inference of planted subgraphs
研究Erdens-Rényi随机图的一个主要问题是了解它包含给定子图的概率。这项研究起源于Erdés和Rényi(1960)的经典工作。最近的工作研究了这个问题,建立了一个关于尖锐与粗糙转变的一般理论(Friedgut和Bourgain,1999; Hatami,2012),以及关于转变位置的结果(Kahn和Kalai,2007; Talagrand,2010; Frankston,Kahn,Narayanan,Park,2019; Park和Pham,2022)。在推理问题中,人们经常研究作为噪声量的函数的推理的最佳精度。在各种稀疏恢复问题中,已经观察到“全有或全无(AoN)现象”:非正式地,随着噪声量逐渐增加,在某个临界阈值处,推理问题经历了从接近完美恢复到接近零精度的急剧跳跃(Gamarnik和Zadik,2017; Reeves,Xu,Zadik,2021)。我们可以把AoN看作随机图中锐阈值现象的自然推理模拟。与随机图形属性的尖锐阈值的一般理论相比,AoN现象迄今为止只在特定的推理设置中进行了研究。在本文中,我们研究的一般问题,推断一个图$H=H_n$种植在一个Erdens-Rényi随机图,从而自然连接两条线的研究上述。我们发现,问题的AoN是密切相关的第一时刻阈值,并推广所谓的卡恩-卡莱期望阈值,扫描子图的$H$的边缘密度至少$q$。在各种设置中,我们表征AoN,通过…
2023-02-28 cs.DM cs.IT math.IT
Bayesian inference of planted matchings: Local posterior approximation and infinite-volume limit
Yale University(耶鲁大学);Georgia Institute of Technology(佐治亚理工学院)
本文研究了在特定缩放条件下,嵌入匹配的贝叶斯推断问题,探讨了局部后验近似和无限体积极限的性质,指出在部分匹配中后验可被局部算法近似,而在精确匹配中需全局排序才能实现局部近似。
2026-03-09 cs.DS math.PR math.ST
Sharp Computational-Statistical Phase Transitions via Oracle Computational Model
我们研究了一个一般家庭的组合结构的假设检验问题的计算易处理性和统计精度之间的根本权衡。基于一个Oracle模型的计算,它捕捉算法和数据之间的相互作用,我们建立了一个一般的下界,明确连接的最小测试风险下的计算预算约束与内在的概率和组合结构的统计问题。这个下限反映了Le Cam(1986)的经典统计下限,并允许我们以系统的方式量化有限计算预算下可实现的最佳统计性能。在这个统一的框架下,我们尖锐地描述了两个测试问题,即正常的均值检测和稀疏主成分检测的计算-计算相变。对于正态均值检测,我们考虑了两种组合结构,即稀疏集和完美匹配。对于这些问题,我们确定的最佳统计精度,可实现计算的易处理性约束和经典的统计下限之间的显着差距。与现有的统计问题的计算下限的工作,考虑一般多项式时间算法的图灵机,并依赖于计算硬度假设的问题,如种植集团检测相比,我们专注于预言计算模型,它涵盖了广泛的流行算法,并不依赖于未经证实的假设。此外,我们的结果提供了一个直观的和具体的解释的内在计算的高维统计问题。我们的结果的一个副产品是一个严格的广义的矩阵永久性问题,这是独立的利益的下界。
2015-12-30 stat.ML
Does robustness imply tractability? A lower bound for planted clique in the semi-random model
Stanford University(斯坦福大学)
我们考虑一个强大的模拟种植集团问题。在这个类比中,选择一组顶点$S$,并包含$S$中的所有边;然后,$S$和图的其余部分之间的边以概率$\frac{1}{2}$包含在内,而不接触$S$的边允许任意变化。对于这个半随机模型,我们表明,信息理论的阈值恢复是$\tildeΘ(\sqrt{n})$,形成鲜明对比的经典信息理论的阈值$Θ(\log(n))$。这与经典种植集团问题的计算阈值相匹配,从而提出了一种有趣的可能性,即一旦我们要求鲁棒性,种植集团就没有计算统计差距。我们的下界涉及建立一个结果关于KL分歧的家庭扰动伯努利分布,这可能是独立的利益。
2018-09-04 cs.CC cs.IT cs.LG
Geometric planted matchings in high dimensions: The power of multiple views
Georgia Institute of Technology(佐治亚理工学院);Yale University(耶鲁大学)
研究\(\mathbb{R}^d\)中\(n\)个点与噪声置换版本的对应关系恢复问题,高维下\(b = 2\)是阈值。证明\(b < 2\)时无估计器能有效恢复。多视图推广中,\(b > K/(K - 1)\)时简单过程可恢复匹配,打破\(b = 2\)障碍。
2026-07-13 cs.DS math.PR math.ST
Low-degree estimation thresholds in planted hypergraphs and tensor PCA
Division of Applied Mathematics, Brown University(布朗大学应用数学系)
本文通过低度框架研究植入稠密子超图、稀疏张量PCA和一般先验张量PCA中的统计-计算差距,确定了低度估计的尖锐阈值,并给出了多项式时间算法。
2026-05-28 cs.CC cs.DS math.PR
Detecting Planted Partition in Sparse Multi-Layer Networks
本文研究多层上下文随机块模型中的植入划分检测,建立了尖锐相变阈值,证明检测与弱恢复阈值一致,并给出拟多项式时间算法。
2024-05-24 math.PR math.ST stat.TH
Reducibility and Computational Lower Bounds for Problems with Planted Sparse Structure
典型的高维统计问题需要在噪声中找到结构化信号。这些问题中的许多都表现出一个有趣的现象:所有已知的计算效率高的算法所需的数据量远远超过搜索所有可能结构的低效算法所需的数据量。Berthet和Rigollet在2013年发起的一系列工作旨在通过减少计算机科学中的数学上困难的平均情况问题来解释这些数学计算差距。然而,平均情况下减少的微妙性质限制了这种方法的适用性。在这项工作中,我们引入了几种新的技术,给一个网络的平均情况下减少显示强大的计算下限的基础上种植集团猜想使用自然问题作为中间体。这些包括种植独立集,种植稠密子图,稀疏尖峰维格纳,稀疏PCA,随机块模型的子图变体和稀疏PCA的有偏变体的紧下界。我们还给出了算法匹配我们的下限,并确定我们考虑的模型的信息理论的限制。
2019-11-18 cs.CC cs.DS cs.IT
Sharp Finite-Time Iterated-Logarithm Martingale Concentration
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
给出了有限时间上一致鞅的浓度界,推广了经典的Hoeffding不等式和Bernstein不等式。我们还证明了我们的浓度范围是最佳的匹配反浓度不等式,证明使用相同的方法。这些共同构成了一个有限时间版本的法律的重对数,并阐明了之间的关系,它和中心极限定理。
2015-12-01 cs.LG math.PR stat.ML
Recovery of Planted Subgraphs
研究在Erdős–Rényi随机图中精确恢复任意种植子图Γ的阈值,引入最小最大子图密度刻画统计极限,并分析多项式时间算法的谱条件与计算下界。
2026-07-02 cs.IT math.IT math.PR
Towards Sharp Minimax Risk Bounds for Operator Learning
Simon Fraser University(西蒙菲莎大学);University of Bonn(波恩大学);Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)(弗劳恩霍夫算法与科学计算研究所);University of California, San Diego(加利福尼亚大学圣地亚哥分校)
本文研究了算子学习的最小最大风险界,证明了在不同噪声条件下,Lipschitz算子的最小最大风险无法以代数速率衰减,揭示了样本复杂度的诅咒。
2026-03-05 cs.NA math.NA math.ST
Fundamental Limits of Query-Based Subgraph Detection
研究植入子图检测在信息受限(通过有限非自适应边查询)时的问题,推导查询复杂度的信息论下界与算法上界,所提算法利用三种结构机制,为几类植入图建立匹配界,推广了现有相关结果。
2026-07-21 cs.IT math.IT math.ST
Asymptotic uncertainty quantification for communities in sparse planted bi-section models
在稀疏种植的两段模型中,群落结构的后验分布达到精确(分别为)。几乎精确的)恢复,其中边缘概率随着$O(\log(n)/n)$(分别为$O(1/n)$)。假设后验恢复,人们可以解释可信集(分别为)。扩大的可信集)作为渐近一致的置信集;这些可信集的直径由后验集中率控制。如果选择的可信水平足够快地增长到一个,相应的可信集可以被解释为频率置信集没有条件的后验浓度。在具有$O(1/n)$边缘稀疏性的机制中,或者当社区内和社区间边缘概率非常接近时,可信集可以被扩大以实现频率论渐近覆盖,也没有后验集中的条件。
2023-03-02 math.ST stat.TH
Detecting Arbitrary Planted Subgraphs in Random Graphs
Tel Aviv University(特拉维夫大学)
该研究针对随机图中任意植入子图的检测问题,刻画了不同区域下的信息论与计算阈值,证明了界的紧性并明确了相变条件,建立了该问题的通用理论。
2025-05-18 cs.IT cs.LG math.CO
Tensor Clustering with Planted Structures: Statistical Optimality and Computational Limits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学)
本文研究 CHC 与 ROHC 两类植入结构张量聚类,给出检测与恢复的统计边界和多项式时间计算阈值,并证明低信噪比下基于 HPC/HPDS 猜想的困难性。
2023-10-02 cs.CC cs.LG math.ST
Lipschitz regularity in Flow Matching and Diffusion Models: sharp sampling rates and functional inequalities
CREST, ENSAE, IP Paris(法国国家统计与经济研究所、国立应用科学学院、巴黎理工学院)
本文研究了流匹配向量场和扩散模型分数的Lipschitz正则性,推导出最优时间与维度依赖的采样速率,并应用得到欧拉型采样器的Wasserstein离散化界及概率测度的Poincaré和log-Sobolev不等式。
2026-04-07 math.PR math.ST stat.ML
It was "all" for "nothing": sharp phase transitions for noiseless discrete channels
本文为无噪声离散信道建立了“全或无”相变现象,将结果扩展至任意次线性稀疏信号,并证明“全”部分蕴含“无”部分,提供了一种通用证明方法。
2023-04-10 cs.IT math.IT math.PR
Matching recovery threshold for correlated random graphs
对于从一个共同的Erdens-Rényi图$\mathbf{G}(n, p)$中独立采样的两个相关图,我们希望通过观察这两个图\emph{without labels}来恢复它们的\emph{latent}顶点匹配.当$p = n^{-α+o(1)}$为$α\in (0, 1]$,我们建立了一个尖锐的信息理论阈值是否有可能正确匹配的顶点的正分数。我们的结果锐化了吴,徐和余最近工作中的一个常数因子。
2022-05-29 math.PR math.ST stat.ML
Sharp minimax risks and phase transitions in sparse submatrix detection
Tata Institute of Fundamental Research(塔塔基础研究所);Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院)
研究在含噪矩阵中检测稀疏高均值高斯子矩阵的极小极大风险,确定了风险趋于0或1的精确渐近速率及相变边界。
2026-10-27 math.PR math.ST stat.TH
Aligning Embeddings and Geometric Random Graphs: Informational Results and Computational Approaches for the Procrustes-Wasserstein Problem
DI ENS(巴黎高等师范学院计算科学系);PSL University(巴黎文理研究大学);Inria Paris(法国国家信息与自动化研究所巴黎分部);Université Paris-Saclay(巴黎萨克雷大学);LMO(奥赛数学实验室);MSR-Inria Joint Centre(微软研究院-法国国家信息与自动化研究所联合中心)
本文研究Procrustes-Wasserstein问题,提出Ping-Pong算法,通过交替估计正交变换和重标记来对齐高维点云,并给出信息论界限和实验验证。
2024-05-23 cs.LG math.ST stat.ML
Sharp bounds for population recovery
Northwestern University(西北大学);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
种群恢复问题是噪声无监督学习中的一个基本问题,近年来引起了广泛的研究关注[WY12,DRWY12,MS13,BIMP13,LZ15,DST 16]。已经研究了这个问题的许多不同变体,通常是在未知分布的假设下(例如它具有有限的支持大小)。在这项工作中,我们研究的样本复杂性和算法的复杂性的最一般的版本的问题,在这两个位翻转噪声和擦除噪声模型。我们基本上匹配的上,下样本的复杂性界限的噪声模型,和有效的算法匹配这些样本的复杂性界限多项式的因素。
2017-03-04 cs.DS cs.LG math.ST
Detection Thresholds for the $β$-Model on Sparse Graphs
在本文中,我们研究了尖锐的阈值检测稀疏信号的$β$模型的潜在稀疏随机图。结果表明有趣的图形稀疏性,信号稀疏性和信号强度之间的相互作用。在中等密度信号的制度,不管图的稀疏性,检测阈值反映在独立的高斯序列问题的相应结果。对于较稀疏的信号,极端的图稀疏性意味着所有测试都是渐进无力的,无论信号强度如何。另一方面,尖锐的检测阈值,得到匹配常数,在密集的图形。上述相变是尖锐的。作为一个重要的组成部分,我们研究了一个版本的更高的批评测试,这是可证明尖锐的最佳常数在制度的稀疏信号。通过数值模拟进一步验证了理论结果。
2017-05-27 math.ST stat.TH