Computational Lower Bounds for Graphon Estimation via Low-degree Polynomials
该研究通过低次多项式理论严格证明了graphon估计存在计算壁垒,给出多项式时间估计器的误差下界,还拓展到社区检测、稀疏graphon估计和双聚类场景,为相关计算猜想提供新证据。
2024-08-12 cs.CC cs.DS math.ST
Minimax Rates in Network Analysis: Graphon Estimation, Community Detection and Hypothesis Testing
本文综述了网络分析的基本极限和优化算法的一些最新进展。我们专注于最小最大最优率在网络分析的三个基本问题:图子估计,社区检测,和假设检验。对于每一个问题,我们回顾国家的最先进的结果,在文献中遵循的一般原则,导致最小最大估计和测试的最佳程序。这使我们能够从一般的角度将网络分析中的问题与其他统计推断问题联系起来。
2019-02-14 cs.SI math.ST stat.ML
Learning Regularized Graphon Mean-Field Games with Unknown Graphons
National University of Singapore(新加坡国立大学);Northwestern University(西北大学);Yale University(耶鲁大学)
本文针对图子未知的正则化图子平均场博弈,提出GMFG-PPO优化算法及基于核嵌入的图子估计算法,首次实现从采样智能体中学习图子,并证明其收敛性与降低可利用性的有效性。
2023-10-26 cs.GT cs.LG stat.ML
Joint Network Topology Inference via a Shared Graphon Model
Rice University(莱斯大学)
我们考虑从节点观测估计多个网络的拓扑结构的问题,其中这些网络被假定为从相同的(未知的)随机图模型绘制。我们采用一个graphon作为我们的随机图模型,这是一个非参数模型,从该模型中可以绘制出可能不同大小的图。图子的多功能性使我们能够解决联合推理问题,即使在要恢复的图包含不同数量的节点并且缺乏跨图的精确对齐的情况下。我们的解决方案是基于结合的极大似然惩罚与graphon估计方案,并可用于增强现有的网络推理方法。提出的联合网络和graphon估计进一步增强了引入噪声图采样信息的鲁棒性方法。我们验证我们提出的方法,通过比较其性能与竞争的方法在合成和真实世界的数据集。
2022-09-17 cs.LG eess.SP stat.ML
Private graphon estimation via sum-of-squares
ETH Zürich(苏黎世联邦理工学院);BIDSA, Bocconi University(博科尼大学BIDSA);National Taiwan University(台湾大学)
本文提出首个纯节点差分隐私算法,用于随机块模型和图on估计,运行时间为多项式,统计效用与指数时间最优机制相当,基于平方和松弛的指数机制,并包含距离刻画、收敛结果和Lipschitz扩展方法。
2024-04-18 cs.CC cs.DS cs.LG
An iterative step-function estimator for graphons
可交换图是通过采样过程从称为图子的可测函数中产生的。一个自然的估计问题是,我们可以恢复一个图子给定的一个单一的图从它的采样。一个一般的框架,用于估计一个图子使用的步骤函数,通过分区的图的节点根据一些聚类算法获得。我们提出了一个迭代的阶梯函数估计(ISFE),给定一个初始分区,迭代集群节点的基础上,他们的边缘密度相对于前一次迭代的分区。我们分析了ISFE,并证明其性能与其他graphon估计技术相比。
2015-05-12 math.ST stat.CO stat.ML
Fully Bayesian Estimation and Variable Selection in Partially Linear Wavelet Models
在本文中,我们提出了一个基于小波的方法估计和变量选择的部分线性模型。推理是在小波域中进行的,它提供了一个稀疏和本地化的分解,适合具有不同程度的平滑度的非参数分量。一个分层贝叶斯模型制定的参数,这种表示,其中的估计和变量选择是由一个吉布斯抽样程序。对于模型的参数和非参数部分,我们使用具有双指数扩散分布的零污染点质量先验。部分线性小波模型领域只有少数论文存在,我们表明,所提出的方法往往优于现有的方法估计模型参数的任务。此外,该方法能够通过对模型的参数部分进行随机搜索来执行贝叶斯变量选择。
2016-09-23 stat.ME
Variable Selection and Estimation for Partially Linear Single-index Models with Longitudinal Data
本文研究了具有纵向数据的部分线性单指标模型。为了处理在这种情况下的变量选择问题,我们提出了一个惩罚程序结合两个偏差校正方法,导致偏差校正广义估计方程(GEE)和偏差校正二次推理函数(QIF),它可以考虑到相关性。证明了这些方法的渐近性质。我们还通过蒙特卡罗模拟研究和实际数据分析评估了所提出的方法的有限样本性能。
2014-02-07 stat.ME
Robust Covariance Estimation for Entry-wise Contaminated and Partially Observed Data via Expectation Maximization Algorithm
ENS Paris-Saclay(巴黎萨克雷高等师范学院);Paris Saclay University(巴黎萨克雷大学)
本文针对逐元素污染与部分观测数据的鲁棒协方差估计问题,提出基于SAEM算法的Student-$t^*$模型推理方法,实验显示其在中高异常率下的Fisher-Rao误差低于多种基准方法。
2026-10-16 cs.LG stat.ML
Learning Graphon Autoencoders for Generative Graph Modeling
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Tencent AI Lab(腾讯人工智能实验室)
图子是一种非参数模型,它可以生成任意大小的图,并且可以很容易地从图中导出。基于此模型,我们提出了一个新的算法框架称为\textit{graphon autoencoder},建立一个可解释和可扩展的图生成模型。该框架将观察到的图作为函数空间中的诱导图子,并通过聚合切布雪夫图子过滤器的编码器导出其潜在表示。线性图子分解模型作为解码器,利用潜在表示来重建诱导图子(以及相应的观察图)。我们开发了一个有效的学习算法来学习编码器和解码器,最小化模型和数据分布之间的Wasserstein距离。该算法以不同图子条件下的图分布的KL散度为基础距离,得到了一个奖励增强的极大似然估计。图子自动编码器提供了一种新的图形表示和生成方法,具有良好的通用性和可移植性。
2021-05-29 cs.LG cs.SI stat.ML
Rates of Convergence of Spectral Methods for Graphon Estimation
Krannert School of Management, Purdue University(普渡大学克兰纳特管理学院)
本文研究了网络的生成机制--grahpon模型的估计问题。图子估计在许多应用中出现,例如预测网络中的缺失链接和在推荐系统中学习用户偏好。图子模型处理$n$顶点的随机图,使得每对两个顶点$i$和$j$以概率$ρ\times f(x_i,x_j)$独立地连接,其中$x_i$是顶点$i$的未知$d$维标签,$f$是未知对称函数,并且$ρ$是表征图稀疏性的缩放参数。最近的研究已经确定了极小极大错误率估计的graphon从一个单一的实现的随机图。然而,存在着一个很大的差距之间的已知的错误率的计算有效的估计程序和极小极大最优错误率。在这里,我们分析了谱方法,即通用奇异值阈值(USVT)算法,在相对稀疏的制度与平均顶点度$nρ=Ω(\log n)$。当$f$属于Hölder或Sobolev空间且光滑度为$α$时,我们证明了USVT的错误率至多为$(nρ)^{ -2 α/ (2α+d)}$,随着$α$的增加,USVT的错误率接近于$d=1$的极小极大最优错误率$\log (nρ)/(nρ)$.当$f$是解析的时,我们证明了USVT的错误率至多为$\log^d (nρ)/(nρ)$。在$k$块的随机块模型的特殊情况下,USVT的错误率至多为$k/(nρ)$,它比极小极大最优错误率至多大一个乘法因子$k/\log k$。这与观察到的社区检测的计算差距相吻合。我们分析的一个关键步骤是使用图子函数$f$的…
2017-09-10 cs.LG cs.SI math.ST
Matrix estimation by Universal Singular Value Thresholding
考虑估计一个大矩阵的元素的问题,当观察到的元素是原始元素的一小部分随机噪声版本时。这个问题在最近一段时间得到了广泛的关注,特别是在Emmanuel Candès和合作者的开创性工作之后。本文介绍了一个简单的估计过程,称为通用奇异值保持(USVT),适用于任何矩阵,有“一点点的结构。“令人惊讶的是,这个简单的估计器实现了最小最大差错率,直到一个恒定的因素。该方法可用于解决低秩矩阵估计、块模型、距离矩阵完备化、潜空间模型、正定矩阵完备化、图子估计和两两比较的广义Bradley-Terry模型等问题。
2014-12-30 math.PR math.ST stat.TH
On the Estimation of Network Complexity: Dimension of Graphons
Laboratoire de Mathématiques d’Orsay(奥赛数学实验室);Université Paris-Saclay(巴黎萨克雷大学)
网络复杂性的研究已经有半个多世纪的历史,并得到了广泛的应用。已经开发了许多方法来表征和估计网络的复杂性。然而,很少有统计保证的研究。在本文中,我们开发了一个一般模型的随机图,所谓的graphon模型的图的复杂性的统计理论。给定一个图子,我们赋予节点的潜在空间以邻域距离,该距离度量两个节点与相似节点连接的倾向。然后,我们的复杂性指数基于这个度量空间(的纯化版本)的覆盖数和Minkowski维数。虽然潜在空间是不可识别的,但这些指标是可识别的。这个复杂性的概念在随机图的流行例子中有简单的解释:它匹配随机块模型中的社区数量;随机几何图中欧氏空间的维数;霍德尔图子模型中链接函数的正则性。从一个单一的观察图,我们构建了一个估计的邻域距离,并显示其风险的普遍非渐近界,匹配极大极小下界。基于这个估计的距离,我们计算相应的覆盖数和Minkowski维数,我们提供了这两个插件估计的最佳非渐近误差界。
2021-01-12 cs.LG cs.SI math.ST
Consistent polynomial-time unseeded graph matching for Lipschitz graphons
The Ohio State University(俄亥俄州立大学)
我们提出了一个一致的多项式时间方法的非种子节点匹配问题的网络具有光滑的底层结构。尽管研究界广泛认为结构化图匹配问题比其最坏情况的对应问题要容易得多,众所周知是NP-难的,但该问题的统计版本仍然面临着挑战,即抵制任何可证明和多项式时间的解决方案。最接近的现有工作需要准多项式时间。我们的方法是基于最新进展的graphon估计技术和经验的瓦瑟斯坦距离的浓度分析。它的核心是一个简单而非传统的采样和匹配方案,将问题从非种子减少到种子。我们的方法允许灵活的效率,便于分析,并可能扩展到更一般的设置。我们的工作使丰富多样的后续估计和推断。
2018-07-29 cs.CC cs.LG math.ST
Regularized covariance estimation from partially observed interferometric data
Politecnico di Milano(米兰理工大学);Istituto per il Rilevamento Elettromagnetico dell’Ambiente, National Research Council(环境电磁探测研究所,国家研究委员会)
针对部分观测干涉数据中系统缺失的问题,提出一种基于拉普拉斯正则化的矩阵补全方法进行非参数协方差估计,无需平稳性或各向同性假设,在模拟和实地数据中均表现优异。
2026-06-18 stat.AP stat.ME
Sparse-Based Estimation Performance for Partially Known Overcomplete Large-Systems
我们假设<A><B>信号子空间的直和。作为后测量的结果,多个操作上下文预先假定LB维“干扰”子空间的先验知识<B>,并且目标是估计对应于子空间的LA幅度<A>。考虑到正交“干扰”子空间\perp的知识<B>,在双渐近情形下,即N,LA,LB -> \infty具有有限渐近比的情形下,给出了LA-稀疏向量的贝叶斯估计下界.通过联合利用压缩感知(CS)和随机矩阵理论(RMT)的框架,封闭形式的表达式估计的下界的稀疏感兴趣的向量的非零项的推导和研究。衍生的封闭形式的表达式享有几个有趣的功能:(i)一个简单的可解释的表达式,(ii)一个非常低的计算成本,特别是在双渐近的情况下,(iii)一个流行的基于稀疏的估计的均方误差(MSE)的准确预测和(iv)的下限仍然是真实的任何振幅矢量先验。最后,几个理想化的情况下进行比较,导出的共同的输出信号噪声比(SNR)的约束,这表明在此导出的联合估计/拒绝方法的兴趣。
2017-04-14 stat.AP
Estimating network edge probabilities by neighborhood smoothing
从观测到的邻接矩阵估计网络边缘的概率在预测丢失链接和网络去噪方面具有重要的应用。它通常通过估计图子来解决,图子是一个确定边缘概率矩阵的函数,但在没有对网络结构进行强假设的情况下,这是不明确的。在这里,我们提出了一种新的计算效率高的方法,基于邻域平滑直接估计的期望的邻接矩阵,而不作出结构假设,图子估计需要。邻域平滑方法需要很少的调整,具有竞争力的均方误差率,并优于许多基准方法在模拟和真实网络的链路预测。
2017-07-08 stat.ML
Optimal Estimation and Completion of Matrices with Biclustering Structures
数据矩阵中的双聚类结构首先在John Hartigan(1972)的一篇开创性论文中正式化,其中试图同时聚类案例和变量。这种结构在网络的块建模中也很普遍。在本文中,我们开发了一个统一的理论估计和完成矩阵的双聚类结构,其中的数据是一个部分观察和噪声污染的数据矩阵具有一定的双聚类结构。特别是,我们表明,约束最小二乘估计实现最小最大速率最优性能在几个最重要的情况下。为此,我们得到统一的高概率上界的所有子高斯数据,并提供匹配的极大极小下界在高斯和二进制的情况下。由于图子与随机块模型的密切联系,我们的一般结果的直接后果是稀疏图子的极小极大率最优估计。
2018-10-22 math.ST stat.ML stat.TH
Learning Regularized Monotone Graphon Mean-Field Games
本文研究正则化图平均场博弈,证明了任意λ-正则化GMFG纳什均衡的存在性(条件更弱),并提出了弱单调GMFG下仅依赖弱单调条件的离散时间学习算法,附带动作-价值函数估计子模块,实证验证了算法效率。
2023-10-12 cs.GT cs.SY eess.SY
Tractably Modelling Dependence in Networks Beyond Exchangeability
我们提出了一个通用的框架,旨在描述方面的非交换网络的网络数据建模。条件的潜在(未观察到的)变量,网络的边缘产生的有限的增长历史(与潜在的订单),而边际概率的邻接矩阵的建模由一个推广的图形极限函数(或graphon)。特别是,我们研究的估计,聚类和网络的度行为在我们的设置。我们确定(一)极小极大估计的复合图子相对于平方误差损失;(二)谱聚类是能够一致地检测潜在的成员资格时,块式常数复合图子被认为是在额外的条件下;和(iii)我们能够构建模型的重尾经验度在特定的场景和参数选择。这将探讨为什么以及在一般条件下,不可交换的网络数据可以描述的随机块模型。新的建模框架能够捕获网络数据的重要经验特征,例如稀疏性与重尾度分布相结合,并增加对生成机制的理解。关键词:统计网络分析,可交换数组,随机块模型,非线性随机过程。
2020-07-28 math.ST stat.ML stat.TH
Nonparametric estimation of time-varying network connections by multi-stage smoothing
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文提出多阶段平滑估计方法,用于估计时间变化网络的边概率,结合时间局部平滑和节点域平滑,通过模拟和实际数据验证其在捕捉时间演变和结构模式上的有效性。
2026-11-17 stat.ME stat.ML
Learning partially ranked data based on graph regularization
排名数据出现在许多不同的应用程序中,包括投票和消费者调查。经常会出现数据被部分排序的情况。部分排序的数据被认为是缺失数据。本文讨论了(可能)不可重复缺失机制下部分排序数据的参数估计。我们提出了一个简单的估计过程中,完整的排名和缺失的机制一起估计。我们的估计过程利用图正则化结合期望最大化算法。我们的估计过程在理论上保证具有收敛性。我们通过允许一个不可验证的缺失机制来减少建模偏差。此外,我们避免了内在的复杂性,通过引入一个图形正则化的不可分割的缺失机制。实验结果表明,所提出的估计工作在不可重复的缺失机制。
2019-02-28 stat.ME stat.ML
Estimation of partially known Gaussian graphical models with score-based structural priors
Rice University(莱斯大学);King Juan Carlos University(胡安·卡洛斯国王大学)
本文提出一种融合图上先验信息的部分已知高斯图模型支持估计算法,利用退火朗之万扩散和图神经网络估计分数函数,从后验分布采样以提升估计性能。
2024-02-23 cs.LG stat.ML
Structural Estimation of Partially Observable Markov Decision Processes
在许多实际环境中,控制决策必须在有关相关状态变量演变的部分/不完全信息下做出。部分可观测马尔可夫决策过程(POMDPs)是一个相对成熟的框架建模和分析这类问题。在本文中,我们考虑POMDP模型的基元的结构估计的基础上观察到的历史的过程。我们分析了具有随机报酬的POMDP模型的结构性质,并给出了在不知道状态动力学的情况下该模型可辨识的条件。我们考虑一个软策略梯度算法来计算一个最大似然估计,并提供了一个有限时间的特征收敛到一个平稳点。我们说明的估计方法与应用程序的最佳设备更换。在这种情况下,必须在关于真实状况(即设备状况)的部分/不完全信息的情况下作出更换决定。我们使用合成和真实的数据来突出所提出的方法的鲁棒性,并描述了部分状态可观测性被忽略时可能出现的错误。
2021-12-28 cs.LG stat.ML
Estimating Dyadic Treatment Effects with Unknown Confounders
Waseda University(早稻田大学);Kyoto University(京都大学)
研究如何在存在未知混杂因素时估计二元治疗效果,基于图子估计文献提出邻域核平滑方法及共形推断方法,应用于国际贸易数据评估自由贸易协定对双边贸易流量的影响。
2026-07-14 econ.EM stat.ME stat.ML
Hidden Markov Model Estimation-Based Q-learning for Partially Observable Markov Decision Process
Department of Industrial and Enterprise Systems Engineering(工业与企业系统工程系)
本文提出了一种基于隐马尔可夫模型估计的在线Q学习算法,用于部分可观测马尔可夫决策过程,同时估计POMDP参数和Q函数,并证明其收敛性。
2018-09-24 cs.LG cs.SY eess.SY
FLEXI-Haz: Semiparametric Deep Survival Inference Beyond Proportional Hazards
Department of Statistics and Operations Research(统计与运筹学系);Tel Aviv University(特拉维夫大学)
本文提出一种灵活的深度神经网络框架,用于部分线性回归结构下的生存数据建模,通过参数线性部分保持可解释性,非参数DNN部分捕捉复杂的时间-协变量交互,提出FLEXI-Haz模型,无需假设比例风险假设,并提供理论保证和生存函数的推断方法。
2026-10-21 cs.LG stat.ML
Towards Optimal Estimation of Bivariate Isotonic Matrices with Unknown Permutations
Yale University(耶鲁大学);UC Berkeley(加州大学伯克利分校)
许多应用,包括秩聚合、群标记和图子估计,可以根据具有作用于其行和/或列的未知排列的二元保序矩阵来建模。我们考虑的问题,估计一个未知的矩阵在这类中,基于噪声观测(可能是一个子集)的条目。我们设计和分析多项式时间算法,提高了两个不同的指标,特别是最小最大优化,计算效率的估计是在某些设置中实现的。一路上,我们证明了匹配的上限和下限的极小极大半径的某些锥测试问题,这可能是独立的利益。
2019-10-27 cs.IT cs.LG math.IT
Kernel-based estimation for partially functional linear model: Minimax rates and randomized sketches
本文研究了部分函数线性模型(PFLM),其中所有的预测特征由一个函数协变量和一个高维标量向量组成。在无限维再生核希尔伯特空间上,PFLM的估计是一个函数范数和$\ell_1$范数混合正则化的最小二乘估计.本文的主要任务是建立高维情形下PFLM的Minimax估计率,并利用经验过程理论中分析核类的各种技巧建立最优Minimax估计率。此外,我们提出了一个有效的数值算法的基础上随机草图的核矩阵。几个数值实验来支持我们的方法和优化策略。
2021-10-18 math.ST stat.ML stat.TH
Joint estimation of high-dimensional spiked covariance matrices via a partially shared subspace
KAIST(韩国科学技术院);Institute for Data Innovation in Science, Seoul National University(首尔大学数据创新科学研究所);Department of Statistics, Seoul National University(首尔大学统计系)
研究高维数据统计分析问题,提出尖峰协方差模型捕捉部分共享结构,开发含联合估计、合并权重及渐近保证的完整估计程序,解决对比降维差距,并用于投资组合构建和脑肿瘤基因表达分析。
2026-07-10 stat.AP stat.ME stat.ML
Minimax Estimation of Partially-Observed Vector AutoRegressions
高维时间序列是统计建模工具包的核心组成部分,有许多已知的估计方法。但是当观测数据稀缺或损坏时,学习任务变得更加困难。问题是:有多困难?本文研究了部分可观测向量自回归过程的性质,这是一个具有随机观测机制的状态空间模型,我们的目标是估计其稀疏转移矩阵,但我们只能获得状态分量的一个小的噪声子样本.有趣的是,采样过程本身是随机的,并且可以表现出时间相关性,本文首先描述了一个基于Yule-Walker方程和Dantzig选择器的估计器,并给出了它的非渐近误差的上界,然后,我们给出了一个匹配的Minimax下界,从而证明我们的估计接近最优。我们得到的收敛速度揭示了几个关键参数的作用,如采样率,噪音的数量和非零系数的过渡矩阵。这些理论研究结果进行了评论和说明的数值模拟数据的实验。
2022-05-05 eess.SP math.ST stat.ME
Online Maximum Likelihood Estimation of the Parameters of Partially Observed Diffusion Processes
本文重新讨论了部分可观测扩散过程的参数估计问题,该过程由一个隐态过程和一个可观测过程组成,具有一个连续时间参数。估计是在线完成的,即参数估计应该基于观测过滤递归地更新。我们提供了一个理论分析的不完全数据对数似然的随机梯度上升算法。在适当的条件下,证明了算法的收敛性。此外,我们的参数估计数值显示有潜力提高次优滤波器,并可以应用,即使当系统是不可识别的,由于参数冗余。在线参数估计是一个具有挑战性的问题,它普遍存在于机器人、神经科学或金融等领域,以便为未知或变化的系统设计自适应滤波器和最优控制器。尽管如此,理论分析的收敛性,目前缺乏这些算法。本文对连续时间收敛理论作了新的解释。
2018-10-15 math.OC math.PR stat.ML
Inference in Partially Linear Models under Dependent Data with Deep Neural Networks
本文针对相依数据下的部分线性模型,提出基于深度神经网络估计冗余分量的推断方法,证明有限维参数估计量的√n相合性与渐近正态性,避免样本拆分以解决机器学习应用于相依数据计量模型的关键挑战,并计划拓展至更一般的半参数推断场景。
2024-10-29 econ.EM stat.ML