Recovering Covariance from Functional Fragments
我们考虑单位平方上的协方差函数的非参数估计,给定离散观测的函数数据片段的样本。当每个样本路径仅在长度为$δ<1$的子区间上观察时,在对角线周围的$δ$带之外没有关于未知协方差的统计信息。这个问题似乎无法识别没有参数假设,但我们证明了非参数估计是可行的,在适当的光滑性和秩条件下的未知协方差。即使观察是离散的,这仍然是正确的,我们给出了精确的确定性条件,如何精细的观察网格需要相对于秩和片段长度的可识别性,以保持真实。我们证明了我们的条件将估计问题转化为低秩矩阵完备问题,构造了一个非参数估计器,并研究了它的渐进性质。我们说明了我们的方法对真实和模拟数据的数值性能。
2018-10-04 stat.ME
Nonparametric Identification of Latent Dimension under Heavy-Tailed and Mixed-Signals
University of Southampton(南安普顿大学)
针对平行分析在高维混合信号与重尾误差下失效的问题,提出基于秩变换的非参数方法,在宽松条件下一致估计潜在维数,并经模拟与FRED-MD数据验证。
2026-10-02 stat.AP stat.ME
Beyond Smoothness: Incorporating Low-Rank Analysis into Nonparametric Density Estimation
最流行的普遍一致的非参数密度估计的构造和理论分析取决于一个函数性质:光滑性。在本文中,我们研究了将一种低秩模型--多视角潜变量模型引入非参数密度估计的理论意义。为此,我们对集成多视图模型的直方图风格估计器进行了广泛的分析。我们的分析最终表明,存在一个普遍一致的直方图风格的估计,收敛到任何多视图模型与有限数量的Lipschitz连续组件的速度为$\widetilde{O}(1/\sqrt[3]{n})$在$L^1$错误。相比之下,标准直方图估计器可以以比$1/\sqrt[d]{n}$慢的速率收敛于同一类密度。我们还介绍了一个新的非参数隐变量模型的基础上的Tucker分解。一个基本的实现我们的估计实验证明了一个相当大的性能改善,超过标准的直方图估计。我们还提供了一个彻底的分析,我们的塔克分解为基础的模型和各种其他结果的样本的复杂性。因此,本文为将低秩技术推广到非参数环境提供了坚实的理论基础
2022-04-02 math.ST stat.ML stat.TH
Nonparametric Linear Discriminant Analysis for High Dimensional Matrix-Valued Data
Sookmyung Women’s University(淑明女子大学);School of Mathematics, Statistics and Data Science at Sungshin Women’s University(成均馆大学数学、统计与数据科学学院);Research Institute of Natural Science, Sookmyung Women’s University(淑明女子大学自然科学研究院)
本文提出了一种非参数线性判别分析方法,用于高维矩阵值数据的分类,通过非参数最大似然估计提升分类性能。
2025-12-17 stat.AP stat.ME stat.ML
Nonparametric Reduced Rank Regression
本文提出了一种多元非参数回归的方法,它将降秩回归推广到线性模型。为$q$维响应的每个维估计加性模型,并使用共享的$p$维预测变量。为了控制模型的复杂性,我们采用Ky-Fan或核范数的函数形式,从而得到一组具有低秩的函数估计。使用核范数次微分的非参数形式推导并证明了回拟合算法。导出了关于超额风险的预言不等式,该不等式展示了该过程在高维环境中的标度行为。这些方法在基因表达数据上进行了说明。
2013-01-09 stat.ML
Nonparametric Reduced-Rank Regression for Multi-SNP, Multi-Trait Association Mapping
全基因组关联研究已被证明对于理解疾病的遗传基础至关重要。然而,许多复杂的特征-人格特征,面部特征,疾病亚型-本质上是高维的,阻碍了简单的关联映射方法。我们开发了一个非参数贝叶斯降秩回归模型的多SNP,多性状关联映射,不需要指定的线性子空间的排名。我们在模拟和真实数据中表明,我们的模型在SNP和相关性状上具有优势,提高了统计功效,以识别与高维表型的可解释的SNP监督的低维线性投影的遗传关联。在HapMap第3阶段基因表达QTL研究数据上,我们鉴定了多效表达QTL,这些QTL是经典单变量检验发现的效力不足的,并且两步方法不能恢复。我们的Python软件BERRRI在GitHub上公开提供:https://github.com/ashlee1031/BERRRI。
2015-12-08 q-bio.GN stat.AP stat.ML
Improving Nonparametric Density Estimation with Tensor Decompositions
Technische Universität Berlin(柏林工业大学);Machine Learning Group(机器学习组)
虽然非参数密度估计通常在低维数据上表现良好,但当应用于高维数据时,它们的性能可能会受到影响,这可能是由于维数灾难。避免这种情况的一种技术是假设特征之间没有依赖性,并且数据是从可分离的密度中采样的。这允许独立地估计每个边缘分布,从而避免与估计全关节密度相关联的慢速率。这是朴素贝叶斯模型中采用的一种策略,类似于估计秩一张量。在本文中,我们研究这些改进是否可以扩展到其他简化的依赖性假设,我们通过非负张量分解模型。在我们的中心理论结果中,我们证明了将估计限制在低秩非负PARAFAC或Tucker分解中可以消除多维直方图的箱宽率的维数指数。这些结果通过直接应用现有的非负张量分解直方图估计实验验证具有较高的统计意义。
2020-10-06 cs.LG math.ST stat.ME
Equivalence of Convergence Rates of Posterior Distributions and Bayes Estimators for Functions and Nonparametric Functionals
研究了非参数回归中具有高斯过程先验的贝叶斯方法的后验收缩率及其对微分算子的插入性。对于一般类的内核,我们建立收敛速度的后验测量的回归函数及其衍生物,这都是最小最大优化的对数因子的功能在某些类。计算结果表明,回归函数及其导数的率优估计具有相同的超参数选择,表明贝叶斯方法对导数阶数有很强的适应性,并具有将实值泛函推广到函数值泛函的广义插入性质.这导致了一个实际上简单的方法来估计的回归函数及其衍生物,其有限样本的性能进行评估,使用模拟。证明了在一定条件下,Bayes估计的任何收敛速度都对应于后验分布的相同收敛速度(即,后收缩率),反之亦然。这种等价性适用于一般的高斯过程,并涵盖了$L_2$和$L_{\infty}$规范下的回归函数及其导数泛函。除了连接这两个基本的大样本性质在贝叶斯和非贝叶斯制度,这样的等价性,使一个新的例程,建立后验收缩率计算收敛速度的非参数点估计。在我们的论点的核心是一个运营商的理论框架内核岭回归和等价的内核技术。我们推导出一系列尖锐的非渐近界,在建立非参数点估计的收敛速度和等价理论,这可能是独立的兴趣是关键。
2020-11-27 math.ST stat.ME stat.ML
Hierarchically Compositional Kernels for Scalable Nonparametric Learning
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Tel Aviv University(特拉维夫大学);Google Brain, NYC(谷歌大脑(纽约))
我们提出了一类新的内核,以减轻高计算成本的大规模非参数学习的核方法。所提出的内核是基于底层数据域的分层分区定义的,其中Nyström方法(全局低秩近似)以分层方式与局部无损近似相结合。核心保持(严格)正定性。相应的核矩阵承认递归非对角低秩结构,这允许快速线性代数计算。通过抑制数据维数的影响,将训练回归和分类器的内存和算法复杂度从$O(n^2)$和$O(n^3)$分别降低到$O(nr)$和$O(nr^2)$,其中$n$是训练样本的个数,$r$是层次结构中每一层上的秩.虽然其他随机近似核需要类似的复杂性,实验结果表明,所提出的核实现了匹配性能与较小的$r$。我们展示了全面的实验,以显示有效地使用所提出的内核的数据大小高达数百万的顺序。
2017-08-14 cs.LG stat.ML
Nonparametric Estimation in the Dynamic Bradley-Terry Model
我们提出了一个随时间变化的推广布拉德利-特里模型,允许不同的团队的动态全球排名的非参数建模。我们开发了一种新的估计,依赖于核平滑预处理的成对比较随着时间的推移,并适用于稀疏设置的布拉德利-特里可能不适合。得到了估计量存在唯一的充要条件。我们还推导出随时间变化的预言界的估计误差和超额风险的模型不可知设置的布拉德利-特里模型不一定是真正的数据生成过程。我们彻底测试我们的模型使用模拟和真实世界的数据的实际有效性,并提出了一个有效的数据驱动的方法进行带宽调整。
2020-02-28 math.ST stat.ML stat.TH
Beyond the Signs: Nonparametric Tensor Completion via Sign Series
我们考虑的问题,张量估计噪声观测可能丢失的条目。基于一个新的模型,我们硬币作为符号表示张量的张量完成的非参数方法。该模型使用一系列结构化符号张量表示感兴趣的信号张量。与早期的方法不同,符号序列表示有效地解决了低秩和高秩信号,同时包含许多现有的张量模型-包括CP模型,Tucker模型,单索引模型,几个超图子模型-作为特殊情况。我们表明,符号张量系列的理论特征,计算估计,通过分类任务,仔细指定的权重。建立了超额风险界限、估计误差率和样本复杂度。我们在两个数据集上证明了我们的方法优于以前的方法,一个是人脑连接网络,另一个是主题数据挖掘。
2021-01-31 cs.LG math.ST stat.ME
Doubly Decomposing Nonparametric Tensor Regression
提出了张量回归的非参数扩张。通过结合低秩张量分解,将高维张量空间中的非线性分解为简单的局部函数。与朴素的非参数方法相比,我们的公式大大提高了估计的收敛速度,同时在特定条件下保持与同一函数类的一致性。为了估计局部函数,我们开发了一个具有高斯过程先验的贝叶斯估计器。实验结果表明,该方法具有良好的理论性能和预测实际复杂网络汇总统计量的高性能。
2016-03-08 stat.ML
Data-driven density derivative estimation, with applications to nonparametric clustering and bump hunting
关于多元数据集的重要信息,如聚类和模态区域,包含在密度函数的导数中。尽管这一重要性,非参数估计的高阶导数的密度函数只收到相对较少的关注。密度函数的核估计因其优良的理论和实际性质而被广泛应用,但由于在带宽(或平滑参数)选择的关键问题上遇到的数学难题,其推广到密度导数的进展较为缓慢。本文介绍了第一个全自动的,基于数据的带宽选择器的多元核密度导数估计。这是通过综合矩阵分析理论的最新进展,允许数学和计算上易于处理的表示高阶导数的多元向量值函数。理论上的渐近性质以及有限样本行为的建议选择器进行了研究。{In此外,我们详细探讨了新的数据驱动的方法的应用程序的其他两个统计问题:聚类和颠簸狩猎。所介绍的技术相结合的均值漂移算法开发新的自动,非参数聚类程序,表现出优于混合模型聚类分析和其他最近的非参数方法在实践中。此外,一个真实的数据例子说明了使用平滑参数的优势,设计用于密度导数估计的特征显着性分析颠簸狩猎。
2013-02-19 math.ST stat.ME stat.ML
High-dimensional nonparametric changepoint detection via low-rank degree-two density projection
North Carolina State University(北卡罗来纳州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出基于低秩二阶密度投影的高维非参数变点检测方法,利用低秩矩阵CUSUM等技术实现变点精确检测,在高维数据实验中表现优异。
2026-08-17 cs.LG stat.ML
Vector-Valued Least-Squares Regression under Output Regularity Assumptions
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research(PSL研究大学);Université de Toulouse(图卢兹大学);INRAE(法国国家农业食品与环境研究院);Aalto University(阿尔托大学)
提出并分析了一种求解无穷维输出最小二乘回归问题的降秩方法。我们推导出我们方法的学习界限,并研究与满秩方法相比,在哪些设置下统计性能得到提高。我们的分析扩展了降秩回归的兴趣超出了标准的低秩设置更一般的输出规律性假设。我们说明了我们的理论见解合成最小二乘问题。然后,我们提出了一个替代结构化预测方法来自这种降秩方法。我们评估了它在三个不同问题上的好处:图像重建,多标签分类和代谢物识别。
2022-11-16 cs.LG stat.ML
Nonparametric learning of heterogeneous graphical model on network-linked data
本文针对网络关联数据提出一种无需分布假设的非参数异质图模型,结合网络嵌入与再生核希尔伯特空间方法将图学习转化为线性方程组求解,并给出理论保证与实验验证。
2025-07-02 stat.ME stat.ML
Functional Gaussian Process Model for Bayesian Nonparametric Analysis
高斯过程是一种理论上很有吸引力的非参数分析模型,但其计算复杂性阻碍了其大规模应用,现有的降秩解通常是启发式的。在这项工作中,我们提出了一种新的高斯过程的建设作为一个投影从固定的离散频率到任何连续的位置。这导致了一个有效的随机过程,具有理论上的支持与降低秩的谱密度,以及一个高速的计算算法。我们的方法提供了准确的估计的协方差参数和简洁的形式的预测分布的空间预测。对于非平稳数据,我们采用混合框架与定制的光谱依赖结构。这使得聚类基于局部平稳性,同时保持联合高斯性。我们的工作是直接适用于解决空间数据中的一些挑战,如大规模计算,各向异性协方差,时空建模等,我们说明了使用的模型通过模拟和应用程序上的一个巨大的数据集。
2015-11-24 stat.CO stat.ME stat.ML